使用 Kernel Memory 的 PlainTextChunker 來幫我們切 Chunk

前言

Kernel Memory 0.97.250211.1 已改用PlainTextChunker來切 Chunk，
之前使用TextChunker要設定每行的最大 Token 數及每段的最大 Token。
而PlainTextChunker只需要設定每段的最大 Token 數就可以了，以下我們來看看要怎麼透過它來切 Chunks.

實作

1.加入Microsoft.KernelMemory Nuget 套件

2.呼叫SplitMethod，將文字傳入，並設定每段最大的 Token 數及 Overlap 的數量

using Microsoft.KernelMemory.AI;
using Microsoft.KernelMemory.Chunkers;

#pragma warning disable KMEXP00

var contents = """
... 要切 Chunk 的 文字內容 ...
""";

var tokenizer = new CL100KTokenizer();
var chunker = new PlainTextChunker(tokenizer);
var options = new PlainTextChunkerOptions
    {
        MaxTokensPerChunk = 50,
        Overlap = 0
    };
var sentences = chunker.Split(contents, options );
int i = 0;
foreach (var sentence in sentences)
{
    Console.WriteLine($" *** 第{++i}段 ======================");
    Console.WriteLine(sentence);
    //呼叫 Embedding Model API, 將段落轉成 Embedding ...
}

改用PlainTextChunker使用上簡單了許多。

參考資源

Kernel Memory