Semantic Kernel | Kernel Memory (KM) Service 與 MemoryWebClient

前言

在SK-Kernel Memory (KM) 初探透過 KernelMemoryBuilder 來建立 MemoryServerless，
讓我們將一些檔案進行讀取、切段、轉成 Embeddings，最後存到資料庫。
並可以讓我們詢問問題後，再取回答案。

Kernel Memory 可以讓我們啟動為一個 Web API 的服務，
這樣就有一個服務來專門來匯入資料，並提供問問題及回覆問題，
使用別的開發語言也可以使用它，例如 JavaScript, Java …
或是檔案太大的話，先上傳上去，不會 Block 使用的動作 …
以下就來看將 Kernel Memory 設定成 Service ，
並透過 MemoryWebClient 來操作它。

實作

Kernel Memory as a Service

設定 Kernel Memory Service

依 Kernel Memory as a Service 的說明，先從 Github kernel-memory 將程式下載下來。
開啟 Command 視窗，切到 /service/Service 目錄，執行 dotnet build 沒錯誤後，
再執行 dotnet run setup 來進行各項設定，
除了 Open AI or AOAI 外，先設定為 Memory 方式執行(Simple系列)，及使用 Azure OpenAI，
因為 Kernel Memory 會卡 Apikey，所以會讓我們設定 2 組 Apikey，可以輸入 GUID。
預設是 Development 環境，所以會建立 appsettings.Development.json，
內容如下，

{
    "KernelMemory": {
        "Service": {
            "RunWebService": true,
            "RunHandlers": true,
            "OpenApiEnabled": true
        },
        "ContentStorageType": "SimpleFileStorage",
        "TextGeneratorType": "AzureOpenAIText",
        "ServiceAuthorization": {
            "Enabled": true,
            "AuthenticationType": "APIKey",
            "HttpHeaderName": "Authorization",
            "AccessKey1": "9de9b81e-8ecb-45dd-b8ac-f18d3baa0a4f",
            "AccessKey2": "62ad1718-decb-46d8-ab4d-40fadf2f6833"
        },
        "DataIngestion": {
            "OrchestrationType": "Distributed",
            "DistributedOrchestration": {
                "QueueType": "SimpleQueues"
            },
            "EmbeddingGenerationEnabled": true,
            "EmbeddingGeneratorTypes": ["AzureOpenAIEmbedding"],
            "MemoryDbTypes": ["SimpleVectorDb"],
            "ImageOcrType": "None",
            "DefaultSteps": []
        },
        "Retrieval": {
            "MemoryDbType": "SimpleVectorDb",
            "EmbeddingGeneratorType": "AzureOpenAIEmbedding",
            "SearchClient": {
                "MaxAskPromptSize": -1,
                "MaxMatchesCount": 100,
                "AnswerTokens": 300,
                "EmptyAnswer": "INFO NOT FOUND"
            }
        },
        "Services": {
            "SimpleQueues": {
                "Directory": "_queues"
            },
            "SimpleFileStorage": {
                "Directory": "_files"
            },
            "AzureOpenAIEmbedding": {
                "APIType": "EmbeddingGeneration",
                "Auth": "ApiKey",
                "Endpoint": "AOAI的 Endpoint",
                "Deployment": "AOAI Embedding Model 部署名稱",
                "APIKey": "你的AOAI API Key"
            },
            "SimpleVectorDb": {
                "Directory": "_vectors"
            },
            "AzureOpenAIText": {
                "APIType": "ChatCompletion",
                "Auth": "ApiKey",
                "Endpoint": "AOAI的 Endpoint",
                "Deployment": "AOAI Chat Model 部署名稱",
                "APIKey": "你的AOAI API Key",
                "MaxRetries": 10
            }
        }
    },
    "Logging": {
        "LogLevel": {
            "Default": "Trace"
        }
    },
    "AllowedHosts": "*"
}

執行 Kernel Memory Service

設定好了之後，就可以執行 dotnet run 跑起來，

正常啟動後，可以連到 http://127.0.0.1:9001/swagger/index.html 查看有多少 API 可以使用。

透過 MemoryWebClient 操作

一樣在 VSCode 建立 ipynb 檔來測試，

1.上傳檔案建立個人知識庫
先將檔案透過 MemoryWebClient 呼叫 API 上傳上去，
這裡可以多設定 index名稱(index:"tooth")，並檢查是否上傳過。

#r "nuget:Microsoft.KernelMemory.WebClient, *-*"
using Microsoft.KernelMemory;
var serverApiKey = "9de9b81e-8ecb-45dd-b8ac-f18d3baa0a4f";
var memory = new MemoryWebClient("http://127.0.0.1:9001/", serverApiKey);
if (!await memory.IsDocumentReadyAsync(documentId: "tooth")){
    await memory.ImportDocumentAsync(new Document("tooth")
        .AddFiles(new [] {@"C:\OpenAI\docs\tooth\qa.docx"
        ,@"C:\OpenAI\docs\tooth\stdtable.docx"
        , @"C:\OpenAI\docs\tooth\terms.docx"})
        .AddTag("type","tooth")
        , index:"tooth");
    Console.WriteLine("檔案上傳完成~~");
}else{
    Console.WriteLine("檔案已上傳~~");
}

2.詢問問題
建立好知識庫後，就可以進行詢問，因為剛才有指定 index名稱，
所以在詢問問題時，也要給 index名稱

var answer = await memory.AskAsync("請問洗牙有什麼規定", index:"tooth");
Console.WriteLine($"\nAnswer: {answer.Result}");
Console.WriteLine($" ====== 參考資訊 ======");
foreach (var x in answer.RelevantSources)
{
    Console.WriteLine(x.SourceUrl != null
        ? $"  - {x.SourceUrl} [{x.Partitions.First().LastUpdate:D}]"
        : $"  - {x.SourceName}  - {x.Link} [{x.Partitions.First().LastUpdate:D}]");
}
answer

結果如下，

參考資源

kernel-memory
Kernel Memory as a Service
Kernel Memory 入门系列：Kernel Memory Service