Semantic Kernel | 探索 Semantic Kernel ToolCallBehavior.EnableKernelFunctions

前言

在探索 Semantic Kernel 在客服 ChatBot 中的應用中，
提供一個Plugin並設定ToolCallBehavior.AutoInvokeKernelFunctions，
Semantic Kernel 就會自動依使用者意圖幫我們收集使用者的資訊並呼叫Plugin，
直到完成使用者的問題。為什麼它會如此聰明呢? 就讓我們深入了解一番 …

OpenAI Function calling 機制

OpenAI Function calling的功能，
可以判斷使用者的問題來決定是否要呼叫訊息中提供的Functions，例如，

{
    "model": "gpt-4",
    "messsages": [
        {
            "role": "user",
            "content": "今天日期是?"
        }
    ],
    "functions": [
        {
            "name": "Now",
            "description": "Get the current date and time in the local time zone"
        },
        {
            "name": "Today",
            "description": "Get the current date"
        }
    ]
}

如果需要呼叫某個Function則會回傳要呼叫該Function的內容(Function Name 及 參數)，例如，

{
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": null,
                "function_call": {
                    "name": "Today",
                    "arguments": []
                }
            },
            "finish_reason": "function_call"
        }
    ]
}

• 註:因為要 Call Function，所以 message 中的content的值為null

如果Function所需的參數沒在上述對話記錄中，Open AI 則會回問題跟使用者取得資料。
當我們收到 Open AI 需要我們呼叫Function的資訊，
我們的程式就去執行該Function並帶入參數，
取得結果後，將該結果加到對話記錄之中，
再讓 Open AI 判斷需要再執行別的Function或是將總結給使用者，例如，

{
    "model": "gpt-4",
    "messsages": [
        {
            "role": "user",
            "content": "今天日期是?"
        },
        {
            "role": "tool",
            "content": "Friday, 03 May 2024"
        },
        {
            "role": "user",
            "content": "Perform the next step of the plan if there is more work to do. When you have reached a final answer, summary the answer back to the user."
        }
    ],
    "functions": [
        {
            "name": "Now",
            "description": "Get the current date and time in the local time zone"
        },
        {
            "name": "Today",
            "description": "Get the current date"
        }
    ]
}

最後 OpenAI 判斷不需要再呼叫Function，就將結果回傳給使用者，例如，

{
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "今天的日期是2024年5月3日，星期五。"
            },
            "finish_reason": "stop"
        }
    ]
}

ToolCallBehavior.EnableKernelFunctions

以下我們設定ToolCallBehavior.EnableKernelFunctions來看OpenAI Function calling的過程，

1.建立 Semantic Kernel ，並載入TimePlugin Plugin

var chatDeploymentName = "aoai的 chat model，例如 gpt4-32k";
var endpoint = "aoai endpoint";
var apikey = "aoai apikey";
var kernelBuilder = Kernel.CreateBuilder();
kernelBuilder.Services.AddAzureOpenAIChatCompletion(
    chatDeploymentName,
    endpoint,
    apikey
);
builder.Plugins.AddFromType<TimePlugin>();
var kernel = kernelBuilder.Build();

2.設定對話流程
先將systemMessage寫到對話記錄之中，並依對話過程來加入ChatHistory chatMessages之中

IChatCompletionService chatCompletionService = kernel.GetRequiredService<IChatCompletionService>();
ChatHistory chatMessages = new("""
    Answer the questions as accurately as possible using the provided functions.
    Continue the conversation acting as the ASSISTANT.
    Respond to the USER by using available information and functions.
    Use zh-TW.
    """);
// Start the conversation
while (true)
{
    Console.Write("User > ");
    var userInput = System.Console.ReadLine()!;
    if (userInput == "exit")
    {
        break;
    }
    chatMessages.AddUserMessage(userInput);
    var result = await GetEndResult(chatMessages, kernel);
    Console.Write($"Assistant > ");
    Console.Write(result.Content);

    Console.WriteLine();
    chatMessages.AddAssistantMessage(result.Content);
}
Console.WriteLine("結束對話...");

3.處理 OpenAI 回傳的結果
設定ToolCallBehavior為ToolCallBehavior.EnableKernelFunctions，
取得 OpenAI 回傳的結果，來判斷需要呼叫Function與否，

private async Task<ChatMessageContent> GetEndResult(ChatHistory chatMessages, Kernel kernel)
{
    IChatCompletionService chatCompletionService = kernel.GetRequiredService<IChatCompletionService>();
    OpenAIPromptExecutionSettings openAIPromptExecutionSettings = new()
    {
        //啟用 Function-calling(半自動), AutoInvokeKernelFunctions 為全自動
        ToolCallBehavior = ToolCallBehavior.EnableKernelFunctions
    };

    var result = await chatCompletionService.GetChatMessageContentAsync(
        chatMessages,
        openAIPromptExecutionSettings,
        kernel: kernel);

    // Check functionCalls
    var functionCalls = (result as OpenAIChatMessageContent)!.GetOpenAIFunctionToolCalls();
    if (functionCalls != null && functionCalls.Any())
    {
        foreach (var functionCall in functionCalls)
        {
            KernelFunction pluginFunction;
            KernelArguments arguments;
            kernel.Plugins.TryGetFunctionAndArguments(functionCall, out pluginFunction, out arguments);
            var functionResult = await kernel.InvokeAsync(pluginFunction!, arguments);
            var jsonResponse = functionResult.GetValue<object>();
            var json = JsonSerializer.Serialize(jsonResponse);
            chatMessages.AddMessage(AuthorRole.Tool, json);
            Console.WriteLine($"Call Function:{functionCall.FunctionName}");
            Console.WriteLine($"Function Result:{json}");
            chatMessages.AddUserMessage("Perform the next step of the plan if there is more work to do. When you have reached a final answer, summary the answer back to the user.");
        }
        result = await GetEndResult(chatMessages, kernel);
    }
    return result;
}

每次呼叫完Function後，就將結果加入chatMessages(角色為:Tool)，
最後要加上讓 OpenAI 判斷還有無需要呼叫Function，
沒有的話，就將結果傳回給 OpenAI 進行總結，回覆給使用者。

測試結果如下，

• 註:以下為使用 SK 版本

Microsoft.SemanticKernel 1.6.3
Microsoft.KernelMemory.Core 0.35.240321.1

參考資源

OpenAI Function calling
探索 Semantic Kernel 在客服 ChatBot 中的應用

一爭二醜，一讓二有: 人與人之間，若能彼此謙讓，則雙方可以得益;遇事斤斤計較，則不僅雙方受到損失，更為別人製造機會。