Semantic Kernel | 打造 AI 面試官

前言

大家常常會向 ChatGPT 詢問程式相關的解答，所以反過來，也可以讓 ChatGPT 來詢問我們一些問題，
用以評量我們對於許多主題的熟悉程度，相當於是一個 AI 面試官。
以下介紹，透過設定 System message 的方式，來讓 ChatGPT 變成一位 AI 面試官。

實作

一開始設定 System message告訴 ChatGPT 擔任 ASP.NET Core 的面試官，
會出問題，並針對面試者的答案判斷正確與否並給評價/評分。

面試完成後，詢問 ChatGPT 來做綜合評論及評分。程式如下，

var chatDeploymentName = "gpt4 or gpt4-o";
var endpoint = "aoai endpoint";
var apikey = "apikey";

var builder = Kernel.CreateBuilder()
            .AddAzureOpenAIChatCompletion(chatDeploymentName, endpoint, apikey);
var kernel = builder.Build();
IChatCompletionService chatCompletionService = kernel.GetRequiredService<IChatCompletionService>();
//設定面試題目
var questionCount = 2;
//給ChatGPT 設定角色
ChatHistory chatMessages = new($@"
你是一個AI面試官，專門針對 ASP.NET Core 技術進行面試，以zh-TW進行。你的任務是提出相關問題，接收應徵者的回答，並評估他們的答案是否正確，給出專業評論。請按照以下指示進行面試。

1. 你的問題應涵蓋以下所有 ASP.NET Core 重要的主題，每次面試時隨機選擇和排列問題

2. 總共{questionCount}個題目

3. 在應徵者回答後，你需要：
    - 比較應徵者的答案與標準答案
    - 給出是否正確的評價
    - 如果回答錯誤，提供正確答案並解釋正確答案的原因
    - 如果題目不是最後一題，就再提出下個問題

4. 評分標準：
    - 每個問題的答案完全正確，給予10分
    - 部分正確的答案，根據回答的完整度和準確性給予1至8分：
        - 完整且大部分正確，給予8分
        - 大部分正確，但有一些小錯誤或遺漏，給予6至7分
        - 部分正確，但有顯著錯誤或缺失，給予4至5分
        - 有些正確點，但大部分錯誤或遺漏，給予2至3分
        - 少部分正確點，但整體錯誤，給予1分
    - 每個問題的答案完全錯誤，給予0分
    - 綜合評分將基於{questionCount}個問題的總得分進行換算（例如：回答全部正確為100分）

5. 在每個題目後，只提供正確答案。


### 問題範例輸出如下：

問題1.ASP.NET Core 如何實現依賴注入 (Dependency Injection)?

問題2.請解釋 ASP.NET Core 中的中介軟體 (Middleware) 是什麼，以及它在請求處理管道中的作用。

請根據這些範例設計問題並進行面試。確保你的評價是清楚且具體的，幫助應徵者理解他們的答案的正確與否以及原因。
");

Console.WriteLine("請輸入您的名稱後開始進行面試，輸入 exit 就結束對話。");
Console.WriteLine(new string('*', 100));
OpenAIPromptExecutionSettings openAIPromptExecutionSettings = new()
{
    ToolCallBehavior = ToolCallBehavior.AutoInvokeKernelFunctions,
    Temperature = 0.7
};
Console.ForegroundColor = ConsoleColor.Yellow;
Console.Write("User > ");
var userInput = System.Console.ReadLine()!;
var qIdx = 0;
if (!string.IsNullOrWhiteSpace(userInput) && userInput.ToLower() != "exit")
{
    chatMessages.AddUserMessage($"面試者姓名:{userInput}，請開始出題。");
    while (true)
    {
        qIdx++; //計算面試題目
        var result = chatCompletionService.GetStreamingChatMessageContentsAsync(
            chatMessages,
            executionSettings: openAIPromptExecutionSettings,
            kernel: kernel);
        string fullMessage = "";
        Console.WriteLine(new string('*', 100));
        Console.ForegroundColor = ConsoleColor.DarkGreen;
        await foreach (var content in result)
        {
            Console.Write(content.Content);
            fullMessage += content.Content;
        }

        Console.WriteLine();
        //已完成面試
        if (qIdx > questionCount) break;
        //評論與問題
        chatMessages.AddAssistantMessage(fullMessage);
        Console.ForegroundColor = ConsoleColor.Yellow;
        Console.Write("User > ");
        userInput = System.Console.ReadLine()!;
        chatMessages.AddUserMessage($"{userInput}");

    }
    //最後取得整體的專業評論
    chatMessages.AddUserMessage("請根據以上的面試的結果，給出整體的專業評論及分數(0~100分)，不需針對每個題目評論及標準答案。");

    var finallResult = chatCompletionService.GetStreamingChatMessageContentsAsync(
            chatMessages,
            executionSettings: openAIPromptExecutionSettings,
            kernel: kernel);
    Console.WriteLine(new string('*', 100));
    Console.ForegroundColor = ConsoleColor.DarkGreen;
    await foreach (var content in finallResult)
    {
        Console.Write(content.Content);
    }
    Console.WriteLine();
}

Console.ForegroundColor = ConsoleColor.DarkRed;
Console.WriteLine("結束對話...");

所以一開始輸入名字後，GPT 就會開始顯示問題，面試者回答後，就會給出評價，

面試結束後，給出整體的專業評論及分數

以上就是透過 System Message 來讓 GPT 成為 AI 面試官，
大家可以調整 System Message 來符合想要的 AI 面試官。

• 註: 以上的 System message 目前在 GPT-4/GPT-4o 測試過。
• 註: 建議使用 GPT4-o，價格比 GPT4 便宜，速度比較快

一馬不行百馬憂: 比喻一個團體，領導者不得其正，則屬下人等，都會受到影響。