透過 GPT-4o 解析 Captcha 圖片

前言

很多登入頁面為了防止機器人登入都有再加上 CAPTCHA 的機制。
有些 CAPTCHA 圖片只有數字，可以很容易透過GPT-4o來解析出裡面的數字。
以下就來測試GPT-4o的能力。

實作

以下使用 Azure OpenAI 的 GPT-4o 模型，

1.加入 Nuget 套件

Azure.AI.OpenAI
SkiaSharp

2.將圖片轉成 Base64，再給 GPT-4o 進行解析，

using Azure.AI.OpenAI;
using OpenAI.Chat;
using SkiaSharp;
using System.Diagnostics;

var endpoint = "你的aoai endpoint";
var deploymentName = "你的gpt4o的deploymentName";
var apikey = "你的apikey";

var imageFilePath = "要解析的Captcha 圖片檔路徑";

using SKBitmap originalBitmap = SKBitmap.Decode(imageFilePath);
using SKImage image = SKImage.FromBitmap(originalBitmap);
using SKData data = image.Encode(SKEncodedImageFormat.Jpeg, 100);
byte[] imageArray = data.ToArray();
string base64Image = Convert.ToBase64String(imageArray);

AzureOpenAIClient azureClient = new(new Uri(endpoint), apikey);
ChatClient chatClient = azureClient.GetChatClient(deploymentName);
//請依圖片格式進行調整
var imageMsg = new Uri($"data:image/jpg;" + $"base64,{base64Image}");
var prompt = new List<ChatMessageContentPart>(2) {
    ChatMessageContentPart.CreateTextMessageContentPart("請檢視這張圖片，並且只回傳圖片中的數字內容，不要包含空白。"),
    ChatMessageContentPart.CreateImageMessageContentPart(imageMsg) };
Stopwatch stopWatch = new Stopwatch();
stopWatch.Start();
ChatCompletion completion = chatClient.CompleteChat(
[
    new UserChatMessage(prompt)
]);
var result = completion.Content[0].Text;
Console.WriteLine($"[{completion.Role}: {result}]");
stopWatch.Stop();
TimeSpan ts = stopWatch.Elapsed;
string elapsedTime = String.Format("{0:00}:{1:00}:{2:00}.{3:00}",
    ts.Hours, ts.Minutes, ts.Seconds,
    ts.Milliseconds / 10);
Console.WriteLine("RunTime " + elapsedTime);

最後結果如下，

目前測試的結果都是正確的，處理時間大約是3 秒。

中文手寫辨識 效果也蠻好的哦 ~

參考資源

Getting an image description using OpenAI Large Language Models

一握之善行，優於七斛之學問 : 小小的善行，勝於高深的學問。要多做善事。