透過 GPT-4o/Azure OCR 解析 手寫發票 圖片

前言

在前一章透過 GPT-4o 解析 Captcha 圖片，
GPT-4o 可以輕易解析出台灣大多數銀行登入的Captcha 圖片，
那接下來試看看解析手寫發票來看看狀況如下

實作

程式碼跟透過 GPT-4o 解析 Captcha 圖片一樣，
只是這裡的圖片來源我們改用網路上的圖片來測試，
分別是如何開發票（手開發票）及
開始賣東西了，發票怎麼開，好難喔~
程式如下，

using Azure.AI.OpenAI;
using OpenAI.Chat;
using SkiaSharp;
using System.Diagnostics;

var endpoint = "你的aoai endpoint";
var deploymentName = "你的gpt4o的deploymentName";
var apikey = "你的apikey";


AzureOpenAIClient azureClient = new(new Uri(endpoint), apikey);
ChatClient chatClient = azureClient.GetChatClient(deploymentName);
//請依圖片格式進行調整
var imgUri = new Uri(@"https://www.hway.tw/images/3INVOICE.jpg");
var input = """
請解析發票圖片，取出裡面的內容，
請僅輸出以下發票文本的 JSON 格式內容，不要包含其他文字或解釋，
例如，

{
"Id":"RY33724453",
"買受人":"叡揚資訊股份有限公司",
"統一編號":"22425662",
"日期":"2023/09/28",
"項目":[
{
"品名":"Asus筆電",
"數量":1,
"單價":35000,
"金額":35000
}
],
"稅別":"應稅",
"營業稅":1750,
"總計":"36750",
"備註":"112.09"
}

""";
var prompt = new List<ChatMessageContentPart>(2) {
    ChatMessageContentPart.CreateTextMessageContentPart(input),
    ChatMessageContentPart.CreateImageMessageContentPart(imgUri) };
Stopwatch stopWatch = new Stopwatch();
stopWatch.Start();
ChatCompletion completion = chatClient.CompleteChat(
[
    new UserChatMessage(prompt)
]);
var result = completion.Content[0].Text;
Console.WriteLine($"[{completion.Role}: {result}]");
stopWatch.Stop();
TimeSpan ts = stopWatch.Elapsed;
string elapsedTime = String.Format("{0:00}:{1:00}:{2:00}.{3:00}",
    ts.Hours, ts.Minutes, ts.Seconds,
    ts.Milliseconds / 10);
Console.WriteLine("RunTime " + elapsedTime);

執行結果如下，

• 註:圖片來自 如何開發票（手開發票）

• 註:圖片來自 開始賣東西了，發票怎麼開，好難喔~

目前測試起來，處理每張圖大約是6~7 秒，
手寫解析方面還是不是很精確。

Azure OCR

使用 Vision Studio 的 Extract text from images 來處理辨識中文字效果還蠻好的，而且速度還蠻快的哦~，如下，

參考資源

開始賣東西了，發票怎麼開，好難喔~
如何開發票（手開發票）
透過 GPT-4o 解析 Captcha 圖片
Azure OCR
Vision Studio 的 Extract text from images