前言
最近在團隊裡推動使用 AI 來輔助建立系統的 UI 自動化測試(以 Playwright 為主)。原本我的設計思路很單純:
先請同仁手動透過
playwright codegen走通一次系統核心功能,確認腳本能順利跑完一遍後,再把這份基準腳本連同系統原始碼交給 AI,請 AI 協助擴充各種變異測試、邊界條件與例外情境,讓測試覆蓋率更完整。
這個做法的邏輯很清楚,人負責給出確定性的軌跡與系統上下文,AI 負責放大測試的廣度與變化。
然而實際執行時,同仁並不想花時間先跑手動錄製,而是直接用口語的方式下Prompt,調整 Prompt,讓 AI 自己去看網頁內容、自己猜欄位與操作順序,試圖直接生成 Playwright 測試腳本。結果就這樣來回試了將近一個月,不僅消耗了大量時間與 Token,連一條穩定可執行的 UI 測試都還沒生出來。
這次的經驗讓我深刻體會到,AI 很強,但當我們因為有了 AI,就把原本該給的資料、該寫的測試計畫全都省掉,期望 AI 什麼都能「通靈」猜出來時,最後往往只會浪費更多的金錢與時間。
為什麼「只靠口述叫 AI 自己看網頁猜」容易失敗?
許多人在剛接觸 AI Agent 時,容易產生一種錯覺,讓 AI 自己打開瀏覽器看畫面,它就能像真人 QA 一樣測完所有功能。但在真實過程中,它會遇到許許多的困難:
只靠猜測,成本與時間呈指數放大
讓 Browser Agent 一步步抓取網頁快照(Snapshot)或截圖來摸索系統,每多一步探索,上下文的 Token 就會不斷疊加。面對權限控管、動態表單、非同步載入或隱藏狀態,AI 很容易在錯誤的分支裡反覆打轉。問題往往不在模型不夠聰明,而在於我們沒有給它足夠的上下文(Context)。沒有系統與規格輸入,AI 只能測「表面」
就算 AI 運氣好點通了畫面,沒有前後端驗證邏輯與業務規則,它也只能寫出「頁面有跳轉、按鈕有出現」的表面斷言,根本不知道什麼情況該擋下、什麼資料才算業務上的成功。「剛好跑過一次」不等於「能用的測試」
缺乏結構化資訊產出的腳本,最常出現脆弱的 CSS/XPath 選擇器、隨處亂塞的固定等待(waitForTimeout),以及沒有隔離的測試資料。這類腳本一旦放進 CI/CD,後續的維護成本,遠比當初手寫還要高。
AI 時代更不能忘記的傳統基本功:先有測試計畫與案例清單
回頭檢視卡關的根本原因,其實不在於技術工具,而在於工程順序被顛倒了。
過去沒有 AI 時,我們做測試一定會先寫「測試計畫」與「測試案例清單(Test Cases)」——先定義清楚要測哪些功能、前置條件是什麼、輸入什麼資料、預期結果為何,最後才動手寫腳本。但現在有了 AI,很容易讓人產生「跳過分析、直接產碼」的衝動。
AI 改變的是產出程式碼的速度,而不是工程思考的順序。AI 可以幫你寫測試腳本,但不能替你定義什麼叫做「正確」。
沒有測試案例清單,AI 就不知道「什麼叫做測完」。與其花兩週用零碎的口語 Prompt 跟 AI 盲測,不如回到測試工程的本質,先定出測試案例清單,再讓 AI 照表操課。
務實折衷的落地策略:70/30 分層與最小必要輸入
實務上,如果團隊不希望每次都從頭到尾錄製完整的 codegen 腳本,有沒有既省力、又能讓 AI 精準產出的方法?
答案是肯定的,但前提是我們必須把「錄製省下來的資訊」用其他方式補齊,並且針對一般標準元件與特殊複雜控制項採取分層處理:
標準流程(約 70% 場景):用結構化規格餵飽 AI
對於一般的表單填寫、CRUD 與頁面跳轉,不一定要錄完整支腳本,但至少要提供 AI 四項基本資料:
操作步驟清單:明確写出操作順序、按鈕與欄位名稱。
前置條件與環境狀態:起始路由、測試帳號角色權限,以及事前必須存在的資料狀態。
相關前後端/驗證程式碼:讓 AI 看見必填、字數上限、格式與狀態機限制,才能寫出有意義的邊界與負向測試。
明確的預期結果(Expected Results):告訴 AI 畫面提示、狀態變化或 API 回應要長什麼樣,作為 expect() 斷言的依據。複雜畫面與特殊控制項(約 30% 場景):局部錄製定錨
真實系統裡總有幾個特別難纏的介面:自訂下拉選單(Autocomplete / Combobox)、跨月日期挑選器、富文字編輯器、巢狀表格,或是多層疊加的 Modal。
這些非原生控制項光靠文字描述與程式碼,AI 依然很容易抓錯 DOM 或點不到浮層。這時最有效率的做法是「局部定錨」——只針對基本共用流程(如登入)與這幾個特殊元件,用codegen錄製一小段操作範例(或貼出展開後的 DOM 片段)給 AI 參考。有了真實的定位器範本,AI 就能準確理解該如何與這些特殊元件互動。
建議的團隊 AI UI 測試標準作業流程(SOP)
結合上述方式,可以進行以下的流程:
- 骨架定錨(人+工具)
整理測試範圍、操作步驟與預期結果;針對系統共用前置操作(如登入)與複雜/特殊控制項,錄製最小必要的codegen片段作為定位基準。 - 生成測試案例清單(AI 協作)
將步驟說明、局部錄製範本、相關程式碼與驗證規則交給 AI,要求 AI 先產出結構化的「測試案例清單」(涵蓋正常流程、邊界值、例外錯誤與權限情境),先不要急著寫程式。 - 人工 Review 案例清單(人把關)
工程師快速審閱這份清單,刪除無意義的測試、補充 AI 沒想到的業務死角,確認「測什麼」與「怎麼算通過」。 - 生成與驗證腳本(AI 產出+人驗收)
清單確認後,請 AI 依據清單產出 Playwright 測試程式(要求使用語意化定位器、做好測試資料隔離),最後在本地連續執行多次確認穩定性,再合併進版控。
結語
AI 是一個極佳的放大器,當你有清晰的測試計畫、明確的規格與基準範例時,它能幫你把 1 份測試放大成 10 份高品質的邊界與變異測試;但當你什麼資料都不給、只想靠口語碰運氣時,它放大的只會是混亂與重工的成本。
工具越強大,越考驗工程師定義問題與拆解脈絡的能力。導入 AI 輔助測試時,別忘了先把傳統測試的基本功帶回來:先有測試計畫與案例清單,再讓 AI 替你衝刺。
參考資源
AI Agents for Web Testing: A Case Study in the Wild
Playwright Best Practices: 14 Rules for Stable Tests (2026)
Best Practices: Generate Automation Test Code with AI
Playwright Best Practices