技術筆記 #005｜一個 LLM 實驗，怎樣才算做完？

強迫自己每天輸出且不用 AI 寫文章 Day012

做了幾輪 LLM 實驗後，我開始發現：模型跑出 95% 的準確率，不代表這個實驗做對了。

如果測試資料嚴重不平均、Metric 選錯，甚至連當時的 Prompt、Output 都沒留下，那這個 95% 可能只是一個漂亮、但沒辦法幫助決策的數字。

所以現在跑實驗前，我會先檢查幾件事：

1. 目標：多少才算通過？什麼結果會讓我採用或放棄？
2. 資料：各類型是否平均？有沒有某類資料特別多，把整體分數拉高？資料數量是否過少，導致偶發錯誤拉低分數？
3. Metric：這個指標真的有回答我要解決的問題嗎？計算項目是單類別或多類別？計算方式不同，一旦弄錯，實驗就等於白做。
4. 可除錯：Input、Output、Ground Truth、Error Log 有沒有留下？同時也要區分低分是因為模型真的出錯，還是輸出格式、甚至推論服務出了問題。
5. 可重現：Dataset、Prompt、Model、Config、Code Version 有沒有保存？
6. 推論效能：除了準確率，也留下 Prompt／Completion／Total Tokens 與 Latency。
7. 可視化（選填）：除了 Aggregate Score，能不能直接看到錯誤集中在哪？

一個實驗真正重要的，可能不是「我跑出幾分？」而是「這個數字可信嗎？它能不能幫我做下一個決策？」