技術筆記 #016｜模型不準，先別急著 Fine-tuning

強迫自己每天輸出且（儘量）不用 AI 寫文章 Day025

做了幾個案子後，我發現自己現在碰到模型不準，已經不太會第一時間想著換模型或 Fine-tuning 了。

反而會先把錯誤資料攤開來看：這些資料有沒有什麼共通點？

文件辨識就是一個蠻典型的例子。實際上使用者上傳的並不是網路上隨機的一張圖片，而是有限種類的文件，欄位、版型、需要判斷的位置，通常都有一定規律。

撇除上傳錯檔、嚴重模糊、旋轉裁切等異常情況後，只要先搞清楚「我要的資料到底有哪些」，很多規律其實是找得出來的。

找到之後，再決定怎麼處理：

• 有些可以在前處理先清掉
• 有些可以直接裁 ROI，只讓模型看需要看的地方
• 有些規律寫進 Prompt 就能解
• 真的剩下模型怎麼樣都分不出來的，再考慮 Fine-tuning

我自己做下來，反而不少問題還沒走到 Fine-tuning，就已經可以達到上線標準了。

所以現在看到模型準確率不夠，我不會只問「模型還能怎麼調？」我會多問一個：

這些錯誤裡，有沒有什麼規律是我還沒利用到的？

大家在做 AI 功能時，通常會先改 Prompt、換模型，還是直接看錯誤資料找規律？