技術筆記 #006｜模型快 8–10 倍，為什麼我還是不用？

強迫自己每天輸出 Day013

我曾把一個 LLM 流程加速 8–10 倍，結果最後主動放棄了這個設定。

不是因為它不夠快，而是它省掉的不只是等待時間。

MUSE 加上 JSON Prefill 後，Token 少了約 90–93%，速度真的飛起來；但欄位正確率也從 81.2% 掉到 72.9%。

更需要注意的是，錯誤沒有平均散落在小地方，而是集中在全文掃描、來源範圍判斷、期間和文字裁切。模型不是偶爾看錯，而是更常提早作答。

真正要比較的不是一個平均數

所以問題從來不是：「快 8–10 倍，值不值得換 8.3 個百分點？」

而是：那 8.3 個百分點，犧牲的是不是產品不能失去的能力？

如果只是標點或低風險格式，也許還能修；但如果模型開始漏掃全文、忽略欄位來源範圍，那就不是多寫一條 Prompt 就能安心解決的問題。

如果退步的是可局部修補的輸出，就繼續優化；如果退步的是模型完成任務的方法，就停止該設定，換模型或換 Pipeline。

放棄一個設定，不等於停止實驗

放棄 MUSE Prefill，不等於放棄 MUSE，更不等於停止實驗。

後來我們繼續比較 MUSE、Gemma + OCR、Qwen 3.8 等不同路線，才發現模型選型根本不是排行榜。要放在一起看的還有：

• 欄位正確率與高風險欄位
• 文件成功率、Retry、Fallback
• p50／p95 延遲
• 每 100 份需要人工修改幾份、幾格

JSON 合法只是最低條件。真正的問題是：它能不能減少人工，而且能不能安心上線？

我把這次踩坑整理成一篇完整記錄，也列出「一個 LLM 實驗怎樣才算做完」的七項檢查表。希望它能幫同樣在做模型選型的人，少花一點時間才發現模型根本沒有完成真正的任務。