技術筆記
技術筆記 #006｜模型快 8–10 倍，為什麼我還是不用？
MUSE 加上 JSON Prefill 後速度大幅提升，欄位正確率卻從 81.2% 降到 72.9%；真正要問的是，退步的是否為產品不能失去的能力。
— 主題文章 —
#JSON-Prefill
找到 3 則相關內容
城市便條
技術筆記
技術筆記 #004｜台詞都寫好了，AI 為什麼還會演錯？
JSON Prefill 讓速度提升約 8–10 倍，規則遵循與轉錄正確率卻下降；工程選擇不能只看延遲。
文章
AI Factory · 9 min read
LLM 模型選型怎麼做？快 8–10 倍，為什麼我們還是放棄了這個設定
MUSE 的 JSON Prefill 曾讓推論快 8–10 倍，欄位正確率卻從 81.2% 降到 72.9%。這次 LLM 模型選型實驗讓我學到：該放棄的不是模型，而是會犧牲任務核心能力的設定。