技術筆記
技術筆記 #006｜模型快 8–10 倍，為什麼我還是不用？
MUSE 加上 JSON Prefill 後速度大幅提升，欄位正確率卻從 81.2% 降到 72.9%；真正要問的是，退步的是否為產品不能失去的能力。
— 主題文章 —
#模型選型
找到 3 則相關內容
城市便條
技術筆記
技術筆記 #002｜用新模型前先讀 Model Card，也要懂得適時放棄
MUSE Glimmer 的 JSON Prefill 實驗讓延遲大降，正確率卻跟著下降；模型選型不能只看能不能跑，還要看任務是否適合。
文章
AI Factory · 9 min read
LLM 模型選型怎麼做？快 8–10 倍，為什麼我們還是放棄了這個設定
MUSE 的 JSON Prefill 曾讓推論快 8–10 倍，欄位正確率卻從 81.2% 降到 72.9%。這次 LLM 模型選型實驗讓我學到：該放棄的不是模型，而是會犧牲任務核心能力的設定。