AI Factory · 9 min read
LLM 模型選型怎麼做?快 8–10 倍,為什麼我們還是放棄了這個設定
MUSE 的 JSON Prefill 曾讓推論快 8–10 倍,欄位正確率卻從 81.2% 降到 72.9%。這次 LLM 模型選型實驗讓我學到:該放棄的不是模型,而是會犧牲任務核心能力的設定。
MUSE 的 JSON Prefill 曾讓推論快 8–10 倍,欄位正確率卻從 81.2% 降到 72.9%。這次 LLM 模型選型實驗讓我學到:該放棄的不是模型,而是會犧牲任務核心能力的設定。