技術筆記 #002｜用新模型前先讀 Model Card，也要懂得適時放棄

強迫自己每天輸出且不用 AI 寫文章 Day007

今天測試 Meta 的 MUSE Glimmer，得到兩個提醒：事前要蒐集資訊，也要懂得適時放棄。

結論先行：今天我學會了

1. 用新模型前要先查資料，或至少讀一下 Model Card，不要直接把 Hugging Face 連結丟給 Agent 就完事。
2. 要認清模型主打的能力，不要沒苦硬吃。它明明主打理解與推理，卻硬要拿來追求最低延遲的固定任務執行；硬做不是不行，但 Agentic Reasoning 可能反而成為額外計算成本。

實測過程

MUSE Glimmer 是 MUSE Spark 的開源輕量版。第一次實測，每一份文件要跑 50 秒以上；同樣的文件，Gemma 4 26B 只要約 2 秒。

根據以前的經驗，我以為是沒有關閉思考模式。於是嘗試在 POST Request 多帶 "reasoning_effort": "none"，結果還是一樣。後來才發現：它根本不接受思考模式開關，只能用參數柔性勸導它少想一點。

我又嘗試在 Request Message 加入一欄 Assistant，內容放 JSON 的開頭片段，並開啟 Continue Final Message，強迫 MUSE 不要自言自語，直接從 JSON 格式開始輸出。

• 成功的部分：同一份文件的耗時確實降低八成，從約 50 秒降到約 9 秒。
• 失敗的部分：正確率從約 90% 降到 80%，在這個場景中完全不能用。

結論

用之前先查資料，不要沒苦硬吃：）

而且這個模型真的很特別。部署時如果直接使用本機 vLLM Image，輸出會出現亂碼；改用官方 Image 才能解決。

它適合需要理解與推理的文件分析，不一定適合追求最低延遲的固定欄位抽取。硬要做也可以，只是 Agentic Reasoning 能力可能反而變成額外計算成本。