— 主題文章 —

#LLM

找到 8 則相關內容

城市便條

學習筆記2026/10/03

LLM 越強，人的工作越往監督與理解移動；把輸出改成圖表、網頁或解說影片，可以縮短消化 Agent 成果的時間。

技術筆記2026/09/25

Prefill 是幫模型先寫好答案的開頭，不是讓它更懂你的判斷規則；碰到有 reasoning 機制的模型，塞了反而可能干擾生成。

技術筆記2026/09/18

模型看起來每秒輸出 888 個字，問題卻出在計時分母只算開口後的 0.8 秒，分子則包含先前 32 秒的思考內容。

技術筆記2026/09/15

用《全面啟動》的任務流程記 RAGAS：Context Precision 與 Recall 看情報找得準不準、齊不齊，Faithfulness 與 Answer Relevancy 看有沒有亂講、有沒有答到問題。

技術筆記2026/09/08

模型跑出 95% 準確率，不代表實驗已經做對；一個能支持決策的結果，必須可信、可除錯、可重現，也可比較。

技術筆記2026/09/05

JSON Prefill 讓速度提升約 8–10 倍，規則遵循與轉錄正確率卻下降；工程選擇不能只看延遲。

技術筆記2026/09/03

MUSE Glimmer 的 JSON Prefill 實驗讓延遲大降，正確率卻跟著下降；模型選型不能只看能不能跑，還要看任務是否適合。

AI Factory · 9 min read

MUSE 的 JSON Prefill 曾讓推論快 8–10 倍，欄位正確率卻從 81.2% 降到 72.9%。這次 LLM 模型選型實驗讓我學到：該放棄的不是模型，而是會犧牲任務核心能力的設定。