— 主題文章 —

#模型評估

找到 8 則相關內容

城市便條

技術筆記2026/09/25

Prefill 是幫模型先寫好答案的開頭，不是讓它更懂你的判斷規則；碰到有 reasoning 機制的模型，塞了反而可能干擾生成。

技術筆記2026/09/19

兩種方法都關心選項的機率分布；一種把生成式 LLM 拿來當評審，另一種從一開始就朝決策模型設計。

技術筆記2026/09/15

用《全面啟動》的任務流程記 RAGAS：Context Precision 與 Recall 看情報找得準不準、齊不齊，Faithfulness 與 Answer Relevancy 看有沒有亂講、有沒有答到問題。

技術筆記2026/09/08

模型跑出 95% 準確率，不代表實驗已經做對；一個能支持決策的結果，必須可信、可除錯、可重現，也可比較。

技術筆記2026/09/05

JSON Prefill 讓速度提升約 8–10 倍，規則遵循與轉錄正確率卻下降；工程選擇不能只看延遲。

技術筆記2026/09/02

模型能力快速進步，但人仍要定義戰場、拆解任務、設定邊界，並判斷這場仗到底有沒有打贏。

AI Factory · 10 min read

一次內部評估裡，系統表現明顯改善；但同時改了多個地方的 before／after，不能直接說明因果。這是我如何用 2×2 消融，重新看待 Prompt 改版的方法。

AI Factory · 9 min read

MUSE 的 JSON Prefill 曾讓推論快 8–10 倍，欄位正確率卻從 81.2% 降到 72.9%。這次 LLM 模型選型實驗讓我學到：該放棄的不是模型，而是會犧牲任務核心能力的設定。