技術筆記 #017｜大雜燴：Opus 5.5 初體驗，以及 LLM Prefill 到底是什麼？

強迫自己每天輸出且（儘量）不用 AI 寫文章 Day026

今天兩個完全不同的心得，乾脆煮成一鍋大雜燴 🤣

Opus 5.5 初體驗

真的太令人驚艷了。不但速度明顯變快，而且不再寫那些中文字分開都看得懂、但合起來就看不懂的晶晶體。

終於不用皺著眉頭看它寫出來的東西，反而很像在跟一個非常有智慧、又很有耐心的人對話，非常感動 🥲（如果他的智力能移植一點到我腦袋該有多好 🤣）

只希望之後不要因為我們這些 token 遊牧民族大量湧入，又開始降智。

Prefill 到底在幹嘛

前幾天我拿 MUSE Prefill 測一個超級簡單的判斷任務，本來想說：既然我都幫你把回答格式開好頭了，你應該會更乖吧？

結果完全相反。判斷結果很爛，連最基本的指令遵循都開始亂掉，例如把規則寫進回覆裡，降智到完全不像一個 30B 的模型。

後來才發現，我一開始就把 Prefill 的用途想歪了。我一心只想加快它的回覆速度，卻忘記 Prefill 比較像是「我已經幫你寫好答案的前幾個字，你從這裡繼續寫」。

例如我要模型固定輸出 JSON {"result": ...}，就可以先 Prefill：

{"result":

讓模型直接從後面接。

所以它很適合固定格式、固定開頭、續寫這類需求，但不代表模型會因此更懂你的判斷規則。我現在會把它記成一句：

Prompt 是告訴模型怎麼做題；Prefill 是幫模型先寫答案的開頭。

尤其碰到本身有 reasoning 機制的模型，更不能預設塞了 Prefill 就一定會更穩，有時反而會干擾原本的生成流程。

又是一個「看文件好像懂了，真的拿去跑才發現完全不是那回事」的功能 🤣

大家有遇過哪些也是實際測了，才發現跟自己原本理解完全不同的 LLM 參數或功能嗎？