可裝進 iPhone 的 27B 模型：把 AI 做小才是務實解

本週麻省理工科技評論報導，一個名為 Bonsai 的 27B 全開放推理模型，竟然能裝進 iPhone 裡跑。同一週，Liquid AI、Cohere 接連開源小模型，Hugging Face 執行長高喊開源比以往更重要，連 Meta、Microsoft 都傳出勒緊 AI 預算。這些訊號拼起來指向同一件事：AI 的競賽正從「誰的模型最大」，悄悄轉向「誰用最小的代價把事情做好」。

小到能裝進口袋

過去要用上有點水準的推理能力，往往得連上雲端的超大模型。Bonsai 把 27B 塞進一支手機、Grok 4.5 用遠低於旗艦的價格逼近旗艦效能，這些不是特例，而是一個明確拐點：對多數實際任務來說，模型大小早就過了「越大越好」的甜蜜點。這件事對有資料顧慮的機構特別關鍵，因為它意味著「把能力搬回自己機房」不再是效能上的犧牲。我們在政府與醫療機房實際部署的經驗是，真正卡住決策者的從來不是模型不夠大，而是資料一旦上雲就收不回來的控制權。

路由比參數更重要

模型變小之後，真正的功夫在怎麼組合。務實的作法是「地端小模型＋多模型路由」，用跑得動的小模型處理八成例行工作，再依情境把少數複雜任務路由到更強的模型。好處很具體：成本可控、每個模型職責清楚容易維護、每一步都留得下稽核軌跡，斷網或雲端當機時內部作業也不停擺。對醫院、法院這類「網路未必穩、資料絕不能外流」的場域，這種韌性不是加分，是底線。這一波開源小模型密集釋出，剛好把這條路的門檻大幅拉低。

主權從機房長出來

這不只是國外的技術風向。台灣法務部正在推進三層平台架構、預計年底成型，把 AI 能力建在自己掌握的機房裡，正是「資料掌控＋運作韌性」落地的在地例證。主權 AI 不是一句口號，也不必靠最大的模型堆出來，它是從「資料放在哪、由誰決定升級、斷網還跑不跑得動」這些具體選擇裡長出來的。當一個 27B 模型都能裝進口袋，還在盲目追逐參數競賽的機構，該重新算一次這筆帳了。