地端小模型的經濟學：資料不出機房，成本反而更低

企業級 AI 正在浮現一個越來越清楚的共識：不必、也不該一律押在最大的雲端模型上。對「資料不能上雲」的單位來說，這其實是好消息，因為這一次，省錢和資料自主站在同一邊。

成本的真相

先拆解一個常見的誤會。很多人以為把 AI 搬回自己機房是為了安全，代價是多花錢。實際的帳不是這樣算的：一顆 70 億參數的小模型（SLM）跑同樣的日常任務，成本可以比動輒上千億參數的大模型低上 10 到 30 倍，GPU、電力、頻寬加起來，省下的幅度上看七成。

架構才是關鍵

關鍵在架構，而不是硬拚模型大小。目前業界務實的做法叫「多模型路由」：把八成左右的例行工作，例如內部問答、文件整理、公文初稿，交給跑在本地的小模型；只有真正需要複雜推理的那兩成，才升級到更強的模型。用一家醫院的實際情境來算，邊緣端小模型每月約兩千美元，對比純上雲的四萬美元，差了二十倍。

省錢與主權同一邊

對資料敏感的單位，這套架構同時解決兩件事。第一是主權：資料留在自己機房、不進雲端商的黑盒子，也不必把營運韌性押在單一供應商身上；一旦對方漲價、變更政策或斷線，你不會被綁死。第二是成本：小模型省下的錢，讓「地端」從一筆看似昂貴的投資，變成長期反而划算的選擇。

我們的立場一向是：與其追逐最大的模型，不如把「地端小模型加多模型路由」這套組合做扎實。它不炫，但對政府、醫療、金融、製造這些不能拿資料冒險的單位，這才是真正跑得久、算得清、也守得住的解法。