NVIDIA Vera Rubin NVL72 導入指南：產品介紹、部署規劃與管理建議

2026 年下半年，NVIDIA 的新一代 AI 機櫃 Vera Rubin NVL72 開始出貨。不少單位正在評估要不要導入，問題也都很像：它跟上一代差在哪？機房要準備什麼？買回來要用什麼軟體管？

這篇把導入會遇到的事，依照「認識產品 → 準備機房 → 分階段上線 → 日常管理」的順序整理一次。

產品介紹：一整座機櫃，就是一台 AI 電腦

一般的 AI 伺服器，是一台機器裡裝 4 到 8 張 GPU，再用網路把很多台串起來。

Vera Rubin NVL72 的做法不一樣。它把 72 顆 GPU 和 36 顆 CPU 放進同一座機櫃，彼此用高速通道緊密相連。整座機櫃可以當成一台超大的 AI 電腦來用。大型模型不必拆散到很多台機器上，等待彼此傳資料的時間就少很多。

NVIDIA 官方公布的幾個重點：

• 訓練：訓練同一類大型模型，需要的 GPU 數量約是上一代的四分之一。
• 推論：推理型 AI 處理同樣多文字的成本，約是上一代的十分之一。
• 單座記憶體：GPU 記憶體合計約 20.7 TB，大型模型可以整個放進來。

這些是原廠數據，實際表現會因模型和使用方式而不同，但方向很清楚：同樣的電，能做更多 AI 的工作。

部署前：機房要先準備的三件事

這一代機櫃對機房的要求，跟傳統伺服器完全不同級別。機房沒準備好，機器到了也開不了機。

1. 電力：一座約 200 千瓦等級

業界估計一座 Vera Rubin NVL72 的用電約在 190 到 230 千瓦之間，液冷系統也是照每座約 227 千瓦設計。

這代表機房的供電、配電盤、不斷電系統都要重新評估。建議在採購機器的同時就開始談電力擴充，因為電力工程通常比等機器還久。

2. 冷卻：全液冷，而且用溫水

這一代全面採用液冷：用管路把冷卻液直接帶到晶片上散熱，托盤裡沒有風扇。

好消息是，它的設計進水溫度可以到 攝氏 45 度。水溫可以這麼高，很多地區就能用室外的乾式冷卻器降溫，少開或不開耗電的冰水主機，整體電費會下降。

要準備的是：冷卻液分配設備、管路，以及熟悉液冷維護的廠商。

3. 空間與維修動線

機櫃採模組化設計，運算托盤免接線、免接水管，壞了可以整塊抽換，維修比以前快。但機櫃本身又重又密，搬運路線、樓板承重、維修空間，都要請機櫃廠商在規劃時一起評估。

分階段上線：先一座，再擴大

就算規劃要買很多座，我們都建議分階段進行：

1. 先上一座做驗證：把電力、液冷、網路、管理軟體整條走一遍。
2. 燒機驗收：連續高負載跑一段時間，確認溫度、電力、故障率都在預期內，再簽驗收。
3. 把流程寫下來：第一座踩到的問題、設定的步驟，整理成標準作業，後面的機櫃照著做。
4. 再批次擴充：有了標準作業，後面每一座的上線時間會大幅縮短。

分階段的好處是：問題在一座的時候發現，代價最小。

管理：要搭配哪些軟體

GPU 的驅動程式是免費的，要另外規劃的是管理工具和原廠支援。常被問到的有三樣：

軟體	它負責什麼	什麼時候需要
Mission Control	整座機櫃的管理中心	要讓工程師管理整座機櫃時
AI Enterprise	AI 軟體工具組加上原廠支援	要跑 AI、需要原廠支援時
RTX vWS	讓設計師遠端使用繪圖電腦	跑 AI 的機櫃通常不需要

Mission Control：工程師的控制台

Mission Control 是 NVIDIA 專為這類機櫃做的管理軟體，工程師每天會用到的功能大多在這裡：

• 部署與設定：新機器上線時，自動安裝系統、套用設定。
• 工作排隊：很多人要用 GPU 時，負責排隊和分配，不會互相搶。
• 電力管理：依工作量調整用電，避免整座機房超過供電上限。
• 故障自動重跑：訓練到一半有節點故障，可以自動接續，不必整個重來。
• 監控：硬體狀態、溫度、使用率集中在同一個畫面。

簡單說：AI Enterprise 管「跑 AI」，Mission Control 管「管機櫃」。

RTX vWS 為什麼通常不用買

RTX vWS 常和其他軟體列在同一份型錄裡，很多人以為也要買。它其實是讓設計師、建築師遠端使用繪圖電腦的工具，計價方式是看「同時有幾個人在用」。

AI 機櫃是拿來跑 AI 的，跟遠端畫圖是兩回事。就算要分給好幾個部門，只要是跑 AI，對應的就是 AI Enterprise。

要分租給客戶：隔離和授權都要先想

有些單位買機櫃，除了自己用，也打算租給外部客戶。這時候有兩件事要特別注意。

客戶之間要隔得開

這一代在設計時就考慮了多個客戶共用的情境：

• 每座機櫃都有專門管網路和安全的晶片，可以把不同客戶的網路隔開，互相看不到。
• 支援機密運算：資料在 CPU、GPU 之間傳送時全程加密，降低客戶資料被其他人看到的風險。

這些功能要在規劃階段就設計進去，上線後才補，往往要停機重來。

授權方式可能不同

NVIDIA 的軟體授權，對「自己用」和「提供給別人用」有不同規定。要做出租服務，務必在採購前請代理商向原廠確認適用的授權方案，避免機器上線後才發現授權不符。

費用怎麼算

AI Enterprise 是按 GPU 數量計價，一座 72 顆 GPU 的機櫃就是 72 份。

NVIDIA 官方建議售價（美元，每顆 GPU）：

方案	價格
訂閱 1 年	4,500
訂閱 3 年	13,500
訂閱 5 年	18,000
永久授權（含 5 年支援）	22,500

幾個要注意的地方：

• 5 年訂閱比逐年續約便宜，打算長期使用的話值得比較。
• 基本價格包含標準的原廠支援；24 小時支援要另外加購。
• Mission Control 與出租用的授權沒有公開價格，要請代理商報價。

日常維運：三個容易忽略的地方

機器上線只是開始。以下是我們自己長期維運多張 NVIDIA GPU 學到的事，放到大型機櫃上一樣適用：

1. 「有回應」不等於「正常」：我們遇過的故障，不一定是硬體壞掉。例如驅動程式自動更新後，服務表面上還有回應，AI 其實已經停擺。監控要直接確認 GPU 真的在工作。
2. 更新要排時間、先試再推：驅動程式、韌體不要讓它自己更新。先在一小部分機器上試，沒問題再全面推，出狀況能快速退回原版。
3. 24 小時有人接：AI 訓練常常一跑好幾天，半夜出事沒人處理，損失的是好幾天的運算時間。支援等級要跟使用方式對齊。

規劃前，先回答這五個問題

這五個答案，會直接決定機房要怎麼改、軟體要買什麼、要買多少：

1. 規模：總共要幾顆 GPU？一次到位，還是分批到貨？
2. 管理範圍：工程師要管的是硬體狀態、工作排程，還是兩者都要？
3. 使用方式：自己用、分給部門用，還是要租給外部客戶？
4. 支援等級：上班時間支援就好，還是需要 24 小時？
5. 使用年限：預計用幾年？這決定訂閱還是永久授權比較划算。

我們能幫上什麼

昶睿做的是地端 AI 的規劃與建置：從需求釐清、軟體與授權規劃，到把 AI 服務真正架起來、跑穩、監控好。

如果你正在評估 Vera Rubin 或其他 AI 機櫃，歡迎帶著上面五個問題來找我們聊。