Mac Studio 跑大模型實測：M3 Ultra、集群方案與 M5 Ultra 預期

2026 年 4 月，DeepSeek V4 Pro、Kimi K2.6 等 1 兆參數級模型相繼釋出，把「在自家機器跑前沿開源 LLM」這件事變成可行選項。對不想自建 H100 工作站、又想擁有完整本地推論能力的工程師與小型團隊，**Mac Studio M3 Ultra 256GB** 是現階段最具性價比的單機方案，搭配 Thunderbolt 5 集群更可上探 1T 參數的領域。本文整理 M3 Ultra 跑大模型的實測數據、集群方案、MLX 框架優勢，以及 M5 Ultra 預期時程。

M3 Ultra 規格現況：256GB 統一記憶體、819 GB/s 頻寬

截至 2026 年 4 月，Mac Studio 最高階 SKU 仍為 M3 Ultra，配置上限為 32 核 CPU、80 核 GPU、256GB 統一記憶體、819 GB/s 記憶體頻寬。Apple 跳過了 M4 Ultra 世代—市面上沒有 M4 Ultra Mac Studio，這是常見誤會。M5 Ultra 預期於 2026 年 WWDC（6 月 8-12 日）發表，但根據 Bloomberg Mark Gurman 4/19 報導，受供應鏈瓶頸影響，可能延後至 10 月。

對 LLM 推論而言，「統一記憶體」是 Mac Studio 最大的差異化優勢。GPU 與 CPU 共享同一塊 DRAM，模型權重不需要在 PCIe 上來回搬移；相對於 NVIDIA H100 的 80GB HBM3 + 主機板 DDR5 雙層架構，Mac Studio 的 256GB 統一池可裝下完整 405B Q4 量化模型，省去多卡協同的複雜度。

Llama 3.1 405B：256GB 機型 Q4 量化可單機跑

Meta Llama 3.1 405B 經過 4-bit 量化後約 235GB，正好在 256GB Mac Studio M3 Ultra 的記憶體預算內，可以**完整載入單機**進行推論。實測 token 生成速度落在每秒 5–10 tokens 區間（依 prompt 長度與 batch size 而異），雖然遠不及 H100 集群的數百 tok/s，但對「離線研究、單人使用」場景已經夠用。

對照需求：若要做 production 服務、需要併發吞吐量（例如同時服務 10+ 用戶），Mac Studio 不適合，仍需走 H100/H200 雲端方案。

DeepSeek V3 671B：單機跑不動、必須走集群

DeepSeek V3（671B 總參數、37B 活躍）量化後約 350-400GB，已超出單台 Mac Studio 256GB 上限。可行方案是「8 台 M4 Pro Mac Mini 集群」—社群實測在 Thunderbolt 5 連接下達到 5.37 tok/s。雖然速度偏慢，但證明 Apple Silicon 集群能支撐 600B+ 級模型。

對 DeepSeek V4 Pro（1.6T 總參數、49B 活躍）而言，量化後仍超出主流 Mac Studio 集群的記憶體總量，需要更大規模的本地基礎建設或回到 Ollama Cloud／DeepSeek 自家 API 走雲端推論。

Kimi K2 Thinking 1T 參數：4 萬美元集群可達 25 tok/s

2026 年最具代表性的 Mac Studio 集群實驗是 Kimi K2 Thinking（1T 總參數）：4 台頂規 Mac Studio M3 Ultra（256GB 各台）、Thunderbolt 5 互連、走 RDMA over Thunderbolt 協定，總投資約 4 萬美元（約 NT$130 萬），在這套配置上跑出 25 tokens/s 的單請求推論速度。

這個數字的意義：4 萬美元的「最高階 Mac Studio 集群」與單張 NVIDIA H100（約 3 萬美元、80GB HBM3）相比，前者能跑 1T 參數的完整推論而後者跑不動；但 H100 集群（4 張 = 12 萬美元）的吞吐量遠勝 Mac Studio 集群。**選擇邏輯：研究級單人單請求 → Mac Studio；生產級多人多併發 → H100。**

MLX 框架：< 14B 模型比 llama.cpp 快 20-87%

Apple 自家 MLX（Machine Learning eXchange）框架專為 Apple Silicon 統一記憶體與每核 GPU 內建的 Neural Accelerators 設計。社群實測顯示，在 14B 參數以下的模型上，MLX 比 llama.cpp 快 20-87%。對 Llama 3 8B、Phi-4、Qwen 2.5 7B 這類常見「個人助理級」模型，MLX 是預設首選。

對更大的模型（30B+），MLX 的優勢相對縮小，Ollama、llama.cpp 仍有自己的應用場景（生態系完整、社群活躍）。實務建議：小模型用 MLX、大模型用 Ollama／llama.cpp、超大模型走集群或雲端。

M5 Ultra 預期：1,100 GB/s 頻寬、6 月或 10 月發表

2026 年 4 月最新洩露指出，M5 Ultra 規格：32-36 核 CPU、80 核 GPU、256GB 統一記憶體（持平）、約 1,100 GB/s 記憶體頻寬（提升 34%）。對 LLM 推論而言，記憶體頻寬是決定 tok/s 的關鍵瓶頸—M5 Ultra 預期可在同樣的 256GB 容量下，把 405B Q4 的單機推論速度推高 30% 以上。

時程觀察：

WWDC 2026（6 月 8-12 日）：最樂觀情境下首發

10 月：Bloomberg Mark Gurman 4/19 點名的「供應鏈延後」備案時點

目前 M3 Ultra 256GB 機型供應緊張：交期 10-12 週、部分配置缺貨

對打算 5–6 月入手的買家：建議直接等 M5 Ultra 確認，當前 M3 Ultra 256GB 的二手保值率受新品上市影響大。

買 Mac Studio vs 自建 GPU 工作站：兩條路徑取捨

同樣預算（NT$30-130 萬）下，兩條路的權衡：

面向 Mac Studio M3 Ultra 256GB 自建 GPU 工作站（RTX 5090×2 或 H100×1） 入門價格 ~ NT$30 萬 RTX 5090×2 ~ NT$25 萬；H100 ~ NT$80 萬+ 最大可跑模型 405B Q4（單機） RTX 5090×2: 70B-120B Q4；H100: 405B Q8 推論速度（70B Q4） 15-25 tok/s RTX 5090×2: 30-60 tok/s 耗電（典型推論） ~ 200W 800-1200W 噪音 幾乎無聲 伺服器級風扇噪音 最適場景 研究員、個人開發者、長期離線使用 小團隊 production、需要 fine-tuning

結論：**個人單人用 Mac Studio、團隊多人用 GPU 工作站**。Mac Studio 的優勢在於統一記憶體裝得下大模型、安靜、低耗電；GPU 工作站的優勢在於原生 CUDA 生態、多人併發吞吐、可做訓練／微調。對 abmedia 多數讀者（個人開發者、研究者、AI 愛好者）而言，Mac Studio M3 Ultra 256GB 仍是 2026 年第二季最佳起步配置—除非你願意等 M5 Ultra。

這篇文章 Mac Studio 跑大模型實測：M3 Ultra、集群方案與 M5 Ultra 預期 最早出現於 鏈新聞 ABMedia。