想建地端大型語言模型？Mac Studio M2 Max是你的好選擇！

大型語言模型參數越多，模型通常能學習更複雜的模式和關係，在理解和生成文字方面表現更出色，但需要更多的計算資源和記憶體才能運行，因此若要建地端大型語言模型也必須考量硬體資源。目前消費者比較容易買到的就是 Nvidia 40 系統顯卡及 MAC。

reddit 上的網友 ex-arman68 於 2024-11-11 在文章「Choosing Mac Mini M4 for local Llama models」
提出綜合考量模型能力及MAC硬體的選擇建議：根據經驗，扣除系統保留的8GB記憶體後，剩餘記憶體容量(x)大約可以運行參數數量(y)為y = 4*(x-8)/3 的模型。

• 16 GB ram = 11 B model
• 24 GB ram = 21 B model
• 32 GB ram = 32 B model
• 48 GB ram = 54 B model
• 64 GB ram = 75 B model
• 96 GB ram = 117 B model
• 128 GB ram = 160 B model
• 192 GB ram = 245 B model

若想順暢運行大型模型，配備 64GB 記憶體就可以使用75B模型！若有最高的 192GB 記憶體就可使用到 245B 模型。
最後「建議選購二手或翻新至少配備 64GB 記憶體的 Mac Studio M2 Max。」

而配備 24GB 記憶體的 Nvidia 4090 要能執行 75B 模型則需要 3 張顯示卡，綜合來看 Mac Studio M2 Max 真的是目前最好的選擇。

最後更新日期：2024-12-29

Views: 40