引用:
|
作者沒問題
我的意思是，總是有看到人想要買mac mini去養蝦…
又看到很多人想要大模型。
但是大模型要配5090或是超大的256GBDDR5，還要再搭上threadripper之類的。
怎麼就沒有人想過要特別設計一張一般人買得起，一切整合好的超級算力卡？
直接上算力加速，64GB的HBM3 Unified Memory，再配上128GB的DDR5？
就跟以前的礦卡一樣，出一張算力卡。
這樣一般的家用電腦三萬多，再配上一張算力卡，就能提供本地大模型。
不用5090，不用配上128GB的DDR5，CPU只要有核顯，主板有32GB DDR5就夠了，連Win11都只要家用版，水冷也不用。
套裝機買下去，再配上算力卡，一切搞定。
|
養蝦 主要是沒效率，很多 token 都浪費掉。（現在開始封不是自家 agent）
所以才想用本地，但養蝦透過雲才能減少負載。
規格可以爛點，畢竟都上雲跑（但隱私也可能裸奔）。
硬體規格沒啥要求，一堆還宣傳用樹莓、N100、N150。
要落地跑大模型，配備不能太差。
天花板就是看 $$$，電費 $$$。
https://www.youtube.com/watch?v=jTVKagbUA68
https://www.freedidi.com/23643.html
八、使用建議（非常重要）
根據你的顯示卡來選模型：
8GB 記憶體👉選擇小模型
12GB👉中量化版
24GB👉推薦26B 或31B
不要盲目上最大模型，否則會：
❌卡頓嚴重
❌推理速度慢
model 進步那麼快，硬體規格應該是會慢慢降低標準。