引用:
|
作者ghostcode
就老黃的阿，畢竟資源多。有雷至少有人先踩。
不然消費級的就顯卡，不玩 AI 遊戲也可以用。
有人用 Mac Pro 頂規 25 萬，仍有天花板。
畢竟所謂的記憶體共享，是裝成 共享。
跟真共享還是有差，不過消費級不可能做真共享。
硬體要極度優化設計，不可能有冗餘。
我不是專業的， FB/YT 上有一堆高手，都有餘裕拍影片、分享文章。
問他們應該比我好，我是喜歡玩玩新玩意。
弄弄小工具，擠出更多時間摸魚...進行研究。
（老了，已經沒以前可以一個禮拜不睡）
剛拉 Gemma 4 下來跑，資源占用小很多（現在還可以打字）
中午看到 Gemma 4 release 時，就 pull 下來。
但寫到一半，怕 session 斷掉，就沒換掉原本的 model。
沒想到差這麼多，就算 對話(session） 斷掉重來，也比在用原模型快多了~~~
這篇還沒打完，就幫我做好重構。
|
我的意思是，總是有看到人想要買mac mini去養蝦…
又看到很多人想要大模型。
但是大模型要配5090或是超大的256GBDDR5，還要再搭上threadripper之類的。
怎麼就沒有人想過要特別設計一張一般人買得起，一切整合好的超級算力卡？
直接上算力加速，64GB的HBM3 Unified Memory，再配上128GB的DDR5？
就跟以前的礦卡一樣，出一張算力卡。
這樣一般的家用電腦三萬多，再配上一張算力卡，就能提供本地大模型。
不用5090，不用配上128GB的DDR5，CPU只要有核顯，主板有32GB DDR5就夠了，連Win11都只要家用版，水冷也不用。
套裝機買下去，再配上算力卡，一切搞定。