瀏覽單個文章
ghostcode
Senior Member
 

加入日期: Sep 2001
您的住址: 淡水
文章: 1,352
引用:
作者沒問題
請向你尋問一下,有沒有可能製作一個可以加速本地部署的大語言模型加速卡?


就老黃的阿,畢竟資源多。有雷至少有人先踩。

不然消費級的就顯卡,不玩 AI 遊戲也可以用。


有人用 Mac Pro 頂規 25 萬,仍有天花板。

畢竟所謂的記憶體共享,是裝成 共享。

跟真共享還是有差,不過消費級不可能做真共享。

硬體要極度優化設計,不可能有冗餘。

我不是專業的, FB/YT 上有一堆高手,都有餘裕拍影片、分享文章。

問他們應該比我好,我是喜歡玩玩新玩意。

弄弄小工具,擠出更多時間摸魚...進行研究。
(老了,已經沒以前可以一個禮拜不睡)


剛拉 Gemma 4 下來跑,資源占用小很多(現在還可以打字)

中午看到 Gemma 4 release 時,就 pull 下來。

但寫到一半,怕 session 斷掉,就沒換掉原本的 model。

沒想到差這麼多,就算 對話(session) 斷掉重來,也比在用原模型快多了~~~

這篇還沒打完,就幫我做好重構。
舊 2026-04-06, 07:58 PM #5
回應時引用此文章
ghostcode離線中