引用:
|
作者沒問題
請向你尋問一下,有沒有可能製作一個可以加速本地部署的大語言模型加速卡?
|
就老黃的阿,畢竟資源多。有雷至少有人先踩。
不然消費級的就顯卡,不玩 AI 遊戲也可以用。
有人用 Mac Pro 頂規 25 萬,仍有天花板。
畢竟所謂的記憶體共享,是裝成 共享。
跟真共享還是有差,不過消費級不可能做真共享。
硬體要極度優化設計,不可能有冗餘。
我不是專業的, FB/YT 上有一堆高手,都有餘裕拍影片、分享文章。
問他們應該比我好,我是喜歡玩玩新玩意。
弄弄小工具,擠出更多時間摸魚...進行研究。
(老了,已經沒以前可以一個禮拜不睡)
剛拉 Gemma 4 下來跑,資源占用小很多(現在還可以打字)
中午看到 Gemma 4 release 時,就 pull 下來。
但寫到一半,怕 session 斷掉,就沒換掉原本的 model。
沒想到差這麼多,就算 對話(session) 斷掉重來,也比在用原模型快多了~~~
這篇還沒打完,就幫我做好重構。