|
||
|
Major Member
 加入日期: Dec 2015
文章: 211
|
Ollama for Gemma 4
我用的好爽呀…
跟Germini 4沒什麼差別。 不過我想換成6090了。 還有128GB的系統記憶體可能也是不夠用的。 |
|||||||
2026-04-06, 02:12 PM
#1
|
|
|
Senior Member
加入日期: Sep 2001 您的住址: 淡水
文章: 1,352
|
手上機器雖多，一直沒湊一台最好的。
用目前常用的電腦（就是上網，看影片、論壇，i5 9400 / 32GB / GTX 1660） 反而用 opencode + 一些免費額度，已經生出 3,4 個可以自動化掉我上班的工作。 原本不太想為一堆要花半小時到2小時之間的工作弄個 RPA 自動化，沒啥效益。 但現在用 AI 開發一些小工具，花的時間縮短很多。 一下子就產出 3,4 個能處理重複性工作的小工具。 而給 ollama 用的是最簡單工具，連我寫都比它快的。（因為免費額度還在 CD） 速度就像初學者打字一樣。CPU / RAM 全滿載。 跑出的結果，幾乎是 try & error。都想弄台 DGX Spark 玩。 PS: 80年代我花在電子電腦的錢...想起來就恐怖。 以前靠 RAM 顆粒賺幾十萬，一瞬間就花光，現在幾十萬下不了手。 加上 DGX Spark 光電費可能用噴的。 此文章於 2026-04-06 07:25 PM 被 ghostcode 編輯. |
||
|
2026-04-06, 07:18 PM
#2
|
|
|
Senior Member
加入日期: Apr 2017 您的住址: (╯-_-)╯ ~ ╩╩
文章: 1,441
|
砸錢多買幾張卡.
__________________
------------------------------------------------------ 這就是 Elon Musk 關停USAID的真相:  COVID-19是美國USAID造的生物武器 !!! ＸＸＸＸＸＸＸＸＸＸＸＸＸＸＸＸＸＸＸＸＸＸＸＸＸＸＸＸ (Youtube影片)完蛋了沒搞頭了 都該怪佛奇多話 ---佛奇的影片竟然被拔掉? 了補上 鋼鐵人的 "DOGE" 不錯看! 1 2 3 
此文章於 2026-04-06 08:57 PM 被 冰的啦魔王大人 編輯. |
|
2026-04-06, 07:35 PM
#3
|
|
|
Major Member
加入日期: Dec 2015
文章: 211
|
引用:
請向你尋問一下，有沒有可能製作一個可以加速本地部署的大語言模型加速卡？ |
|
|
2026-04-06, 07:46 PM
#4
|
|
|
Senior Member
加入日期: Sep 2001 您的住址: 淡水
文章: 1,352
|
引用:
就老黃的阿，畢竟資源多。有雷至少有人先踩。 不然消費級的就顯卡，不玩 AI 遊戲也可以用。 有人用 Mac Pro 頂規 25 萬，仍有天花板。 畢竟所謂的記憶體共享，是裝成 共享。 跟真共享還是有差，不過消費級不可能做真共享。 硬體要極度優化設計，不可能有冗餘。 我不是專業的， FB/YT 上有一堆高手，都有餘裕拍影片、分享文章。 問他們應該比我好，我是喜歡玩玩新玩意。 弄弄小工具，擠出更多時間摸魚...進行研究。 （老了，已經沒以前可以一個禮拜不睡） 剛拉 Gemma 4 下來跑，資源占用小很多（現在還可以打字） 中午看到 Gemma 4 release 時，就 pull 下來。 但寫到一半，怕 session 斷掉，就沒換掉原本的 model。 沒想到差這麼多，就算 對話(session） 斷掉重來，也比在用原模型快多了~~~ 這篇還沒打完，就幫我做好重構。 此文章於 2026-04-06 08:10 PM 被 ghostcode 編輯. |
|
|
2026-04-06, 07:58 PM
#5
|
|
|
Major Member
加入日期: Dec 2015
文章: 211
|
引用:
我的意思是，總是有看到人想要買mac mini去養蝦… 又看到很多人想要大模型。 但是大模型要配5090或是超大的256GBDDR5，還要再搭上threadripper之類的。 怎麼就沒有人想過要特別設計一張一般人買得起，一切整合好的超級算力卡？ 直接上算力加速，64GB的HBM3 Unified Memory，再配上128GB的DDR5？ 就跟以前的礦卡一樣，出一張算力卡。 這樣一般的家用電腦三萬多，再配上一張算力卡，就能提供本地大模型。 不用5090，不用配上128GB的DDR5，CPU只要有核顯，主板有32GB DDR5就夠了，連Win11都只要家用版，水冷也不用。 套裝機買下去，再配上算力卡，一切搞定。 此文章於 2026-04-06 08:24 PM 被 沒問題 編輯. |
|
|
2026-04-06, 08:22 PM
#6
|
|
|
Senior Member
加入日期: Apr 2017 您的住址: (╯-_-)╯ ~ ╩╩
文章: 1,441
|
__________________
------------------------------------------------------ 這就是 Elon Musk 關停USAID的真相: COVID-19是美國USAID造的生物武器 !!! ＸＸＸＸＸＸＸＸＸＸＸＸＸＸＸＸＸＸＸＸＸＸＸＸＸＸＸＸ (Youtube影片)完蛋了沒搞頭了 都該怪佛奇多話 ---佛奇的影片竟然被拔掉? 了補上 鋼鐵人的 "DOGE" 不錯看! 1 2 3
此文章於 2026-04-06 08:57 PM 被 冰的啦魔王大人 編輯. |
|
2026-04-06, 08:34 PM
#7
|
|
|
Senior Member
加入日期: Sep 2001 您的住址: 淡水
文章: 1,352
|
引用:
養蝦 主要是沒效率，很多 token 都浪費掉。（現在開始封不是自家 agent） 所以才想用本地，但養蝦透過雲才能減少負載。 規格可以爛點，畢竟都上雲跑（但隱私也可能裸奔）。 硬體規格沒啥要求，一堆還宣傳用樹莓、N100、N150。 要落地跑大模型，配備不能太差。 天花板就是看 $$$，電費 $$$。 https://www.youtube.com/watch?v=jTVKagbUA68 https://www.freedidi.com/23643.html 八、使用建議（非常重要） 根據你的顯示卡來選模型： 8GB 記憶體👉選擇小模型 12GB👉中量化版 24GB👉推薦26B 或31B 不要盲目上最大模型，否則會： ❌卡頓嚴重 ❌推理速度慢 model 進步那麼快，硬體規格應該是會慢慢降低標準。 此文章於 2026-04-06 08:37 PM 被 ghostcode 編輯. |
|
|
2026-04-06, 08:36 PM
#8
|
|
|
Senior Member
加入日期: Sep 2001 您的住址: 淡水
文章: 1,352
|
相關群：
https://www.facebook.com/groups/3238547836318385/ 某人測試報告： https://www.facebook.com/share/p/1GDQvBtSJN/ 一堆神人都先測試了，還有報告。（很多這類的） 此文章於 2026-04-06 08:46 PM 被 ghostcode 編輯. |
|
2026-04-06, 08:42 PM
#9
|
|
|
Elite Member
  
加入日期: Mar 2001 您的住址: Rivia
文章: 7,069
|
不要用 ollama
ollama 難用、性能差、假開源 而且它底層是用 llama.cpp 我完全不懂為什麼它的性能可以差成這樣 單用 llama.cpp 更簡潔，性能更強
__________________
Folding@home with GPGPU集中討論串 Unix Review: ArchLinux●Sabayon●OpenSolaris 2008.5●Ubuntu 8.10 AVs Review: GDTC●AntiVir SS●ESS●KIS 09●NIS 09●Norton 360 V3  I Always Get What I Want. |
|
2026-04-06, 09:19 PM
#10
|
|
