主題: 大家用AI做什麼?
瀏覽單個文章
野口隆史
Elite Member
 
野口隆史的大頭照
 

加入日期: Mar 2001
您的住址: Rivia
文章: 7,076
引用:
作者巴豆布妖
請教一下, 這二個你是指幾 b 的 model?
來玩一下 如果我的 12gb ram 的顯卡玩得動的話
https://i.postimg.cc/kGjNHgG6/brave...-ollama-com.png
https://i.postimg.cc/q7dKj3w6/brave...-ollama-com.png

4B 就是 4B
E2B 就是 E2B

我建議不要用 ollama 改用 llama.cpp
然後 12GB 顯卡實際上可以用 Gemma4 26BA4B、Qwen 3.6 35BA3B 的 4位量化，建議選擇 q4km 或 ud-q4k-xl
如果你原先覺得 12GB 跑不起來，那可能是 ollama 給你的錯誤觀念

https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF
https://huggingface.co/unsloth/Qwen3.6-35B-A3B-GGUF
__________________
Folding@home with GPGPU集中討論串

Unix Review: ArchLinux●Sabayon●OpenSolaris 2008.5●Ubuntu 8.10
AVs Review: GDTC●AntiVir SS●ESS●KIS 09●NIS 09●Norton 360 V3

I Always Get What I Want.
舊 2026-07-06, 01:03 PM #235
回應時引用此文章
野口隆史離線中