PCDVD數位科技討論區 - 瀏覽單個文章

引用:

作者野口隆史

我建議不要用 ollama 改用 llama.cpp
然後 12GB 顯卡實際上可以用 Gemma4 26BA4B、Qwen 3.6 35BA3B 的 4位量化，建議選擇 q4km 或 ud-q4k-xl

聽你的建議, 改用 llama.cpp 了, 果然有比較好用, 以前真不應該偷懶
Qwen 3.6 35BA3B 參數調整好, AI 思考時間馬上減一半