主題
:
Ollama for Gemma 4
瀏覽單個文章
ghostcode
Senior Member
加入日期: Sep 2001
您的住址: 淡水
文章: 1,356
神人成功在 GTX 1060 6GB 上順跑 Qwen 3.6 35B A3B 模型,只需加入這五個參數。
https://www.koc.com.tw/archives/642193
搭配一顆 i3-8100 處理器和 24GB DDR4 記憶體,
跑 35B 參數的 Qwen 3.6 混合專家模型(MoE),
竟然能以每秒 17 個 token 的速度、256K token 的超長上下文穩定運行,
只有搭配五個 llama.cpp 的啟動參數。
PS:
公司的電腦沒獨顯,沒得試。
2026-05-12, 09:47 AM #
39
ghostcode
瀏覽公開訊息
傳送私人訊息給ghostcode
查詢ghostcode發表的更多文章
增加 ghostcode 到好友清單