瀏覽單個文章
ghostcode
Senior Member
 

加入日期: Sep 2001
您的住址: 淡水
文章: 1,356
神人成功在 GTX 1060 6GB 上順跑 Qwen 3.6 35B A3B 模型,只需加入這五個參數。

https://www.koc.com.tw/archives/642193

搭配一顆 i3-8100 處理器和 24GB DDR4 記憶體,
跑 35B 參數的 Qwen 3.6 混合專家模型(MoE),
竟然能以每秒 17 個 token 的速度、256K token 的超長上下文穩定運行,
只有搭配五個 llama.cpp 的啟動參數。

PS:
公司的電腦沒獨顯,沒得試。
舊 2026-05-12, 09:47 AM #39
回應時引用此文章
ghostcode現在在線上