當初只是貪方便, 就 ollama 了, 聽說 ollama 下戴的 model 改名 gguf, llama.cpp 就可以用, 找時間來試試

Qwen 3.6 我有試過, 有趣的是, 27B 反而比 35B 慢, 你知道為什麼嗎?
經典的問題 "我要去洗車, 洗車場離我 50公尺, 我要開車去還是走路去"
27B = 90.6 秒 (回我開車去) ram 12GB + 9.6GB
35B = 12.9 秒 (回我開車去) ram 12GB + 15GB
e4b = 4.3 秒 (回我走路去) ram 8.4GB
同樣都把 12GB ram 吃完, performance 不一樣, 所以我才在想, 是不是來找 12GB ram 以下的較好的 model???
27B

35B

e4b