你的需求如果只是推理而不是訓練
同樣的錢買 GPU 或者 mac studio
速度會快更多倍
甚至不如買 Strix Halo，還比 DGX Spark 便宜兩千美元

問題是，我現在很懶…
我看到ollamasetup，我就無腦下載裝了就跑。
我也已經很懶得自已調校了。

我主要是幫我一些程式，並沒有要訓練。（以前是帶 team 開發系統）

雖然兩者工作上都用的到，但實際環境不允許，我也不願意自找麻煩。

（我待在業務單位，資訊/資安等沒任何權限，做這些沒任何好處，只有壞處。
一旦有自建系統，各種書表、文件、公文、調查表...先被搞死）

我以為 Strix Halo 又是玩改名遊戲，沒想到真的有效果。

我研究看看是不是真的幫助很大。

原本有打算買 Mac Book Air M5 + RAM。沒那麼專業到用 Pro。

ollama 的跟商用的gemini / gpt model差很多
下一樣的prompt ollama 在問答上的語意分析及回答正確率很低，只能到6成左右
換成gemini /gpt 等都可以上到9成

別這樣, 人家的比較標準是Qwen 2.5等級
實際水準是Qwen3左右....

和Qwen 3.5比起來還有一段距離Orz

Qwen 也是先把中文訊息，轉成英文處理。

畢竟中文語意太模糊，且難處理斷字。

你懶 ollama 比你更懶
它跟你一樣也不調校
90% 以上的場景
llama.cpp 比我自己手動抓出來的參數的結果更好

llama.cpp 自動選擇最適合你硬體的最佳化參數
llama.cpp 跟 ollama 性能差很多
在我的 3080 + ddr4 3200 128GB 的平台上
qwen3 30b vl 進行視訊推理的時候
最高有十倍以上的性能差距
文字生成也在五倍左右
一旦牽涉到 cpu 卸載
ollama 基本什麼都不做
內建的 llama.cpp 版本也比原版古老
很久才更新一次

ollama 算是少數每一方面都做得比原始項目更差的軟體
llama.cpp 完全基於 c/c++ 實現
連 web ui 效率跟功能都屌打 ollama 發展更久的成果



那我是真心不建議把 DGX Spark 放進選項
因為你沒有訓練需求
DGX Spark 雖然是 aarch 架構
看起來好像很多事情可以做
但會買這個的人，要求都非常單一
所以實際上你買來也只會跑推理

Strix Halo 效能略低 DGX Spark 10~20%
但價格只要一半，便宜治百病

如果是平均記憶體價格
則是 mac 會更划算
但是我其實不建議你現在買 mac
因為 mac studio 可能兩個月內就出新版了
性能差距跟 m4 系列會更大

除非你跑的模型需要更大的記憶體
不然還是 GPU 會更好
只要是 NV 的都可以
但不建議買 RTX PRO 4000

嗯，不會投入那麼大。只是想了解一些東西。

打算只當使用者，了解 AI 當工具使用。

不是要研發、或進行專案那麼深入。（頭腦、資源跟不上）

剛被老婆抓去做飯了
前面其實還沒說完

以 Gemma4 來說
這個模型存在工具調用的一些錯誤
目前有修正這個錯誤的就是 llama.cpp
https://github.com/ggml-org/llama.cpp/pull/21418

還有 unsloth 的 gguf
https://huggingface.co/unsloth/gemm...F/discussions/6
直接更新模型內建的聊天模板
https://github.com/ggml-org/llama.c...terleaved.jinja

還有一個比較嚴重的問題是上下文檢查點會占用大量的記憶體
目前此 bug 也已修復
等到諸如 lm studio, ollama 修正那又不知道等到猴年馬月
https://github.com/ggml-org/llama.cpp/discussions/21480

好吧，我不只懶，我還蠢… :laugh: :laugh: :laugh:
有沒有什麼蠢人包可以讓我無痛上手你說的llama.cpp？

unsloth的gguf我現在安裝的就是這個，26B-Q4。