引用:
|
作者沒問題
問題是，我現在很懶…
我看到ollamasetup，我就無腦下載裝了就跑。
我也已經很懶得自已調校了。
|
你懶 ollama 比你更懶
它跟你一樣也不調校
90% 以上的場景
llama.cpp 比我自己手動抓出來的參數的結果更好
llama.cpp 自動選擇最適合你硬體的最佳化參數
llama.cpp 跟 ollama 性能差很多
在我的 3080 + ddr4 3200 128GB 的平台上
qwen3 30b vl 進行視訊推理的時候
最高有十倍以上的性能差距
文字生成也在五倍左右
一旦牽涉到 cpu 卸載
ollama 基本什麼都不做
內建的 llama.cpp 版本也比原版古老
很久才更新一次
ollama 算是少數每一方面都做得比原始項目更差的軟體
llama.cpp 完全基於 c/c++ 實現
連 web ui 效率跟功能都屌打 ollama 發展更久的成果
引用:
|
作者ghostcode
我主要是幫我一些程式，並沒有要訓練。（以前是帶 team 開發系統）
雖然兩者工作上都用的到，但實際環境不允許，我也不願意自找麻煩。
（我待在業務單位，資訊/資安等沒任何權限，做這些沒任何好處，只有壞處。
一旦有自建系統，各種書表、文件、公文、調查表...先被搞死）
我以為 Strix Halo 又是玩改名遊戲，沒想到真的有效果。
我研究看看是不是真的幫助很大。
原本有打算買 Mac Book Air M5 + RAM。沒那麼專業到用 Pro。
|
那我是真心不建議把 DGX Spark 放進選項
因為你沒有訓練需求
DGX Spark 雖然是 aarch 架構
看起來好像很多事情可以做
但會買這個的人，要求都非常單一
所以實際上你買來也只會跑推理
Strix Halo 效能略低 DGX Spark 10~20%
但價格只要一半，便宜治百病
如果是平均記憶體價格
則是 mac 會更划算
但是我其實不建議你現在買 mac
因為 mac studio 可能兩個月內就出新版了
性能差距跟 m4 系列會更大
除非你跑的模型需要更大的記憶體
不然還是 GPU 會更好
只要是 NV 的都可以
但不建議買 RTX PRO 4000