感謝建議，是否使用ROCM的問題我也問過Gemini。
它給的建議是Vulkan足矣，它也建議我使用GPU + GPU混合的模式，
所以才會有-ngl 99 -t8 的組合。
Gemini也說我的環境不需要--fit on --fit-target 128，原因在我的VRAM為32G。
全部的東西載入後應該只會佔用22G的空間，剩下10G應該足夠給windows繪製畫面使用。
另外我用的作業系統是windows，除非我打開WSL，否則我也只有Vulkan這個版本可以選。
引用:
|
作者野口隆史
-ngl 99 -t8 這些都是 llama-server的預設參數
llama.cpp 預設使用實體核心數的線程數
除非你是純 cpu 推理，否則我建議你以偶數的方式減少來提高性能
例如從 4 開始
我建議加 --fit on --fit-target 128
VRAM 預留 128MB，預設為 1024
--fit on 雖然也為預設參數，但與 --fit-target 一起使用的時候建議寫在一起
然後你應該先測試的後端為 ROCM
RDNA3 現在的 ROCM 支援很好
理應比 Vulkan 性能更高
|