引用:
|
作者substar999
感謝建議,是否使用ROCM的問題我也問過Gemini。
它給的建議是Vulkan足矣,它也建議我使用GPU + GPU混合的模式,
所以才會有-ngl 99 -t8 的組合。
Gemini也說我的環境不需要--fit on --fit-target 128,原因在我的VRAM為32G。
全部的東西載入後應該只會佔用22G的空間,剩下10G應該足夠給windows繪製畫面使用。
另外我用的作業系統是windows,除非我打開WSL,否則我也只有Vulkan這個版本可以選。
|
ROCM 跟 Vulkan 性能差很多
你可以裝個 opencode,讓 agent 在你的環境下編譯 llama.cpp
AMD GPU 會選擇 Vulkan 做後端
那已經是去年的事情,ROCM 目前在 RDNA 3/3.5/4 都支援的很好
沒有選擇的時候才會用 Vulkan