引用:
|
作者沒問題
好吧，我不只懶，我還蠢… 
有沒有什麼蠢人包可以讓我無痛上手你說的llama.cpp？
unsloth的gguf我現在安裝的就是這個，26B-Q4。 |
先下載模型
llama-server -hf unsloth/gemma-4-26B-A4B-it-GGUF:UD-Q4_K_XL
https://huggingface.co/unsloth/gemm...l-app=llama.cpp
如果要執行你原本已經下載好的
加 -m
例如 llama-server -m c:\模型存放路徑\模型名稱.gguf
如果通過預設下載，以後可以直接執行 llama-server
然後進入 webui 選擇你的模型就好了