根據樓上野口兄的解釋,加上自家設備本身的限制(7840U with 64G RAM)
我打算:
1. 至BIOS將32G RAM分配給780M (之前無聊時試過,確認可行)
2. 至llama.cpp下載Windows x64 (Vulkan)版本
3. 基於Gemini的建議,使用以下指令執行llama.cpp
set HF_HOME=D:\LLM_Models
llama-server.exe -hf unsloth/gemma-4-26B-A4B-it-GGUF:UD-Q4_K_XL -ngl 99 -c 32768 -t 8 --port 8086
然後等待指令執行出現類似llama server listening at
http://127.0.0.1:8086
4. 瀏覽器打開
http://127.0.0.1:8086
這樣應該就能順利啟動我的本地AI初體驗了吧?