瀏覽單個文章
substar999
Master Member
 

加入日期: Sep 2001
您的住址: K
文章: 1,510
根據樓上野口兄的解釋,加上自家設備本身的限制(7840U with 64G RAM)

我打算:
1. 至BIOS將32G RAM分配給780M (之前無聊時試過,確認可行)
2. 至llama.cpp下載Windows x64 (Vulkan)版本
3. 基於Gemini的建議,使用以下指令執行llama.cpp

set HF_HOME=D:\LLM_Models
llama-server.exe -hf unsloth/gemma-4-26B-A4B-it-GGUF:UD-Q4_K_XL -ngl 99 -c 32768 -t 8 --port 8086

然後等待指令執行出現類似llama server listening at http://127.0.0.1:8086

4. 瀏覽器打開http://127.0.0.1:8086

這樣應該就能順利啟動我的本地AI初體驗了吧?
舊 2026-04-10, 02:14 PM #29
回應時引用此文章
substar999離線中