剛被老婆抓去做飯了
前面其實還沒說完

以 Gemma4 來說
這個模型存在工具調用的一些錯誤
目前有修正這個錯誤的就是 llama.cpp
https://github.com/ggml-org/llama.cpp/pull/21418

還有 unsloth 的 gguf
https://huggingface.co/unsloth/gemm...F/discussions/6
直接更新模型內建的聊天模板
https://github.com/ggml-org/llama.c...terleaved.jinja

還有一個比較嚴重的問題是上下文檢查點會占用大量的記憶體
目前此 bug 也已修復
等到諸如 lm studio, ollama 修正那又不知道等到猴年馬月
https://github.com/ggml-org/llama.cpp/discussions/21480