如果沒有 blackwell 世代的 gpu
那就不要用 cuda 13.x，有問題會隨機生成亂碼，解決只能退回 12.x
https://github.com/ggml-org/llama.cpp/issues/21255
另外重造車輪除非你造的車輪比原本的更好
否則就只是浪費時間，氛圍編碼可以寫出具有不少優點的代碼
但其中不包括簡潔跟高效
你何必捨近求遠呢？llama.cpp 的 webui 已經夠強了
沒有其它同質性前端比它更好
人家還是純 c/c++，你用 python 就表示性能至少有 20~100 倍的差距