webui 你就把它包成 UWP 或者 web app 就可以了
你不管用什麼方式實現，都要面對解析器的性能問題
沒有任何語言可以快過 c++
這點 llama.cpp 已經做得很好了
前端我目前用的是 OpenWebUI
這套我用好幾年了
我當初用的時候它還是一個 100% 的開源專案
現在跟 ollama 一樣變成是假開源而且性能很差
但功能性還行，我必須再次強調性能真的很差
我不會推薦任何人使用，但你很難找到功能性如此全面的替代品
如果要打掉重來，我記得我上個月有看 llama.cpp 的後端添加 sqlite 的版本
但我沒加星，所以一時半刻找不到
其他你可以試試
Jan
https://www.jan.ai/
LibreChat
https://github.com/danny-avila/LibreChat
LibreChat 我幾年前用過一陣子
但是它那個時候還是開發階段
底層經常變動，導致我無法使用 ci/cd 在本地自動部署
現在這些問題都沒有了
部署方式也可以直接選擇 docke...