webui 你就把它包成 UWP 或者 web app 就可以了
你不管用什麼方式實現，都要面對解析器的性能問題
沒有任何語言可以快過 c++
這點 llama.cpp 已經做得很好了

前端我目前用的是 OpenWebUI
這套我用好幾年了
我當初用的時候它還是一個 100% 的開源專案
現在跟 ollama 一樣變成是假開源而且性能很差
但功能性還行，我必須再次強調性能真的很差
我不會推薦任何人使用，但你很難找到功能性如此全面的替代品

如果要打掉重來，我記得我上個月有看 llama.cpp 的後端添加 sqlite 的版本
但我沒加星，所以一時半刻找不到

其他你可以試試
Jan
https://www.jan.ai/

LibreChat
https://github.com/danny-avila/LibreChat

LibreChat 我幾年前用過一陣子
但是它那個時候還是開發階段
底層經常變動，導致我無法使用 ci/cd 在本地自動部署
現在這些問題都沒有了
部署方式也可以直接選擇 docker
我會比較推這套

比較新的就是 unsloth studio
https://unsloth.ai/docs/new/studio
不過它太肥了，會裝一堆我永遠不會用到的東西
我幾個禮拜前裝過一次，總共佔用了 18GB
除此之它的聊天介面目前已經能提供很好的工具調用
做的甚至比 lm studio 更好