PCDVD數位科技討論區 - Ollama for Gemma 4

PCDVD數位科技討論區 (https://www.pcdvd.com.tw/index.php)

- 七嘴八舌異言堂 (https://www.pcdvd.com.tw/forumdisplay.php?f=12)

- - Ollama for Gemma 4 (https://www.pcdvd.com.tw/showthread.php?t=1218133)

引用:

作者野口隆史

webui 你就把它包成 UWP 或者 web app 就可以了
你不管用什麼方式實現，都要面對解析器的性能問題
沒有任何語言可以快過 c++
這點 llama.cpp 已經做得很好了

前端我目前用的是 OpenWebUI
這套我用好幾年了
我當初用的時候它還是一個 100% 的開源專案
現在跟 ollama 一樣變成是假開源而且性能很差
但功能性還行，我必須再次強調性能真的很差
我不會推薦任何人使用，但你很難找到功能性如此全面的替代品

如果要打掉重來，我記得我上個月有看 llama.cpp 的後端添加 sqlite 的版本
但我沒加星，所以一時半刻找不到

其他你可以試試
Jan
https://www.jan.ai/

LibreChat
https://github.com/danny-avila/LibreChat

LibreChat 我幾年前用過一陣子
但是它那個時候還是開發階段
底層經常變動，導致我無法使用 ci/cd 在本地自動部署
現在這些問題都沒有了
部署方式也可以直接選擇 docke...

突然想到一件事情，如果我這個UI前端改用C++實現，你會接受嗎？

引用:

作者沒問題

突然想到一件事情，如果我這個UI前端改用C++實現，你會接受嗎？

不是用哪種語言實作的問題。

Agent 有很多地方可以優化。

看看之前 claude agent source code 洩漏，多少人去挖寶。

不用真的閉門造車。

感謝建議，是否使用ROCM的問題我也問過Gemini。
它給的建議是Vulkan足矣，它也建議我使用GPU + GPU混合的模式，
所以才會有-ngl 99 -t8 的組合。
Gemini也說我的環境不需要--fit on --fit-target 128，原因在我的VRAM為32G。
全部的東西載入後應該只會佔用22G的空間，剩下10G應該足夠給windows繪製畫面使用。
另外我用的作業系統是windows，除非我打開WSL，否則我也只有Vulkan這個版本可以選。

引用:

作者野口隆史

-ngl 99 -t8 這些都是 llama-server的預設參數
llama.cpp 預設使用實體核心數的線程數
除非你是純 cpu 推理，否則我建議你以偶數的方式減少來提高性能
例如從 4 開始

我建議加 --fit on --fit-target 128
VRAM 預留 128MB，預設為 1024
--fit on 雖然也為預設參數，但與 --fit-target 一起使用的時候建議寫在一起

然後你應該先測試的後端為 ROCM
RDNA3 現在的 ROCM 支援很好
理應比 Vulkan 性能更高

引用:

作者沒問題

突然想到一件事情，如果我這個UI前端改用C++實現，你會接受嗎？

你有時間的話可以自己去試
我已經直接告訴你 ai 可以寫出能動的東西
但他不知道什麼叫做"簡潔高效"
現在 ai 寫不出跟人類一樣高性能的解析器
你可以去寫看看，然後發 PR 到 llama.cpp
看他們接不接受
我只是一個網路上的路人
沒有什麼接不接受的問題
重點是 llama.cpp 他們接不接受你的代碼

引用:

作者substar999

ROCM 跟 Vulkan 性能差很多
你可以裝個 opencode，讓 agent 在你的環境下編譯 llama.cpp
AMD GPU 會選擇 Vulkan 做後端
那已經是去年的事情，ROCM 目前在 RDNA 3/3.5/4 都支援的很好
沒有選擇的時候才會用 Vulkan

燒點錢，claude code直接用opus不好嗎?
自己維護模型簡直是個大坑