其實從測試結果來看
https://huggingface.co/blog/zh/gemma
PHI-2 2.7B 可能會是比較好的選擇
體量接近 Gemma 2B
但測試結果接近 Gemma 7B
Gemma 真正強的是 7B
2B 主要優點是一般消費級電腦跟筆電
都不須經過量化的模型就能跑起來
另外 Gemma 從 Google 自己透漏地資訊
Gemma 是一個以英語為主要訓練語言的模型
但它的中文理解能力屌打 LLaMA2
也能夠以中文回答問題
這算是我比較驚訝的部分
其實這可能不是有意為之
最早的 LLaMA 2 能夠回答應該如何製造核彈、冰毒、說出種族歧視的話語 etc.
但很多經過二次訓練的模型，這些都直接告訴你"它不能告訴你"
而不是"它不知道"
但實際上這些人並沒有要求進行這些項目的和諧
而是二次訓練帶來的後遺症