AI吃算力、吃記憶體

算力低就跑比較久

記憶體小就只能跑小模型

但AI一直在改良，也是有新模型大幅節省記憶體用量的

AI摘要：
近期各大科技公司推出多項突破性技術，大幅降低大型語言模型（LLM）的記憶體用量。
例如 Google 推出的 TurboQuant 演算法可將記憶體需求減少6倍，
而 NVIDIA 提出的 KVTC 技術更可將 KV 快取記憶體縮減高達20倍。

其實就跟玩遊戲一樣，低階卡也能玩，畫質比較爛而已