CPU 是通用計算
GPU 有圖形顯示需求
GPU 現階段可以跑
那是因為 AI 需要的矩陣、卷積在 GPU 上也是很重要的運算
但 GPU 在這部分的運算規模卻遠不如 NPU
按照 nvidia 的說法，他們的純 NPU 運算卡在同樣製程跟晶片面積下
AI 算力跟功耗是屌打自家 GPU 的
而且 NPU 除了算力優勢外還有低延遲優勢
這是現階段 GPU 遠不如 NPU 的地方
引用:
|
作者skap0091
然而 40 TOPS 的要求門檻其實相當嚴苛，
Intel 第一款具備 NPU 核心的 Intel Core Ultra 處理器系列的最大效能僅 10 TOPS，
而 AMD 使用 XDNA AI 核心的 Ryzen 8040 處理器也才 16 TOPS，
兩者都不及需求的一半。
...43
|
APPLE 在 MACOS 上底層跑的是 MetalFX
MetalFX 是 CPU+GPU+NPU 的偕同運算
實際跑出來，我從沒看過 M3 性能輸過 A17 PRO
只比純 NPU 算力是很奇怪的
因為至少我目前沒看過有哪個人
在 MACOS 上堅持只用 NPU，偏不用 GPU+CPU
除非底層支援，否則可能會發生很多需要 hand code 的部分