AI PC/AI Phone都屬於on-device題材 詳情翻閱之前文章
那這玩意跟之前安裝老黃的GPU筆電有啥不同
我個人認知重點在inferece省電這塊 如果有嘗試拿筆電有NV顯卡跑AI玩意
就會發現那東西是吃電怪獸 自己親身經驗跑一個CV inference算法 全開CUDA 拔掉插座後
筆電瞬間關機 因為該算法會強制讓筆電跑200~250w這功率 這玩意是電池無法承受
就算能承受 一個小時就沒電
而NPU on-device 則是透過底層硬體特殊設計 搭配API和AI算法 然後在inference時
你可以透過c語言去使用不同特殊api 比方說做矩陣乘法 你可以用c函式庫 或者
用硬體ic公司底層api去實現 後者就是省電 速度又快 比前者有時差異可到10倍省電
而台灣最適合做on-device AI 因為這玩意需要懂硬體(ic設計)和軟體和AI算法設計
(壓縮AI模型) 在inferece這塊 非常吃對C語言了解 以及如何魔改AI算法 比方說原本AI算法要用ReLu6
但你硬體加速只支援ReLu 那你就稍微去魔改一些參數 重新optmize structure
然後deploy在省電NPU 所以你如果電腦是插電桌機 那老黃一個GPU就解決所有問題
因為從功能上來說NPU不能取代老黃GPU電腦
但如果是攜帶型設備像是手機 AR眼鏡(參照GPT4o/Google I/O 人工智慧助手願境)
筆電 那on-device的題材就在這 一個省電的移動性AI設備
通常瞄準落地場景就是多模態AI助手
所以on-device題材就是省電和壓縮模型 或者模型特制化小於一定參數(手機分水嶺是3B)
ARM+NPU的AI-PC遠景很美好 一但牽涉到軟體部分就很複雜
ARM的PC目前挑戰就是很多軟體不支援 也沒有optmize到省電極致
不像果家軟硬整合就做很好 但AI Phone就不一樣 沒像AI Window PC各種驅動程式問題
高通+狗家on-device模型就是領跑者 但臉家LLaMA第三方C開發社群
也做出許多on-device生態群
而在on-device省電玩家有果家高通聯發科和軟體切過來的狗家和軟軟 目前高通疑似
有在默默建立on-device軟體生態圈 聯發科最近也在HuggingFace刷自家模型了