2024/01/17 Chris NPU 、 AI PC 、 AI 手機
這些大廠或者是報章雜誌整天在喊的 AI PC、AI 手機， 到底是什麼？ 他們跟一般的 PC、手機，又差在哪邊？這篇文章就是要用最白話告訴你。
相信大家現在每天動不動都可以在報章媒體上看到「AI PC」、「AI 手機」 這兩個詞吧？特別是財經新聞，這幾個月時不時就可以看見哪一隻股票又因是 AI PC 概念股上揚之類的。INSIDE 站上也有不少跟 AI PC 有關的新聞，甚至還有的喊 2024 年是「AI PC 元年」。
但你會不會好奇，這些大廠或者是報章雜誌整天在喊的 AI PC、AI 手機， 到底是什麼？ 他們跟一般的 PC、手機，又差在哪邊？這篇文章就是要用最白話告訴你，AI PC、AI 手機， 他們為什麼會出現的來龍去脈，以及未來可能的發展方向。
顧名思義 AI PC、AI 手機就是可以運行人工智慧的 PC 跟手機，但想當然，哪有這麼簡單！不然現在就算是一台配備普通的文書機或中低階手機， 不都可以透過 app 或瀏覽器，用上 ChatGPT、Bard 或是 DALL-E、Midjourney 等 AI 了嗎？
現在大家在喊的 AI PC、AI 手機，最簡單的定義就是「不用連網，就可以在本機端運算 AI 模型的 PC/手機」。 但看到這邊， 相信就有的讀者會問了，「跑 AI 模型？那不是有 GPU/顯卡就可以跑了嗎？」理論上沒錯！其實有一張不錯的消費級顯卡，就很夠拿來跑許多一般中小型 AI 模型了。
不過，這是不考慮一台電腦效能功耗比的狀況下所得出的結論。現在大廠們喊的 AI PC、AI 手機，其實就是裝了 NPU（神經網路處理器）的 PC/手機。這裡跟不太熟的讀者們稍微科普一下： 我們現在所熟悉的 AI 模型，像是前面提到 ChatGPT 或是 DALL-E，背後通通都是「神經網路模型」所寫出來的，這是一種模仿人腦的系統，人腦中我們是使用神經元接收、發送訊息，而在神經網路中，是使用數學上的模型來模仿這種行為。
NPU 就是專門拿來算神經網路模型的晶片，單一「塊」NPU 跟一塊 GPU 的算力，當然是 GPU 強，但單一「塊」NPU 的成本、能耗又小又便宜，拿來跑 AI 模型的話可以好好分擔 GPU 的工作量。
簡言之，就是 Intel、AMD、高通以及聯發科這些大廠看準了未來 AI 模型會走進每個人的電腦與手機裡，紛紛推出了「CPU+GPU+NPU」的架構，反正多多益善，何樂不為？但為什麼會是「現在」2023-2024 之際，這些大廠才推出這種三層運算架構的產品呢？
一言以蔽之：大型語言模型（LLM）。更精確的說，是 Meta（Facebook）在消費市場上開了這扇大門。在 ChatGPT 掀起生成式 AI 的狂潮之後， 眾多科技大廠（特別是網路跟軟體這端） 開始猛起直追， 紛紛加大投入大型語言模型研究。 在這些大廠之中，Meta 比較特別，走了一條開源的路，把它的 LLM「LLaMA」讓各機構提出申請，以非商業授權使用。
不過說來也很崎嶇，LLaMA 沒幾天就意外外流，讓有意的使用者都能下載到使用，再過幾天事情快速發酵，陸續有人把容量比較小的 LLaMA 裝在 Mac、Google 手機 Pixel，甚至還裝在 Raspberry Pi 4 上，大家瞬間了解到就算技術上還有很多待突破的地方，但要把 LLM 裝在終端裝置上，是可行的！也是從這一刻起，Meta 主動意識到大有可為，在隨後 7 月發佈新版 Llama 2 第一時間就宣布已跟高通攜手，要把 Llama 2 積極帶進智慧型手機、 PC 等終端裝置。
再說通俗一點：這波 AI PC、AI 手機風潮，是被 Meta、高通有意 FOMO 起來的！高通去年也憑藉這股底氣，用 Snapdragon X Elite 正式向蘋果、AMD、Intel 下戰帖，不然像 AMD，也是早早就有 Ryzen AI 擺在那邊。
不然 NPU 說白了也不是全新玩意，像是蘋果很早很早就開始在用了，早在什麼時候呢？早在 2017 A11 Bionic，那還是 iPhone 8 就有非圖形專用的神經處理單位啦！然後蘋果不管是在手機、電腦，只要是自己研發的晶片，每年都越塞越多顆 NPU，理論上來說他們才是 AI PC、AI 手機的鼻祖。至於非消費者端的部分，Google 就更早了，早在 2015 年 Google 就開始偷偷把自己設計的 TPU 用在資料中心。
推薦閱讀：CPU+GPU+NPU──隨著Google Pixel 3的發表，浮現智慧型手機處理器下一波發展雛形
那到底 AI PC、AI 手機會是真主流，還是只是又一場泡沫？ 這是一個很難現在就用 yes 或 no 二分法回答的問題，其一是因為這個問題，其實已經在 2018 年「計算攝影」（也就是 AI 優化手機照相）時被問過一次了，事後證明 NPU 確實被越來越多開發者重視，但消費端反而還沒那麼（在表面）重視 NPU 的表現。
但筆者認為，不妨從幾條軸線來觀察 AI PC、AI 手機的發展：一是觀察 LLM 的壓縮率跟硬體什麼時候到達「甜蜜點」，像是手機記憶體的部分，普遍都需要 24GB 以上才夠運行 LLM（但現在的主流規格只有 8~16GB）；軟體這邊去年已經有非常多研究單位，在壓縮 LLM 上有豐碩的成果（最著名的就是 SpQR 法），就看雙方什麼時候可以耦合。
二則是觀察開發框架的發展速度，像是蘋果最近就推出專為 Apple Silicon 晶片進行優化的深度學習框架「MLX」，經開發者證實，MLX 在跑模型時已經優於自家的 MPS，且跟用 CUDA 的 V100 PCIe 相比也不遜色。蘋果自家開發框架的表現相當快速、優異，至於一般 PC 這裡，就要看有沒有同樣出色的開發框架出現了！
快加入 INSIDE Google News 按下追蹤，給你最新、最 IN 的科技新聞！
延伸閱讀：
- 深入分析：高通怎麼用 Snapdragon X Elite 晶片，對蘋果發出一帖戰書？
- AI PC 是一時熱潮還是未來趨勢？分析師：消費者使用尚有難度，軟體待開發
- Intel 進入 AI PC 時代！推出結合 NPU 的新一代處理器「Core Ultra」