<mark id="oztn4"></mark>
0
| 本文作者： Nemo | 2025-05-17 21:49 |
在國際電信聯(lián)盟成立160周年之際，中國通信學會主辦的“2025世界電信與信息社會日系列活動”于5月16日-17日期間在江西南昌召開。今日，以“AI大模型賦能千行百業(yè)”為主題的系列活動之一，“AI與行業(yè)大模型應(yīng)用專題研討”召開。此次專題研討聚焦“運營商AI與行業(yè)大模型布局”和“行業(yè)大模型實踐與應(yīng)用”兩大板塊，匯聚政府機構(gòu)、科研院所及行業(yè)領(lǐng)軍企業(yè)，共同解讀了全球AI趨勢與治理方向，探討了AI大模型的技術(shù)前沿與行業(yè)實踐。
高通技術(shù)公司產(chǎn)品管理副總裁姜波在“AI與行業(yè)大模型應(yīng)用專題研討”上發(fā)表了主題演講。他闡述了高通公司作為終端側(cè)AI領(lǐng)導者，如何以行業(yè)領(lǐng)先的終端側(cè)AI軟硬件技術(shù)、廣泛的邊緣業(yè)務(wù)布局和積極開放的生態(tài)合作，把握AI向推理時代邁進的重要行業(yè)變革機遇，推動AI應(yīng)用在邊緣及終端側(cè)繁榮發(fā)展，加速AI技術(shù)與產(chǎn)業(yè)深度融合，賦能千行百業(yè)利用AI技術(shù)找到新的行業(yè)發(fā)展突破口，加速產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型，為產(chǎn)業(yè)發(fā)展帶來全新動能。
以下是演講內(nèi)容全文：
各位嘉賓大家下午好！我是高通公司姜波。非常榮幸能夠在國際電信聯(lián)盟成立160周年之際，與大家相聚在南昌，共同探討終端側(cè)AI推理創(chuàng)新如何推動智能產(chǎn)業(yè)迎來全新發(fā)展機遇，并加速各行業(yè)對AI的規(guī)模化集成及用戶體驗的重塑。
今年年初，DeepSeek的推出引發(fā)了對AI模型訓練方式的顛覆變革和重新評估，驗證了AI即將從大規(guī)模訓練向大規(guī)模推理轉(zhuǎn)變的趨勢，這將形成全新的終端側(cè)推理計算的創(chuàng)新和升級周期。雖然模型訓練仍將在云端進行，但模型推理將向終端側(cè)轉(zhuǎn)移。
AI模型訓練成本的降低與開源合作相結(jié)合，使得更多開發(fā)者和組織能夠開發(fā)高質(zhì)量模型，并且小模型正逐漸接近前沿大模型的質(zhì)量。盡管有人認為模型規(guī)模縮小會導致質(zhì)量下降，但實際上，2024年來推出的眾多先進的AI小模型已經(jīng)具有卓越性能，能夠達到甚至超越一年前推出的僅能在云端運行的更大模型。許多主流模型系列，如DeepSeek R1、Meta Llama、IBM Granite和Mistral Ministral，均已推出小模型版本，并在特定任務(wù)的性能和基準測試中表現(xiàn)出色。
蒸餾技術(shù)是開發(fā)高效小模型的關(guān)鍵，它能夠在保持準確性的同時實現(xiàn)知識的轉(zhuǎn)移。這一技術(shù)的應(yīng)用推動了小型基礎(chǔ)模型的激增，其中包括許多針對特定任務(wù)優(yōu)化的模型。以DeepSeek為例，在其發(fā)布的一周內(nèi)，就出現(xiàn)了多種新的蒸餾模型，如通義千問和Llama蒸餾模型。經(jīng)過蒸餾的Llama模型性能顯著提升，而DeepSeek的Qwen-7B蒸餾模型的性能已與去年最先進的GPT-4云端模型相當。
根據(jù)Epoch AI的數(shù)據(jù)，2024年發(fā)布的大規(guī)模AI模型中，超過75%的模型參數(shù)在千億規(guī)模以下。量化、壓縮和剪枝等技術(shù)有助于縮小模型規(guī)模，量化能降低功耗并在不明顯影響準確性的情況下加速運算，剪枝則消除不必要的參數(shù)。將大型基礎(chǔ)模型縮減為更小、更高效的版本，不僅能實現(xiàn)更快的推理速度、更少的內(nèi)存占用和更低的功耗，同時可以保持較高的性能水平，從而使此類模型適合在智能手機、PC和汽車等終端上部署。
得益于高質(zhì)量小模型數(shù)量的持續(xù)增加，如今，邊緣及終端側(cè)AI開發(fā)者在開發(fā)應(yīng)用和AI智能體方面有著非常多樣化的模型選擇。從全球范圍來看，我們既有Llama、Mistral、Phi這樣的開源模型，還有百川、Gemini Nano、通義千問等閉源模型，這當中有一些模型也正在不斷擁抱開源社區(qū)。此外，不同地區(qū)也在積極發(fā)展各自的AI模型，推出了各具特色的新型模型。與此同時，傳統(tǒng)的計算機視覺和物體檢測等領(lǐng)域所使用的模型，在特定應(yīng)用場景下依然發(fā)揮著不可替代的作用。
隨著當前模型的發(fā)展，我們觀察到不同設(shè)備，包括手機、汽車、PC、XR和工業(yè)物聯(lián)網(wǎng)設(shè)備等，在支持的模型參數(shù)規(guī)模方面展現(xiàn)出不同的能力。結(jié)合AI模型自身質(zhì)量的不斷提升，終端側(cè)AI將具備更豐富的功能，如支持更長的上下文、提供個性化體驗、實現(xiàn)多模態(tài)交互和處理并發(fā)模型等，這些都將極大地推動終端側(cè)AI應(yīng)用的創(chuàng)新與繁榮。
根據(jù)預測，2025年中國新一代AI手機市場出貨量將達到1.18億臺，占整個市場的40.7%。[1]同時， 2025年中國AI PC市場出貨占比預計將從2024年的13%大幅上升至37%。[2]
作為終端側(cè)AI的領(lǐng)導者，高通在人工智能領(lǐng)域有著超過15年的投入，擁有行業(yè)領(lǐng)先硬件和軟件解決方案覆蓋廣泛終端，并且擁有跨NPU、CPU和GPU的卓越異構(gòu)計算能力、領(lǐng)先的軟件優(yōu)化、以及能效。此外，我們還在全球范圍內(nèi)擁有領(lǐng)先的終端側(cè)布局和高達數(shù)十億的用戶設(shè)備數(shù)量，覆蓋智能手機、PC、汽車、XR、邊緣網(wǎng)絡(luò)設(shè)備等等。同時，我們也與眾多生態(tài)合作伙伴共同推動AI技術(shù)的創(chuàng)新和應(yīng)用。
2024年，高通與騰訊混元合作，基于驍龍8至尊版移動平臺，共同推動騰訊混元大模型7B和3B版本的終端側(cè)部署。這有助于騰訊混元大模型為廣泛的業(yè)務(wù)場景提供技術(shù)支持，通過利用終端側(cè)AI加速產(chǎn)品創(chuàng)新，并有效降低運營成本。
在硬件方面，高通長期致力于開發(fā)定制CPU、NPU、GPU和低功耗子系統(tǒng)，同時擁有封裝技術(shù)和熱設(shè)計的技術(shù)專長，這構(gòu)成了我們行業(yè)領(lǐng)先的系統(tǒng)級芯片（SoC）產(chǎn)品的基礎(chǔ)。通過異構(gòu)計算系統(tǒng)，高通幫助開發(fā)者通過上層軟件調(diào)用硬件核心組件進行AI加速，包括CPU、GPU、NPU和高通傳感器中樞。其中，Oryon CPU面向即時性要求高的任務(wù)，Adreno GPU擅長圖像和視頻處理，Hexagon NPU適用于持續(xù)和泛在型任務(wù)，如計算攝影和大模型應(yīng)用。而高通傳感器中樞則針對那些對功耗敏感且需要始終保持在線的應(yīng)用場景。
在軟件工具支持方面，我們推出了高通AI軟件棧，可以讓模型在終端上完成端到端的部署和優(yōu)化工作。高通AI軟件棧支持所有開發(fā)者常用的AI框架、runtime、開發(fā)工具和操作系統(tǒng)。例如，我們支持ONNX、TensorFlow、PyTorch等主流AI框架，以及ONNX Runtime、Direct ML和TFLite等常用runtime，我們也給開發(fā)者提供了高通自己開發(fā)的runtime——高通AI引擎Direct，以供開發(fā)者調(diào)用前面介紹的各種硬件模塊，對AI用例進行加速。此外，為了更好地支持開發(fā)者，我們?nèi)ツ晖瞥隽烁咄ˋI Hub，它能夠幫助開發(fā)者選擇相應(yīng)平臺和開發(fā)模型、編寫應(yīng)用，最后在不同類型的移動終端上進行部署。
除了高通AI軟件棧和AI Hub，我們還推出了高通智能體AI規(guī)劃器。高通智能體AI規(guī)劃器作為高通AI軟件棧的重要組成部分，位于應(yīng)用和AI框架及runtime之間，為終端側(cè)所有的AI功能提供所需的協(xié)調(diào)規(guī)劃，是賦能下一代智能體AI體驗的關(guān)鍵所在。
簡而言之，這是一個用于意圖理解、意圖分發(fā)和域服務(wù)調(diào)動的端到端解決方案，涵蓋了從最初的自然語言理解階段，包括自動語音識別（ASR）和文本到語音轉(zhuǎn)換（TTS）模塊，到通過端側(cè)智能體進行的意圖理解和任務(wù)編排過程。在任務(wù)編排階段，規(guī)劃器能夠調(diào)用端側(cè)的各種工具，并利用端側(cè)的個性化知識圖譜和本地數(shù)據(jù)，從而讓任務(wù)規(guī)劃更為精確和高效。此外，在完成任務(wù)規(guī)劃之后，規(guī)劃器還支持多種后續(xù)的域服務(wù)，如音樂播放、天氣查詢、導航和訂餐等功能。
隨著AI在終端側(cè)無處不在地運行，以應(yīng)用為中心的體驗正在改變。通過自然語言、圖像、視頻與手勢的交互方式，AI智能體能夠簡化技術(shù)使用方法，預測用戶需求，并在終端和應(yīng)用內(nèi)主動執(zhí)行復雜的工作流程、進行決策和管理任務(wù)。也就是說，AI正在成為新的UI（用戶界面），用戶將不再需要打開特定的應(yīng)用程序， AI智能體將作為新的交互方式服務(wù)于用戶的所有計算終端。這不僅將改變單個應(yīng)用，還將影響零售、餐飲等行業(yè)的客戶體驗邏輯，成為變革商業(yè)版圖的新生力量。
今年，高通公司迎來成立40周年、深耕中國市場30年的重要里程碑。過去30年來，高通一直與中國的移動生態(tài)系統(tǒng)企業(yè)保持緊密合作。目前，我們正在攜手更廣泛的合作伙伴，充分利用端側(cè)AI在性能、效率、響應(yīng)速度和隱私保護方面的優(yōu)勢，共同把握產(chǎn)業(yè)發(fā)展機遇。
在智能手機方面，包括小米、榮耀、OPPO、vivo在內(nèi)的廠商均已發(fā)布了搭載驍龍8至尊版移動平臺的旗艦手機產(chǎn)品，支持豐富的生成式AI用例。在PC方面，預計到2026年將有超過100款搭載驍龍X系列計算平臺的PC發(fā)布或正在開發(fā)中，覆蓋華碩、宏碁、戴爾、HP、聯(lián)想和榮耀等領(lǐng)先廠商。同時，我們持續(xù)與騰訊會議、有道、愛奇藝、字節(jié)跳動等ISV合作伙伴協(xié)作，為開發(fā)者提供工具和支持，把握AI PC的行業(yè)發(fā)展新機遇。在汽車領(lǐng)域，高通過去在多個場合展示了基于驍龍數(shù)字底盤解決方案運行的汽車端大模型和生成式AI用例。如今，理想、小鵬等中國車廠已基于高通第四代驍龍座艙平臺發(fā)布了其車端的大模型功能。
站在新的起點上，高通將持續(xù)加強在可擴展硬件和軟件方面的投入，并通過與模型廠商的緊密合作，賦能開發(fā)者在終端側(cè)加速采用AI智能體和應(yīng)用，讓AI應(yīng)用更加觸手可及，推動AI技術(shù)在千行百業(yè)的應(yīng)用。
[1] IDC：2025年中國智能手機市場十大洞察
[2] Canalys：預計大中華區(qū)AI PC滲透率2024年達13%，2025年達37%
2024年，高通與騰訊混元合作，基于驍龍8至尊版移動平臺，共同推動騰訊混元大模型7B和3B版本的終端側(cè)部署。這有助于騰訊混元大模型為廣泛的業(yè)務(wù)場景提供技術(shù)支持，通過利用終端側(cè)AI加速產(chǎn)品創(chuàng)新，并有效降低運營成本。
在硬件方面，高通長期致力于開發(fā)定制CPU、NPU、GPU和低功耗子系統(tǒng)，同時擁有封裝技術(shù)和熱設(shè)計的技術(shù)專長，這構(gòu)成了我們行業(yè)領(lǐng)先的系統(tǒng)級芯片（SoC）產(chǎn)品的基礎(chǔ)。通過異構(gòu)計算系統(tǒng)，高通幫助開發(fā)者通過上層軟件調(diào)用硬件核心組件進行AI加速，包括CPU、GPU、NPU和高通傳感器中樞。其中，Oryon CPU面向即時性要求高的任務(wù)，Adreno GPU擅長圖像和視頻處理，Hexagon NPU適用于持續(xù)和泛在型任務(wù)，如計算攝影和大模型應(yīng)用。而高通傳感器中樞則針對那些對功耗敏感且需要始終保持在線的應(yīng)用場景。
在軟件工具支持方面，我們推出了高通AI軟件棧，可以讓模型在終端上完成端到端的部署和優(yōu)化工作。高通AI軟件棧支持所有開發(fā)者常用的AI框架、runtime、開發(fā)工具和操作系統(tǒng)。例如，我們支持ONNX、TensorFlow、PyTorch等主流AI框架，以及ONNX Runtime、Direct ML和TFLite等常用runtime，我們也給開發(fā)者提供了高通自己開發(fā)的runtime——高通AI引擎Direct，以供開發(fā)者調(diào)用前面介紹的各種硬件模塊，對AI用例進行加速。此外，為了更好地支持開發(fā)者，我們?nèi)ツ晖瞥隽烁咄ˋI Hub，它能夠幫助開發(fā)者選擇相應(yīng)平臺和開發(fā)模型、編寫應(yīng)用，最后在不同類型的移動終端上進行部署。
除了高通AI軟件棧和AI Hub，我們還推出了高通智能體AI規(guī)劃器。高通智能體AI規(guī)劃器作為高通AI軟件棧的重要組成部分，位于應(yīng)用和AI框架及runtime之間，為終端側(cè)所有的AI功能提供所需的協(xié)調(diào)規(guī)劃，是賦能下一代智能體AI體驗的關(guān)鍵所在。
簡而言之，這是一個用于意圖理解、意圖分發(fā)和域服務(wù)調(diào)動的端到端解決方案，涵蓋了從最初的自然語言理解階段，包括自動語音識別（ASR）和文本到語音轉(zhuǎn)換（TTS）模塊，到通過端側(cè)智能體進行的意圖理解和任務(wù)編排過程。在任務(wù)編排階段，規(guī)劃器能夠調(diào)用端側(cè)的各種工具，并利用端側(cè)的個性化知識圖譜和本地數(shù)據(jù)，從而讓任務(wù)規(guī)劃更為精確和高效。此外，在完成任務(wù)規(guī)劃之后，規(guī)劃器還支持多種后續(xù)的域服務(wù)，如音樂播放、天氣查詢、導航和訂餐等功能。
隨著AI在終端側(cè)無處不在地運行，以應(yīng)用為中心的體驗正在改變。通過自然語言、圖像、視頻與手勢的交互方式，AI智能體能夠簡化技術(shù)使用方法，預測用戶需求，并在終端和應(yīng)用內(nèi)主動執(zhí)行復雜的工作流程、進行決策和管理任務(wù)。也就是說，AI正在成為新的UI（用戶界面），用戶將不再需要打開特定的應(yīng)用程序， AI智能體將作為新的交互方式服務(wù)于用戶的所有計算終端。這不僅將改變單個應(yīng)用，還將影響零售、餐飲等行業(yè)的客戶體驗邏輯，成為變革商業(yè)版圖的新生力量。
今年，高通公司迎來成立40周年、深耕中國市場30年的重要里程碑。過去30年來，高通一直與中國的移動生態(tài)系統(tǒng)企業(yè)保持緊密合作。目前，我們正在攜手更廣泛的合作伙伴，充分利用端側(cè)AI在性能、效率、響應(yīng)速度和隱私保護方面的優(yōu)勢，共同把握產(chǎn)業(yè)發(fā)展機遇。
在智能手機方面，包括小米、榮耀、OPPO、vivo在內(nèi)的廠商均已發(fā)布了搭載驍龍8至尊版移動平臺的旗艦手機產(chǎn)品，支持豐富的生成式AI用例。在PC方面，預計到2026年將有超過100款搭載驍龍X系列計算平臺的PC發(fā)布或正在開發(fā)中，覆蓋華碩、宏碁、戴爾、HP、聯(lián)想和榮耀等領(lǐng)先廠商。同時，我們持續(xù)與騰訊會議、有道、愛奇藝、字節(jié)跳動等ISV合作伙伴協(xié)作，為開發(fā)者提供工具和支持，把握AI PC的行業(yè)發(fā)展新機遇。在汽車領(lǐng)域，高通過去在多個場合展示了基于驍龍數(shù)字底盤解決方案運行的汽車端大模型和生成式AI用例。如今，理想、小鵬等中國車廠已基于高通第四代驍龍座艙平臺發(fā)布了其車端的大模型功能。
站在新的起點上，高通將持續(xù)加強在可擴展硬件和軟件方面的投入，并通過與模型廠商的緊密合作，賦能開發(fā)者在終端側(cè)加速采用AI智能體和應(yīng)用，讓AI應(yīng)用更加觸手可及，推動AI技術(shù)在千行百業(yè)的應(yīng)用。
