騰訊湯道生：擁抱行業(yè)大模型，助力產(chǎn)業(yè)高質(zhì)量發(fā)展

“大語言模型的興起，讓AI的大規(guī)模普惠有了更大可能。過去一段時間以來，我們的行業(yè)大模型產(chǎn)品得到了不少客戶的肯定，切切實實幫助用戶提升了各項能力。同時，客戶的需求也推動了騰訊云MaaS的不斷升級，我們的大模型商店也在不斷‘?dāng)U容’，以滿足不同企業(yè)的不同需求。”

9月7日，2023騰訊全球數(shù)字生態(tài)大會于深圳成功舉辦。在“行業(yè)大模型與智能應(yīng)用”專場，騰訊集團(tuán)高級執(zhí)行副總裁、云與智慧產(chǎn)業(yè)事業(yè)群CEO湯道生發(fā)表主題演講，重點分享了AI大模型等技術(shù)產(chǎn)品對于產(chǎn)業(yè)發(fā)展的深遠(yuǎn)影響，以及騰訊云行業(yè)大模型的最新戰(zhàn)略思考、能力升級。

騰訊集團(tuán)高級執(zhí)行副總裁、云與智慧產(chǎn)業(yè)事業(yè)群CEO湯道生

湯道生提到，行業(yè)大模型已經(jīng)過了“嘗鮮期”，目前正深入各類業(yè)務(wù)場景，推動企業(yè)全鏈條智能化。與此同時，在大模型產(chǎn)業(yè)化的落地過程中，客戶關(guān)注的不僅是模型的大小、功能，而是更為關(guān)注如何選用并定制適合自身業(yè)務(wù)發(fā)展的模型產(chǎn)品。

基于客戶的實際需求，騰訊云不斷升級大模型精選商店，包括自研的通用大模型“混元”、20多種主流開源模型和更多行業(yè)大模型。企業(yè)可以根據(jù)自身需求選擇合適的模型產(chǎn)品，并進(jìn)行訓(xùn)練和精調(diào)，以滿足個性化需求。

此外，湯道生還認(rèn)為，模型的熱潮導(dǎo)致各項成本攀升，擁抱大模型不能只是一時沖動，還要理性考慮落地成本。針對此，騰訊云也提供了從數(shù)據(jù)處理、多機多卡訓(xùn)練到硬件優(yōu)化的一站式解決方案，以幫助企業(yè)高效、低成本地創(chuàng)建和使用大模型。同時，騰訊云TI平臺還進(jìn)行了全新升級，有效提升了大模型的訓(xùn)練速度和推理效率。

“AI大模型等產(chǎn)品的發(fā)展及落地將對千行百業(yè)產(chǎn)生‘質(zhì)’的影響，我們也將持續(xù)開放產(chǎn)品能力、不斷探索技術(shù)應(yīng)用，助力產(chǎn)業(yè)實現(xiàn)更高質(zhì)量的發(fā)展。”湯道生表示。

以下為演講全文：

大家好！

歡迎來到騰訊全球數(shù)字生態(tài)大會“行業(yè)大模型與智能應(yīng)用”專場，共同探討AI驅(qū)動下的產(chǎn)業(yè)發(fā)展。

人工智能發(fā)展至今已經(jīng)有70多年，在前幾波浪潮中，AI雖然在一些產(chǎn)業(yè)應(yīng)用中，實現(xiàn)了落地，但受到基礎(chǔ)算法、算力、數(shù)據(jù)等限制，距離普遍的產(chǎn)業(yè)應(yīng)用，還有一定距離。

大語言模型的發(fā)展，第一次讓我們看到了，AI在產(chǎn)業(yè)中，大規(guī)模落地的可能。六個月前，很多企業(yè)驚嘆于通用大模型的生成能力，迫不及待地嘗試與業(yè)務(wù)結(jié)合。但很快發(fā)現(xiàn)，通用大模型在實際應(yīng)用中，面臨專業(yè)度、準(zhǔn)確度、數(shù)據(jù)安全、成本等很多挑戰(zhàn)。基于此，騰訊云在6月19日推出了騰訊云MaaS服務(wù)，通過“行業(yè)大模型+企業(yè)數(shù)據(jù)精調(diào)”方案，幫助產(chǎn)業(yè)伙伴打造適合自己的大模型產(chǎn)品。

三個月來，我們建設(shè)行業(yè)大模型的思路，獲得了業(yè)界的普遍認(rèn)可，很多企業(yè)通過我們的行業(yè)大模型，大幅提升內(nèi)容生產(chǎn)、營銷、客服能力，客戶也和我們一起，挖掘出更多落地的創(chuàng)新應(yīng)用。

技術(shù)變革和客戶需求的快速發(fā)展，給行業(yè)大模型發(fā)展帶來更多機遇，也推動騰訊云MaaS服務(wù)能力快速迭代，在這里，我也和大家分享一些我觀察到的大模型發(fā)展趨勢。

首先，行業(yè)大模型正深入各類業(yè)務(wù)場景，推動企業(yè)全鏈條智能化。

六個月前，客戶來談大模型，能想到的應(yīng)用場景基本只是文字客服。但今天，應(yīng)用場景已經(jīng)快速擴(kuò)展到各個領(lǐng)域，比如，在金融行業(yè)，大模型已經(jīng)應(yīng)用在開戶、業(yè)務(wù)處理、風(fēng)控等多個場景。

基于這些客戶需求，我們嘗試用大模型打造全棧產(chǎn)品能力，用于業(yè)務(wù)不同環(huán)節(jié)，助力企業(yè)全鏈條提質(zhì)增效。

就拿金融行業(yè)來說，海量單據(jù)的處理是金融業(yè)務(wù)員的突出痛點，這項工作技術(shù)含量低、但又很重要，容錯率低，每天都要耗費大量時間。一家國內(nèi)頭部商業(yè)銀行找到我們，用搭載大模型能力的TI-OCR平臺，只需要50張標(biāo)注數(shù)據(jù)，就能識別回單、發(fā)票、申請書等多種表單，準(zhǔn)確率超過95%，需要的數(shù)據(jù)也大大減少。不僅節(jié)約業(yè)務(wù)人員的大量時間，而且還能自動提煉核心標(biāo)簽，生成電子數(shù)據(jù)文件，進(jìn)行后續(xù)商業(yè)分析。

而風(fēng)險管理是金融業(yè)務(wù)的生命線，金融機構(gòu)幾個月就得升級一次風(fēng)控模型，傳統(tǒng)建模流程，耗時耗力，我們也將騰訊安全積累多年的多模態(tài)風(fēng)控知識，沉淀到金融風(fēng)控大模型中。金融機構(gòu)通過小樣本的提示，就可以根據(jù)客群和市場的變化，自動生成專屬的風(fēng)控模型，整個建模流程，從2周減少到2天，整體反欺詐效果提升了20%左右。

在客戶服務(wù)環(huán)節(jié)，大模型的應(yīng)用也不僅僅是文字對話，專屬大模型與數(shù)智人的結(jié)合，讓虛擬客服用擬人化的方式，與客戶順暢地實時互動；再加上基于音視頻，和圖像識別的人臉核身技術(shù)，就可以高效在線辦理金融業(yè)務(wù)。根據(jù)行業(yè)統(tǒng)計，金融客服中心的運營成本中，人力成本占到60%-70%。中信建投就運用騰訊云智能的解決方案，完成了95%的新用戶開戶工作。

其次，隨著大模型的產(chǎn)業(yè)落地，大家更關(guān)注如何尋找與自身業(yè)務(wù)更匹配的模型底座，訓(xùn)練出符合自身需求的專屬模型。

這驅(qū)使我們不斷升級大模型商店，提供全新的“1+N+N”服務(wù)，滿足不同企業(yè)的不同需求。

“1”代表我們的騰訊混元大模型。在大會的主論壇中，我們正式公布了自研通用大模型——混元，騰訊內(nèi)部多個業(yè)務(wù)和產(chǎn)品，已經(jīng)接入測試，并取得不錯的效果，更多業(yè)務(wù)和應(yīng)用也正在逐步接入中。混元不僅是騰訊行業(yè)大模型的重要支撐底座，也面向行業(yè)開放。通過我們的大模型商店，客戶可以利用混元，來訓(xùn)練自己的專屬模型，并借助API開放能力，與已有業(yè)務(wù)系統(tǒng)無縫融合。

然后第一個“N”，是指混元之外，我們在大模型商店中，提供Llama 2、Falcon、Bloom等20多種行業(yè)最新、最流行的開源通用大模型，供客戶選擇。同時我們的TI平臺，也已經(jīng)支持這些開源模型的訓(xùn)練和推理。客戶基于Jupyter Notebook，就可以快速啟動模型精調(diào)，模型部署通過低代碼操作就可以完成。

第二個“N”，指的是我們的行業(yè)大模型。在通用大模型基礎(chǔ)上，通過行業(yè)數(shù)據(jù)再次加工，為行業(yè)客戶提供更專業(yè)和精準(zhǔn)的服務(wù)。目前我們的行業(yè)大模型，從早期的文旅、泛互、零售等領(lǐng)域，快速擴(kuò)展到能源、消費電子、醫(yī)療等20多個行業(yè)，并覆蓋生產(chǎn)、銷售、客服等多個環(huán)節(jié)。

企業(yè)可以在大模型精選商店中，挑選合適的模型為基礎(chǔ)，通過騰訊云智能的TI平臺，導(dǎo)入企業(yè)獨有的專業(yè)文檔與企業(yè)數(shù)據(jù)，做進(jìn)一步的訓(xùn)練與精調(diào)，快速生成更有針對性的專屬大模型，更好滿足企業(yè)個性化需求。同時，不管是在公有云上搭建，還是私有化部署，我們都可以做好權(quán)限管控和數(shù)據(jù)加密，讓企業(yè)用戶在使用模型時更放心。

再次，模型的熱潮導(dǎo)致硬件和人力成本攀升，更多的企業(yè)意識到，擁抱大模型不能只是一時沖動，還要理性考慮落地成本，訓(xùn)練、推理的效率。

企業(yè)專屬模型的生成，涉及到數(shù)字資產(chǎn)資源管理、數(shù)據(jù)標(biāo)注、訓(xùn)練、評估、測試和部署等很多環(huán)節(jié)。同時，根據(jù)業(yè)務(wù)發(fā)展，企業(yè)模型需要不斷地調(diào)優(yōu)、迭代，數(shù)據(jù)處理的整個過程，也要不斷地重復(fù)。

如何幫助企業(yè)高效率、低成本地用好模型？我們通過基于騰訊云TI平臺的行業(yè)大模型精調(diào)解決方案，幫助模型開發(fā)者與算法工程師，一站式解決數(shù)據(jù)處理問題，保障數(shù)據(jù)高質(zhì)高效、安全合規(guī)地處理；通過多機多卡訓(xùn)練加速能力，高效率、低成本地創(chuàng)建和使用大模型。

這次，我們對TI平臺的工具鏈進(jìn)行了全新升級，全新升級的太極Angel框架，通過異步調(diào)度優(yōu)化、顯存優(yōu)化、計算優(yōu)化等方式，讓大模型的訓(xùn)練速度提升30%，推理加速比達(dá)到了2倍。

行業(yè)大模型正在走進(jìn)千行百業(yè)，大量新的場景、新的需求被激活，如何低成本獲取底層算力，也是企業(yè)當(dāng)前面臨的突出難題。在大模型的底層基礎(chǔ)設(shè)施上，我們對服務(wù)器、網(wǎng)絡(luò)、數(shù)據(jù)這個“鐵三角”不斷優(yōu)化，幫助客戶降本增效。

我們的新一代HCC高性能計算集群，實現(xiàn)了GPU算力無損釋放，服務(wù)協(xié)議等級（SLA）不低于99.9%。同時基于云原生架構(gòu)，實現(xiàn)訓(xùn)練和推理業(yè)務(wù)的混合部署，大量節(jié)約大模型的部署、訓(xùn)練成本。

我們自研的服務(wù)器機間網(wǎng)絡(luò)——星脈，做到了業(yè)界最強的3.2T帶寬、支持10萬卡集群組網(wǎng)，讓GPU之間的通信更快，擁堵更少，計算效率更高。

我們也在國內(nèi)云廠商中，率先推出向量數(shù)據(jù)庫，提升海量非結(jié)構(gòu)化數(shù)據(jù)的存儲和檢索效率，讓大模型預(yù)訓(xùn)練數(shù)據(jù)的分類、去重和清洗，實現(xiàn)10倍的效率提升。1個月左右的數(shù)據(jù)接入時間，3天即可完成，極大降低了企業(yè)的成本。

毫無疑問，我們正在邁入被人工智能劇烈改變的時代，AI將通過與產(chǎn)業(yè)深度融合，創(chuàng)造更大的價值。騰訊將不斷開放自身的技術(shù)和能力，助力產(chǎn)業(yè)擁抱智能升級，實現(xiàn)更高質(zhì)量的發(fā)展。

雷峰網(wǎng)(公眾號：雷峰網(wǎng))