騰訊云發布智能數據湖計算 AI DLC，打通數據處理到 Agent 應用全流程

從數據處理到 Agent 的鏈路正在被大幅壓縮。

7月30日，記者獲悉，騰訊云正式發布智能數據湖計算平臺AI DLC，面向自動駕駛、具身智能、Agent等AI場景，提供覆蓋數據處理、訓練、推理到 Agent 應用的一體化能力。以騰訊自研的 WorkBuddy 為例，接入 AI DLC 后，其處理同一批數據的端到端時間縮短80%，完成相同任務所需算力約為此前的五分之一。

（騰訊云智能湖計算AI DLC架構）

長期以來，企業開發 AI 應用通常需要先用 Spark 完成數據清洗和加工，再將結果寫入存儲，由 AI 團隊通過 Ray 等框架完成訓練和推理。不同環節運行在不同平臺，數據需要反復搬運，權限、元數據和算力資源也要分別管理。

針對這一痛點，AI DLC 實現了 Spark 與 Ray 在同一平臺運行。Spark 負責大規模數據處理和特征準備，Ray 承接多模態數據處理、模型訓練、在線推理和 Agent 任務。兩套框架共享數據、算力和權限體系，數據處理完成后即可直接進入訓練和推理，無需跨平臺搬運。

AI DLC 采用 Serverless 架構，算力可按任務秒級彈性伸縮、按使用時長計費，企業無需預留和運維固定集群。據介紹，它也是業內首個在同一平臺提供生產級 Spark 與 Ray 全托管服務的計算平臺。

在算力層面，AI DLC 將 CPU、GPU、TPU 等異構資源納入統一資源池，根據數據處理、訓練和推理任務動態調度。任務結束后，資源可自動釋放并分配給其他作業，減少固定集群長期閑置。平臺整體資源利用率可提升數倍，并已適配國產主流 GPU 芯片，幫助企業在自主可控的算力底座上運行 AI 負載。

為進一步提升計算效率，AI DLC 搭載騰訊云自研向量化計算引擎 Meson 和多模態計算引擎 Xpark。Meson 兼容 Spark API、SQL 語法及生態組件，在標準測試中查詢性能提升3.6倍，部分復雜查詢最高加速5倍，CPU使用率下降近一半；Xpark 面向文檔、圖片和音視頻等多模態數據，提供50多種多模態和大模型算子，相比開源方案推理吞吐提升3倍，GPU利用率可長期接近100%。

除支撐數據處理和模型訓練外，AI DLC 還面向 Agent 進行了升級。Agent 運行產生的軌跡、記憶和反饋可沉淀至數據湖，經過處理和后訓練后持續反哺 Agent；平臺同時通過 MCP、Skills 和 Open API 開放能力，讓 WorkBuddy、CodeBuddy 等 Agent 直接調用數據處理、訓練和分析能力。

這一模式已在騰訊內部得到驗證。WorkBuddy 運行過程中持續產生對話、文檔和用戶反饋等數據，部分單字段達到 GB 級，數據量月增速超過100%。接入 AI DLC 后，這些數據可直接完成清洗、特征提取、模型后訓練和評估回流，形成可復用的數據與訓練流水線。

在自動駕駛場景中，博世測試車輛每天產生大量視頻和傳感器數據，抽幀和清洗主要消耗 CPU，數據脫敏，模型訓練與推理則依賴 GPU。通過博世ARENA統一管控平臺，博世將數據處理、推理和部分訓練任務納入統一調度。目前，其平臺已沉淀200多個推理模板，每天處理上萬個推理任務，持續提升自動駕駛數據閉環效率。

隨著企業 AI 應用從模型走向 Agent，數據平臺也正從支撐數據分析，升級為支撐 Agent 持續運行和迭代。在AI DLC之外，騰訊云已圍繞 Agent-Ready 構建了覆蓋基礎引擎、統一控制面和上層 Data Agent 的完整數據平臺能力，助力企業加快數據資產向智能應用轉化。

雷峰網(公眾號：雷峰網) 雷峰網