<mark id="oztn4"></mark>
0
3000米高空，一架民航客機拖著冒煙的機翼，在空中劃出兩條黑線。不遠處，13名乘客被卷出機艙，生命垂危。
此刻，不遠處的老賈（鋼鐵俠搭載的智能助手）通過大數據算法得出上百個解決方案，又將其一一排除。
突然，鎧甲啟動制動，一個人影開始在空中踱步，1、2、3......眨眼間，13名乘客全數獲救，整個過程剛好30秒。
《鋼鐵俠3》中，空難救援的片段堪稱經典。鋼鐵俠通過授權AI，使用大數據、云計算等技術實現在1/30s做出準確決策。
電影中展示的極端情況，激起我們對這類技術的好奇心。現實生活中，大數據、云計算等技術的迭代、融合和落地更是影響著上層應用（企業端）的方方面面。
▲騰訊云副總裁、騰訊數據平臺總經理蔣杰
11月6日，雷鋒網應邀參加了騰訊舉辦的Techo開發者大會。期間，騰訊云副總裁、騰訊數據平臺總經理蔣杰就騰訊大數據平臺演進歷程、騰訊大數據平臺發展方向以及AI、云技術的融合使用進行分享。
日數據計算量超30萬億
騰訊業務部門的資源和大數據平臺機器資源的結合，形成大數據全平臺算力。
蔣杰透露，截止目前，該算力資源池目前已有超過20萬臺的規模，每天實時數據計算超過30萬億條，而這樣的成果并非一日得來。10年間，騰訊大數據平臺的發展一共經歷三個階段：
1、離線計算
2009年1月，騰訊搭建起第一個Hadoop集群，開始做數據規模化。
這是一個由Apache基金會所開發的分布式系統基礎架構，它實現了一個分布式文件系統（簡稱HDFS）。
HDFS有高容錯性的特點，適于設計用來部署在低廉的（low-cost）硬件上；它提供高吞吐量（high throughput）來訪問應用程序的數據，適合那些有著超大數據集（large data set）的應用程序。
HDFS為海量的數據提供了存儲，而MapReduce則為海量的數據提供了算力。
2、實時計算
2012年，移動互聯網爆發，騰訊大數據平臺發展進入第二階段——從Hadoop轉向Spark和Storm體系。
在吸收開源技術的基礎上，該平臺結合業務需求進行了重寫。期間，騰訊開始探索流式計算、秒級采集系統的建設，并構建企業級的實時數據分析體系。
大數據平臺的在線分析和實時計算功能在實時報表、實時查詢、實時監控等諸多場景下得以應用。
3、機器計算
2015年至今，為了支持業務數據挖掘的需求，開始主要建設機器學習平臺。從數據分析到數據挖掘的轉變，是大數據平臺“智能化”的體現。
2016年，騰訊自研機器學習平臺Angel，專攻復雜計算場景，可進行大規模的數據訓練，支撐內容推薦、廣告推薦等AI應用場景。
蔣杰稱，騰訊大數據平臺的發展，是一個從引進到自研、從離線到實時、從分析計算到人工智能的全維度的演進歷程。隨著資源管理平臺核心TKE和分布式數據庫TBase正式對外開源，與開發計算平臺TDW、全棧機器學習平臺Angel、開源實時數據采集平臺TubeMQ一起構成騰訊大數據開源陣營，證實了騰訊大數據平臺從開源中來，在具備自主研發能力后積極推動開源，回饋產業。
大數據平臺新方向：融合
當談到發展方向時，蔣杰重點強調了“融合”二字。在他看來，騰訊大數據平臺正向著這三個特點進行迭代：
1、批流融合，批量計算、實時計算從分離，到SQL層面的融合，再到底層計算引擎層面、存儲層面的多方面技術融合；
2、ABC融合，即人工智能、大數據和云的融合，前兩者天生就應該綁在一起的，騰訊自研的機器學習平臺Angel就是一個融合的案例，Angel目前已經實現了預處理到數據訓練融合，當把整個體系能搬在云上后，即實現ABC的真正融合；
3、數據湖，實現跨IDC、跨平臺、跨異構數據源的數據共享，通過聯邦學習來解決數據共享中存在的數據安全和隱私的問題。
技術的發展，并不總是一帆風順的。蔣杰表示，在經歷大數據平臺發展的階段中，走過的坑可謂只多不少。
在資源調度領域，原生Hadoop的可承載規模較小，這就意味著需要自研調度器。通過自研調度器，騰訊在2014年讓Hadoop單集群規模達到8800臺，目前超過4萬臺。解決完離線規模的問題以后，騰訊大數據團隊再度面臨解決在線資源問題。他們需要實現在線平臺和離線平臺的混合部署，這個過程需要更好的資源隔離，并且需要容器具備虛擬機一樣的隔離能力。同時，還要獲得在線業務的優先調度能力，以提高在線資源率。
在數據采集方面，騰訊大數據團隊在開始階段主要引入和使用開源軟件，經常會出現數據重復和數據丟包問題，后來自研了TubeMQ來解決，從2013年到目前，該平臺數據規模從百億到35萬億，翻了幾千倍。10萬億規模的數據消費存在延時問題，TubeMQ要在如此大規模之下達到平均5毫秒的延時要求，他們采取軟硬結合的技術來解決。
在數據處理方面，騰訊要以毫秒級的速度對數據中心里分布在不同的國家、不同的存儲系統、不同的集群的異構數據進行快速處理，漂移計算SuperSQL解決方案應運而生。SuperSQL通過智能CBO優化器（基于成本的優化），將計算下推到分布在各地的異構數據源，實現高效的異構數據分析，使得數據分析過程的整個性能表現比傳統處理方式高出26倍，特別是針對海量數據情況下，這樣的解決方案優勢也就越發明顯。
最后的難點，是騰訊面臨著萬億規模的大數據訓練需求。最開始，他們的數據訓練需求來源于廣告業務，他們使用Spark來構建數據訓練體系，但只能支持千萬級別維度的訓練。因此他們自研高性能的機器學習平臺Angel來解決，從最開始Anlge支持十億維度，逐步提升到千億。目前，Angel平臺的訓練量級已經從千億擴增到萬億。
10年間，走過的坑有多深，只有騰訊大數據團隊知曉。而他們，把這些都搬上云，同時，他們從2014年起就對外開源，希望為同類廠商及廣大開發者提供可行性的解決方案。
踩過的坑，別人就別再踩了
蔣杰稱，騰訊大數據平臺的底層技術本源自于開源，通過發展、迭代，再以開源的方式回饋社區是最好的選擇。
目前，騰訊云已經提供了對外開放的能力，其中包括存儲網絡、數據庫到上層整個大數據平臺、機器學習平臺，到上層服務于SAAS、語音NLP的整個體系。通過云上的產品，企業可以在沒有專業大數據和AI人才的前提下進行大數據的各項分析。
雷鋒網了解到，2014年，騰訊的第一代開發計算平臺TDW開源，到2017年第三代的計算平臺Angel也已經開源，該平臺已經捐給Linux基金會。到今年9月份，騰訊開源了實時數據采集平臺TubeMQ，并將其捐獻給Apache基金會。
會議當天，蔣杰宣布，資源管理容器平臺TKE和分布式數據庫TBase開源，隨著在大數據開源領域的開源逐步加速，騰訊正在成為中國大數據領域開源最全面的廠商之一。
會后，蔣杰在采訪環節闡述了更多關于大數據平臺技術發展的觀點，這里將采訪內容整理出來以供分享：
1、TBase作為在線交易數據庫，都有哪些適用場景？TBase和其他類型數據庫如何協同運作，其中是否存在多存儲管理？
答：現在某大型保險公司在用TBase數據庫，其他像云南省公安、數字廣東及十多家其他傳統行業的企業都在用TBase數據庫，應用場景還是比較多的。
具體來說，這家保險公司是用TBase作為新一代的分布式數據庫來替換傳統集中數據庫，這使得其一些關鍵應用實現了遷移及生產上線。TBase經過專門的設計可以做到HTAP，也同時支持高效的OLAP和海量的OLTP。
2、會上您說騰訊大數據全部開源，這樣做對于騰訊來說好處體在哪兒？另外請您詳細分享一下剛才會上您提到的ABC融合。
答：開源的目的主要是為了更好的回饋社區，另外我們也希望能有更多的開發者和團隊加入到這個生態中來，這樣的話整個大數據的功能會越來越多。
對騰訊來說，去做開源主要有兩點：
第一，其影響力優勢能夠吸引更多的開發者加入跟我們一起來研發。
第二，只有整個開源生態的繁榮，才能夠讓開源軟件的功能更加完善，也能夠更好的支撐到我們的業務。
關于ABC，這其實也突顯了今天說到的融合這個主題。
首先，因為機器學習平臺和大數據平臺屬于一個大團隊，底層研發力量的融合。另外，Angel就是AB融合中的一個很好的成果體現，我們把數據處理和數據訓練，在Angel里面做閉環，所以一個Angel就能呈現出一些同類產品不具備的優勢。
在上層應用上，如果光有AI、沒有數據去支撐，整個業務其實很難跑得起來。和C的融合，指的是無論CPU資源還是GPU資源，亦或是FPGA資源，要擁有很好的彈性和開箱即用的能力，就需要云的能力，所以希望把這些能力都放在云上，能夠提供給開發者和企業，來實現整個的ABC的融合。
3、第一個問題，現在業界談自主可控比較多，開源在自主可控方面具有哪些優勢？第二個問題，騰訊在開源建設和開源項目上做了很多嘗試，那么具體做了哪些努力？取得了哪些成果？
答：相對于閉源軟件，基于開源最大的好處是無任何廠商綁定風險。自主可控不等于從零開始研發，使用主流的開源技術，廠商和用戶聯合創新，核心的技術由企業自己掌握。在這個基礎之上來談自主可控，通過吸收自己以外的一些能力和資源，更好的實現自主可控。
在2017年，騰訊將第一代計算平臺Angel開源出來；到了2019年，新開發的Angel3.0平臺也已開源，現在已經有像華為、小米、新浪微博等公司在使用這一平臺。
今天大會上，我們再度開源資源管理平臺核心TKE和分布式數據庫TBase。
未來，類似漂移計算、聯邦學習數據庫等這樣的能力，我們都會陸續去開放和開源。所以整個開源生態，其實如果由企業來推動大家來加入這才是一個正生態，如果好東西永遠都留在自己家里，那其實這個生態很難去繁榮。
4、關于大數據的四個方向，具體是什么？
答：大數據平臺發展的四個方向：
第一個是批流融合，一直以來，批和流的引擎都是分開的，近幾年批流融合的嘗試越來越多，但是基本都是在SQL層面做融合，未來有沒有可能從底層的計算引擎融合？我們正在做這個方面的研究。
第二是ABC的融合，上一個問題也說過了，不再重復。
第三個就是數據湖和聯邦學習。剛才分享過的漂移計算就是數據湖方向的，是為了解決跨IDC、跨平臺、解決異構數據的共享計算的問題，而聯邦學習是為了解決數據共享帶來的數據安全和數據隱私的問題。
第四個是必須具備混合部署的能力，公有云、私有云，不同的集群，都能管理好。還有跨域的數據共享，不同區域，不同機房，不同的云。
5、Angel平臺目前針對于哪些復雜計算場景在做數據的訓練？
答：Angel原來更專注解決大數據、大模型體系。舉一個最簡單的例子，在Spark引擎下現在只能支持幾千萬維度的計算，而我們現在的實際需求已經達到了萬億，就是說這之間有幾百倍的差距，所以必須要去做自研。
主要的應用場景像我們本身的廣告、金融、微信支付、整個社交體系等都有應用。除了上述提到的幾家廠商，現在又在平臺上迭代了一些新的能力，讓開發者應用，希望將Angel做成一個全棧式的平臺，能夠給開發者更好的體驗。
6、騰訊的數據庫有很多，為什么選擇TBase開源？選擇開源的標準是什么？
答： TBase源于開源的PostgreSQL，功能強大，適合企業級應用。
可以用來開源的平臺，第一基礎是至少這個平臺是穩定的、可靠的，并且在騰訊已有的大業務經過歷練的。第二個基礎，開源出去的東西對業界是有價值的，而不能說光在騰訊環境下有用。最后一個基礎，騰訊在大力推動開源協同的技術戰略，這是自上而下的，整個騰訊的數據庫大方向會是開源協同。
7、騰訊（大數據類的）開源項目能為運營商提供怎樣的助力（偏向運營商角度）？
答：包括電信、聯通、移動在內，現在的運營商都在做云。云架構的搭建和優化對運營商本身的基礎建設是有很大幫助的。
5G技術的發展，會帶來非結構化數據大規模的增加，包括AI能力的實現，需要更多去尋找數據本身的價值，通過數據的價值去回填于運營商自身業務的發展。
也就是說，所有數據相關的動作，都是跟業務強關聯的，有商業價值的，才有我們長期發展的空間。值得注意的是，在做數據價值挖掘的時候，需要大數據平臺和AI的平臺來構建底層建設，這是一脈相承的邏輯。
8、做開源對于企業來說有哪些商業價值的回饋？
答：首先互聯網公司最大的價值是人才，開源會聚集很多的人才。
在我看來，研發和開發只有高端人才云集，我們才能做出高價值的產品，能夠服務我們高價值的業務，這是很關鍵的一個邏輯。所以開源其實沒有直接的商業價值，但間接的商業價值是一定會有的并且會越來越大。
9、Spark on Angel和Pytorch on Angel這兩個平臺的區別在哪里？各自帶來的優勢或者是能力是什么？
答：主要是深度學習和圖計算的能力，為了滿足不同的開發者，我們會去支持不同的引擎，這個我覺得是一個功能和生態的延伸。可能未來有新的好用的開發平臺出來，我們也會去支持，因為這才能夠活躍生態。
10、做開源的成本有哪些？對比國內外開源的進度，打造騰訊大數據平臺時如何在技術上作取舍？
答：開源一定會帶來人力成本的消耗，會涉及到一些額外的工作量。我相信每一個推動開源的人、組織和企業都是富有社會責任感的，如果沒有社會責任感的企業是不會做開源這件事情。對于騰訊這樣體量的企業，去消耗一部分人力去做生態的建設，投入是非常值得的。
無論國內國外，整體上是一個逐步前進的過程，而開源社區的認同感是社區可以給予的，越來越多的開發者也開始認可國內開源社區的存在。其次，國外有很多商業機構在做商業的大數據產品，這是基于企業的生產需要。開源大數據項目，更多是形成監督和共建的機制，反過來推進團隊更好地往前的發展。
更多精彩內容請關注雷鋒網網絡安全欄目或雷鋒網旗下微信公眾號宅客頻道。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
