<mark id="oztn4"></mark>
0
| 本文作者： 木子 | 2020-06-19 14:29 |
近兩年，大數(shù)據(jù)作為重要資源被提上國家戰(zhàn)略。今年兩會，馬化騰、雷軍、丁磊、張近東等互聯(lián)網(wǎng)企業(yè)的全國兩會代表委員就關于大數(shù)據(jù)戰(zhàn)略、數(shù)字經(jīng)濟發(fā)展積極獻策。
此外，國家發(fā)改委還在近期刊發(fā)了關于2020年發(fā)展數(shù)字經(jīng)濟的八大舉措。
例如“實體經(jīng)濟數(shù)字化融合；促進數(shù)據(jù)要素流通；發(fā)展新型基礎設施”等，以鼓勵傳統(tǒng)產業(yè)加快數(shù)字化轉型，推進前沿信息技術在各場景的融合應用。
海量的數(shù)據(jù)是政務管理、企業(yè)數(shù)字化轉型的核心生產因素，但現(xiàn)階段，真正被有效儲存、使用的數(shù)據(jù)還不到10%。如何喚醒大量“沉睡的”數(shù)據(jù)并從中尋找、分析有價值的信息，促進業(yè)務發(fā)展，無疑是一個巨大挑戰(zhàn)。
“4G時代，大數(shù)據(jù)更多是服務IT基礎建設成熟行業(yè)的頭部客戶，離個人還有一定距離。5G的到來和國家進一步提出深化大數(shù)據(jù)的發(fā)展，更多中小型企業(yè)對于數(shù)據(jù)采集、存儲、治理、分析和挖掘的需求也在快速增加。”在睿帆科技大數(shù)據(jù)科學家、雪球數(shù)據(jù)庫總架構師李求實博士看來，行業(yè)頭部企業(yè)數(shù)據(jù)每年以PB級甚至上百PB爆炸式增長，催生了對于PB級數(shù)據(jù)量在線或實時數(shù)據(jù)分析的處理能力的需求。
關于PB級數(shù)據(jù)，美國未來學家雷·庫茲韋爾有過一個形象的比喻：如果人類功能記憶的容量預計在1.25個TB，那么800個人類記憶才相當于1個PB。
面對龐大的數(shù)據(jù)量，很多企業(yè)早期主要通過抽樣數(shù)據(jù)來獲取結論。李博士告訴筆者，這種方法的弊端在于“抽樣之后的數(shù)據(jù)變成了百萬級或千萬級，是原始數(shù)據(jù)的一個子集，和實際情況會有很大偏差，導致根據(jù)樣本得出的結論可靠性大大降低。”
為了追求數(shù)據(jù)的準確性，有的企業(yè)不得不降低數(shù)據(jù)處理的實時性，采用離線處理的方式。但數(shù)據(jù)的價值就在于其時效性，越早分析越能得到快速準確的反饋或響應，并及時利用結論指導后續(xù)的業(yè)務工作。
此時，一款針對海量數(shù)據(jù)進行毫秒級在線即席查詢分析的數(shù)據(jù)庫就顯得尤其關鍵——它甚至決定了企業(yè)是否能以比競爭對手更低的成本、更快的速度解決問題，構建起核心競爭力。
過去十年，業(yè)內一直推崇的分布式計算平臺是Apache基金會旗下的Hadoop。2009年，Hadoop將1TB數(shù)據(jù)的排序時間縮短到了62秒，從此名聲大噪。
它也憑借其高可靠性、高可擴展性、高容錯性和低成本成為當今大數(shù)據(jù)領域運用最多、范圍最廣的技術平臺，被雅虎、FaceBook、last.fm等眾多公司應用。
李博士介紹，由于Hadoop的設計初衷是針對存儲和分析離線大數(shù)據(jù)，因此無法提供便捷高效的數(shù)據(jù)交互、多維分析、快速查詢服務，“雖然產生了諸多如Spark、Impala、Drill等SQL on Hadoop項目來優(yōu)化Hadoop在服務效率上的短板，但由于這些項目仍然基于Hadoop底層機制，所以無法從根本上解決這些問題。”
為了幫助企業(yè)做到穩(wěn)、準、快的實現(xiàn)海量數(shù)據(jù)的調用需求，掌握PB級數(shù)據(jù)核心處理技術的大數(shù)據(jù)產品及解決方案供應商睿帆科技，在原有的零距大數(shù)據(jù)中臺的基礎上，自研了一款具有千億級數(shù)據(jù)毫秒查詢速度的分布式分析型數(shù)據(jù)庫雪球DB。
“雪球”的特點主要在于列式存儲，向量化執(zhí)行引擎，高可靠的集群架構以及數(shù)據(jù)自動均衡、實現(xiàn)副本異步拷貝的能力。
首先，與行式存儲將每一行的數(shù)據(jù)連續(xù)存儲不同，列存是連續(xù)存儲每一列的數(shù)據(jù)。它的優(yōu)勢是在數(shù)據(jù)讀取時，只需要讀取參與計算的列，這極大降低了IO 的消耗，加快了查詢速度。與此同時，同一列中的數(shù)據(jù)屬于同一類型，這使得列式存儲可對數(shù)據(jù)進行高達十倍甚至數(shù)十倍的壓縮，這節(jié)省了存儲空間和成本消耗，非常適合大數(shù)據(jù)查詢分析和高并發(fā)查詢。
其次，雪球DB還實現(xiàn)了向量化執(zhí)行引擎，對內存中的列式數(shù)據(jù)，一個批次調用一次指令（而非每一行調用一次），不僅減少了函數(shù)調用次數(shù)，而且可以充分發(fā)揮指令的并行能力，大幅縮短了計算耗時。相當于讓數(shù)據(jù)處理的效率有了幾何倍的提升。
此外，雪球DB通過Share-nothing節(jié)點方式，消除了主節(jié)點性能瓶頸，大幅提升集群性能。
“Share-nothing說白了就是什么任何東西都不共享，好處就在于通過硬件設備的疊加，就可以完成性能的線性疊加。而傳統(tǒng)的關系型數(shù)據(jù)庫會共享一定的設備，因此會擁有疊加瓶頸，使其疊加效率非常低。”李博士表示。
而針對傳統(tǒng)分布式系統(tǒng)宕機過程中造成各節(jié)點內數(shù)據(jù)分布不均衡的問題，睿帆科技開發(fā)了“應對節(jié)點宕機時的負載均衡優(yōu)化”專利技術。
理想狀態(tài)下，每個節(jié)點的計算量是同等的，否則工作量較大的節(jié)點將決定整體任務的完成時間，比負載平衡所用的時間大大延長。而一旦所有工作都集中在某一個或某幾個機器上，并行優(yōu)勢也將無從體現(xiàn)。
通過先進的Hash隨機算法，雪球DB能夠在一個節(jié)點宕機時自動均衡各節(jié)點內數(shù)據(jù)分布，保證各節(jié)點磁盤占用相對均衡，避免雪崩效應。同時，雪球DB支持多副本備份，可以在不同的節(jié)點上維護相同的數(shù)據(jù)。當前節(jié)點如果發(fā)生故障，則自動切換由備份副本提供服務。
這些核心特點使得“雪球”在根本上解決了Hadoop體系交互復雜、效率低下的問題，滿足了海量數(shù)據(jù)在線交互、多維分析和高效查詢，確保數(shù)據(jù)分析結果更真實。
李博士表示，雪球DB是基于高并發(fā)環(huán)境下、千億級數(shù)據(jù)毫秒級查詢所研發(fā)的數(shù)據(jù)庫。產品剛研發(fā)出來時，我們對于實際測試結果還是很興奮的。但合作伙伴試用后反饋效果一般，和其他數(shù)據(jù)庫產品差不多，都是在幾十毫秒左右。后來發(fā)現(xiàn)，他們只是拿雪球在做少量并發(fā)的常規(guī)數(shù)據(jù)查詢。但當對方內部系統(tǒng)升級，上線了很多新功能，數(shù)據(jù)量和并發(fā)數(shù)呈幾何性增長時，雪球DB和其他數(shù)據(jù)庫對比，性能優(yōu)勢就顯現(xiàn)出來了，在海量數(shù)據(jù)高并發(fā)、多條件等苛刻場景下的測試，結果比原有數(shù)據(jù)庫快了幾個數(shù)量級。
這家公司后來與睿帆建立了長期合作，其用戶覆蓋近億，單日增量數(shù)據(jù)超過1PB，在雪球DB的PB級聯(lián)機分析能力下，根本上解決了數(shù)據(jù)不及時、查詢延遲高、分析維度受限等問題，大幅提高了服務效率。
疫情期間，某通信運營商就通過雪球DB解決了海量多種類型數(shù)據(jù)如何及時、高效地處理和分析的問題。
“為了輸出潛在2B人員名單、分析疫情趨勢、建立駐留人員熱點區(qū)域圖，需要對海量數(shù)據(jù)進行調取分析。放在過去，需要大量的人工排查，耗時耗力。但通過我們毫秒級在線分析模型，幾分鐘就能調出結果。”李博士提到。
或者在公共安全領域，面對多警種的數(shù)據(jù)內容，以千億級數(shù)據(jù)毫秒查詢速度，結合睿帆科技其他產品能夠將視頻、音頻、文檔、圖標等結構化非結構化數(shù)據(jù)進行實時分析可視化決策，實現(xiàn)警情態(tài)勢的全局把控。
在原版雪球DB的基礎上，睿帆科技還針對小B客戶開發(fā)了“輕量版”。后者可以只在一臺機器上運行，不支持分布式和磁盤復制，削減了部分功能從而進一步降本增效。
李博士告訴筆者，由于大部分中小企業(yè)的數(shù)據(jù)調用需求受時間、季節(jié)的影響，比如銷售淡旺季、疫情關鍵節(jié)點等，因此針對這類客戶主要采用aPaaS模式，以公司的另一款產品零距大數(shù)據(jù)中臺作為最下層依托，與雪球相結合推出一整套解決方案——由于零距大數(shù)據(jù)中臺“低代碼+圖形化”的界面，因此可以極大地降低客戶使用門檻。
隨著信息技術和人類生活的深度融合，以及互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的快速發(fā)展，各行各業(yè)的數(shù)據(jù)呈爆發(fā)增長態(tài)勢。來自IDC的數(shù)據(jù)顯示，全球的數(shù)據(jù)量2020年將達到40ZB（1ZB=1024EB,1EB=1024PB），如果換算成128G iPad的高度，可以達到地球到月球距離的6.6倍。
龐大的數(shù)據(jù)量也催生了數(shù)據(jù)存儲更多、更快、更穩(wěn)定的需求。由于數(shù)據(jù)量的增長速度遠遠超存儲設備本身能力的增長，原有的存儲設備，甚至整個存儲架構都需要不斷擴容和升級。
也使得大數(shù)據(jù)存儲技術在數(shù)據(jù)存儲的成本、數(shù)據(jù)讀寫能力以及數(shù)據(jù)自動備份安全性等方面，都面臨很大的挑戰(zhàn)。而這些痛點并不能僅通過硬件和存儲陣列本身存儲能力的提升來解決。
在傳統(tǒng)的關系型數(shù)據(jù)庫無法滿足海量數(shù)據(jù)的存儲處理需求的情況下，以阿里巴巴為首的互聯(lián)網(wǎng)企業(yè)最早開啟了“去IOE化”的歷程。
在此之前，阿里主要使用的是IBM、惠普的小型機，存儲設備主要是EMC的產品，和部分戴爾存儲設備；數(shù)據(jù)庫都是Oracle的。但在電子商務業(yè)務的爆發(fā)式增長下，原有的技術架構和成本阻礙了業(yè)務發(fā)展。
所謂去IOE化，其實就是集中式部署（IOE架構）很難適應互聯(lián)網(wǎng)大規(guī)模應用對擴展性的要求，因此用分布式架構系統(tǒng)替代了集中式架構商用系統(tǒng)，進而有了分布式數(shù)據(jù)庫的產生。
“IOE時代，數(shù)據(jù)通常存儲在IOE的硬件設備中，”李博士提到，“當數(shù)據(jù)量增加時，就會通過堆砌IOE的硬件設備來實現(xiàn)存儲任務。由于IOE的軟硬件相互配合，成本也會水漲船高。”
但這套解決方案并非適用于所有公司。阿里的“去IOE”從2010年開始共耗時三年，前后投入近1.7萬名技術員工。遷移之后，系統(tǒng)的維護和運營成本的耗費也十分高昂，比如為了重新架構全新的運維體系，僅X86服務器就花了1.5萬臺，以替代原來的幾百臺小型機的系統(tǒng)。
對于大多數(shù)具有成本壓力的中小企業(yè)，睿帆科技推出了一站式解決方案，它由零距大數(shù)據(jù)中臺為底層依托，再附加雪球DB和少量語料即可完成文本識別的大禹中文智慧文本平臺，三大產品組合形成了覆蓋結構化、非結構化、半結構化數(shù)據(jù)的整套系統(tǒng)。這套系統(tǒng)所有的產品都支持PB級以上的數(shù)據(jù)處理能力，同時還能支撐起產品對于性能和承壓性需求。
“這種PB級+低代碼+數(shù)據(jù)中臺的組合可以讓中小型企業(yè)以相對較低的成本用上大數(shù)據(jù)產品。”在李博士看來，這才是大數(shù)據(jù)經(jīng)濟真正的價值，即幫助更多傳統(tǒng)中小型公司通過對大數(shù)據(jù)的精細化管理，提升企業(yè)工作效率，實現(xiàn)轉型升級。
睿帆科技成立于2015年，這期間，李博士和團隊見證了大數(shù)據(jù)應用不斷向產業(yè)互聯(lián)網(wǎng)延伸的趨勢，與此同時，華為、阿里等大廠也推出了自家的私有云解決方案和大數(shù)據(jù)解決方案，和創(chuàng)新型公司共同搶食大數(shù)據(jù)服務市場。
“巨頭的加入驗證了行業(yè)的潛力，同時起到了一定的‘鯰魚效應’。”李博士認為，未來大公司的入局需要用更辯證的眼光來看待，一方面，未來的市場格局，普惠性的項目更多是交給巨頭來做，他們有充足的資源和資本；此外，如金融、安防等垂直細分市場可以交給睿帆科技這樣的技術型創(chuàng)新企業(yè)，“我們會深耕在我們已經(jīng)布局的、擅長的，已經(jīng)形成行業(yè)競爭壁壘的PB級大數(shù)據(jù)領域。”
稿件來源于：睿帆科技
雷鋒網(wǎng)雷鋒網(wǎng)
