阿里云存儲發布“盤古”2.0引擎 如何通過升級應對數據爆炸時代

1月9日，阿里云宣布推出新一代高性能企業級存儲產品家族，并對分布式存儲引擎進行了全面升級。后者包括塊存儲、對象存儲在內的云存儲家族，混合云存儲陣列、混合云容災的混合云存儲服務，以及高性能分布式專有存儲方案。

升級具體應用在性能、可靠性、成本、自動化運維等方面，最終實現在底層提供微秒級延遲與百億級IOPS（Input/Output Operations Per Second，即每秒進行讀寫操作的次數，多用于數據庫等場合，衡量隨機訪問的性能）。基于全新一代分布式引擎，相比上一代整體IOPS性能提升50%，并新增ESSD云盤、極速型OSS、NAS Plus等新品。

數據大爆炸時代，什么樣的存儲才適配？

阿里云資深總監Jason吳結生于現場表示，互聯網的應用、電商、支付寶，以及萬物互聯，促進整個數據大爆炸，加快數據采集速度。這對于存儲行業人士來講，既是機遇也是挑戰。數據爆炸時代，存儲系統應該如何應對挑戰？

Jason表示，阿里云將新時代存儲系統標準定為4V：

• 第一個V就是容量（Volume at Scale），怎樣提供一個存儲系統來存儲所有的數據，而且用戶的數據不能刪。

• 第二個V是速度（Velocity at Scale），即當數據產生的速度越來越快，包括IOT產生的數據速度，互聯網汽車產生數據的速度等，阿里云存儲系統需要跟數據產生的速度進行匹配。

• 第三個V就是多樣性（Variety at Scale ），手機、跑步機、汽車等不同設備，都會產生數據，數據產生的多樣性越來越多，這也要求存儲系統進行相應匹配。

• 第四個V就是普惠（Value at Scale），即讓存儲系統高可靠、高可用，能夠讓每位用戶或者每個應用都享受得到。普惠的另外一層意義，就是怎樣讓存儲成本不斷下降，讓用戶持續地保存更多的數據。

Jason回顧自2008年，阿里云組建團隊，探索通過存儲系統滿足阿里集團內部業務，包括虛擬機、阿里金融、郵箱搜索等。2009年阿里云團隊開始創建分布式存儲1.0，主要面對阿里集團內部挑戰，提供虛擬機存儲服務。

據雷鋒網了解，隨著技術演進與業務擴大，2015年，阿里云存儲引擎在五千臺機器基礎上進行升級，支持五千臺機器存儲集成，并首次在377秒過程中完成100TB的數據排序。

2016年，阿里云將存儲規模和存儲系統進行升級，支持1萬臺機器的存儲規模。2018年，阿里云即將發布分布式存儲引擎2.0，內部代號盤古2.0，其出發點就是面向人工智能、面向新一代的存儲應用場景，構建下一代存儲引擎。

Jason表示，新一代阿里云存儲引擎，要打造世界上最全的存儲產品系列，包括對象、文件、塊、表格等各種存儲格式，且每個存儲陣列里都有不同忠烈，形成完全的產品矩陣，“這是第一條公有云產品矩陣。”

其次，阿里云也在打造混合云產品線——即如何把線下存儲和線上存儲連很好地銜接起來。

第三條產品線，就是阿里云專有云與企業存儲——做到將云上分布式存儲能力，輸入到用戶自己的數據中心內。

阿里云存儲升級的目的是什么

（一）保證安全

Jason表示，安全對于阿里云來講，是始終堅持的最重要功能——多層次、全鏈路、全方位的安全。即從整體安全機制來看，阿里云提供業務安全、安全運營、數據安全、網絡安全、應用安全、主機安全和帳戶安全，以及底層數據中心安全。

（二）使上云與云存儲管理足夠簡單

• 第一，不需要改動任何的代碼就可以上云，就是說應用通過網絡文件系統提供網絡文件系統，就可以讓你的代碼不需要做任何的改動就可以上云。

• 第二，完全的脫管服務，也就是說你不需要自己來看容量的規劃，或者你需要擴容你也不需要做操作系統，要找到安全的等，安全運維方面工作都可以省掉，也不需要去做備份我們有一套備份的系統能夠把你數據做備份。

• 第三，開通方便，Jason表示，數據爆發時代，云存儲標準除了上文所提的4V之外，易用性是普惠最重要的一點。

（三）應用場景的擴展

今天的云計算發展。包括云存儲。面臨各種各樣新企業、新金融、新零售、新制造、人工智能、生命科學等挑戰，這些應用與場景給云計算帶來廣泛的需求，包括低延時需求，在光譜情景范圍內各種不同需求等。

據雷鋒網了解，正是在這樣的情況下，阿里云存儲提供各種不同存儲抽象，比如數據庫、塊存儲、對象存儲、表格存儲、人工智能、數據處理、抽象處理等，為不同行業提供廣譜動力，來驅動業務的發展。

阿里云存儲2.0引擎（內部代號“盤古2.0”）也是為這規模而生的，引進分布式原數據管理，使得可以輕松支持萬億級別文件，也可以輕松支持大量的小文件實現第一分布式原數據管理。同時實現更好的彈性部署，形成巨大的存儲池，將不同存儲介質、不同的情形組合在一塊，形成一千PB、也就是億B級別的存儲容量出來。

阿里云存儲2.0引擎有哪些不同

一方面，Jason表示，阿里云存儲2.0引擎也是分層結構——內部有單機存儲層，中間是分布式存儲系統，在上面做了一些文件接口的抽象，比如數據庫的文件系統、快存儲的文件系統、大數據的文件系統、Logfile文件接口等。再底下還有多個機房，在機房里裝有高速網絡互聯，在這樣一個架構里面可以使多個機房里的數據管理起來像一臺機器一樣，便捷地提供巨大的存儲池給上面的應用。

其次，這個2.0引擎里第一次把阿里巴巴集團Fusionengine融合進來，更好地去適配各種不同的硬件，而且能夠更好地把這一種硬件的紅利釋放給客戶。

另外一個革命性的進化，就是把存儲從毫秒時代進化到微秒時代，2.0引擎支持微秒延時以及百億級別的IOR操作。

具體包括：

• 第一用戶度文件系統

• 第二高性能網絡庫

• 第三軟件極致的優化，使得軟件開銷在鏈路里面占比不到10%

• 第四做了一些多流映射，把這帶寬提高3倍；做了一些動態切換，提供更穩定、更極致的性能

具體升級包括兩部分：

• 一個是硬件升級里，引入當下最快的AVMVSD，也引入存儲級別的內存MVDE，同時對網絡也進行了升級，使之也具備RDMA能力。

• 二是存儲系統的升級，就是軟件系統升級。軟硬結合促使性能穩定、整體能力達到一個世界第一的水準。

  
  

性能表現方面，以ESSD超高性能云盤為例，其可提供單盤高達100萬的隨機讀寫能力，相比SSD云盤提升了50倍，是阿里云迄今為止性能最強的企業級塊存儲服務，但售價不變，每GB每月僅需1元。

除了性能之外，線上線下的靈活拓展能力也變得越來越重要，數據在線產生的價值已經成為了主流。阿里云存儲產品總監許咼兢表示，線上線下存儲的邊界正在消失，阿里云要做的是在任何地方、以任何形式向不同企業提供高效的存儲解決方案。

據雷鋒網了解，阿里云已形成了一整套涵蓋公共云、混合云、專有云在內的全線企業級高性能存儲產品線，并且提供在線和離線數據搬遷服務。此前，阿里云與國家天文臺合作，共同開展天文科學大數據研究。截至目前，國家天文臺將3.5億顆恒星的數據存儲在阿里云OSS上，用于計算、分析，并向公眾開放。

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。