<mark id="oztn4"></mark>
0
阿基米德曾說過：“給我一個支點，我就能撬起整個地球。”在京東云，阿基米德是一套高效的調度系統，這套系統調度著全球最大規模Docker集群、最大規模Kubernetes集群。
京東擁有超過900萬SKU的自營商品，京東物流為5.9萬家企業客戶提供一體化供應鏈服務，僅2021京東618期間，累計下單超過3438億元，窺一斑而見全豹，能夠調配如此龐大規模業務背后的系統，其背后的應用數量和復雜程度可想而知。簡單的調度分配資源算法已經無法滿足復雜的調度需求，阿基米德調度系統應運而生。
目前，阿基米德調度系統已經全面接管京東的應用資源調度，每日調度百萬臺容器實例運轉，服務履約率達到98.3%。2021年京東618，京東云在支撐京東全線業務正常運行下，超大規模集群的CPU資源利用率提升3倍，單位訂單資源成本下降30%，內存平均使用率提升57%，交付效率提升150%......
在行業首個混合云操作系統京東云云艦中，阿基米德作為核心調度系統，是資源交付的基石，負責整個京東數據中心的資源調度，是撬動整個數據中心的支點。
舉例最直觀的的感知：京東的電商場景中，購物車、訂單、詳情等，涉及到的每一臺容器分布，包括容器編排、單機計算資源、內存資源，均由阿基米德分配和調度，特別是618、11.11的超大流量場景下，少數容器編排錯誤都有可能給業務帶來致命影響，調度器需負責把控峰值時每一臺容器計算的質量，其重要性可想而知。
經歷京東體系復雜場景的多年磨練，阿基米德可實現最優的集群全局調度、最優的一次作業調度，不僅能確保全局資源編排和成本最優、資源運行最穩定，還能在集群內選擇最合適的宿主機，以最佳的資源使用、最少的相互干擾（如 CPU 分布、IO 爭搶），來運行提交的計算作業。
1、基于預測的智能調度
阿基米德在核心功能——調度方面，利用機器學習、深度學習智能算法，對應用的資源使用情況進行畫像統計，并對應用的未來資源使用情況進行預測，以對應用進行合理部署，實現資源的優化調度。
具體來看，阿基米德采用強化機器學習算法，可根據應用的歷史數據，提取其資源使用的特征，進而將不同的應用進行歸類，形成應用畫像。綜合應用標簽和批處理任務的描述，對未來一段時間的任務調度進行提前規劃，使得業務能夠正常運行的同時，資源得到充分的利用，有效防止了批處理任務與長期服務的資源競爭。
阿基米德的智能調度可以成倍提升資源利用率成倍提升，極大降低企業采購成本，以今年618為例，阿基米德調度實現CPU利用率3倍的提升。
2、精準驅逐與碎片整理
資源碎片在幾乎每臺服務器上都有發生，不同批次采購的服務器規格性能不同，服務器上的CPU或者內存配額沒有同時分配完，就會出現資源碎片。
同時在長期服務中，特別是面向用戶的任務，會出現明顯的高峰低谷，而且不同長期服務的資源消耗也不同，因此集群中的時空資源利用率不均是常態。
針對資源碎片和時空分布不均問題造成的資源浪費，阿基米德采用批處理任務進行統一填充式調度，完成資源碎片的充分利用、資源的時空復用，保障長期服務穩定存在，以及低頻度遷移。同時阿基米德會時刻保持一定的資源儲備，應對突發流量的資源需求。
3、調度器仿真系統及回放
為充分模擬真實事件狀況和實際操作過程，阿基米德支持通過模擬器+線上數據回放，對調度請求進行仿真模擬，形成新的數據建模，并優化調度方案，為智能調度提供更優方案。
以最小成本、最快速度，阿基米德可分三步完成1：1機器資源和請求要求的調度需求模擬，培養真實復雜場景的調度能力。
仿真劇本管理模塊：用以采集清洗線上真實數據，生成仿真劇本，并可以支持純模擬劇本生成。
仿真調度模擬模塊：將仿真數據灌入，經過調度算法調度，模擬調度過程，最終生成調度結果。
調度算法評測模塊：對調度過程和結果進行監測和評測，并通過可視化圖表對調度過程進行展示。
4、離在線混合部署
伴隨京東購物節規模指數級增長，添置服務器成為浩資巨大的燒錢工程。高出日常峰值的機器過后閑置，又不可避免地造成資源浪費。
阿基米德支持將延遲不敏感的離線計算任務和延遲敏感的在線服務，部署到同一集群上運行，讓在線服務的空閑資源充分被離線計算任務所使用，在線業務、離線業務共享混合云操作系統云艦的資源池。
通過應用分級、DiskIO限速、Job調度管理、Pod流量限速等方式，阿基米德可保證離線業務不會影響在線業務，提高資源利用率。
5、多樣化IP地址管理
通過用戶annotation配置，阿基米德可實現多應用場景的IP地址管理，包括IP地址隨機分配，用戶指定pod IP地址，用戶應用分組內IP保留和用戶自定義私有IP池等。
在零售行業，針對離在線任務的不同運行需求（在線任務資源占用少、響應要求快，離線任務占用資源大、響應要求慢），阿基米德混合部署兩個集群，把不同類型的任務調度到相同的物理資源上，借助智能調度及資源隔離等方式保障SLO（服務等級目標service level objective），極大降低成本。
在金融行業，尤其是支付場景，阿基米德讓各種配置不同的設施能夠在交易高峰期，以秒級速度將在線服務器的各種軟件、應用轉移到離線服務器中，極大提升資源利用率。
在互聯網行業，經常出現流量高并發的業務場景，阿基米德通過冷熱節點混部方式，充分釋放冷節點CPU利用率，有效滿足日志等數據處理需求。遇到購物節這類單量爆漲的場景，也可以通過K8S管理與調度充足計算資源支持，保證每一單平穩順暢。
不止于資源調度，阿基米德在綠色節能方面也有卓越表現。
通常而言，機房的電力消耗主要是制冷為 CPU 降溫。阿基米德會根據應用標簽與調度規劃，對于服務器 CPU 的主頻進行相應調整，以達到節能降耗的作用，在多個核心機房進行的大規模實踐中，已取得了降低能耗降低 17% 的成果。
經過多年京東業務實踐，阿基米德調度系統已在大規模超復雜場景中，實現了常態化應用，并通過混合云操作系統云艦對外開放，讓更多產業客戶用更低的成本獲得更強的計算能力，持續提升客戶的數智基礎設施效率。
未來，阿基米德調度系統將進一步推動優化調度算法，提升調度的準確性，在整合計算、提升效率、節能降耗方面進行更多的實踐，并把更多的業務一線的調度數據和模型與業界分享。
雷鋒網雷鋒網
