最新消息,據全球科技公司的計算奧運會SortBenchmark昨日發布的消息中,阿里云飛天分布式計算系統不到7分鐘(377秒)就完成了100TB的數據排序,成功破掉了全球科技公司計算奧運會的四項記錄。
據SortBenchmark公布的數據顯示,在超大規模數據量排序的速度評測中,阿里云飛天分布式計算系統用了377秒對100TB數據完成排序,也就是說1分鐘能夠完成15.9TB的數據排序。去年ApacheSpark成績為4.35TB/分鐘。 MinuteSort評測的是系統在1分鐘內能夠完成排序的數據量。阿里云飛天分布式計算系統用1分鐘完成了對7.7TB數據的排序,去年冠軍三星為3.7TB。
據 記者了解到,SortBenchmark是一個專門從事排序基準評估的非營利機構,該機構每年都會舉辦一次國際頂級排序基準評估比賽,被認為是計算界的奧運會。全球頂尖公司和學術機構都會帶著他們最新的研究成果來參加,以評估他們的研究成果。而SortBenchmark的排序競賽則包含4項比賽,其中GraySort和MinuteSort主要評測計算系統的規模和效率,是4項比賽中含金量最高的兩項。每一項比賽又分通用目的排序(Daytona)和專用目的排序(Indy)兩個類別。阿里云飛天分布式計算系統,在這兩項重量級比賽中打破了全部4項世界紀錄。
阿里云首席架構師唐洪表示,排序是最基礎的計算問題。100TB排序是把1萬億條無規律的100字節記錄,嚴格按照從小到大的順序排序,考驗分布式系統中存儲、調度、通信等各個子系統的性能,能夠反映出一個平臺的整體計算能力。GraySort和MinuteSort這兩項比賽,充分證明了阿里云在計算方面的核心能力。未來視頻、音頻數據、生物數據等非結構化數據將爆發式增長,我們需要在最短的時間、用最小的資源計算準確。面對大數據,如何算得快、算得準、算得起?這是未來云計算的核心能力。