集群規(guī)模世界第一,阿里云飛天大數(shù)據(jù)平臺亮相上海
創(chuàng)頭條消息,7月25日,阿里云飛天大數(shù)據(jù)平臺亮相阿里云峰會上海站,該平臺擁有中國唯一自主研發(fā)的計算引擎,是全球集群規(guī)模最大的計算平臺,最大可擴展至10萬臺計算集群,支撐海量數(shù)據(jù)存儲和計算。
在浙江,飛天大數(shù)據(jù)平臺支撐下,“最多跑一次”打通與老百姓辦事最密切相關(guān)的100個事項70多億條數(shù)據(jù),老百姓甚至有可能一次都不跑。在杭州,城市大腦實時指揮1300個紅綠燈路口、200多名交警,從2016年到2018年,杭州從全國最擁堵城市排行榜上下跌52名。
據(jù)了解,該平臺的研發(fā)源自阿里巴巴的自身實踐。十年前,新興互聯(lián)網(wǎng)業(yè)態(tài)蓬勃發(fā)展,中小企業(yè)在阿里巴巴電商平臺上爆發(fā)式增長,海量數(shù)據(jù)擊垮傳統(tǒng)IT架構(gòu)。
在此背景下,阿里巴巴開始探索全新的技術(shù)來支撐爆發(fā)式增長的數(shù)據(jù)存儲和計算需求,堅定投入飛天大數(shù)據(jù)平臺研發(fā),將成千上萬臺服務(wù)器組成一臺超級計算機,向社會提供水電煤一樣的公共服務(wù)。
2012年初,阿里巴巴技術(shù)委員會主席王堅就表示,“從戰(zhàn)略上來說,阿里云想做的事情實際上可以解讀為Amazon+Google并有所超越。將單一集群做到數(shù)千乃至更高,技術(shù)上是國家和企業(yè)競爭力的標志。阿里巴巴必須攻克這道難關(guān)?!?/p>
三年時間,飛天大數(shù)據(jù)平臺單日數(shù)據(jù)處理量提升了5倍,從2015年100PB、2016年180PB、2017年320PB,到2018年超過600PB。
數(shù)據(jù)顯示,飛天大數(shù)據(jù)平臺打破了多個記錄:2013年,突破了單集群內(nèi)5000臺服務(wù)器同時計算的局限,如今單集群已超過1萬臺的規(guī)模;2015年,打破計算界奧運會SortBenchmark的4個世界紀錄,用不到7分鐘便完成了100TB的數(shù)據(jù)排序,刷新了ApacheSpark 23.4分鐘的紀錄。
查看原文 >>