阿里云飛天大數據平臺亮相,中國唯一自主研發、集群規模世界第一
7月25日,
阿里
云飛天大數據平臺亮相
阿里
云峰會上海站,擁有中國唯一自主研發的計算引擎,是全球集群規模最大的計算平臺,最大可擴展至10萬臺計算集群,支撐海量數據存儲和計算。在民生服務領域,飛天大數據平臺已經“最多跑一次”、城市大腦等場景中,協助政府優化服務模式,實現更智能便捷的服務能力,保障信息安全。
數據顯示,目前飛天大數據平臺可擴展至10萬臺計算集群,集群規模全球第一。單日數據處理量從2015年100PB、2016年180PB、2017年320PB,到2018年超過600PB,僅用三年時間提升5倍。
在浙江,飛天大數據平臺支撐下,“最多跑一次”打通與老百姓辦事最密切相關的100個事項70多億條數據,老百姓甚至有可能一次都不跑。在杭州,城市大腦實時指揮1300個紅綠燈路口、200多名交警,從2016年到2018年,杭州從全國最擁堵城市排行榜上下跌52名。
原來需要跑5個窗口、耗時2天才能拿到的新生兒出生證,現在只需在手機上動動手指,填9項信息,一個出生證就辦好了;原來看一次病排隊付幾次費,現在可以看完回家再付錢……這樣的場景正在越來越多的城市變為現實,背后有飛天大數據平臺的支撐。
據了解,該平臺的研發源自 阿里巴巴 的自身實踐。十年前,新興互聯網業態蓬勃發展,中小企業在 阿里巴巴 電商平臺上爆發式增長,商家第一次具備直接觸達消費者的普惠渠道,激發龐大的消費者需求,海量數據擊垮傳統IT架構。在此背景下, 阿里巴巴 開始探索全新的技術來支撐爆發式增長的數據存儲和計算需求。
大部分企業的慣例是直接使用國際開源的數據計算框架Hadoop。在 阿里巴巴 內部,也曾出現過激烈的爭論,究竟是直接使用開源Hadoop,還是從每一行代碼寫起,自主研發一個大數據平臺。
當時,電子商務蓬勃發展,人類社會從未有過如此規模的商業交易在一個互聯網平臺上進行,如果用Hadoop搭建的大數據平臺,必將在不久的未來再次遇到挑戰,更別提為外部企業提供服務,成為普惠的IT基礎設施。
由此, 阿里巴巴 堅定投入飛天大數據平臺研發,將成千上萬臺服務器組成一臺超級計算機,向社會提供水電煤一樣的公共服務。早在2012年初, 阿里巴巴 技術委員會主席王堅就表示,“從戰略上來說, 阿里 云想做的事情實際上可以解讀為Amazon+Google并有所超越。將單一集群做到數千乃至更高,技術上是國家和企業競爭力的標志。 阿里巴巴 必須攻克這道難關。”
也正是因為這一堅持,才有了今天中國唯一自主研發的飛天大數據平臺。過去十年,飛天大數據平臺打破了多個記錄:2013年,突破了單集群內5000臺服務器同時計算的局限,如今單集群已超過1萬臺的規模;2015年,打破計算界奧運會SortBenchmark的4個世界紀錄,用不到7分鐘便完成了100TB的數據排序,刷新了ApacheSpark 23.4分鐘的紀錄。
AD:還在為資金緊張煩惱嗎?獵云銀企貸,全面覆蓋京津冀地區主流銀行及信托、擔保公司,幫您細致梳理企業融資問題,統籌規劃融資思路,合理撬動更大杠桿。填寫只需兩分鐘,剩下交給我們!