阿里每天近萬億級別的消息是如何完成實時消息傳遞的?幾十萬臺服務器,成千上萬個應用順暢協作和消息實時傳遞都離不開分布式消息中間件RocketMQ。長久以來,RocketMQ易于部署、高性能、高可用的架構,支撐了數十年來集團內外海量的業務場景。2016年,阿里巴巴宣布將開源分布式消息中間件RocketMQ捐贈給Apache,并一舉成為Apache頂級項目(TLP)。一個由中國開發者發起的項目,站在了一個世界的舞臺上,受到全球的企業和開發者關注。RocketMQ深受開發者歡迎,多次斬獲行業大獎,究竟是怎樣的一群人讓這一項目不斷迸發出蓬勃的生命力?

這是一個從誕生第一天起就在GitHub上開發的開源項目,也是中國第一個非Hadoop生態的Apache頂級項目。它統一了阿里集團內部所有業務線的消息中間件,伴隨著中國 互聯網 發展數次迭代。

《十萬億條消息背后的故事》記錄了從誕生、開源到發展至今,那些RocketMQ背后鮮為人知的創始故事。通過「開源人說」的娓娓道來,讓我們一起來了解分布式消息中間件Apache RocketMQ背后的人與事!

雙11,RocketMQ抖一抖,上層業務“抖三抖”

早在2007年,阿里巴巴中間件團隊就自主研發了消息中間件Notify。作為RocketMQ的前身,在很長一段時間里,Notify作為主要的消息中間件支撐著淘寶天貓業務。

Apache RocketMQ的創始人王小瑞于2011年加入到淘寶中間件。當時面臨最大挑戰是,每年“雙11”Notify都會出問題,使得消息會延遲半天甚至一天以上,商家看不到買家已經購買了商品,這對于商家服務以及客戶體驗的影響非常大。在縝密研判后,發現問題核心就是如何能夠實現高速讀寫,王小瑞所在的團隊認為想要解決這一問題,就需要基于一個全新存儲架構來解決這個問題。于是,RocketMQ誕生了。

RocketMQ誕生,一開始就是開源共建,3個月就出了第一個版本

王小瑞(Apache RocketMQ創始人&作者)說:“阿里的文化特別開放,我是在食堂跟小邪(現阿里云基礎產品事業部負責人)吃飯的時候,說我們希望這個產品名字叫RocketMQ,希望它可以一開始就是開源的。小邪當時就給予了支持。”淘寶的文化也是馬上做,做精彩。如果你有想法,那你趕緊去做。所以我當時其實做夢的過程中都在想這些問題該怎么解決。老板沒有定一個嚴格的時間點,說你必須在什么時間寫完,但我的想法是,我已經想清楚了整個架構,需要把它快速實現出來。”

從第一天開始,RocketMQ就在Github完整展現,也就是說RocketMQ的第一行代碼對用戶就是開放的。在非常多國內外開發者的共同參與下。RocketMQ快速迭代,大概用了3個月時間就完成第一個版本。

2015年,中日韓開源論壇上,RocketMQ作為中國開源軟件的代表,榮獲CJK OSS大獎。

2016年“雙11”當天,達到萬億級消息量,峰值TPS幾千萬,創造了國內乃至世界上最大的消息流轉記錄。

RocketMQ捐贈,僅用一年,成為Apache頂級開源項目

在阿里巴巴建立之初,正是基于開源軟件將整個電商平臺的原型快速搭建起來。阿里巴巴感恩開源社區帶來的巨大貢獻與價值,也希望將自身經驗分享出來、回饋社區,讓更多的人受益。

2016年,阿里巴巴將分布式消息中間件RocketMQ捐贈給了Apache開源軟件基金會。僅用10個月時間就從Apache畢業,并成為Apache頂級項目(TLP)。這也標志著中國擁有了第一個非Hadoop生態的頂級項目。

(2017年9月25日,從孵化到畢業10個月左右的時間,Apache官方正式宣布阿里巴巴捐贈給Apache社區的RocketMQ從社區正式畢業,成為了Apache頂級的項目。)

Apache RocketMQ社區運營負責人王榮剛說:“我們終于完成了一個階段性的小目標,一個由中國開發者發起的項目,站在了一個世界的舞臺上,受到全球的企業和開發者的關注,那種感覺還是非常自豪的。”

2021年,RocketMQ 5.0正式發布

2021年,在經歷社區眾多開發者的不斷努力,RocketMQ 5.0出現在行業視野中,并引發廣泛討論。新版本核心包括兩大新亮點。首先,消息核心場景全面擴展,RocketMQ 5.0不再局限于消息解耦場景,將全新布局事件驅動和消息流式處理場景;其次,技術架構不斷演進,逐漸形成一站式融合處理的技術架構和趨勢。

2022年,批量消息索引、邏輯隊列發布RocketMQ-MQTT,RocketMQ-Connect、RocketMQ-Streams,完成從業務消息平臺向『消息、事件、流』一體化融合處理平臺的升級。開發者可以實現一份消息存儲,支持流式計算、異步投遞、集成驅動等多個場景。實現技術問題一站式解決,大大降低技術復雜度和運維成本,簡化企業應用架構。

阿里巴巴開源委員會副主席丁宇表示:“未來,我們會加大RocketMQ的開源投入,構建更加繁榮的社區生態,希望與更多的開發者、貢獻者一起,追求極致、開放共享,實現技術普惠。”

正是因為有這樣一群熱愛開源并愿意為它一直奮斗的開源人們,讓中國的開源事業未來可期!