文 | 飛總

我寫過一場大數據界的大撕逼，在Google和圖靈獎獲得者Michael Stonebraker之間。具體的情況可以參考這里。這場大撕逼發生在2008年，可謂驚天動地。

BigData的圈子里有另外一場大撕逼，發生的時間是2011年，這場撕逼的主角是Cloudera和Hortonworks。撕逼的起點是Owen O’Malley這位前Yahoo的Hadoop團隊的重要成員，后來的Hortonworks的Founder之一和Hortonworks的Fellow，撕逼的起因是一篇博文：The Yahoo!Effect。

這篇文章長話短說就是說開源阿帕奇多牛逼啊，經過我本人的分析發現，其實這里面大部分的貢獻主要是Yahoo這個活雷鋒干的。其實這話真心是沒有什么錯的，Hadoop也好Zookeeper也罷，都是Yahoo先做出來捐獻給Apache基金會的。這張神圖大致反應了Owen想要表達的。圖里面展示了Yahoo和其他公司這些年來對開源的Patch的貢獻。

但是Cloudera不干了，他們辛辛苦苦的挖來了Doug裝點門面，以便自己顯得比較正宗一些，這圖不是打臉說他們是不勞而獲的拿了Yahoo的東西賣錢嗎，對他們的形象其實不太好。Cloudera的辯解特別的簡單，就是你甭按照那些程序猿原來在哪個公司干活來反應他們對項目的貢獻。

貢獻是程序猿給的，不是公司給的，公司給的當然只是發錢而已。所以大概的意思是Doug今天已經在我們這里干活了，那么他被Yahoo付工資的那些時日里面的活，當然也算是我家的，頗有強詞奪理的風范。被Cloudera修改以后出來了下面這張神圖：

當然此圖一出，Cloudera迅速成為了第三個貢獻大的，第一第二依然是Hortonworks和Yahoo。不過這樣看起來，起碼Cloudera沒有那么難看了。非常有意思的是，Hortonworks里面最不爽Doug的那個Eric，就是2013年前先后做了CEO和CTO，后面又下崗的曾經的Doug的上司的Eric，大概是自己覺得不爽了。于是他又來了一篇博文。大概的意思是，你這樣搞也是不對的，patch和patch的大小也不一樣吧。得，干脆，咱來看看到底誰提交了多少行code吧。于是我們從Eric的博文上又來了這張神圖：

這場撕逼從某種程度上證明了Yahoo的確是Hadoop項目最大的貢獻者，活雷鋒當之無愧。然而Hortonworks作為一個獨立的公司出來以后，其貢獻得東西和Cloudera來比，其實憑良心說，多一些，但是也多的有限。Cloudera也不是說啥都沒寫就在那瞎bb。

但是這場撕逼其實是在爭奪core Hadoop的控制權。于是近兩年的時間里面Hadoop基本上沒有什么本質的變化，大的feature基本沒有多少release，這樣一來其他人看不下去了，就天天叫著Hadoop的新版本怎么還沒來，我們沒空看你們撕逼。

結果來說，因為一邊是Yahoo的原班團隊，一邊是挖了Doug這個Hadoop的首創者，還一度占據了Apache的老大的位置，總而言之是沒有誰真的贏了，Hadoop的PMC里面大致上今天就是Hortonworks和Cloudera各占一半的局面。只是這場撕逼留給大家的，尤其是其他基于Hadoop性能開發新的開源項目的人，除了呵呵，真心沒有任何其他的事情。

我想也正是因為這些人在這段時間里面沒好好干事，才給予了諸如Spark這樣新的平臺成長的機會。今天的Hadoop平臺的競爭就更加的艱難了，我想一個新的execution engine或者storage engine要想在今天環境下脫穎而出，幾乎是不可能的事情了。這么來看Spark的命其實也挺好的，Flink的命就差一點了。

36大數據(www.36dsj.com)成立于2013年5月，是中國訪問量最大的大數據網站。36大數據(微信號:dashuju36)以獨立第三方的角度，為大數據產業生態圖譜上的需求商 、應用商、服務商、技術解決商等相關公司及從業人員提供全球資訊、商機、案例、技術教程、項目對接、創業投資及專訪報道等服務。

End.

轉載請注明來自36大數據（36dsj.com)： 36大數據 ? Cloudera和Hortonworks的開源之戰