【編者按】在 開(kāi)源 已經(jīng)逐漸成為一種政治正確的時(shí)候，開(kāi)源項(xiàng)目最終會(huì)走向哪里？本文針對(duì)Cloudera和Hortonworks的宣布合并一事進(jìn)行發(fā)問(wèn)，回溯 Hadoop 的商業(yè)化和合并前后歷程，試圖尋找這一答案。

本文首發(fā)于IT經(jīng)理世界，作者李昊原；由億歐編輯，供行業(yè)人士參考。

---

不久前，Cloudera和Hortonworks的宣布合并，讓 大數(shù)據(jù) 領(lǐng)域的競(jìng)爭(zhēng)也變得撲朔迷離。兩家上市公司為什么要合并？對(duì)Hadoop這又意味著什么？

當(dāng)行業(yè)排名前兩位的企業(yè)選擇合并，往往意味著壟斷巨頭的出現(xiàn)和某種模式下市場(chǎng)競(jìng)爭(zhēng)的告一段落。

Hadoop的商業(yè)化

Hadoop幾乎可以算作大數(shù)據(jù)的代名詞，隨著開(kāi)源技術(shù)的被廣泛使用，Hadoop已經(jīng)成為事實(shí)上的大數(shù)據(jù)標(biāo)準(zhǔn)。十幾年前，企業(yè)數(shù)據(jù)還普遍是在數(shù)據(jù)倉(cāng)庫(kù)中處理，使用Oracle、SAP、IBM等數(shù)據(jù)相關(guān)軟件，但隨著互聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)類型的多樣化，對(duì)海量結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)以及流式數(shù)據(jù)的處理需求，都成為了舊式商業(yè)軟件的瓶頸。

2003年，Google Lab開(kāi)發(fā)了Map/Reduce 和 Google File System(GFS)，在兩年后的秋天，Hadoop由 Apache Software Foundation 公司作為L(zhǎng)ucene的子項(xiàng)目Nutch的一部分正式引入。這一能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架正式出現(xiàn)，給大數(shù)據(jù)軟件市場(chǎng)帶來(lái)了新的機(jī)會(huì)。2006年3月，Map/Reduce 和 Nutch Distributed File System (NDFS) 分別被納入Hadoop 的項(xiàng)目中。

對(duì)于數(shù)量巨大但單條數(shù)據(jù)價(jià)值較低的數(shù)據(jù)類型，比如輿情數(shù)據(jù)，在傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)中進(jìn)行分析的性價(jià)比較低，遠(yuǎn)不如在基于Hadoop的平臺(tái)上更能體現(xiàn)價(jià)值。因此在互聯(lián)網(wǎng)領(lǐng)域，Hadoop得到了普遍的應(yīng)用，比如Facebook、百度、雅虎，都使用Hadoop技術(shù)進(jìn)行數(shù)據(jù)處理等工作。作為一項(xiàng)開(kāi)源技術(shù)，雖然可以免費(fèi)下載，但Hadoop本身卻很復(fù)雜，對(duì)許多有大數(shù)據(jù)處理需求的公司來(lái)說(shuō)，讓IT部門(mén)基于Hadoop進(jìn)行開(kāi)發(fā)的成本太高，難度也太大。 因此，如Cloudera和Hortonworks這樣的創(chuàng)業(yè)公司出現(xiàn)了。

Cloudera成立于2008年，在2009年，Cloudera發(fā)行了第一個(gè)Hadoop集成版本——CDH。CDH產(chǎn)品包括企業(yè)版和開(kāi)源版，在企業(yè)版中，包含管理組件Cloudera Manager，這個(gè)組件是閉源的，可以對(duì)計(jì)算機(jī)集群進(jìn)行管理、部署、升級(jí)，監(jiān)控，提供包括數(shù)據(jù)管理、數(shù)據(jù)追溯、安全性保障和多云架構(gòu)管理等功能，在3個(gè)月的試用期后，需按照部署節(jié)點(diǎn)的數(shù)目按月交費(fèi)，這也是Cloudera的主要盈利模式。

而Hortonworks是從雅虎Hadoop團(tuán)隊(duì)剝離成立的創(chuàng)業(yè)公司，不同于Cloudera，Hortonworks的軟件是完全開(kāi)源的，通過(guò)技術(shù)支持來(lái)盈利。另外還有一家MapR， 這三家公司也常被稱作是Hadoop的三大發(fā)行商。

將開(kāi)源軟件商業(yè)化的價(jià)值在哪里？Cloudera大中華區(qū)的技術(shù)總監(jiān)劉隸放曾對(duì)此解釋：“開(kāi)源并不意味著免費(fèi)”。對(duì)一些技術(shù)實(shí)力相對(duì)較弱的企業(yè)，如金融、電信、制造業(yè)等行業(yè)，將帶來(lái)大量的IT開(kāi)發(fā)成本。在這個(gè)過(guò)程中，由于軟件被不斷發(fā)現(xiàn)BUG，以及需要針對(duì)企業(yè)情況去修改和打補(bǔ)丁，每當(dāng)開(kāi)源項(xiàng)目向下一個(gè)版本躍進(jìn)時(shí)，所有的補(bǔ)丁都要在新版本上進(jìn)行驗(yàn)證，會(huì)帶來(lái)非常大的工程化難題，造成積重難返甚至無(wú)法更新只能停在舊版本上的窘迫——而有的開(kāi)發(fā)誤判了開(kāi)源項(xiàng)目的生命周期，甚至?xí)霈F(xiàn)開(kāi)源項(xiàng)目中止的尷尬。

而除了促進(jìn)Hadoop的易用化之外，Cloudera和Hortonworks的價(jià)值還體現(xiàn)在版本演進(jìn)中，尤其是Cloudera，CDH版本中26個(gè)項(xiàng)目有18個(gè)是由Cloudera發(fā)起或研發(fā)的，占據(jù)了商業(yè)版平臺(tái)的50%，在下載平臺(tái)上，甚至超過(guò)了60%，是主流的開(kāi)源版本。這意味著Cloudera在開(kāi)源社區(qū)里有足夠的話語(yǔ)權(quán)，讓產(chǎn)品受益于開(kāi)源社區(qū)的創(chuàng)新力而又不會(huì)失去控制。

也因?yàn)槿绱?，市?chǎng)對(duì)Cloudera以及緊隨其后的Hortonworks都報(bào)以期待，2014年Hortonworks成功上市，而同年Cloudera則獲得了來(lái)自英特爾7.4億美元的投資，估值高達(dá)41億美元，成為大數(shù)據(jù)公司中最耀眼的獨(dú)角獸。

合并前后

對(duì)于這一輪技術(shù)革命帶來(lái)的商業(yè)演進(jìn)，我們習(xí)慣稱之為“ABC”時(shí)代，然后相對(duì)于A（ 人工智能 ）和C（云計(jì)算），前者涌現(xiàn)了大量的獨(dú)角獸企業(yè)，并在應(yīng)用上呈現(xiàn)了遍地開(kāi)花的景象，后者已經(jīng)實(shí)際上出現(xiàn)了諸如亞馬遜等的云計(jì)算巨頭。而以Cloudera等為代表的大數(shù)據(jù)公司，卻顯得有些乏力。

無(wú)論是Cloudera還是Hortonworks,，都處于持續(xù)的虧損之中 ，盈利水平的不足體現(xiàn)在其財(cái)報(bào)和股價(jià)上。Hortonworks上市之初股價(jià)曾一度接近30美元，但之后一直在15美元下的地點(diǎn)徘徊；而Cloudera提交IPO申請(qǐng)時(shí)的估值和3年前接受英特爾投資時(shí)的估值一樣都是41億美元，今年上半年時(shí)，由于對(duì)2019年收入的預(yù)測(cè)低于市場(chǎng)預(yù)期，其股價(jià)一度下跌超過(guò)28%，目前市值18.62億美元。

造成這一現(xiàn)象的原因很多，首先是 Cloudera與Hortonworks等公司的競(jìng)爭(zhēng)，但競(jìng)爭(zhēng)并不局限于Hadoop領(lǐng)域。 比起Hortonworks和MapR，處于領(lǐng)頭位置的Cloudera更希望與Oracle、SAP等軟件公司對(duì)比。但開(kāi)源軟件的商用化，意味著需要在研發(fā)上投入大量的成本，以滿足大型企業(yè)的需要，而在實(shí)際銷售中，由于大企業(yè)對(duì)穩(wěn)定性、業(yè)務(wù)連續(xù)性等的考慮，對(duì)比傳統(tǒng)企業(yè)軟件并不一定會(huì)占到優(yōu)勢(shì)。

另一方面，是來(lái)自云計(jì)算公司的跨界挑戰(zhàn)。 云計(jì)算的發(fā)展將越來(lái)越多的企業(yè)囊括其中，并催生了亞馬遜AWS等巨頭，而他們本身也會(huì)提供托管的Hadoop/Spark服務(wù)，如AWS的Elastic Map Reduce(EMR)，不僅集成在云平臺(tái)內(nèi)部而且成本也更低。而對(duì)象存儲(chǔ)服務(wù)，如AWS S3，Azure Blob存儲(chǔ)和Google云端存儲(chǔ)，從成本上來(lái)說(shuō)，也低于Hadoop的存儲(chǔ)成本。

在2017年的一次采訪中，Cloudera零售、制造及物聯(lián)網(wǎng)行業(yè)的行業(yè)專家Dave Shuman曾表示，Cloudera與云計(jì)算公司并非競(jìng)爭(zhēng)關(guān)系，而是合作伙伴關(guān)系，重視數(shù)據(jù)資產(chǎn)的大型企業(yè)依舊需要Cloudera的產(chǎn)品。

與此同時(shí)，Cloudera也一直致力于向云計(jì)算轉(zhuǎn)型，目前在公有云領(lǐng)域，Cloudera已經(jīng)可以在AWS等云平臺(tái)上做到存儲(chǔ)對(duì)象分離；在私有云領(lǐng)域，也可以支持基于OpenStack和VMvare的私有云平臺(tái)，以及混合云的部署。

然而來(lái)自云計(jì)算公司的競(jìng)爭(zhēng)壓力依舊客觀存在，實(shí)際上，今年8月份數(shù)據(jù)庫(kù)制造商 Redis Labs 將開(kāi)發(fā)的Redis 模塊的開(kāi)源協(xié)議的授權(quán)方式變更，矛頭便指向了借助開(kāi)源獲利的云計(jì)算公司。

在今年的10月初，Cloudera和Hortoworks宣布全股票對(duì)等合并，其中Cloudera的股東擁有60%股權(quán)，Hortonworks的股東擁有40%的股權(quán)。在Hadoop的領(lǐng)域，這意味著“強(qiáng)強(qiáng)聯(lián)手”，而在大數(shù)據(jù)領(lǐng)域，則更像是“抱團(tuán)取暖”。但毫無(wú)疑問(wèn)，這至少可以幫助兩家企業(yè)結(jié)束近十年的競(jìng)爭(zhēng)，并且依靠壟斷地位早日擺脫長(zhǎng)期虧損的窘狀。受此消息影響，兩家公司都隨后大漲，據(jù)2018年10月2日收盤(pán)價(jià)計(jì)算，兩家公司的總股價(jià)達(dá)為52億美元。

合并后的兩家公司擁有超過(guò)2500名客戶，年收入將達(dá)到7.2億美元，降低1.25億美元成本，并有超過(guò)5億美元的現(xiàn)金。在技術(shù)上，兩家公司也可以進(jìn)行互補(bǔ)，不過(guò)由于雙方存在很多重合的業(yè)務(wù)，意味著將在組織架構(gòu)和產(chǎn)品結(jié)構(gòu)上進(jìn)行整合（主要是Cloudera的CDH和Hortonworks的HDP兩條產(chǎn)品線的合并問(wèn)題），不過(guò)他們也承諾，在3年內(nèi)會(huì)繼續(xù)提供兩家公司的服務(wù)，考慮到Cloudera的產(chǎn)品訂期為1年和3年，這基本可以保證用戶的權(quán)益。而新的公司也會(huì)在發(fā)布新的統(tǒng)一版本的產(chǎn)品。

目前有關(guān)合并的細(xì)節(jié)還有許多在挑戰(zhàn)中，不過(guò)原Cloudera的CEO Thomas Reilly，也是新公司的CEO對(duì)此十分看好，表示新的公司將成為行業(yè)領(lǐng)導(dǎo)者，為客戶提供更好的平臺(tái)，創(chuàng)建世界首個(gè)企業(yè)數(shù)據(jù)云，并將在云計(jì)算、物聯(lián)網(wǎng)和容器技術(shù)等領(lǐng)域繼續(xù)發(fā)力。

而從第三方的角度來(lái)看，這無(wú)疑會(huì)影響整個(gè)Hadoop的生態(tài)，開(kāi)源大數(shù)據(jù)目前已經(jīng)成為互聯(lián)網(wǎng)企業(yè)的基礎(chǔ)設(shè)施，兩家公司合并后，意味著Hadoop的標(biāo)準(zhǔn)將更加統(tǒng)一，長(zhǎng)期來(lái)看新公司的盈利能力也將大幅提升，并將更多的資源用于新技術(shù)的投入。

對(duì)此，“三駕馬車”中的MapR曾表示“ 兩個(gè)錯(cuò)誤也不會(huì)導(dǎo)致一個(gè)正確 ”，但從體量和級(jí)別上來(lái)看，新公司將基本代表Hadoop社區(qū)，其他同類型企業(yè)將很難與之競(jìng)爭(zhēng)。而新公司未來(lái)也可能會(huì)面對(duì)和云計(jì)算公司更直接的競(jìng)爭(zhēng)，或者如Redhat一樣被巨頭收購(gòu)，這些猜測(cè)都要等待新公司重組的進(jìn)一步塵埃落定了。

---

11月30日下午，由億歐主辦的500人規(guī)模的“企業(yè)智能服務(wù)創(chuàng)新者論壇”將邀請(qǐng)到到企業(yè)服務(wù)一線投資人和企業(yè)家，針對(duì)智能技術(shù)對(duì)企業(yè)服務(wù)發(fā)展的影響、投資方向、創(chuàng)業(yè)趨勢(shì)進(jìn)行深入討論，參與活動(dòng)即可獲得與國(guó)雙科技、阿里巴巴釘釘、易點(diǎn)租、斗米、薪太軟、眾盟、噼里啪、會(huì)小二等企業(yè)負(fù)責(zé)人共同交流機(jī)會(huì)。

點(diǎn)擊鏈接即可參與免費(fèi)報(bào)名： https://www.iyiou.com/post/ad/id/642