產(chǎn)品經(jīng)理:大數(shù)據(jù)究竟是什么?一篇文章讓你認(rèn)識并讀懂大數(shù)據(jù)
在寫這篇文章之前,我發(fā)現(xiàn)身邊很多IT人對于這些熱門的新 技術(shù) 、新趨勢往往趨之若鶩卻又很難說的透徹,如果你問他大數(shù)據(jù)和你有什么關(guān)系?估計(jì)很少能說出一二三來。究其原因,一是因?yàn)榇蠹覍π录夹g(shù)有著相同的原始渴求,至少知其然在聊天時不會顯得很“土鱉”;二是在工作和生活環(huán)境中真正能參與實(shí)踐大數(shù)據(jù)的 案例 實(shí)在太少了,所以大家沒有必要花時間去知其所以然。 我希望有些不一樣,所以對該如何去認(rèn)識大數(shù)據(jù)進(jìn)行了一番思索,包括查閱了資料,翻閱了最新的專業(yè)書籍,但我并不想把那些零散的資料碎片或不同理解論述簡單規(guī)整并堆積起來形成毫無價值的轉(zhuǎn)述或評論,我很真誠的希望進(jìn)入事物探尋本質(zhì)。 如果你說大數(shù)據(jù)就是數(shù)據(jù)大,或者侃侃而談4個V,也許很有深度的談到BI或預(yù)測的價值,又或者拿Google和Amazon舉例,技術(shù)流可能會聊起Hadoop和Cloud Computing,不管對錯,只是無法勾勒對大數(shù)據(jù)的整體認(rèn)識,不說是片面,但至少有些管窺蠡測、隔衣瘙癢了。……也許,“解構(gòu)”是最好的方法。 怎樣結(jié)構(gòu)大數(shù)據(jù)?首先,我認(rèn)為大數(shù)據(jù)就是互聯(lián)網(wǎng)發(fā)展到現(xiàn)今階段的一種表象或特征而已,沒有必要神話它或?qū)λ3志次分?,在以云?jì)算為代表的技術(shù)創(chuàng)新大幕的襯托下,這些原本很難收集和使用的數(shù)據(jù)開始容易被利用起來了,通過各行各業(yè)的不斷創(chuàng)新,大數(shù)據(jù)會逐步為人類創(chuàng)造更多的價值。 其次,想要系統(tǒng)的認(rèn)知大數(shù)據(jù),必須要全面而細(xì)致的分解它,我著手從三個層面來展開:
第一層面是理論,理論是認(rèn)知的必經(jīng)途徑,也是被廣泛認(rèn)同和傳播的基線。我會從大數(shù)據(jù)的特征定義理解行業(yè)對大數(shù)據(jù)的整體描繪和定性;從對大數(shù)據(jù)價值的探討來深入解析大數(shù)據(jù)的珍貴所在;從對大數(shù)據(jù)的現(xiàn)在和未來去洞悉大數(shù)據(jù)的發(fā)展趨勢;從大數(shù)據(jù)隱私這個特別而重要的視角審視人和數(shù)據(jù)之間的長久博弈。 第二層面是技術(shù),技術(shù)是大數(shù)據(jù)價值體現(xiàn)的手段和前進(jìn)的基石。我將分別從云計(jì)算、分布式處理技術(shù)、存儲技術(shù)和感知技術(shù)的發(fā)展來說明大數(shù)據(jù)從采集、處理、存儲到形成結(jié)果的整個過程。 第三層面是實(shí)踐,實(shí)踐是大數(shù)據(jù)的最終價值體現(xiàn)。我將分別從互聯(lián)網(wǎng)的大數(shù)據(jù),政府的大數(shù)據(jù),企業(yè)的大數(shù)據(jù)和個人的大數(shù)據(jù)四個方面來描繪大數(shù)據(jù)已經(jīng)展現(xiàn)的美好景象及即將實(shí)現(xiàn)的藍(lán)圖。 和大數(shù)據(jù)相關(guān)的理論? 特征定義最早提出大數(shù)據(jù)時代到來的是麥肯錫:“數(shù)據(jù),已經(jīng)滲透到當(dāng)今每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域,成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運(yùn)用,預(yù)示著新一波生產(chǎn)率增長和消費(fèi)者盈余浪潮的到來。” 業(yè)界(IBM 最早定義)將大數(shù)據(jù)的特征歸納為4個“V”(量Volume,多樣Variety,價值Value,速Velocity),或者說特點(diǎn)有四個層面:第一,數(shù)據(jù)體量巨大。大數(shù)據(jù)的起始計(jì)量單位至少是P(1000個T)、E(100萬個T)或Z(10億個T);第二,數(shù)據(jù)類型繁多。比如,網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等等。第三,價值密度低,微品網(wǎng)高。第四,處理速度快。最后這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。 其實(shí)這些V并不能真正說清楚大數(shù)據(jù)的所有特征,下面這張圖對大數(shù)據(jù)的一些相關(guān)特性做出了有效的說明。
古語云:三分技術(shù),七分?jǐn)?shù)據(jù),得數(shù)據(jù)者得天下。先不論誰說的,但是這句話的正確性已經(jīng)不用去論證了。維克托·邁爾-舍恩伯格在《大數(shù)據(jù)時代》一書中舉了百般例證,都是為了說明一個道理:在大數(shù)據(jù)時代已經(jīng)到來的時候要用大數(shù)據(jù)思維去發(fā)掘大數(shù)據(jù)的潛在價值。書中,作者提及最多的是Google如何利用人們的搜索記錄挖掘數(shù)據(jù)二次利用價值,比如預(yù)測某地流感爆發(fā)的趨勢;Amazon如何利用用戶的購買和瀏覽歷史數(shù)據(jù)進(jìn)行有針對性的書籍購買推薦,以此有效提升銷售量;Farecast如何利用過去十年所有的航線機(jī)票價格打折數(shù)據(jù),來預(yù)測用戶購買機(jī)票的時機(jī)是否合適。 那么,什么是大數(shù)據(jù)思維?維克托·邁爾-舍恩伯格認(rèn)為,1-需要全部數(shù)據(jù)樣本而不是抽樣;2-關(guān)注效率而不是精確度;3-關(guān)注相關(guān)性而不是因果關(guān)系。 阿里巴巴的王堅(jiān)對于大數(shù)據(jù)也有一些獨(dú)特的見解,比如,
特別是最后一點(diǎn),我是非常認(rèn)同的,大數(shù)據(jù)的真正價值在于創(chuàng)造,在于填補(bǔ)無數(shù)個還未實(shí)現(xiàn)過的空白。 有人把數(shù)據(jù)比喻為蘊(yùn)藏能量的煤礦。煤炭按照性質(zhì)有焦煤、無煙煤、肥煤、貧煤等分類,而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似,大數(shù)據(jù)并不在“大”,而在于“有用”。價值含量、挖掘成本比數(shù)量更為重要。
|