今天上午，亞馬遜AWS首席云計算技術顧問費良宏在GMIC云與大數據峰會上，為聽眾詳細講述了云計算環境下的大數據實踐與設計范式。

費良宏認為，

費良宏：大家好，我想跟大家分享一下管理大數據的話題。我主要是圍繞著在云計算環境里的數據模式的架構與實現，也說說我們十年實踐的心得。

大數據大家都不陌生，對相關領域大家也有很多了解。但是

如果幾年前我們認為大數據還只是GB、PB級別的話，接下來我們會看到，從TB到ZB的增長速度已經越來越快了。接下來5年、10年會有一個新的認知。

比如說基因工程、社交媒體。這樣產生的更多數據是以非結構化形式存在的。我們熟悉的結構化模式，已經不太適用了。我們有必要談一談大數據，如何利用今天的技術和手段幫助我們解決這個問題。

從事大數據的人已經很熟悉了，在今天和過去都用這樣的方法來操控大數據。

過去幾年出現的，而且已經比較普遍了。流處理模式有其特定的歷史淵源，主要來自于數據產生的特殊性以及處理的特殊要求。

數據本身并不具有價值，如果把它變成一種知識，它的數據才會變得更有價值，這個關鍵就是機器學習。

今天的人工智能是很熱的話題。機器學習是一種很真實，可以幫助我們去解決從數據到知識化的有效手段，所以我們要關心的是，在大數據的環境里，如何利用批處理、流處理、機器學習達成我們目的的一個目標。

實際上我們來觀察云計算或者大數據的市場，我們看到了一個讓我們眼花繚亂的市場。各種架構、工具、技術、實踐案例，充斥著各種媒體，各種分享。其實對于我們從業者來說，從這些信息當中找到你所需要的內容和知識并不是一件非常容易的事情。

回到大數據的本質，我們可以抽象起來。可能會通過若干迭代的方式不斷的進行循環，以及達成數據可用化的程度。在這個環節中，我們需要考慮的除了剛才的流程，以及完成流程的功能之外，要考慮吞吐量，以及非常重要的成本因素。如果把簡化的大數據流程作為觀察對象的時候，其實我們面臨的問題就比較簡單了，就可以從這幾個角度談一談大數據的問題。

第一個需要跟大家分享的就是關于“”的話題。數據溫度是比較有意思的話題。它是用另外一個角度衡量這個數據的。

天氣預報里很熟悉，通過溫度的方法感知外部世界的變化，數據有沒有溫度？我的觀察是，我們操控的大數據里有一些特點，

有了這樣的定義之后，我們才知道究竟應該選擇哪種工具，哪種方法來管理數據。

其次談到流處理概念，流就存在著存儲的概念。這種使用是一種很獨特的應用場景，用傳統大數據處理方式對這些數據進行處理恐怕不是非常有效果。所以我們提出了流式數據處理的概念。可以

在采集方面，尤其像物聯網、移動互聯這樣的場景里，有多種數據采集的應用特點。這個特點里，與之相對應的最好技術手段就是流的技術和手段了。

選擇大數據處理工具的時候我們面臨著一些困境。

從數據來講，我們放到內存里處理的速度最快，延遲最少，但是代價最高。關系數據庫大家都很熟悉了，它僅對關系型數據才能有效實施。非關系型數據，可以用非檢索工具來做。

我們也有幾個考慮角度，

簡單化的模型，在我們的選擇上是很好的選擇。參考工具對不同的技術來說有深遠的影響，

對于這樣的應用場景，市面上充斥著各種各樣的工具，我們也會針對這個場景提供托管服務，對于云計算用戶來講，就是在選擇工具上有優勢。

對于大數據架構談了很多話題，引入了很多概念，如何將概念應用到真正的架構里？基于云計算平臺上也有一個大數據參考架構。這個架構里就像剛才談到的四個不同的環節流程，涵蓋數據采集、存儲這些環節。包括數據溫度由低到高，數據存儲方式的復雜到簡單都有針對性的選擇。

一個好消息，去年8月份AWS在中國區的服務已經落地商用了，大家可以通過中國區云計算的服務提供的內容，可以體驗一下AWS提供的大數據所展現的魅力。

對于這樣一個架構，大家已經有一些了解了，最后想跟大家分享一下大數據在實踐中的設計范式。這也是過去十年里云計算、大數據應用得到的心得。

在軟件架構里，最近一段時間大家談到的架構設計原則就是解耦。利用松耦合方式增加系統的彈性。傳統深擦作大數據的時候更習慣把大數據的存儲、計算放到同一個環境下，在存儲和處理上沒有明顯的解耦，但是這種方式存在著弊端。比如說對于數據的管理和處理流火性方面，或者不同的處理要求對數據的拷貝、管理上，存在天生的弊端很難解決。有時候企業里面為了解決這個問題，不得以會將數據有多份存儲，無形增加了開銷和不確定因素。

我們提出的建議方法，就是將數據解耦。

另外建議大家，

還有數據溫度的問題，這是我反復強調，

大數據里有幾種應用場景：第一種是實時處理，就是引入流的概念，利用一些流的服務和產品，提升我們數據的處理能力，以及將我們處理的延遲降到最低。第二是交互和批處理，在這種查詢環境里最重要的就是集中化數據管理能力。

過去兩年里，漸漸興起廣為大家熟悉的概念是數據湖，某種意義上強調企業建立一個全數據的集中管理能力。利用目前云計算和大數據的處理能力，真的可以為企業提供全數據的概念，利用全數據我們在大數據的操作、分析，不同主題的應用里，就具備了真正意義上的大數據的處理。

歸納起來，

這些有明確說法的時候，你依據標準選擇工具的話，恐怕就不是很困難的事情。

這一點是在很多案例中被證明的。

比如說在日志管理方面，存儲處理方面，選擇一些不可變日志和物化視圖方法，會更有效。

當有一定規模和積累的時候，這個辦法可能就沒有辦法解決了，因為你會被成本拖累。

所以，

305171