策劃編輯｜Natalie作者｜郭斯杰編輯｜Debra AI 前線導讀：消息中間件系統（比如 RabbitMQ、Kafka、Pulsar 等）是現代實時數據或者流數據基礎架構的關鍵環節。它通常作為一個數據管道，鏈接了各種業務前臺和數據后臺（比如數倉等）。 但是隨著越來越多的企業應用開始采納流計算作為數據的

談到大數據，相信大家對hadoop和Apache Spark這兩個名字并不陌生。然而，最近業界有一些人正在大張旗鼓的宣揚Hadoop將死，Spark將立。他們究竟是危言聳聽?嘩眾取寵?還是眼光獨到堪破未來呢?與Hadoop相比，Spark技術如何?現工業界大數據技術都在使用何種技術?如果現在想要參加大數據培訓的話，應該

隨著信息技術的迅猛發展，數據量呈現出爆炸式增長趨勢，數據的種類與變化速度也遠遠超出人們的想象，因此人們對大數據處理提出了更高的要求，越來越多的領域迫切需要大數據技術來解決領域內的關鍵問題。在一些特定的領域中(例如金融、災害預警等)，時間就是金錢、時間可能就是生命!然而傳統的批處理框架卻一直難以滿足這些領域中的實時性需求

作者： Jules S. Damji?最令開發者們高興的事莫過于有一組API，可以大大提高開發者們的工作效率，容易使用、非常直觀并且富有表現力。Apache Spark廣受開發者們歡迎的一個重要原因也在于它那些非常容易使用的API，可以方便地通過多種語言，如Scala、Java、Python和R等來操

mr的shuffle,mapShuffle數據存到hdfs中是以塊進行存儲的，每一個塊對應一個分片，maptask就是從分片中獲取數據的。在某個節點上啟動了map?Task,map?Task讀取是通過k-v來讀取的,讀取的數據會放到環形緩存區，這樣做的目的是為了防止IO的訪問次數,然后環形緩存區的內存達到一定的閥值的時

如果您的Hadoop項目將有新的突破，那么它必定與下邊介紹的七種常見項目很相像。有一句古老的格言是這樣說的，如果你向某人提供你的全部支持和金融支持去做一些不同的和創新的事情，他們最終卻會做別人正在做的事情。如比較火爆的Hadoop、Spark和Storm，每個人都認為他們正在做一些與這些新的大數據技術相關的事情，但它不

作者：游遵文Spark的核心概念是RDD，而RDD的關鍵特性之一是其不可變性，來規避分布式環境下復雜的各種并行問題。這個抽象，在數據分析的領域是沒有問題的，它能最大化的解決分布式問題，簡化各種算子的復雜度，并提供高性能的分布式數據處理運算能力。然而在機器學習領域，RDD的弱點很快也暴露了。機器學習的核心是迭代和參數更新

作者： 騰訊開源Spark的核心概念是RDD，而RDD的關鍵特性之一是其不可變性，來規避分布式環境下復雜的各種并行問題。這個抽象，在數據分析的領域是沒有問題的，它能最大化的解決分布式問題，簡化各種算子的復雜度，并提供高性能的分布式數據處理運算能力。然而在機器學習領域，RDD的弱點很快也暴露了。機器學習

Spark是發源于美國加州大學伯克利分校AMPLab的集群計算平臺，它立足于內存計算，性能超過Hadoop百倍，從多迭代批量處理出發，兼收并蓄數據倉庫、流處理和圖計算等多種計算范式，是罕見的全能選手。Spark采用一個統一的技術堆棧解決了云計算大數據的如流處理、圖技術、機器學習、NoSQL查詢等方面的所有核心問題，具有

作者：Murat Demirbas[ 導讀 ] 分布式機器學習是機器學習領域的一大主要研究方向。近日紐約州立大學布法羅分校計算機科學與工程教授、Petuum Inc. 顧問 Murat Demirbas 和他的兩位學生一起發表了一篇對比現有分布式機器學習平臺的論文，對 Spark、PMLS 和 TensorFl