近日，聲網Agora 入選由音視頻領域的權威 媒體 Streaming Media 評選的“ 年度在線視頻領域50家最具影響力公司 ”榜單。一同入選的其他企業還包括：Google，Microsoft，AWS等。 據悉，上榜的50家企業由Streaming Media特約編

隨著信息技術的迅猛發展，數據量呈現出爆炸式增長趨勢，數據的種類與變化速度也遠遠超出人們的想象，因此人們對大數據處理提出了更高的要求，越來越多的領域迫切需要大數據技術來解決領域內的關鍵問題。在一些特定的領域中(例如金融、災害預警等)，時間就是金錢、時間可能就是生命!然而傳統的批處理框架卻一直難以滿足這些領域中的實時性需求

作者：Mahesh Chand Kandpal 翻譯：雁驚寒 譯者注：本文介紹了兩大常用的流式處理框架，Spark Streaming和Kafka Stream，并對他們各自的特點做了詳細說明，以幫助讀者在不同的場景下對框架進行選擇。以下是譯文。 流式處理的需求每天都在增加，僅

文 | Petr Zapletal ，譯者 俠天在上篇文章中，我們過了下基本的理論，也介紹了主流的流處理框架：Storm，Trident，Spark Streaming，Samza和Flink。今天咱們來點有深度的topic，比如，容錯，狀態管理或者性能。除此之外，我們也將討論開發分布式流處理應用的指南，并給出推薦的流

文 | Petr Zapletal ，譯者 | 俠天分布式流處理是對無邊界數據集進行連續不斷的處理、聚合和分析。它跟MapReduce一樣是一種通用計算，但我們期望延遲在毫秒或者秒級別。這類系統一般采用有向無環圖(DAG)。DAG是任務鏈的圖形化表示，我們用它來描述流處理作業的拓撲。如下圖，數據從sources流經處理

作者：美團Spark Streaming Elastic Search如果在使用App時遇到閃退，你可能會選擇卸載App、到應用商店怒斥開發者等方式來表達不滿。但開發者也同樣感到頭疼，因為崩潰可能意味著用戶流失、營收下滑。為了降低崩潰率，進而提升App質量，App開發團隊需要實時地監控App異常。一旦發現嚴重問題，及時

作者：祝威廉本文由 祝威廉 授權發布，版權所有歸作者，轉載請聯系作者！之前我在微信朋友圈發了一段話，說明Spark Streaming 不僅僅是流式計算，也是一類通用的模式，可以讓你只關注業務邏輯而無需關注分布式相關的問題而迅速解決業務問題前言前兩天我剛在自己的一篇文章中鼓吹數據天生就是流式的,并且指出：批量計算已經在

作者：祝威廉本文由 簡書 祝威廉 授權發布，版權所有歸作者，轉載請聯系作者！前言Spark 2.0 將流式計算也統一到DataFrame里去了，提出了Structured Streaming的概念，將數據源映射為一張無線長度的表，同時將流式計算的結果映射為另外一張表，完全以結構化的方式去操作流式數據，復用了其對象的Ca

作者：牛肉圓粉不加蔥本文由 簡書 牛肉圓粉不加蔥 授權發布，版權所有歸作者，轉載請聯系作者！Streaming job 的調度與執行 結合文章 揭開 Spark Streaming神秘面紗④ – job 的提交與執行 我們畫出了如下 job 調度執行流程圖： 為什么很難保證 exactly