隨著信息技術(shù)的迅猛發(fā)展，數(shù)據(jù)量呈現(xiàn)出爆炸式增長(zhǎng)趨勢(shì)，數(shù)據(jù)的種類與變化速度也遠(yuǎn)遠(yuǎn)超出人們的想象，因此人們對(duì)大數(shù)據(jù)處理提出了更高的要求，越來(lái)越多的領(lǐng)域迫切需要大數(shù)據(jù)技術(shù)來(lái)解決領(lǐng)域內(nèi)的關(guān)鍵問(wèn)題。在一些特定的領(lǐng)域中(例如金融、災(zāi)害預(yù)警等)，時(shí)間就是金錢(qián)、時(shí)間可能就是生命!然而傳統(tǒng)的批處理框架卻一直難以滿足這些領(lǐng)域中的實(shí)時(shí)性需求

作者：Mahesh Chand Kandpal 翻譯：雁驚寒 譯者注：本文介紹了兩大常用的流式處理框架，Spark Streaming和Kafka Stream，并對(duì)他們各自的特點(diǎn)做了詳細(xì)說(shuō)明，以幫助讀者在不同的場(chǎng)景下對(duì)框架進(jìn)行選擇。以下是譯文。 流式處理的需求每天都在增加，僅

文 | Petr Zapletal ，譯者 俠天在上篇文章中，我們過(guò)了下基本的理論，也介紹了主流的流處理框架：Storm，Trident，Spark Streaming，Samza和Flink。今天咱們來(lái)點(diǎn)有深度的topic，比如，容錯(cuò)，狀態(tài)管理或者性能。除此之外，我們也將討論開(kāi)發(fā)分布式流處理應(yīng)用的指南，并給出推薦的流

文 | Petr Zapletal ，譯者 | 俠天分布式流處理是對(duì)無(wú)邊界數(shù)據(jù)集進(jìn)行連續(xù)不斷的處理、聚合和分析。它跟MapReduce一樣是一種通用計(jì)算，但我們期望延遲在毫秒或者秒級(jí)別。這類系統(tǒng)一般采用有向無(wú)環(huán)圖(DAG)。DAG是任務(wù)鏈的圖形化表示，我們用它來(lái)描述流處理作業(yè)的拓?fù)洹Ｈ缦聢D，數(shù)據(jù)從sources流經(jīng)處理

作者：美團(tuán)Spark Streaming Elastic Search如果在使用App時(shí)遇到閃退，你可能會(huì)選擇卸載App、到應(yīng)用商店怒斥開(kāi)發(fā)者等方式來(lái)表達(dá)不滿。但開(kāi)發(fā)者也同樣感到頭疼，因?yàn)楸罎⒖赡芤馕吨脩袅魇АI(yíng)收下滑。為了降低崩潰率，進(jìn)而提升App質(zhì)量，App開(kāi)發(fā)團(tuán)隊(duì)需要實(shí)時(shí)地監(jiān)控App異常。一旦發(fā)現(xiàn)嚴(yán)重問(wèn)題，及時(shí)

作者：祝威廉本文由 祝威廉 授權(quán)發(fā)布，版權(quán)所有歸作者，轉(zhuǎn)載請(qǐng)聯(lián)系作者！之前我在微信朋友圈發(fā)了一段話，說(shuō)明Spark Streaming 不僅僅是流式計(jì)算，也是一類通用的模式，可以讓你只關(guān)注業(yè)務(wù)邏輯而無(wú)需關(guān)注分布式相關(guān)的問(wèn)題而迅速解決業(yè)務(wù)問(wèn)題前言前兩天我剛在自己的一篇文章中鼓吹數(shù)據(jù)天生就是流式的,并且指出：批量計(jì)算已經(jīng)在

作者：祝威廉本文由 簡(jiǎn)書(shū) 祝威廉 授權(quán)發(fā)布，版權(quán)所有歸作者，轉(zhuǎn)載請(qǐng)聯(lián)系作者！前言Spark 2.0 將流式計(jì)算也統(tǒng)一到DataFrame里去了，提出了Structured Streaming的概念，將數(shù)據(jù)源映射為一張無(wú)線長(zhǎng)度的表，同時(shí)將流式計(jì)算的結(jié)果映射為另外一張表，完全以結(jié)構(gòu)化的方式去操作流式數(shù)據(jù)，復(fù)用了其對(duì)象的Ca

作者：牛肉圓粉不加蔥本文由 簡(jiǎn)書(shū) 牛肉圓粉不加蔥 授權(quán)發(fā)布，版權(quán)所有歸作者，轉(zhuǎn)載請(qǐng)聯(lián)系作者！Streaming job 的調(diào)度與執(zhí)行 結(jié)合文章 揭開(kāi) Spark Streaming神秘面紗④ – job 的提交與執(zhí)行 我們畫(huà)出了如下 job 調(diào)度執(zhí)行流程圖： 為什么很難保證 exactly

作者：牛肉圓粉不加蔥本文由 簡(jiǎn)書(shū) 牛肉圓粉不加蔥 授權(quán)發(fā)布，版權(quán)所有歸作者，轉(zhuǎn)載請(qǐng)聯(lián)系作者！ 前文揭開(kāi) Spark Streaming神秘面紗③ – 動(dòng)態(tài)生成 job 我們分析了 JobScheduler 是如何動(dòng)態(tài)為每個(gè) batch生成 jobs，本文將說(shuō)明這些生成的 jobs 是如何被提交的