分布式計算框架

本頁是關于頻道"分布式計算框架"的所有博文，按照時間倒序展現。實時更新。

總數 5 第 1/1 頁

阿里開源首款自研科學計算引擎 Mars ：基于張量的統一分布式計算框架

雷鋒網 ? 6年前

雷鋒網 AI 科技評論按：日前，阿里巴巴正式開源分布式科學計算引擎 Mars。Mars 是由阿里巴巴統一大數據計算平臺 MaxCompute 研發團隊歷經一年多研發的基于張量的統一分布式計算框架，用其進行科學計算時，不僅使得完成大規模科學計算任務從 MapReduce 實現上千行代碼降低到 Mars 數行代碼，還能大幅

百度開源高性能 Python 分布式計算框架 Bigflow

36大數據 ? 7年前

作者：王練百度近日開源了一套計算框架 Bigflow ，致力于提供一套簡單易用的接口來描述用戶的計算任務，并使同一套代碼可以運行在不同的執行引擎之上。Bigflow 的設計中有許多思想借鑒自?Google FlumeJava以及?Google Cloud Dataflow，另有部分接口設計借鑒自?Apache Spa

分布式計算開源框架Hadoop入門實踐（二）

36大數據 ? 8年前

作者：岑文初其實參看Hadoop官方文檔已經能夠很容易配置分布式框架運行環境了，不過這里既然寫了就再多寫一點，同時有一些細節需要注意的也說明一下，其實也就是這些細節會讓人摸索半天。Hadoop可以單機跑，也可以配置集群跑，單機跑就不需要多說了，只需要按照Demo的運行說明直接執行命令即可。這里主要重點說一下集群配置運行

分布式計算開源框架Hadoop入門實踐（一）

36大數據 ? 8年前

作者：岑文初在SIP項目設計的過程中，對于它龐大的日志在開始時就考慮使用任務分解的多線程處理模式來分析統計，在我從前寫的文章《Tiger Concurrent Practice —日志分析并行分解設計與實現》中有所提到。但是由于統計的內容暫時還是十分簡單，所以就采用Memcache作為計數器，結合MySQL就完成了訪問

Storm、Spark和MapReduce 開源分布式計算系統框架比較

36大數據 ? 9年前

比較項 Storm Spark Streaming 分布式計算在許多領域都有廣泛需求，目前流行的分布式計算框架主要有 Hadoop MapReduce, Spark Streaming, Storm；這三個框架各有優勢，現在都屬于 Apache 基金會下的頂級項目，下文將對三個框架的特點與適用場景進行分析，以便開發者