欧美中文字幕第一页-欧美中文字幕一区-欧美中文字幕一区二区三区-欧美中文字幕在线-欧美中文字幕在线播放-欧美中文字幕在线视频

開源 | 華為開源streamDM:用于Spark Streaming的數(shù)據(jù)挖掘軟件

我是創(chuàng)始人李巖:很抱歉!給自己產(chǎn)品做個(gè)廣告,點(diǎn)擊進(jìn)來看看。  

選自huawei-noah.github.io

機(jī)器之心編譯

參與:杜夏德

華為諾亞方舟實(shí)驗(yàn)室開源 stream DM ,是一種使用 Spark Streaming 挖掘大數(shù)據(jù)的開源軟件。Stream DM 是 Apache Software License v2.0 許可下的開源軟件。

大數(shù)據(jù)流學(xué)習(xí)

大數(shù)據(jù)流學(xué)習(xí)(Big Data stream learning)比批量或離線學(xué)習(xí)更富有挑戰(zhàn)性,因?yàn)閿?shù)據(jù)在流動(dòng)的過程中不太可能保持同一種分布。而且,數(shù)據(jù)流中的每一個(gè)樣本只能被處理一次,否則它們就需要占用內(nèi)存進(jìn)行總結(jié),同時(shí)該學(xué)習(xí)算法也必須非常高效。

Spark Streaming

Spark Streaming(https://spark.apache.org/streaming/) 是核心 Spark API 的一個(gè)擴(kuò)展,它能讓多個(gè)源的數(shù)據(jù)流處理成為可能。Spark 是一個(gè)可擴(kuò)展可編程的框架,用于大規(guī)模分布式數(shù)據(jù)集(也稱為彈性分布式數(shù)據(jù)集(RDD))處理。Spark Streaming 接收輸入的數(shù)據(jù)流后將數(shù)據(jù)分批,再由 Spark 引擎處理,生成結(jié)果。

Spark Streaming 數(shù)據(jù)被編成一個(gè) DStreams 序列,內(nèi)在地表示成一個(gè) RDD 序列。

包含以下方法:

在第一次開放的 StreamDM 中,我們部署了:

  • SGD Learner (http://huawei-noah.github.io/streamDM/docs/SGD.html) 和 Perceptron (http://huawei-noah.github.io/streamDM/docs/SGD.html#perceptron)

  • Naive Bayes (http://huawei-noah.github.io/streamDM/docs/NB.html)

  • CluStream (http://huawei-noah.github.io/streamDM/docs/CluStream.html)

  • Hoeffding Decision Trees (http://huawei-noah.github.io/streamDM/docs/HDT.html)

  • Bagging (http://huawei-noah.github.io/streamDM/docs/Bagging.html)

  • Stream KM++ (http://huawei-noah.github.io/streamDM/docs/StreamKM.html)

我們部署了以下數(shù)據(jù)生成器

(http://huawei-noah.github.io/streamDM/docs/generators.html):

  • HyperplaneGenerator

  • RandomTreeGenerator

  • RandomRBFGenerator

  • RandomRBFEventsGenerator

我們部署了 SampleDataWriter:

(http://huawei-noah.github.io/streamDM/docs/SampleDataWriter.html),它可以調(diào)取數(shù)據(jù)生成器創(chuàng)建樣本數(shù)據(jù)用于模擬和測(cè)試。 后面我們將計(jì)劃開放:

  • 分類:隨機(jī)森林

  • 回歸:Hoeffding 回歸樹,Bagging,隨機(jī)森林

  • 聚類:Clustree, DenStream

  • Frequent Itemset Miner:IncMine, IncSecMine

下一步

為了快速介紹一下 StreamDM 的運(yùn)行,請(qǐng)打開 Getting Started (http://huawei-noah.github.io/streamDM/docs/GettingStarted.html)文件。StreamDM Programming Guide (http://huawei-noah.github.io/streamDM/docs/Programming.html) 展示了 StreamDM 的細(xì)節(jié)。完整的 API 文檔,可以參考這里:http://huawei-noah.github.io/streamDM/api/index.html。

?本文由機(jī)器之心編譯, 轉(zhuǎn)載請(qǐng)聯(lián)系本公眾號(hào)獲得授權(quán)

   ?------------------------------------------------

加入機(jī)器之心(全職記者/實(shí)習(xí)生):hr@almosthuman.cn

投稿或?qū)で髨?bào)道:editor@almosthuman.cn

廣告&商務(wù)合作:bd@almosthuman.cn

隨意打賞

提交建議
微信掃一掃,分享給好友吧。
主站蜘蛛池模板: 一区二区免费播放 | 色天天综合网 | 天天射天天色天天干 | 亚洲精品第一国产麻豆 | 亚洲精品线在线观看 | 亚洲123区| 国产成人精品男人的天堂538 | 欧美大狠狠大臿蕉香蕉大视频 | 久久国产精品亚洲一区二区 | 女人国产香蕉久久精品 | 国产成人一区二区三区在线视频 | 国产成人精品久久免费动漫 | 亚洲精品98久久久久久中文字幕 | 亚洲日本一区二区三区高清在线 | 奇米影视4444 | 夜夜夜夜夜夜夜猛噜噜噜噜噜噜 | 夜夜操天天插 | 亚洲涩涩精品专区 | 国产波波社区精品视频 | 色综合网站国产麻豆 | 日本韩国欧美在线观看 | 日本不卡在线播放 | 中文一级黄色片 | 老司机福利在线播放 | 久操视频在线观看 | 四虎精品免费国产成人 | 狠狠躁夜夜躁人人爽天天不 | 亚洲国产日韩综合久久精品 | 手机在线看片福利 | 最新国产精品视频 | 波多野结衣二区 | 91视频网址入口 | 色一色综合 | 最新日韩在线 | 中文字幕一区二区日产乱码 | 久久免费观看国产精品 | 亚洲精品中文字幕第一区 | 亚洲日韩中文字幕 | 久久精品日本免费线 | 91成人爽a毛片一区二区 | 成人四虎影院 |