數據湖的發展契機，來源于近年來的AI熱潮和云計算、5G的發展，在日益發展的海量數據時代，數據已成為企業發展的核心資產，通過構建適用于大數據的底層架構，圍繞Hadoop提供語義一致性、數據治理和安全性。Hadoop作為數據湖最常用的解決方案之一，其的部署和需求仍然很大并且正在增長。在最近的一項涉及235名受訪者的調查中，

大數據經過了多年的發展，以Hadoop生態為核心的大數據框架已經十分成熟，這個過程伴隨著對存儲需求的不斷變化，從而演進出了數據湖的概念以及在數據湖存儲方面的幾個新需求特征：如數據的分布組織與元數據的高效管理；存儲和計算分離，大幅降低成本；數據全生命周期管理；多訪問協議支持達到All in One的存儲能力；具備數據的智

2019年將近尾聲,談到截止目前,2019年星環 科技 所取得成績,創始人孫元浩做了一些簡單的總結。 “第一,從產品線來說,從2017年開始,星環科技已經基本確定三條產品線,大數據產品是主要產品線,而人工智能機器學習平臺和容器的智能大數據云平臺,是圍繞客戶在使用大數據基礎軟件的基礎需求上

【編者按】雖然大數據依然如日中天，但該領域曾經的領頭羊 Cloudera 、Hortonworks 和 MapR 三家公司最近卻步履蹣跚，多少掩蓋了其幾分風光。Cloudera 和 Hortonworks 合并，而 MapR 開始裁員。與此同時，大數據領域的 Elastic 、Mongo

Tom Reilly, chief executive officer of Cloudera Inc. 今年6月6日，Hadoop 商業 公司Cloudera突然暴跌了40%，一時間引發了大家激烈的討論，在這些討論之中，最具代表性的觀點便是Cloudera的暴跌代表著Hadoop的隕落。

Tom Reilly, chief executive officer of Cloudera Inc.文｜郭華今年6月6日，Hadoop商業公司Cloudera突然暴跌了40%，一時間引發了大家激烈的討論，在這些討論之中，最具代表性的觀點便是Cloudera的暴跌代表著Hadoop的隕落。但我認為Cloudera的暴

快手大數據架構工程師鐘靚近日在 A2M 人工智能與機器學習創新峰會分享了題為《SQL on Hadoop 在快手大數據平臺的實踐與優化》的演講，主要從 SQL on Hadoop 介紹、快手 SQL on Hadoop 平臺概述、SQL on Hadoop 在快手的使用經驗和改進分析、快手 SQL on Ha

HDFS作為Hadoop生態系統的分布式文件系統，它被設計用來存儲海量數據，特別是TB、PB量級別的數據。它的設計的初衷也是存儲大文件，而如果HDFS上存在大量的小文件，會對系統性能帶來嚴重的問題。本文想跟大家聊下小文件的處理。本文的小文件是指那些大小比HDFS的block (Hadoop 2.x的默認大小128MB)

【編者按】在 開源 已經逐漸成為一種政治正確的時候，開源項目最終會走向哪里？本文針對Cloudera和Hortonworks的宣布合并一事進行發問，回溯 Hadoop 的商業化和合并前后歷程，試圖尋找這一答案。 本文首發于IT經理世界，作者李昊原；