數(shù)據(jù)是產(chǎn)業(yè)數(shù)字化和物聯(lián)網(wǎng)最重要的資源之一。如何讓數(shù)據(jù)平滑流轉(zhuǎn)起來，并進行計算、分析和治理，從而驅(qū)動企業(yè)更高效地進行數(shù)字化轉(zhuǎn)型和業(yè)務(wù)創(chuàng)新，是一件很重要也很有價值的事情。

為了打通大數(shù)據(jù)全鏈路，青云 科技 正式發(fā)布大數(shù)據(jù)工作臺，通過為企業(yè)提供“數(shù)據(jù)上云、數(shù)據(jù)開發(fā)、數(shù)據(jù)同步、作業(yè)運維調(diào)度、引擎資源管理”的功能模塊，降低企業(yè)大數(shù)據(jù)使用門檻，讓非技術(shù)人員也能進行數(shù)據(jù)開發(fā)與治理，一鍵開啟數(shù)據(jù)洞察之旅。

數(shù)據(jù)流轉(zhuǎn)、計算、分析和治理面對的挑戰(zhàn)

要讓數(shù)據(jù)平滑流轉(zhuǎn)起來，并進行計算、分析和治理，其中包括了幾個方面：

一是數(shù)據(jù)同步。云平臺已有的數(shù)據(jù)庫、數(shù)據(jù)倉庫、消息隊列等服務(wù)中的數(shù)據(jù)，需要數(shù)據(jù)同步服務(wù)來打通彼此之間的孤立關(guān)系。對多源異構(gòu)數(shù)據(jù)提供開放的數(shù)據(jù)集成能力，不僅能集成青云自己的數(shù)據(jù)源，還能集成企業(yè)自建的、甚至其他云平臺的數(shù)據(jù)源。

二是實時計算。在 IoT 場景中，通過 IoT 采集網(wǎng)關(guān)將數(shù)據(jù)采集到統(tǒng)一的平臺后，需要大數(shù)據(jù)平臺對大量的設(shè)備數(shù)據(jù)、監(jiān)控數(shù)據(jù)等進行分析、挖掘，最終轉(zhuǎn)化為設(shè)備報告和流程優(yōu)化相關(guān)的信息和知識。這種反饋實時性越高，對企業(yè)降本增效的效果會越好。

三是統(tǒng)一作業(yè)運維調(diào)度。任務(wù)調(diào)度系統(tǒng)已成為大數(shù)據(jù)平臺不可或缺的一部分。任務(wù)量多、數(shù)據(jù)量大，容易導(dǎo)致前面的任務(wù)尚未結(jié)束或者失敗，后面的任務(wù)也開始運行起來，最終跑出錯誤的分析結(jié)果。隨著任務(wù)量的增加和依賴關(guān)系的復(fù)雜，企業(yè)對任務(wù)調(diào)度系統(tǒng)的需求越來越迫切。

此外，數(shù)據(jù)治理、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)服務(wù)共享等需求同樣迫切。

集合六大產(chǎn)品特性，青云大數(shù)據(jù)工作臺發(fā)布

談到數(shù)據(jù)集成、數(shù)據(jù)加工、數(shù)據(jù)服務(wù)，我們很容易想到數(shù)據(jù)中臺。目前市面上的數(shù)據(jù)中臺主要以大項目定制的方式進行私有化交付，往往需要企業(yè)自己搭建、部署、實施、運維和升級，或者采用技術(shù)服務(wù)費用的方式購買整套大數(shù)據(jù)環(huán)境，成本高、周期長。當(dāng)企業(yè)業(yè)務(wù)峰值超過預(yù)期時，還需要增加采購。這一現(xiàn)狀引發(fā)了我們的思考，是否可以在云端以一站式、便捷、低成本的方式，構(gòu)建“云上數(shù)據(jù)中臺”，充分發(fā)揮云資源按需付費、彈性擴容的優(yōu)勢，來解決數(shù)據(jù)層面的問題呢？

基于此，青云正式推出大數(shù)據(jù)工作臺，即采用云原生架構(gòu)的一站式智能大數(shù)據(jù)開發(fā)與治理平臺，聚焦于數(shù)據(jù)使用場景，解決數(shù)據(jù)集成、流批一體計算、統(tǒng)一作業(yè)運維調(diào)度、數(shù)據(jù)服務(wù)共享等問題，實現(xiàn)數(shù)據(jù)在云平臺各產(chǎn)品之間的快速流轉(zhuǎn)，支撐上層業(yè)務(wù)應(yīng)用，消除“數(shù)據(jù)孤島”，統(tǒng)一調(diào)度和計算，幫助企業(yè)專注于數(shù)據(jù)價值的挖掘和探索，提升數(shù)據(jù)洞察能力。

接下來，通過一段產(chǎn)品視頻，來感受打通大數(shù)據(jù)全鏈路的一站式數(shù)據(jù)開發(fā)體驗，包括：兼容多種數(shù)據(jù)源、可視化數(shù)據(jù)集成、可視化數(shù)據(jù)開發(fā)和全托管 Flink 集群。

青云大數(shù)據(jù)工作臺產(chǎn)品特性，主要有六點：

第一，云原生容器化架構(gòu)。大數(shù)據(jù)工作臺采用“公私一體”的架構(gòu)，依托云原生 Kubernetes 屏蔽底層基礎(chǔ)設(shè)施的能力，支持青云公有云、青云私有云、以及獨立部署的方式。

第二，全托管流批一體引擎。云端全托管 Flink 集群，可以對海量數(shù)據(jù)進行亞秒級處理，支持流批一體的作業(yè)處理方式，能夠覆蓋多種業(yè)務(wù)場景。

第三，與數(shù)據(jù)存儲無縫對接。內(nèi)置 Connector 無縫對接消息隊列、數(shù)據(jù)庫、數(shù)據(jù)倉庫、對象存儲等云端數(shù)據(jù)存儲類產(chǎn)品，按需拓展 Connector 對接各類外部數(shù)據(jù)系統(tǒng)。

第四，一站式開發(fā)與運維。大數(shù)據(jù)工作臺作為一站式開發(fā)運維平臺，提供了可視化數(shù)據(jù)開發(fā) IDE，支持多語言開發(fā)模式，同時支持依賴包管理、UDF 管理輔助開發(fā)工作，一鍵提交，全托管調(diào)度，大幅節(jié)約開發(fā)成本和周期。

第五，多樣化的調(diào)度策略。提供最小顆粒度為分鐘級別的調(diào)度配置，調(diào)度周期支持單次執(zhí)行、立即執(zhí)行和周期執(zhí)行等。

第六，細粒度的資源管控。最小資源使用粒度僅 0.5 CU，精細化資源管控，支持按量和包年/包月計費，價格低廉，安全穩(wěn)定。

應(yīng)對豐富的業(yè)務(wù)場景，驅(qū)動企業(yè)數(shù)“智”化轉(zhuǎn)型

在場景上，青云大數(shù)據(jù)工作臺支持四種標(biāo)準(zhǔn)化場景，分別是精細化運營分析場景、實時計算場景、可視化開發(fā)運維場景、構(gòu)建數(shù)倉場景。目前這些場景已經(jīng)在青云的客戶中投入使用。

首先是精細化運營分析場景，主要面向中小型 互聯(lián)網(wǎng) 或移動互聯(lián)網(wǎng)客戶。客戶業(yè)務(wù)端積累大量的用戶行為數(shù)據(jù)，需要做用戶行為分析，從而為其用戶提供更有針對性的服務(wù)。同時，客戶大數(shù)據(jù)發(fā)展較為領(lǐng)先，會有數(shù)據(jù)安全和數(shù)據(jù)質(zhì)量相關(guān)的需求。大數(shù)據(jù)工作臺可以在用戶畫像、推薦、數(shù)據(jù)分析、大屏展示、數(shù)據(jù)治理等方面提供支持。

精細化運營分析場景架構(gòu)圖

其次是實時計算場景，主要面向?qū)崟r數(shù)據(jù)有加工處理需求的客戶，如智慧工廠。客戶通過消息隊列統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，由大數(shù)據(jù)工作臺來執(zhí)行計算任務(wù)處理，對增量熱數(shù)據(jù)和全量數(shù)據(jù)進行分類處理、分類展示和應(yīng)用。大數(shù)據(jù)工作臺可以在 IoT 終端實現(xiàn)實時數(shù)據(jù)分析、實時用戶日志分析、實時運營數(shù)據(jù)分析、實時風(fēng)控等方面提供支持。

實時計算場景數(shù)據(jù)場景架構(gòu)圖

第三是可視化開發(fā)運維場景，主要面向以學(xué)習(xí)或者科研為目標(biāo)的客戶。客戶使用科研數(shù)據(jù)，利用大數(shù)據(jù)計算引擎對數(shù)據(jù)的成員和權(quán)限管理進行分工協(xié)作，進行多維分析和計算，通過計算引擎和實時數(shù)據(jù)處理，挖掘數(shù)據(jù)模型，輸出科研分析報告等。大數(shù)據(jù)工作臺可以在數(shù)據(jù) ETL、數(shù)據(jù)挖掘等方面提供支持。

可視化開發(fā)運維場景架構(gòu)圖

最后是構(gòu)建數(shù)倉場景，主要面向在青云云平臺上使用了消息隊列、數(shù)據(jù)庫、數(shù)據(jù)倉庫、大數(shù)據(jù)計算存儲的客戶。客戶將數(shù)據(jù)按照不同的業(yè)務(wù)線或數(shù)據(jù)類型存放在不同的數(shù)據(jù)存儲介質(zhì)中，需要做不同介質(zhì)間的同步傳輸，或者需要匯聚到統(tǒng)一的數(shù)據(jù)倉庫或大數(shù)據(jù)存儲中，進行下一步的數(shù)據(jù)計算和分析。大數(shù)據(jù)工作臺可以在數(shù)據(jù)集成、實時或離線計算、數(shù)據(jù)存儲等方面提供支持。

構(gòu)建數(shù)倉場景架構(gòu)圖

進入數(shù)字時代，數(shù)據(jù)已然成為驅(qū)動企業(yè)發(fā)展的“新動能”。青云大數(shù)據(jù)工作臺的發(fā)布，將致力于幫助企業(yè)激活數(shù)據(jù)資產(chǎn)，釋放數(shù)據(jù)價值，加速數(shù)“智”化進程！

青云大數(shù)據(jù)工作臺目前處于公測階段，進入產(chǎn)品控制臺即可免費試用。我們?yōu)槊课挥脩籼峁?12 CU 的免費計算資源。

*CU 是大數(shù)據(jù)工作臺的計算資源單位，1 CU 是 1 核CPU 4 GB 內(nèi)存， 12 CU 是 12 核CPU 48 GB 內(nèi)存。