星環科技構建數據、應用、智能融合的數字化PaaS數據云平臺
5月21-23日,由星環 科技 主辦的第三屆前沿科技論壇在上海舉行,本次論壇以“科技,讓城市更美好”為主題。會上,星環科技研發總監劉汪根,發布了全新的數據云平臺建設體系。
完善的 P aas 數據云平臺產品體系
星環科技數據云平臺Transwarp Data Cloud 2.0版本的發布,完美的詮釋了星環科技的技術思路。TDC是為了滿足企業對于數據云需求而打造的云原生平臺,它采用容器技術,以數據為中心,通過提供完整的數據、應用和智能的開發工具,實現數據和應用互通互聯。TDC 2.0與上一版本相比能更全面的滿足不用業務,不同角色的工作需求,為企業數字化的轉變提供更完善的支撐。
其次,星環PaaS平臺加入了兩個新的產品,分布式交易數據庫KunDB以及企業級數據資產目錄Transwarp Data Catalog,分別解決了企業級大規模交易庫處理,以及數據資產管理混亂的問題。
Transwarp KunDB是專門為新一代云業務提供服務的云原生數據庫,可以作為企業微服務化之后的后臺數據庫對業務提供支撐。同時KunDB采用了多租戶設計,可支撐業務建設中心化的趨勢。作為國產自主可控的數據庫,可以適配各種國產化硬件創造完全自主可控的環境。
Transwarp Data Catalog 為企業數據治理提供可靠、 便捷、 智能的全流程工具支撐,從而更加有效的發掘和利用信息資產的價值。同時它也提供完整的企業級數據交換功能,并已經在客戶應用中得到了驗證。
另外為了推動星環生態的建設,星環數據云平臺團隊開源了內部的應用生命周期管理服務Transwarp WALM,以懷抱社區,做出貢獻。企業要能夠構建自己的應用市場,在云原生技術上支持并實現,需要有一套可行的應用管理的框架。通過WALM,任何企業都可以通過標準化接口將應用編排在云原生框架上。
會上還發布了大數據安全白皮書,再次強調在星環科技產品設計中的大數據安全考量。根據星環科技多年的大數據安全實踐經驗,總結了一些企業在做企業級數據平臺建設時應考慮到的安全規范,并為安全體系的設計、管理和規范提供一個衡量標準。
劉汪根在提出數據、應用、智能是數據時代企業創新的核心元素,構建三者融合的數字化PaaS數據云平臺能夠極大加速企業數字化創新。并通過技術發展路徑,應用需求等角度詳解了數字化PaaS數據云平臺建設的重要性。
數據管理模式的變遷
數據管理模式在近20年發生了明顯的變化,最初企業建設數據分析系統采用簡單的架構,數據分析系統直接利用交易數據庫的計算和存儲能力進行分析,但是交易庫不適合做分析業務,計算能力有限,這一時期稱為有限分析的時代。
Bill Inmon在1992年提出了數據倉庫理論, 商業 智能快速發展,進入企業數據倉庫時代。數據從交易庫同步至數據倉庫,數據倉庫提供大量存量數據的分析,這一時期推動了ETL工具(數據同步)和MPP數據庫的發展。
2010年后,業務需求推動了大數據技術的發展,大量新型數據的發展,推動了基于大數據的數據倉庫、數據湖、數據集市的建設,同時AI的興起帶動了數據科學平臺的發展。這一時期,因系統獨立建設帶來數據孤島的問題,限制了企業數字化程度的推進,因此企業著手解決數據孤島的問題,開始建設除了分析業務系統外的在線數據業務系統。但是數據、應用和AI平臺之間相互獨立,只能通過接口層做有限的交互。在這個階段,很多企業都是在嘗試新應用的拓展,在此過程中摸索新的管理方式。
隨著前線人員對數據的需求越來越多,企業需要開發出大量新的數據應用來持續的迭代業務,改進用戶體驗,包括實時類、AI類、在線數據類業務的大量創新和嘗試,要求數據、AI和應用能夠非常有機的融合,因此最終在一個云來支持彈性、靈活的數據和應用云。
應用開發模式的變遷
傳統的應用開發采用單體建設的方式,單體建設對維護難度和迭代速度等需求都不是很友好,會出現代碼維護難度高,重復開發多,部署不靈活,性能不足,擴展性不夠,開發效率低等問題。
1.代碼維護難:代碼功能耦合高,后期維護難,測試復雜,無法保證代碼質量。
2.重復開發多:相似功能在多個應用中都存在(比如短信模板),需要在每個應用中重新開發一遍,浪費開發和維護資源。
3.部署不靈活:構建時間長,任何小修改必須重新構建整個項目,而且無法只升級某個子模塊,必須全部升級。
4.性能不足:單個模塊的問題,可能導致整個應用的性能和擴展性不足,難以單獨調試性能。
5.擴展性不夠:無法分離業務和數據,面對高并發場景無法擴展性能,缺少資源動態伸縮能力。
6.開發效率低:模塊復雜,所有開發在一個項目改代碼,不通做到不同模塊并行開發。
微服務開發模式提出后,受到廣泛推廣,特別在 互聯網 行業得到很廣泛的應用,在互聯網企業的覆蓋率達到將近90%。應用微服務化就是將單體應用切分成各個微服務,微服務之間通過接口通信,以微服務集群的方式對外提供服務。微服務開發模式交付速快質量高,避免重復開發,運維靈活,可構建企業數據應用中心。
1.交付迅速質量高:每個微服務模塊小,開發維護便捷;搭配持續集成持續發布工具,代碼質量高,可交付迭代實踐縮短。
2.避免重復開發:將共用服務提取出來,節省開發資源,避免重復造輪子;可針對性的對部分支撐服務給予更多的資源。
3.運維靈活:灰度發布策略使得上線新服務風險可控;實現自動伸縮、流控機制,防止高并發場景下服務崩潰;完善的日志管理,監控告警即成。
4.構建企業數據應用中心:當微服務量級提高,可沉淀為應用中心,為全公司乃至全行業賦能;業務平臺可直接對接數據中心,實現業務和數據的無縫鏈接。
數字化面臨的挑戰
大數據、云計算、微服務開發技術,都是技術層面上的發展,企業如何能利用這些應用制定企業數據化戰略,從而實現數據化管理的轉變,是管理者們需要考慮的問題。目前,阻礙企業數字化推進的問題主要有以下幾點:
1.數字化進程跟不上市場需求:業務的創新就是機遇,如果花很長時間例如一年或者半年,很可能就丟失掉機會。
2.數字化缺少統一方案:各個應用系統之間規劃之初就沒有考慮未來互通的可能性,導致煙囪式開發,后期需要進行系統集成及數據共享很難甚至無法實現。
3.缺乏自主可控的研發平臺:大多數企業缺乏統一化的研發平臺,對于項目研發的各個環節及后續升級的掌控能力很弱,導致資源的浪費及不必要的研發支出 。
4.缺乏對已有數據資產的管理意識:存量及增量數據依然處于傳統的管理思維模式:零散分布于各個不兼容互通的業務系統之中。
5.缺乏長期數字化戰略:數字化轉型方興未艾,并沒有形成技術及業務上標準,新的技術概念層出不窮,比較難選出既解決短期目標,又能支持數字化戰略的可持續化發展技術。
數據云
對于以上數字化挑戰,云平臺可以以其資源彈性伸縮、快速部署迭代、支撐微服務化開發、資源管理編排等能力,打通數據與業務很好的解決以上問題。
云平臺建設的兩個思路。一種是以OpenStack為代表的以資源為中心的建設方式,采用虛擬化技術將底層資源包裝成個各種服務,用戶可以租用這些資源,在上面構建各種應用。但是這種方式還是以資源管理為中心,而不是數據為中心,企業還是采用煙囪式技術棧,比較難在這種平臺上打通應用和數據。另一種是以星環科技TDC為代表的以數據為中心的建設方式,可以稱之為數據云,先在上層支撐應用建設,這樣可以實現以數據驅動應用的發展。數據云的特征是以數據為中心,提供數據資產服務、應用開發和數據分析的完整工具鏈,加速數據、應用和智能三大核心原料的融合。數據云通過容器化技術來運行各種工作負載,提供多租戶、自動擴展資源、服務自監控等能力,實現開發與運維的平衡。
數據云在云平臺層提供了各種數據資源服務,包括大數據、AI、流計算、數據資產等,為整個技術架構提供堅實的底座。企業以云平臺為基礎,構建數據業務中心,包含了沉淀下來的很多可以被再次利用的數據服務,比如審批管理流程、用戶中心、訂單中心,這些所有的這些業務行為,都可以被抽象為標準化的服務,公司內部統一去使用。當去開發一個新的應用的時候,開發者只關注自身的業務邏輯,以及哪些模塊可以從數字業務中心找到并直接使用。數據云平臺的最上面一層DMZ區,DMZ是在外部網絡和內部網絡之間設置隔離區,作為非安全區與 安全區之間的緩沖,重要的計算以及數據存儲服務放在內網,對外服務放在 DMZ 區,可以直接在各種客戶端上提供應用服務。
用 T DC 建設數字化基礎設施
Transwarp Data Cloud( 以下簡稱TDC )是星環科技實現的數據云平臺,結合了星環科技在大數據、云平臺和人工智能領域的技術探索與取得的進展,為企業提供數字化建設的基礎設施平臺。TDC的底層是星環科技自研的云原生操作系統TCOS,該項目在2015年成立,目標就是要把未來的所有的基礎設施都建設在新一代云平臺上。中間是三個中心PaaS服務,包括分析PaaS、數據PaaS、應用PaaS:分析PaaS滿足數據分析服務內外開放的需求,允許大量數據工程師、 數據科學家在一個平臺上并發工作,促進相互協作;數據PaaS提供了數據處理和開發所需的數據庫服務,解決了數據分散、 隔離問題,避免交換障礙,使各類數據資產共享集中存儲;應用PaaS提供了應用開發的各種框架以及中間件,解決應用開發、部署、運維、治理的效率問題,可應對企業面臨的各類應用開發和管理障礙。大數據推動數據變現的同時,其安全問題成為威脅和挑戰,TDC提供專門的安全管理模塊,保證資源層、數據層、應用層收到全面安全體系的管理管控,以保證數據安全和全平臺的可靠性。另外,還提供云管平臺,以滿足多云管理、運維、計費的有效管理需求。
以上的模塊共同構成了TDC以下幾個能力:
1.提供基于云原生技術構建的企業應用市場,每個企業可以根據自己的需求來構建自應用市場,也就是上文提到的數字業務中心。
2.提供了統一的數據開發技術,基于SQL的數據開發技術,以及基于python的數據科學分析。
3.提供完成混合云的管理技術。無論數據、服務是構建在邊緣端,還是在公有云或其他私有云,只要通過容器化的技術,TDC都可以實現統一管理和調度,無需關注部署落地細節。
4.提供了融合的安全管理技術,無論是數據還是資源,只要接入星環的管理的API和管理體系,我們都能夠提供整套的數據鏈路安全管控。