作者:Hitachi Vantara中國區(qū)資深解決方案顧問 蔡慧陽

近年來,人工智能 (AI) 技術(shù)深入發(fā)展,賦能千行百業(yè)的數(shù)字化轉(zhuǎn)型,各類AI應(yīng)用也逐漸滲透到所有人的衣食住行中。我國一貫注重AI技術(shù)的發(fā)展,早在2017年便在國務(wù)院發(fā)布的《新一代人工智能發(fā)展規(guī)劃》指出了發(fā)展AI技術(shù)的頂層戰(zhàn)略,規(guī)劃到2030年,推動中國成為世界AI領(lǐng)導(dǎo)者。

AI的快速發(fā)展依賴于數(shù)據(jù)和算力需求的指數(shù)級增長,與此同時,其對企業(yè)IT基礎(chǔ)架構(gòu)市場產(chǎn)生了舉足輕重的影響。根據(jù)2021年Gartner的報道,到2025年,AI將成為基礎(chǔ)架構(gòu)決策中最主要的因素之一,該市場的成熟將導(dǎo)致基礎(chǔ)架構(gòu)需求呈現(xiàn)10倍的增長。

隨著AI應(yīng)用的落地,企業(yè)的后端存儲面臨著三大挑戰(zhàn)。第一,AI的進步帶來了遠超摩爾定律的算力需求,導(dǎo)致后端存儲的性能跟不上前端計算集群的性能,因為多樣化的文件大小和混合負載對后端存儲的性能提出了更高的要求。第二,數(shù)據(jù)量急劇增長,其中超過80%為非結(jié)構(gòu)化數(shù)據(jù),對存儲的容量和擴展性要求激增。第三,IT預(yù)算不斷縮減,“降本增效”成為企業(yè)推進IT架構(gòu)現(xiàn)代化與數(shù)字化轉(zhuǎn)型的關(guān)鍵考慮因素之一。

三大挑戰(zhàn)阻礙數(shù)據(jù)生產(chǎn)力

打破傳統(tǒng)基礎(chǔ)架構(gòu)瓶頸,為AI數(shù)據(jù)處理“解壓”

面對挑戰(zhàn),企業(yè)的存儲應(yīng)當在性能、容量、擴展能力與易用性方面實現(xiàn)創(chuàng)新,同時應(yīng)盡可能幫助企業(yè)節(jié)省數(shù)據(jù)全生命周期處理的成本,方能滿足前端業(yè)務(wù)發(fā)展的新需求。

然而,傳統(tǒng)架構(gòu)已無法適應(yīng)當前AI數(shù)據(jù)的處理。其處理過程涉及眾多環(huán)節(jié),在不同的環(huán)節(jié)中,數(shù)據(jù)需要通過不同的接口接入到存儲系統(tǒng)中。傳統(tǒng)存儲架構(gòu)容易存在各種缺陷,例如數(shù)據(jù)接口比較單一等,因此傳統(tǒng)存儲解決方案只能采取分散的存儲架構(gòu),容易形成多個數(shù)據(jù)孤島,致使數(shù)據(jù)需要在多個數(shù)據(jù)孤島之間來回拷貝再交給不同的存儲設(shè)備,以滿足不同的性能需求。

在傳統(tǒng)架構(gòu)下,處理AI數(shù)據(jù)存在多臺設(shè)備并存、管理流程分散、手動性能調(diào)優(yōu)等帶來的復(fù)雜性問題,同時也難以實現(xiàn)IT部門和業(yè)務(wù)部門的數(shù)據(jù)共享、影響數(shù)據(jù)的開發(fā)利用。為此,Hitachi Vantara推出專門面向AI應(yīng)用的新一代高性能并行文件存儲HCSF (Hitachi Content Software for File),既能適配傳統(tǒng)高性能計算,也能滿足高性能數(shù)據(jù)分析和其他GPU加速場景對文件存儲的多維極致要求。

加速AI應(yīng)用“遍地開花”,使能民眾共享數(shù)字化成果

在高性能計算及分析領(lǐng)域,HCSF具有廣泛的應(yīng)用場景,與AI、機器學(xué)習(xí)、GPU加速應(yīng)用環(huán)境密切相關(guān),遍布于 金融 、生命科學(xué)、制造業(yè)、能源、 媒體 等各行各業(yè),與人民日常生活息息相關(guān)。

以生命科學(xué)行業(yè)為例,某基因分析機構(gòu)從分布式NAS存儲轉(zhuǎn)向HCSF之后,實現(xiàn)了十倍以上的性能提升,且容量和性能可線性增長,大大加速基因測序、基因分析流程,推動新藥早日上市。在制造行業(yè),某新能源 汽車 企業(yè)在采用HCSF之后大幅節(jié)省時間成本,將單次駕駛訓(xùn)練和仿真測試的時間周期縮至原來的1/20,比競爭對手更早地將產(chǎn)品推向市場,機會窗利潤所帶來的收益每半年就會翻倍。由此可見,HCSF在助力企業(yè)加快業(yè)務(wù)處理,縮短產(chǎn)品上市周期,加速數(shù)字創(chuàng)新成果落地方面成效顯著。

通過支持通用的硬件平臺實現(xiàn)軟件和硬件解耦,通過Hitachi Vantara與多家云服務(wù)商達成的合作以支持多云部署等,HCSF可以滿足企業(yè)混合云架構(gòu)的需求和靈活性。此外,HCSF能夠提供多協(xié)議支持,允許企業(yè)通過單一存儲平臺滿足多種業(yè)務(wù)接入的需要,解決傳統(tǒng)架構(gòu)的復(fù)雜性問題。

在成本方面,得益于HCSF的簡單架構(gòu)和自動調(diào)優(yōu)能力,企業(yè)無需聘請高級技術(shù)人員進行管理與維護,從而節(jié)省大量人工成本。同時,HCSF實現(xiàn)了云分層,可以把溫冷數(shù)據(jù)分層存儲到對象存儲或公有云上的S3存儲,進一步降低總體擁有成本。仍以上文提到的基因分析機構(gòu)為例,采用HCSF后,每組基因的分析成本降低了75%,成本節(jié)約效果突出。

客戶價值

重塑業(yè)務(wù)模式,以先進理念與專利技術(shù)為“底氣”

面向AI,HCSF能夠突破傳統(tǒng)架構(gòu)瓶頸,以超高性能、無限擴展、簡單易用三大優(yōu)勢,在眾多行業(yè)掀起新一波智能化浪潮,離不開其背后與眾不同的設(shè)計理念和專利技術(shù)。最為客戶所青睞的超高性能來源于三方面的技術(shù)設(shè)計理念:

第一,HCSF數(shù)據(jù)平臺的架構(gòu)基于高性能介質(zhì)NVMe、高速網(wǎng)絡(luò)以及高速總線而設(shè)計,通過底層的驅(qū)動優(yōu)化,減少數(shù)據(jù)傳輸?shù)闹虚g環(huán)節(jié),從而大大縮短延遲。第二,無論是大文件還是小文件,無論是順序I/O還是隨機I/O負載,HCSF都能夠進行自動調(diào)優(yōu),提供無差別的高性能,包括高吞吐、高IOPS、低延遲和高效的元數(shù)據(jù)處理。第三,HCSF采用專利的全分布式擴展架構(gòu),將數(shù)據(jù)和所有元數(shù)據(jù)都分布在所有的節(jié)點上,避免出現(xiàn)性能瓶頸,極大地提高擴展性、聚合性能和彈性。

三合一數(shù)據(jù)平臺

結(jié)語

Hitachi Vantara的初心從未改變,即從數(shù)據(jù)出發(fā)、圍繞數(shù)據(jù),幫助客戶改善運營效率,提升體驗,創(chuàng)新更多的 商業(yè) 模式,進而實現(xiàn)可持續(xù)增長。推出HCSF的初衷和邏輯與Hitachi Vantara的總體目標高度一致。在HPDA高性能數(shù)據(jù)分析的時代,我們希望,HCSF能夠幫助企業(yè)更高效、更智能、更 經(jīng)濟 地釋放數(shù)據(jù)的全部價值,助力各行業(yè)共享數(shù)字經(jīng)濟紅利,為加快構(gòu)建新發(fā)展格局,推動高質(zhì)量發(fā)展添磚加瓦。