近期，DeepSeek開(kāi)源的3FS系統(tǒng)向全球 科技 圈力證，通過(guò)存儲(chǔ)來(lái)優(yōu)化AI推理工作負(fù)載，可有效提升大模型性能，同時(shí)大幅降低成本。

作為AI原生存儲(chǔ)，3FS的鏈?zhǔn)綇?fù)制機(jī)制、FFRecord格式優(yōu)化等創(chuàng)新設(shè)計(jì)，不僅重新定義了AI存儲(chǔ)的技術(shù)標(biāo)準(zhǔn)，更凸顯了專用存儲(chǔ)系統(tǒng)在支撐超大模型推理中的不可替代性。

從技術(shù)角度看，曙光存儲(chǔ)ParaStor與3FS呈現(xiàn)出高度趨同性，二者通過(guò)相似的技術(shù)路徑共同推動(dòng)著AI基礎(chǔ)設(shè)施的進(jìn)化。

高性能數(shù)據(jù)存儲(chǔ) ? 為 AI 集群釋放算力

曙光ParaStor和3FS都是典型的高性能并行文件系統(tǒng)，這類系統(tǒng)堪稱是最適合AI的數(shù)據(jù)存儲(chǔ)。

兩者均以RDMA技術(shù)為核心傳輸協(xié)議，通過(guò)零拷貝機(jī)制將網(wǎng)絡(luò)延遲降至微秒級(jí)，有效解決了傳統(tǒng)TCP/IP協(xié)議棧在AI集群中產(chǎn)生的CPU資源爭(zhēng)用問(wèn)題，使200Gbps網(wǎng)卡利用率突破90%。在此基礎(chǔ)上，兩者創(chuàng)新性引入硬件卸載技術(shù)，將數(shù)據(jù)校驗(yàn)、協(xié)議解析等任務(wù)交由智能網(wǎng)卡處理。

實(shí)測(cè)顯示，硬件卸載可使存儲(chǔ)讀響應(yīng)時(shí)間縮短40%，同時(shí)釋放30%以上CPU算力用于模型推理。

這種“存儲(chǔ)即服務(wù)”的設(shè)計(jì)理念，徹底顛覆了傳統(tǒng)存儲(chǔ)依賴CPU資源的模式，為AI集群釋放出更多算力空間。

AI 專屬優(yōu)化： IO 特征適配與智能緩存

針對(duì)AI訓(xùn)練特有的小文件高并發(fā)、數(shù)據(jù)訪問(wèn)局部性及混合負(fù)載特性，曙光存儲(chǔ)ParaStor和3FS均構(gòu)建了多層優(yōu)化體系：

元數(shù)據(jù)分片技術(shù)：將百萬(wàn)量級(jí)小文件的元數(shù)據(jù)請(qǐng)求分散至多個(gè)控制節(jié)點(diǎn)，使查詢吞吐量提升5倍以上，支撐萬(wàn)級(jí)客戶端并發(fā)訪問(wèn)。

智能預(yù)取與緩存分層：通過(guò)分析訓(xùn)練任務(wù)的數(shù)據(jù)訪問(wèn)模式，提前將數(shù)據(jù)從HDD預(yù)加載至NVMe緩存，使ResNet-152單epoch訓(xùn)練時(shí)間縮短18%。

QoS感知調(diào)度引擎：動(dòng)態(tài)分配帶寬與IO優(yōu)先級(jí)，確保模型訓(xùn)練關(guān)鍵路徑的服務(wù)質(zhì)量。

彈性進(jìn)化： EB 級(jí)存儲(chǔ)的無(wú)縫擴(kuò)展能力

為滿足大模型訓(xùn)練對(duì)海量數(shù)據(jù)的需求，曙光存儲(chǔ)ParaStor與3FS均采用去中心化架構(gòu)：

全局命名空間：整合跨地域、跨介質(zhì)存儲(chǔ)資源，支持千億文件統(tǒng)一管理。

無(wú)狀態(tài)彈性擴(kuò)展：節(jié)點(diǎn)可在線擴(kuò)展至數(shù)千個(gè)，容量與性能隨節(jié)點(diǎn)增加線性提升，在GPT-3級(jí)場(chǎng)景中實(shí)現(xiàn)超1TB/s聚合帶寬。

自適應(yīng)糾刪碼策略：對(duì)熱數(shù)據(jù)采用多副本保障性能，溫冷數(shù)據(jù)采用EC 8+3編碼，使空間利用率突破85%。

軟硬一體：構(gòu)建自主可控的 AI 存儲(chǔ)基座

3FS的技術(shù)突破與ParaStor的國(guó)產(chǎn)化創(chuàng)新，共同印證了一個(gè)行業(yè)共識(shí)：硬件加速、場(chǎng)景化優(yōu)化與分布式架構(gòu)的深度融合，是突破“存儲(chǔ)墻”的必由之路。

在共性技術(shù)之外，曙光ParaStor依托國(guó)產(chǎn)硬件生態(tài)優(yōu)勢(shì)，實(shí)現(xiàn)了自研SSD控制器與智能網(wǎng)卡的協(xié)同優(yōu)化，在國(guó)產(chǎn)AI芯片適配性上展現(xiàn)出獨(dú)特價(jià)值。這種自主可控的技術(shù)路徑，不僅提升了系統(tǒng)的穩(wěn)定性與安全性，更為我國(guó)AI產(chǎn)業(yè)發(fā)展提供了堅(jiān)實(shí)的基礎(chǔ)設(shè)施保障。