多篇論文被ACL、EMNLP兩大頂會(huì)收錄!九章云極科研創(chuàng)新實(shí)力再獲國(guó)際認(rèn)可
日前,中國(guó)人民大學(xué)高瓴人工智能學(xué)院趙鑫教授團(tuán)隊(duì)與九章云極DataCanvas公司聯(lián)合完成的4篇論文成功入選ACL和EMNLP兩大頂級(jí)學(xué)術(shù)會(huì)議。這一系列研究成果的入選,標(biāo)志著九章云極在算法與普惠算力技術(shù)領(lǐng)域的研究成果獲得了國(guó)際學(xué)術(shù)界的廣泛認(rèn)可。
ACL即國(guó)際計(jì)算語(yǔ)言學(xué)年會(huì)(Annual Meeting of the Association for Computational Linguistics)是自然語(yǔ)言處理(NLP)和計(jì)算語(yǔ)言學(xué)領(lǐng)域頂級(jí)學(xué)術(shù)會(huì)議之一,其論文通常代表了該領(lǐng)域的前沿研究成果。EMNLP(Conference on Empirical Methods in Natural Language Processing)作為自然語(yǔ)言處理(NLP)領(lǐng)域最具影響力的國(guó)際會(huì)議之一,在推動(dòng)預(yù)訓(xùn)練語(yǔ)言模型、機(jī)器翻譯等多項(xiàng)重大技術(shù)突破方面發(fā)揮了重要作用。
此次入選的系列研究成果,在模型推理、檢索增強(qiáng)、強(qiáng)化學(xué)習(xí)等前沿領(lǐng)域取得突破性進(jìn)展,并有效解決了AI算力行業(yè)的核心痛點(diǎn)。
九章云極提供完善的人工智能基礎(chǔ)設(shè)施、充足的普惠算力支撐及工具鏈,可顯著縮短科研人員的創(chuàng)新驗(yàn)證周期。公司構(gòu)建的‘學(xué)術(shù)-技術(shù)-應(yīng)用’三位一體創(chuàng)新生態(tài),既為研究人員提供從算力支持到產(chǎn)業(yè)驗(yàn)證的全鏈條服務(wù),又通過(guò)真實(shí)應(yīng)用場(chǎng)景反哺學(xué)術(shù)創(chuàng)新,形成了良性的科研與產(chǎn)業(yè)互動(dòng)機(jī)制。
據(jù)介紹,此次九章云極與聯(lián)合團(tuán)隊(duì)入選的多篇論文,不僅聚焦AI底層基礎(chǔ)技術(shù)突破,更針對(duì)算力行業(yè)應(yīng)用痛點(diǎn)提出了創(chuàng)新解決方案。
論文《YuLan-Mini: Pushing the Limits of Open Data-efficient Language Model》提出全透明訓(xùn)練方案。基于九章智算云平臺(tái)Alaya NeW Cloud驗(yàn)證顯示:訓(xùn)練穩(wěn)定性損失降低72%,長(zhǎng)上下文支持?jǐn)U展至28K Token。該高效預(yù)訓(xùn)練技術(shù)大幅降低千億級(jí)參數(shù)大模型的算力使用門檻。
(九章智算云Alaya NeW Cloud支撐論文方法實(shí)訓(xùn))
論文《SimpleDeepSearcher: Deep Information Seeking via Web-Powered Reasoning Trajectory Synthesis》提出SimpleDeepSearcher框架。依托九章智算云平臺(tái)AlayaNeW Cloud完成實(shí)驗(yàn)驗(yàn)證,通過(guò)策略性數(shù)據(jù)工程(而非復(fù)雜訓(xùn)練范式)解決高質(zhì)量訓(xùn)練軌跡缺失、模擬環(huán)境分布不匹配等問(wèn)題,在GPU資源優(yōu)化方面實(shí)現(xiàn)模型性能提升48.3%,為算力受限場(chǎng)景提供普惠級(jí)算力方案,平衡了計(jì)算效率與性能需求。
針對(duì)大語(yǔ)言模型(LLMs)推理效率與抗干擾能力挑戰(zhàn),九章云極及聯(lián)合研究團(tuán)隊(duì)在論文《CAFE: Retrieval Head-based Coarse-to-Fine Information Seeking to Enhance Multi-Document QA Capability》中提出漸進(jìn)式信息檢索框架,在普惠算力場(chǎng)景下的平衡效率與準(zhǔn)確性,優(yōu)于現(xiàn)有行業(yè)方法。
論文《R1-Searcher++: Incentivizing the Dynamic Knowledge Acquisition of LLMs via Reinforcement Learning》創(chuàng)新提出兩階段強(qiáng)化學(xué)習(xí)框架。九章智算云平臺(tái)驗(yàn)證顯示:該框架支持檢索次數(shù)減少30%,可無(wú)縫遷移至真實(shí)搜索引擎場(chǎng)景,顯著降低算力成本。
上述論文成果,有效推動(dòng)了異步訓(xùn)練算力利用率的提升、強(qiáng)化學(xué)習(xí)計(jì)算成本優(yōu)化等技術(shù)創(chuàng)新落地。此外,九章云極已與清華大學(xué)、北京大學(xué)、上海交通大學(xué)等全球頂級(jí)大學(xué)開(kāi)展廣泛而密切的研究合作,為九章云極人工智能基礎(chǔ)設(shè)施創(chuàng)新體系奠定了堅(jiān)實(shí)基礎(chǔ)。
通過(guò)持續(xù)深耕普惠算力技術(shù),九章云極已構(gòu)建成熟的"普惠算力"技術(shù)體系,成功應(yīng)用于科研、智能制造、具身智能等多個(gè)領(lǐng)域,在模型推理、異步訓(xùn)練、檢索增強(qiáng)、強(qiáng)化學(xué)習(xí)等關(guān)鍵技術(shù)方向構(gòu)筑了堅(jiān)實(shí)的技術(shù)壁壘,持續(xù)引領(lǐng)中國(guó)普惠算力行業(yè)的發(fā)展。
系列論文下載:
1.《CAFE: Retrieval Head-based Coarse-to-Fine Information Seeking to Enhance Multi-Document QA Capability》
作者:Han Peng, Jinhao Jiang, Zican Dong, Xin Zhao, Lei Fang
2.《Smart-Searcher: Incentivizing the Dynamic Knowledge Acquisition of LLMs via Reinforcement Learning》
作者:Huatong Song, Jinhao Jiang, Wenqing Tian, Zhipeng Chen, Yuhuan Wu, Jiahao Zhao, Yingqian Min, Xin Zhao, Lei Fang, Ji-Rong Wen
3. 《SimpleDeepSearcher: Deep Information Seeking via Web-Powered Reasoning Trajectory Synthesis》
作者:Shuang Sun, Huatong Song, Yuhao Wang, Ruiyang Ren, Jinhao Jiang, Junjie Zhang, Fei Bai, Jia Deng, Xin Zhao, Zheng Liu, Lei Fang, Zhongyuan Wang, Ji-Rong Wen
4.《YuLan-Mini: Pushing the Limits of Open Data-efficient Language Model》
作者:Hu Yiwen, Huatong Song, Jie Chen, Jia Deng, jiapeng wang, Kun Zhou, Yutao Zhu, Jinhao Jiang, Zican Dong, Yang Lu,Xu Miao, Xin Zhao, Ji-Rong Wen