言犀AI開發計算平臺上線,低代碼開發讓大模型“觸手可及” | 速途網
速途網9月26日訊(報道:喬志斌)今日,京東云城市大會西安站圓滿落幕。基于多年來對研發大模型的能力積累和對行業需求的理解,京東云在會上重磅發布數智算力矩陣。從MaaS服務到到智算集群,再到硬件基礎設施,京東云為千行百業不同需求的客戶,打造一站式大模型服務,為孕育大模型提供“肥沃土壤”,筑牢產業發展的數字基底。

為了應對大模型訓練資源稀缺,以及缺乏專業開發人員等問題,京東云將京東大模型能力開放出來,將開發大模型的底層能力解耦,推出言犀AI開發計算平臺,提供一站式模型訓練推理能力。
超算資源的成本、模型計算效率、資源彈性等都成為制約大模型訓練的關鍵因素,京東云高性能計算集群、超低延遲網絡、高性能分布式存儲等,提供極致的數字基礎設施能力,并基于混合多云操作系統,對異構資源進行靈活調度,更好地滿足大模型的算力需求。
在底層硬件層面,京東云提供硬件/網絡算力資源、智能算力模塊,以及算力中心和邊緣節點等能力,為大模型訓練提供堅實的保障。
此外,京東云完善的安全體系,可有效保障客戶云上云下整體資產應用和業務系統的安全穩定,為大模型服務保駕護航。
AI開發計算平臺 讓大模型“觸手可及”
目前,言犀AI開發計算平臺已正式上線,提供公有云版、私有化部署版、API接口等多種服務方式,為客戶的大模型開發和行業應用,提供一站式的解決方案,讓大模型的能力輕松觸達每一位開發者。
將大模型能力應用到產業領域,實現垂直行業的“智能涌現”,并非易事。高質量的行業知識作為稀缺要素,決定了大模型的“智商”。言犀AI開發計算平臺具備豐富的行業知識庫,京東在零售、物流、健康、金融等行業多年積累的知識都沉淀在平臺上。
同時,平臺不僅提供京東自研的言犀大模型,也支持行業各類開源通用模型;此外,平臺精選了京東技術團隊多年來開發出的100多種訓練和推理優化工具,可提供更加高效的大模型開發環境,讓用戶可以快速地把通用模型,轉化成適合自身場景的專業模型,尤其是面對沒有代碼開發經驗的應用開發者,平臺低代碼的開發方式,進一步降低門檻,讓大模型真正變得“觸手可及”。
通過言犀AI開發計算平臺,不到一周時間,即可完成從數據準備、模型訓練、到模型部署的全流程;之前需要10余人的科學家團隊工作,現在只需要1-2個算法人員;通過平臺模型加速工具優化,節約90%的推理成本。
高性能計算集群 打造大模型網絡“高速公路”
算力集群的靈活調度,是大模型訓練的底層基礎。全新的云艦異構資源池化解決方案,在原有支持混合多云CPU+GPU異構算力池化能力基礎上,針對大模型場景,支持訓練+微調+推理混合部署,進一步增加了針對AI應用所需的調度管理能力,提供一站式算力池化解決方案,算力利用率提升70%,從而全面推動大模型應用落地降本增效。
大模型訓練本身帶來的高昂成本,讓很多企業想用不敢用,兼具高性價比和高性能的計算集群,對降低大模型訓練成本尤為重要。
京東云高性能計算集群HPC,使用了高速RDMA網絡互聯的彈性服務器集群,提供高計算性能和并行加速效率的彈性計算服務。 在算力層面,京東云提供的超級計算集群、京剛裸金屬、第五代云主機等多種高性能產品形態,可提供極致算力,最大支持十萬級GPU節點規模;在網絡層面,京東云自研RDMA擁塞算法,全局調控RDMA網絡流量路徑,不同GPU節點最大支持3.2 Tbps RDMA網絡帶寬,傳輸時延低至2 us左右。
大模型需要大規模的算力,由此也帶來海量的存儲需求,云海作為京東云自主研發的高性能、高穩定、低成本分布式存儲產品,歷經10余年京東自身復雜場景的歷練,能夠滿足大模型所需要的海量數據存儲需求,并提供超大量數據傳輸所需的極致性能。同時,存算分離的技術架構,可為客戶節省整體基礎設施成本超30%,現已在高性能計算、AI訓練等新興場景以及音視頻存儲、數據報表等傳統場景廣泛應用。
智能算力模塊 筑牢大模型堅實底座
隨著大模型等系列 AIGC 產品的應用落地,對于AI 服務器的需求快速提升,且AI 服務器中大量使用高功率 CPU、GPU芯片,帶動單臺AI 服務器功耗不斷上升,因此提高單機柜功率密度,成為調和快速增長的算力需求,與有限的數據中心承載力之間的有效方案。
基于多年算力基礎設施部署交付的最佳實踐,京東云在業內率先推出“阿爾法”智能算力模塊高功率密度解決方案,含括風冷型智能算力模塊及液冷型智能算力模塊雙系列產品,可實現智能高算力應用業務部署的安全、穩定、高效節能運行。
京東云液冷型智能算力模塊,可全面兼容GPU、CPU服務器,PUE制冷因子可降低至0.1以內,并支持風冷、液冷系統一體化交付,預制模塊化部署,全面滿足算力密度20-100kW/柜數據中心部署需求。
共創共建,探索大模型落地
目前,京東云以前沿的數智技術,共服務100座城市、2500余家大型企業、944家金融機構和超250萬家中小微企業。具體到陜西省,京東云為“中國西部能源航母”陜煤集團搭建了運銷云,促進煤炭行業數字化轉型和國家能源供應的改善,推動陜煤業務流程縮短了40%;此外,京東云已與陜數集團達成合作,針對政府及重點國企數據及關基防護的需求,推進密改、密評及相關業務合作,持續深化在智慧物流、大數據等創新應用等方面的業務合作。
會議當天,京東云還與陜數集團、農信通集團、寧算科技集團、青山湖產控、智云天工、蘭杜科技進行合作簽約,攜手探索數智技術在產業端的落地,塑造全新增長空間。
技術只有在產業端形成扎實的應用,才能勾畫出一條以實助實的產業價值創造路徑。面向未來,京東云愿與合作伙伴一道,以極致性價比的數字基礎設施助推大模型抵達產業智能。
