聯(lián)想AI服務(wù)器首次實(shí)現(xiàn)低于1TB本地部署DeepSeek滿(mǎn)血大模型
3月4日消息,近日,聯(lián)想集團(tuán)宣布基于聯(lián)想問(wèn)天WA7780 G3服務(wù)器,在行業(yè)內(nèi)首次實(shí)現(xiàn)單機(jī)部署DeepSeek-R1/V3 671B大模型,以低于行業(yè)公認(rèn)1TGB顯存(實(shí)際768GB)承載100并發(fā)用戶(hù)流暢體驗(yàn)。據(jù)聯(lián)想實(shí)測(cè)數(shù)據(jù)顯示,在512 token標(biāo)準(zhǔn)測(cè)試環(huán)境下,該系統(tǒng)可支持100個(gè)并發(fā)用戶(hù)持續(xù)獲得每秒10 token的穩(wěn)定輸出,首token響應(yīng)時(shí)間壓縮至30秒內(nèi)。
?
文章評(píng)價(jià)

發(fā)布
發(fā)布