3月4日消息，近日，聯(lián)想集團(tuán)宣布基于聯(lián)想問(wèn)天WA7780 G3服務(wù)器，在行業(yè)內(nèi)首次實(shí)現(xiàn)單機(jī)部署DeepSeek-R1/V3 671B大模型，以低于行業(yè)公認(rèn)1TGB顯存（實(shí)際768GB）承載100并發(fā)用戶(hù)流暢體驗(yàn)。據(jù)聯(lián)想實(shí)測(cè)數(shù)據(jù)顯示，在512 token標(biāo)準(zhǔn)測(cè)試環(huán)境下，該系統(tǒng)可支持100個(gè)并發(fā)用戶(hù)持續(xù)獲得每秒10 token的穩(wěn)定輸出，首token響應(yīng)時(shí)間壓縮至30秒內(nèi)。

文章評(píng)價(jià)

匿名用戶(hù)

發(fā)布

發(fā)布