聲網榮獲亞太內容分發大會暨CDN峰會「音視頻技術領航獎」
8月25日,2022亞太內容分發大會暨CDN峰會在北京隆重開幕。本次大會由亞太CDN產業聯盟、眾視Tech主辦,聲網、金山云、阿里云、騰訊云、網宿 科技 、火山引擎、天翼云等眾多云服務領域的頭部企業共同參與。聲網技術專家唐瀚也受邀參加視頻云技術論壇,帶來“聲網極速直播場景技術拆解”的主題演講。
極速直播填補低延時、強同步的輕互動直播方案空白
唐瀚介紹了聲網的極速直播解決方案,他表示,“根據實時互動的強弱程度以及對延時的不同要求,聲網將互動體驗分為四個級別:強互動、中互動、輕互動、弱互動。強互動延時小于400ms,中互動延時在400-800ms之間,輕互動延時在800ms-3s之間,弱互動延時在3s以上。直播市場主流的直播解決方案主要集中在以聲網互動直播為代表的“中互動”直播方案,以及傳統CDN直播的“弱互動”直播方案。聲網的極速直播則填補了輕互動的直播方案空白?!?/p>
聲網極速直播開創了低延時、強同步的"輕互動"直播場景,并支持連麥。極速直播主要面向對文字、白板等消息互動的延時要求較高,或有低頻音視頻互動需求的直播場景,主播與觀眾端延時在1.5s-2s之間,相比傳統CDN直播方案延時降低 80% 以上,同時直播間內90%的觀眾與觀眾間延時差異小于500ms,可滿足電商直播、教育大班課、秀場直播、賽事直播、直播答題、一起看等觀眾需要強同步場景的需求。
隨后唐瀚還從觀眾端同步性、視頻分辨率提升、暗光增強、極速出圖、低卡頓率、弱網對抗能力、實時質量監控等多個角度介紹了聲網極速直播方案的技術優勢。
引領技術創新 ?? 聲網榮獲“音視頻技術領航獎”
本次大會,聲網憑借在實時音視頻行業的技術領導力與創新力還榮獲了大會頒發的“音視頻技術領航獎”,作為全球實時云行業的開創者與引領者,聲網持續專注于打磨新的產品與技術,保持研發投入,不斷精進自身的專業,以提升實時音視頻的技術硬實力,同時也可以滿足不同企業的場景創新需求。
1、技術創新賦能豐富場景玩法與體驗: 聲網今年推出“3D空間音頻”和“Lipsync(唇音同步)”兩項分別應用于元宇宙等虛擬場景和語音 社交 場景中的前沿技術。3D空間音頻通過純軟件算法方案,模擬頭部球面區域立體聲場,使用戶在音頻聽感上具有空間感。當用戶操作虛擬人物在虛擬場景里移動,可實現根據虛擬人物的面部朝向、音源朝向、遠近距離與上下高度,呈現不同聲音效果,完美模擬現實聽覺感受。
聲網 Lipsync 無需攝像頭、無需面部表情捕捉技術,通過深度學習算法中的生成對抗網絡,將中英文(或其他語種)發音的嘴型、面部表情智能關聯起來,驅動人像模擬真人說話嘴型,支持2D人像圖片和3D人像模型,在語聊房、互動播客、視頻會議等場景中具有巨大的應用潛力。
此外,在今年火熱的虛擬活動上,聲網也實現了單頻道高并發人數的技術突破。針對虛擬活動諸如大型會議、會展、演唱會等場景,聲網推出 128 人超級互動頻道,單個頻道可支持多達 128 位用戶同時發送音視頻流,觀眾人數無限制,讓房間內任何用戶都可以隨時開麥進行發言交流。
2、加大研發投入,持續提升音視頻體驗質量: 今年聲網持續加大研發投入,推出了 AI降噪、VQA、多倍實時超分等技術,進一步提升了實時音視頻的體驗質量。例如 AI降噪技術,兼顧了強降噪與高保真,可以在保證人聲無損傷的前提下,更好地抑制噪聲和混響,同時避免了丟字及多人講話時語音被抑制的情況。在視頻會議、語聊房、遠程問診、 游戲 語音等伴有復雜噪聲的實時音視頻互動場景中,AI降噪可以消除上百種突發性的背景噪聲,帶來更純凈的通話體驗。
在實時互動場景中,視頻畫質是影響觀眾體驗的關鍵指標,如何實時評價視頻的畫質一直是個行業難題。經過聲網視頻算法專家的持續鉆研,今年正式推出了業內首個可運行于移動設備端的視頻畫質主觀體驗 MOS 分評估模型—聲網 VQA (Video Quality Assessment)。VQA 是一套“評價主觀視頻質量體驗”的客觀指標,聲網構建了大規模的視頻畫質主觀評估數據庫,并在此基礎上訓練了業內首個可直接在移動端運行的 VQA 模型,它利用深度學習算法實現對實時互動場景接收端視頻畫質主觀體驗 MOS 分的評估,解除了傳統主觀畫質評估對人力評分的高度依賴,極大提高視頻畫質評估效率,使實時的視頻質量評估成為可能。
另外,在視頻畫面質量的提升上,聲網也推出了業內首個運行于移動端的多倍實時超分算法,以較小的算法計算量實現視頻分辨率的三倍超分,有效增強視頻畫質,降低視頻傳輸成本。多倍實時超分覆蓋機型廣,中低端機型也能實時處理,對CPU 以及 SDK 內存的消耗也很低,可以很好的運用在IoT平臺的實時互動場景、帶寬受限以及視頻首幀需要快速清晰出圖的實時互動場景。
目前聲網已服務泛娛樂、IoT、教育、 金融 、醫療、企業協作等20+行業賽道,200+場景,而在全球RTE領域仍然在不斷誕生更多的實時互動創新場景,作為全球領先的實時互動技術服務商,也需要保持對創新場景的洞察力,并不斷精進自身的技術,在提升技術質量的同時也為開發者與客戶提供更契合市場發展,更穩定、更高質的實時互動解決方案。