實時 互聯網 像觸角一樣,通過情景的共享延伸開來,鏈接著我們彼此的線下、線上生活,形成一張不可分割的網絡。隨著 社交 直播、在線教育、視頻會議成為大眾生活不可或缺的一部分的同時,智能手表、智能作業燈、視頻雙錄、視頻核保、遠程問診等更多新場景也在不斷嶄露頭角。

在我們看來,探索實時互聯網未來場景的過程,就如同是“洞見微光”的過程。聲網因此推出【捕“光”之旅】系列策劃,希望能夠從場景、業務與技術結合的角度分享實時互動新場景,看看他們是如何“洞見”并“抓住”這實時互聯網的未來之光。

近期,Metaverse 元宇宙概念大火,各大巨頭紛紛布局,被市場公認為下一個充滿潛力的巨大市場。另一方面,疫情下在線辦公、社交、娛樂需求的迅速增長,更是讓 Metaverse 變成各大前沿 科技 公司口中的未來。 【捕“光”之旅】第八期文章,我們來聊聊近期火爆的 Metaverse 元宇宙概念與實時音視頻技術擦出了怎樣的火花?

在2018年的科幻電影《頭號玩家》中,導演斯皮爾伯格向我們展現了一個宏大且令人神往的虛擬世界——綠洲。在這里,你可以遇見來自世界各地成千上萬形象各異的玩家,忍者神龜、高達、機械哥斯拉,各種虛擬形象打破次元壁聚在了一起。玩家只要穿戴上 VR 設備,就可以隨時隨地進入這個虛擬世界。即便在現實中,你只是一個平平無奇的路人甲,但在綠洲里你卻有可能成為扭轉戰局的關鍵先生,任何遙遠的夢想在這里都變得觸手可及。電影中除了無限可能的虛擬世界讓大家心馳神往,綠洲玩家在虛擬世界中實現了與現實世界近乎無差別的語音互動和深度交互也給觀眾留下了深刻的印象。

說到《頭號玩家》中最酷炫的場景之一,莫過于男女主角初次約會的無重力夜店舞池,伴隨著經典的舞曲,男女主角動情熱舞,整個畫面給觀眾帶來了強烈的視覺沖擊。據悉,導演斯皮爾伯格曾使用 HTC VIVE 的相關 VR 設備協助拍攝,用于布置畫面、調整布景等,這也是當時性能最為強勁的 VR 設備。

可以說《頭號玩家》的出現,讓 Metaverse 通過電影的方式,更為具象化地展現在了大眾面前。構建Metaverse 是一個非常復雜的過程,目前普遍認為其中既涉及到 VR/AR、3D 和腦機接口等技術的創新和更迭,也包括從互聯網基礎設施和理論層面對計算機技術的進一步挖掘,這包括算法、更高性能的芯片、高性能的網絡傳輸等等。而正是伴隨著 VR/AR,5G等技術的日趨成熟及普及,才讓 Metaverse 這個虛無縹緲的概念如今有了被實現的可能。

長久以來,營造深度沉浸感是VR 廠商和開發者追求的目標之一。除了設備的創新,VR開發者也在積極探索如何通過構建有吸引力的內容引起更多用戶的興趣。VR 場景中所強調的深度沉浸感是用戶多重感官的綜合體驗,用戶通過視覺、聽覺等感官感受虛擬世界的同時,也需要低延時、穩定、流暢的與虛擬世界中的其他玩家進行實時互動,實現深度交互。不難想象,如果沒有低延遲、實時性作為保障,在《頭號玩家》中,男主帕西法爾搭訕女主阿爾忒彌斯,甚至邀請其共舞都將難以進行,更別說組隊作戰了。因而,除了創新的設備與豐富的內容生態,對用戶來說更為重要的是實時互動體驗。作為全球最早進軍 VR 技術相關領域的巨頭企業之一, HTC VIVE 這一次又走在了行業前列。

日前,HTC VIVE 在虛擬生態大會上發布了VIVE BUSINESS 商用平臺,以強大而全面的工具包構建起專業的 XR 無縫商用解決方案。支撐并拓展 VIVE BUSINESS 龐大應用生態的,是其推出的 ISV 合作伙伴計劃。該計劃一方面為企業客戶拓展更多端到端的解決方案組合;另一方面為獨立開發者創建了平臺,提供更多資源和結構化支持,幫助 ISV 加快 VR 解決方案的產出,并贏得更多 商業 機會。作為首批加入 ISV 的合作伙伴之一,聲網Agora 將實時音視頻解決方案“帶入”了HTC VIVE 的 VR/XR 生態系統。今后,開發者在 HTC VIVE 的 VR/XR 生態系統中創建應用程序均可無縫集成聲網Agora 的實時音視頻、實時消息、互動直播等技術,用戶將能夠在虛擬世界中感受低延遲、高穩定、高流暢的實時互動體驗。

想要保障用戶沉浸、流暢、低延時的實時互動體驗,如在遠程團隊協作、遠程指導、多人 游戲 作戰等特定場景,意味著對實時互動中的音視頻流暢性以及穩定性有著更高的要求。那么,聲網Agora 的實時互動解決方案如何助力用戶實現“身臨其境”的交互體驗?

低延遲、高穩定、高流暢,是實現“身臨其境”沉浸感的基礎

在 VR/AR 應用場景中,用戶會遇到跨區域、甚至跨國協作、互動的情況,因而網絡情況會更為復雜。聲網Agora? 軟件定義全球實時網絡SD-RTN? 覆蓋全球 200+ 國家和地區,全球端到端網絡優質傳輸率超過99%,可在全球各區域就近網絡接入和最優網絡路徑傳輸,為全球任意國家/區域用戶提供高速網絡服務。在網絡架構設計上能夠應對 10 倍以上的負荷,具備千萬級并發能力,滿足在線會議、社交、多人競技等場景對于高并發的需求。

在遠程協作、遠程指導等場景中,支持清晰、穩定的雙向視頻通話是剛需,而聲網Agora 的解決方案可以提供最高 1080P 60fps超清視頻畫質,讓雙方可以清楚看到正在協同的事項并給予及時的反饋和指導。而在通話的過程中,聲網全球領先的? Agora SOLO?、NOVA? ?兩大語音引擎支持 48kHz 采樣率的全頻帶采樣,192 kbps 編碼碼率,還原聲音高保真度,音頻 MOS 分高達 4.7,能夠為用戶帶來高音質的音視頻互動體驗。

此外,VR 虛擬場景對于音頻的“空間感”要求很高,舉例來說,在競技游戲場景中,你需要通過腳步聲感知其他玩家的距離和方位,而空間音效可以讓用戶更有身臨其境的沉浸感。聲網Agora 的解決方案支持 360° 環繞立體聲 ,聲音具有完美的方位感、距離感、空間感,能夠在具體場景中為用戶提供“ 聽聲辨位”、“聽聲識距” 等功能,進一步提升 VR 內容帶給用戶的 沉浸體驗。

全球領先的信息技術、咨詢和商業流程服務公司 Wipro 、AR 產品和服務提供商亮風臺旗下 HiLeia 通訊平臺、AR+AI 企業級服務商亮亮視野發布的 AR 眼鏡 GLXSS ME(Multi-Edition),睿悅 Nibiru 的遠程協助產品 均采用了聲網Agora 提供的實時音視頻解決方案,廣泛應用于協同辦公、智能制造、遠程醫療、遠程電力檢修等諸多場景。

Metaverse 仍在技術積累期,聲網實時音視頻技術在 智能硬件 領域多場景開花

Metaverse 目前依舊處于技術積累期,除現階段主要的承載終端 VR/AR 設備外,隨著物聯網場景的逐漸豐富化,未來還將有更多的終端設備加入,共同構筑起 Metaverse 的基礎設施。 比如市場上大火的智能音箱、智能手表、智能機器人、智能攝像頭等等,而這些智能終端設備在具體使用場景中都需要用到實時音視頻技術。

然而目前市場上的不少便攜類及穿戴類終端設備在音視頻交互方面都存在算力低、內存小、續航差等多個核心痛點。針對此類問題,聲網Agora 能夠提供成熟的低功耗極小包體 SDK,CPU 消耗量極低,發熱發燙問題解決能力全球領先。真正做到低功耗、占用空間小,接口豐富,滿足個性化適配的需求。針對智能音箱、智能攝像頭、智能車載、智慧大屏、智能機器人等 IoT 全場景,聲網Agora 能夠提供音視頻通話+互動+消息的全場景一站式實時互動和互聯互通解決方案。此外,聲網Agora 還推出了 全球首個可以跑在 RTOS 上的 RTC SDK,實現了業界最小的 full-featured RTC,包體積 300K 以下,內存占用 2MB,CPU 占用 30MIPS,適合超低功耗、快速啟動、成本敏感的 IoT 場景。 比如小天才全系列兒童手表就搭載了該 SDK,能夠實現持續通話 15 分鐘不發燙,且續航能力超長,不用擔心電量過快耗盡而失聯。

無論是 Metaverse 還是萬物互聯,在終端的創新和連接方式變革中,人與人之間的距離不斷拉近,虛擬世界中的交互方式也愈發趨向真實。實時音視頻技術在此類場景中得以運用僅僅是個開始,聽見聲音、看見畫面,也只是實時互動的起點和基礎。在聲網Agora 看來,實時互動不只是以語音通話或視頻會議為代表的信息交換,它更多的是創造一個共享的情景和時空。相信隨著技術的發展,未來實時音視頻技術還將與 VR/AR 、5G 等技術深度融合,突破空間和距離的限制,探索除遠程協作、社交、教育、游戲等場景外的更多機遇,實現在虛擬世界中人與人間的實時互動和深度交互。