微軟為HoloLens全息視頻提出二次投影技術(shù),改善流式傳輸帶寬和質(zhì)量
如果有關(guān)注與 VR 相關(guān)的技術(shù)文章,你可能曾多次見(jiàn)過(guò)“二次投影(reprojection)”這個(gè)術(shù)語(yǔ),如交錯(cuò)二次投影或異步二次投影。二次投影是為了解決VR 游戲 的苛刻性能要求,旨在填補(bǔ)無(wú)法及時(shí)渲染的幀。比方說(shuō)一款游戲不能達(dá)到標(biāo)準(zhǔn)的90fps,這時(shí)交錯(cuò)二次投影將“強(qiáng)迫”其降至45fps,并在這基礎(chǔ)下每隔一幀進(jìn)行一次重新投影,從而實(shí)現(xiàn)90fps的幀率。作為交錯(cuò)二次投影的升級(jí)版,異步二次投影則是智能地插入一幀,從而有效減少畫(huà)面抖動(dòng)并使得體驗(yàn)更為流暢自然。
現(xiàn)根據(jù)微軟的一份最新專(zhuān)利,這家 科技 巨頭似乎有意為全息視頻采用類(lèi)似的二次投影技術(shù),以改善流式傳輸?shù)膸?質(zhì)量。
發(fā)明文件顯示,諸如HoloLens這樣的MR頭顯在視頻壓縮和傳輸實(shí)況視頻方面存在一定的挑戰(zhàn),如帶寬。另外,一系列現(xiàn)有的視頻壓縮技術(shù)都依賴(lài)于這樣一個(gè)概念:連續(xù)視頻幀的大部分背景從一個(gè)視頻幀到下一個(gè)視頻幀時(shí)保持相對(duì)靜態(tài),因此只有實(shí)際變化的像素需要傳輸。但對(duì)于頭戴式顯示器,頭部移動(dòng)可導(dǎo)致圖像數(shù)據(jù)(包括背景)中更頻繁和更大幅度的變化,這降低了已知視頻壓縮技術(shù)的有效性。
因此,MR頭顯需要一種可以減少帶寬要求和/或提升分辨率的技術(shù),亦即微軟在名為“Reprojecting?Holographic?Video To Enhance Streaming Bandwidth/Quality(二次投影全息視頻以改善流式傳輸帶寬/質(zhì)量)”的發(fā)明文件中所描述的技術(shù)。
具體來(lái)說(shuō),微軟描述的技術(shù)適用于具有攝像頭和深度傳感器的全息設(shè)備。在將數(shù)據(jù)傳遞到計(jì)算P幀(或B幀)的視頻壓縮器之前,流式傳輸應(yīng)用程序執(zhí)行應(yīng)用于先前幀的圖像扭曲3D變換。系統(tǒng)將利用camera的已知3D位置和camera前面的3D幾何形狀,并基于camera的當(dāng)前位置重新投影前一幀,而不是花費(fèi)時(shí)間和資源來(lái)完全重新渲染一幀,從而減少發(fā)送流式視頻的數(shù)據(jù)帶寬。
相關(guān)專(zhuān)利:Reprojecting Holographic Video To Enhance Streaming Bandwidth/Quality
盡管這只是一份專(zhuān)利,但考慮到“Reprojecting Holographic Video To Enhance Streaming Bandwidth/Quality(二次投影全息視頻以改善流式傳輸帶寬/質(zhì)量)”是于2017年1月提交,所以如果馬上就要在MWC大會(huì)亮相的HoloLens 2搭載了這項(xiàng)技術(shù),我們將不會(huì)感到驚訝。
原文鏈接:https://yivian.com/news/57048.html
來(lái)源:映維網(wǎng)