當計算機有視覺而人卻沒有，為什么不讓前者幫助后者呢？這是Caltech(加州理工學院)開發的新型HoloLens應用程序Cognitive Augmented Reality Assistant（CARA）背后的要點。

在HoloLens的深度感知功能的幫助下，該軟件使用計算機視覺算法掃描環境并識別物理對象。然后，應用程序向視力受損的用戶提示物體的存在，并通過立體聲來讓用戶了解物體在空間中的相對位置。

“想象一下，你處在一個世界上，你周圍的所有物體都會發出聲音，可以和你說話”，Mark P. Meister博士說，他是加州理工學院生物科學教授和Benjamin F. Biaggini神經生物學主任。“無論你面對哪個目標，你所關注的不同物體都會被激活并告訴你它的名字。你能想象在這樣一個世界中出行，執行我們通常使用視覺系統的許多任務嗎？那就是我們做的事情——讓物體發聲。”

CARA由Meister實驗室研究生Yang Liu領導的科學家團隊開發，提供了幾種幫助用戶的模式。系統的Spotlight模式根據用戶的注視報告已識別的對象，而掃描模式則在HoloLens掃描環境時從左到右提示物體的存在。

該團隊通過設計一條穿過加州理工學院Beckman Behavioral Biology大樓的路線，志愿者測試了該應用程序。每個測試對象在使用基于HoloLens的系統時成功在樓內進行了導航。此外，該團隊還為其他研究人員設計了虛擬現實環境標準化測試，以評估他們自己的輔助設備。

該應用程序仍處于開發階段，目前的工作包括改進和增強計算機視覺算法。該團隊設想在銀行，酒店和零售中心最終部署該軟件，以幫助客戶瀏覽周圍環境。

與此同時，Meister和Yang Liu以及南加州大學博士后學者Noelle Stiles共同撰寫了一篇題為“增強現實為盲人提供認知助理” 的研究論文，其中詳述了該團隊的研究結果。

去年， 游戲 開發商Javier Davalos 與HoloLens一起創建了類似的概念證明。他們開發的應用同樣使用環境掃描來識別物體表面和空間音頻為用戶提供相對位置的提示，但是該應用程序發出的警報會隨著用戶接近障礙而增加音量。

從事AR和視覺輔助工具的公司越來越多地以各種方式應用該技術來幫助殘疾人。最近，紐約大學的一個學生團隊開發了一個可以實時翻譯手語的應用程序，甚至Magic Leap也獲得了類似技術的專利。同樣，Starks AR頭顯可以為聽障人士提供字幕。

來源：87870