來源：映維網(wǎng)

在剛剛落下帷幕的ChinaJoy高通展館中，我們境騰 科技 與和上海龐伯特科技合作實(shí)現(xiàn)了基于混合現(xiàn)實(shí)技術(shù)的乒乓球機(jī)器人協(xié)同娛樂互動系統(tǒng)，現(xiàn)場人頭攢動，盡管受疫情影響執(zhí)行了限流措施，但“機(jī)器人+HoloLens2“的神仙組合讓玩家們熱情高漲，展位前仍排起長長的隊(duì)伍等待與機(jī)器人訓(xùn)練師的對壘。

本嘉賓稿來自境騰科技CEO張力（ 微信 ：johnzhang6387），他也是映維網(wǎng)會員成員

境騰科技還將在2020 Qualcomm XR生態(tài)合作伙伴大會（9月5日，南昌）上做主題分享

在這個(gè)“真人 vs 機(jī)器人”的乒乓球項(xiàng)目中，剛開始的時(shí)候，頭戴HoloLens 2混合現(xiàn)實(shí)眼鏡的玩家會對球臺另一邊的機(jī)器人發(fā)出發(fā)球指令。這時(shí)，乒乓球即將發(fā)生的虛擬運(yùn)動軌跡則會以AR特效的方式通過HoloLens 2 呈現(xiàn)在玩家視野中，引導(dǎo)玩家立即進(jìn)入熱血備戰(zhàn)狀態(tài)。接著在機(jī)器人發(fā)球的同時(shí)，在HoloLens 2上也會呈現(xiàn)出玩家回球應(yīng)該在機(jī)器人那一端的目標(biāo)落點(diǎn)。即玩家在已知軌跡的情況下，如果能將球擊打回到對面球臺用虛擬光圈標(biāo)注的范圍內(nèi)即可獲得獎勵(lì)。

總的來說，系統(tǒng)會告知玩家他接球前的球的運(yùn)動軌跡，以及他回球后的球應(yīng)該達(dá)到的目標(biāo)落點(diǎn)范圍。所有這些軌跡信息以及落點(diǎn)要求信息，都是以AR的形式通過HoloLens 2呈現(xiàn)在玩家眼前。即使面對乒乓球?qū)I(yè)運(yùn)動員，機(jī)器人也會毫不示弱，高頻發(fā)球加上精準(zhǔn)落點(diǎn)要求也將考驗(yàn)運(yùn)動員的穩(wěn)定性與精準(zhǔn)度。這一協(xié)同訓(xùn)練方案實(shí)現(xiàn)了：

1. 在真實(shí)球桌空間上準(zhǔn)確穩(wěn)定顯示發(fā)球軌跡和目標(biāo)擊打區(qū)域

龐伯特發(fā)球機(jī)器人在發(fā)球時(shí)可以計(jì)算出在自身坐標(biāo)系里乒乓球的運(yùn)動軌跡以及準(zhǔn)確落點(diǎn)，通過同步選手頭戴的Hololens2 的坐標(biāo)系和發(fā)球機(jī)器人的坐標(biāo)系，境騰科技可以在真實(shí)球桌3D空間上，用虛擬動畫效果呈現(xiàn)出酷炫的運(yùn)動軌跡和炸裂的落點(diǎn)特效，給選手帶來從未經(jīng)歷的科幻體驗(yàn)。

在實(shí)際運(yùn)行測試中，即使選手戴著HoloLens2做比較劇烈的運(yùn)動，選手看到的虛擬軌跡和落點(diǎn)仍然非常穩(wěn)定，選手頭戴HoloLens2時(shí)也沒有影響到運(yùn)動狀態(tài)的不適感，讓我們不得不為HoloLens2強(qiáng)大的SLAM能力和巧妙的人機(jī)設(shè)計(jì)點(diǎn)贊。

2. 人工智能識別選手回球軌跡實(shí)時(shí)追蹤和落點(diǎn)得分判定

基于高通驍龍創(chuàng)新的RB5平臺，龐伯特智能乒乓球軌跡識別與分析系統(tǒng)可實(shí)時(shí)追蹤分析乒乓球的軌跡信息，利于人工智能技術(shù)，對乒乓球的飛行軌跡，落點(diǎn)，旋轉(zhuǎn)，速度等一系列參數(shù)進(jìn)行實(shí)時(shí)采集并進(jìn)行數(shù)據(jù)分析。

采用雙目攝像頭對普通乒乓球進(jìn)行軌跡捕捉，深度學(xué)習(xí)人工智能算法從選手回球到識別出軌跡延遲低于10ms，再通過高效的網(wǎng)絡(luò)傳輸?shù)紿ololens2和第三方視角的虛擬特效渲染整體延遲在50ms以內(nèi)，讓選手得到真假難辨的虛實(shí)結(jié)合體驗(yàn)。回球的軌跡數(shù)據(jù)信息可以實(shí)時(shí)渲染也可以儲存在系統(tǒng)中，未來可以通過HoloLens2在球桌上回放，將數(shù)字娛樂信息疊加到現(xiàn)實(shí)運(yùn)動中，更有效的提高運(yùn)動員的訓(xùn)練效果，增加玩家的代入感和體驗(yàn)感，將乒乓球運(yùn)動數(shù)字化，電競化，給玩家?guī)砀锩缘捏w驗(yàn)。

3. 真正用球拍發(fā)球的機(jī)器人

基于先進(jìn)的人工智能及機(jī)器人技術(shù)，龐伯特開發(fā)出了世界上第一款完全擬人型的乒乓球發(fā)球機(jī)器人。該機(jī)器人實(shí)現(xiàn)了手持球拍發(fā)球，完全模擬乒乓球訓(xùn)練過程中針對技術(shù)動作的多球訓(xùn)練環(huán)節(jié)，甚至可以發(fā)出很多專業(yè)選手才能夠打出的下旋上旋等特效。同時(shí)，智能傳感及創(chuàng)新的增強(qiáng)現(xiàn)實(shí)技術(shù)的引入，將該訓(xùn)練過程娛樂化，競技化，使訓(xùn)練更專業(yè)，讓運(yùn)動更有趣。

4. HoloLens2眼鏡、機(jī)器人、回球軌跡追蹤識別設(shè)備和第三方視角零延時(shí)多協(xié)議通信

整個(gè)訓(xùn)練系統(tǒng)涉及了多個(gè)設(shè)備（Hololens2 眼鏡、發(fā)球機(jī)器人、 回球軌跡識別設(shè)備、 第三方視角設(shè)備）、平臺（Windows UWP、 Android、 Ubuntu、 iOS），和多種通信協(xié)議（TCP / UDP / 藍(lán)牙通信）。在無縫整合所有這些設(shè)備的同時(shí)，系統(tǒng)還保證了信息在各個(gè)設(shè)備中近乎零延時(shí)的傳輸，從而保證了用戶的最佳體驗(yàn)。

5. 總結(jié)

這個(gè)方案中四大技術(shù)應(yīng)用的整合，開創(chuàng)性地將原本單一的技術(shù)領(lǐng)域充分融合，形成人機(jī)共融平臺。

完全仿人化的機(jī)器人在人類的運(yùn)動中與人類協(xié)同互動；同時(shí)，基于創(chuàng)新的傳感技術(shù)，人工智能攝像頭對整個(gè)運(yùn)動過程中的人，球，環(huán)境等數(shù)據(jù)進(jìn)行實(shí)時(shí)采集分析，指導(dǎo)機(jī)器人與人類進(jìn)行動態(tài)互動；利于創(chuàng)新的增強(qiáng)現(xiàn)實(shí)技術(shù)，機(jī)器人直接從三維空間的維度上向人類高效，直接的傳達(dá)信息。人工智能，智能機(jī)器人，增強(qiáng)現(xiàn)實(shí)，新一代通信技術(shù)等創(chuàng)新性技術(shù)在這一場景中得到了綜合應(yīng)用。

在搭建系統(tǒng)的過程中，我們突破了多個(gè)技術(shù)壁壘和難點(diǎn)，可以預(yù)見，這將為各個(gè)行業(yè)提供更廣闊的解決方案，為企業(yè)帶來豐厚的 商業(yè) 價(jià)值，極可能成為未來技術(shù)發(fā)展的一個(gè)方向。

原文鏈接：https://yivian.com/news/76831.html