“今年我們不僅要解決晚會(huì)怎么樣更好玩的問題，還要解決史上地域跨度最大的全程實(shí)時(shí)互動(dòng)導(dǎo)播挑戰(zhàn)，不過我們已經(jīng)準(zhǔn)備好了。”還有一周，vivo2017天貓雙11狂歡夜即將正式開幕，晚會(huì)技術(shù)負(fù)責(zé)人蔡建平（花名：崔西）面對(duì)記者表示：“我們是按二十年后的晚會(huì)形態(tài)在嘗試這些新技術(shù)。”

首次同時(shí)采用AR +VR，把明星送到你家

每一年的天貓雙11狂歡夜都是明星云集，今年當(dāng)然也不例外，大半個(gè)娛樂圈都來了：章子怡、吳亦凡、李宇春、王嘉爾、莫文蔚、郎朗、劉濤、“小獵豹”鄭愷、林更新、張杰、迪瑪希、關(guān)曉彤等明星都出現(xiàn)在了今年天貓雙11晚會(huì)明星名單中，還有好萊塢巨星、超級(jí)體育大咖等尚未公布的神秘國(guó)際明星天團(tuán)。

但是，如果明星們只是一如既往地呆在電視機(jī)里，那就太沒有新意了。能不能讓電視機(jī)里的明星走下舞臺(tái)，甚至是進(jìn)到每一個(gè)觀眾的家里去，和觀眾實(shí)現(xiàn)零距離互動(dòng)呢？這是蔡建平和他的團(tuán)隊(duì)面臨的難題，也是他們率先嘗試的一大創(chuàng)新。

“我們首次把真人三維建模和動(dòng)作捕捉技術(shù)運(yùn)用到了國(guó)內(nèi)的手機(jī)平臺(tái)，把明星的動(dòng)作甚至表情細(xì)節(jié)都進(jìn)行了逼真的還原，再通過特殊加密算法將模型文件壓縮在20M左右，同時(shí)巧妙地將AR技術(shù)與VR全景技術(shù)結(jié)合，實(shí)現(xiàn)了用技術(shù)將明星通過AR技術(shù)投射到真實(shí)場(chǎng)景，達(dá)到和觀眾面對(duì)面、多角度、零距離接觸的效果。”蔡建平介紹：“到時(shí)候，觀眾只要在手機(jī)上點(diǎn)一下按鈕，就能把明星請(qǐng)到自己家里拍照、互動(dòng)”。

AR+VR，聽上去很酷炫，但如此復(fù)雜的算法是否會(huì)導(dǎo)致中低端手機(jī)無法適配呢？據(jù)悉，為了滿足絕大多數(shù)的用戶體驗(yàn)，在AR算法方面，除了新版iPhone采用ARkit算法之外，剩下的機(jī)型全部采用了阿里人工智能實(shí)驗(yàn)室自研的slam算法。這種業(yè)界領(lǐng)先水平，讓幾乎所有機(jī)型用戶都能擁有良好的AR體驗(yàn)。

任意門截圖

蔡建平表示：“11月4日上線的晚會(huì)任意門，用戶可以穿越去大張偉、鄭愷等明星那里探班；而晚會(huì)當(dāng)天，很多人心目中的女神將能借助這個(gè)技術(shù)，‘瞬時(shí)穿越’到每個(gè)人家中，非常值得期待！”

在虛擬觀眾席看直播，人工智能陪伴左右

除了把明星送到你家來，今年的天貓雙11狂歡夜還要把你接到晚會(huì)現(xiàn)場(chǎng)去，還有AI助手全程陪伴。

原來，今年晚會(huì)現(xiàn)場(chǎng)專門開辟了虛擬觀眾席位，打開手淘就可以隨時(shí)看晚會(huì)直播，還能享受到由CG動(dòng)畫+AR虛擬技術(shù)實(shí)現(xiàn)的專屬開幕式收看視角以及真實(shí)的入場(chǎng)儀式，仿若置身晚會(huì)現(xiàn)場(chǎng)。

虛擬觀眾席示意圖

不僅如此，虛擬觀眾還可以走出觀眾席，隨時(shí)到后臺(tái)捕捉“野生”愛豆。蔡建平介紹，今年的天貓雙11狂歡夜在手淘設(shè)置了6個(gè)直播窗口，除了主直播窗口和虛擬觀眾席窗口之外，還有活捉野生愛豆窗口、解密導(dǎo)播間窗口、蹲守野生愛豆窗口以及清空購(gòu)物車窗口。每個(gè)直播窗口，都有“天貓精靈”隨時(shí)候命，只要點(diǎn)擊“天貓精靈”發(fā)送文字或語(yǔ)音，就可以隨時(shí)調(diào)用你喜愛的明星畫面，還可以讓它推薦個(gè)性化的商品。“我們的目標(biāo)是讓‘天貓精靈’成為你的賈維斯，隨時(shí)為你服務(wù)。”蔡建平表示。

天貓精靈機(jī)器人跨界做主持，跳舞賣萌都是強(qiáng)項(xiàng)

此前有消息爆料稱，今年的天貓雙11晚會(huì)將由華少、張星月，悅悅將綜藝明星主持擔(dān)當(dāng)團(tuán)，另外，還將有神秘機(jī)器人加盟主持，還要當(dāng)場(chǎng)“開撩”女明星。

蔡建平向我們揭曉了謎底，原來這位“與眾不同”的神秘主持竟然是由阿里人工智能實(shí)驗(yàn)室和阿里魚聯(lián)合打造的“天貓精靈機(jī)器人”！據(jù)了解，這臺(tái)“天貓精靈機(jī)器人”身高在1米左右，可以實(shí)現(xiàn)語(yǔ)音交互、肢體互動(dòng)、主動(dòng)識(shí)別、環(huán)境監(jiān)測(cè)等功能，它會(huì)根據(jù)人體姿態(tài)、說話語(yǔ)氣、來預(yù)期用戶的行為、口令，并對(duì)用戶交談內(nèi)容作出反饋。除了對(duì)話聊天，還可以識(shí)別用戶的聲紋，比如是男生還是女生，是主人還是陌生人等等，這些功能使其具備了主持人的“上崗資格”。

“天貓精靈”機(jī)器人

“天貓精靈機(jī)器人”還有人形機(jī)器人能具有的基本肢體互動(dòng)能力，比如它的四肢裝有不同數(shù)量的舵機(jī)，可以滿足基本的關(guān)節(jié)驅(qū)動(dòng)等。此外，它還有一雙“大眼睛”，依靠貓頭上方的攝像頭，“天貓精靈機(jī)器人”可以捕捉圖像、解析圖像、感知管線等等，“大眼睛”還可以根據(jù)不同對(duì)話內(nèi)容和情緒，呈現(xiàn)出不同的表情，比如心心眼、暈暈表情等等。可以說，跳舞、賣萌都不是問題，跨界主持才藝多多。

首創(chuàng)同步碼，實(shí)現(xiàn)史上地域跨度最大的互動(dòng)導(dǎo)播

除了在手淘和優(yōu)酷直播之外，今年vivo2017天貓雙11狂歡夜會(huì)還會(huì)在北京衛(wèi)視、浙江衛(wèi)視、深圳衛(wèi)視三臺(tái)聯(lián)播，互動(dòng)導(dǎo)播技術(shù)也面臨了史上地域跨度最大的挑戰(zhàn)。

經(jīng)過半年多的技術(shù)開發(fā)，蔡建平團(tuán)隊(duì)首創(chuàng)了遠(yuǎn)程同步碼技術(shù)。屆時(shí)，阿里將會(huì)在三家電視臺(tái)的演播間直接部署設(shè)備，晚會(huì)當(dāng)天，現(xiàn)場(chǎng)的互聯(lián)網(wǎng)導(dǎo)播中心將實(shí)時(shí)將互動(dòng)指令下發(fā)到各家演播間，對(duì)電視信號(hào)進(jìn)行特殊的同步碼植入。用戶在觀看晚會(huì)時(shí)，只要搖一搖手機(jī)淘寶，就會(huì)自動(dòng)檢測(cè)電視信號(hào)中是否存在同步碼，一旦識(shí)別到指定互動(dòng)環(huán)節(jié)對(duì)應(yīng)的同步碼，手機(jī)淘寶將會(huì)自動(dòng)打開對(duì)應(yīng)的互動(dòng)內(nèi)容。

蔡建平表示：“天貓雙11狂歡夜已經(jīng)是全球最具影響力的商業(yè)名片，我們希望它同時(shí)也是一場(chǎng)向全世界秀出中國(guó)互聯(lián)網(wǎng)技術(shù)肌肉的晚會(huì)。未來，天貓雙11狂歡夜還會(huì)加速推動(dòng)科技、商業(yè)、娛樂三者的融合，不斷釋放全球影響力。”