本文系網(wǎng)易智能工作室（公眾號 ?smartman 163）出品，此篇為《AI英雄》專訪第2 8 期。聚焦 AI，讀懂下一個大時代！

作者 | 小羿

我問自己，為什么會愛上你

我感覺一切忽然都不重要了

我所掌握的所有執(zhí)念都消失了

我找不到明確的答案，我也不需要明確的答案

我相信自己，相信自己的感覺

我不想再嘗試成為，真實的我以外的東西

我希望你會接受這樣的我

――薩曼莎

這是電影《 Her》中女主人公人工智能系統(tǒng)薩曼莎對身為人類的男主人公西奧多的愛情表白。這部電影獲得了第86屆奧斯卡最佳原創(chuàng)劇本獎，也勾起了人們對于未來世界的憧憬。簡仁賢便是是深受這部電影影響的人之一 。

作為前微軟（亞洲）互聯(lián)網(wǎng)工程院副院長，微軟小冰研發(fā)的奠基人之一，簡仁賢在 2015年為了讓機器人具備情緒情感，毅然走上了創(chuàng)業(yè)之路。如今，他創(chuàng)立的情緒情感識別公司竹間智能科技已經(jīng)走過了兩年的時間。

什么是情感識別？能否拯救智障的機器人

為什么現(xiàn)在的機器人感覺很智障，為什么它們的交流如此生硬機械？

在簡仁賢看來，人與人之間的交流是自然的交互，包括圖像視覺、聲音與文字，都是有情感在的。而要想達(dá)到自然的人機交互，就必須使機器具備情感識別和理解能力。兩年以來，簡仁賢將大部分經(jīng)歷放在了情緒情感技術(shù)的打磨上。采訪一開始，簡仁賢就迫不及待地向網(wǎng)易智能等媒體展示了他們與 Google在人臉情緒辨別上的對比測試成績單，并進行了細(xì)致的解說。

據(jù)簡仁賢介紹，竹間智能的一家合作伙伴將竹間智能 Emoti-Face API與Google cloud vision API的做了對比。

注： 測試對比采用香港中文大學(xué) ExpW數(shù)據(jù)庫作為測試集，測試機里有9萬多張人臉。

測試結(jié)果顯示，竹間智能的人臉情緒 API可以辨識9種情緒，包括開心(Happy)、生氣(Angry)、哀傷(Sad)、驚訝(Surprise)、害怕(Fear)、反感(Disgust)、輕視(Cotempt)、困惑(Confused)、中性(Neutral)。但是Google的人臉情緒API只能辨識4種情緒，分別是憤怒(Anger)、喜悅(Joy)、悲痛(Sorrow)、驚訝(Surprise)。

在同一個測試集里，竹間智能的人臉識別的準(zhǔn)確率是 96.68%，Google是81.52%。在人臉表情識別度上，簡仁賢介紹，這個維度測試同一張照片場景中不同燈光、角度下的三個人臉情緒，還有六張不同人臉情緒的識別。最終結(jié)果顯示，竹間智能的準(zhǔn)確率達(dá)到了81.57，Google只有70.84，前者比后者高出15%。簡仁賢總結(jié)說，開心是最好辨認(rèn)的情緒，在驚訝、哀傷的情緒上竹間智能領(lǐng)先Google的比較多，而生氣這個情緒很難辨認(rèn)。

與此同時，簡仁賢還向網(wǎng)易智能介紹了人臉情緒的識別規(guī)律，竹間智能采用的是對表情給一個幾率值，比如是 0到1分?jǐn)?shù)，哪個分值大就是哪種情緒。比如第一張臉系統(tǒng)判斷其他情緒值都是是0，只有開心值是1，就判斷整個情緒是開心的。而Google的做法是用四個值來衡量，Very Unlikely、Unlikely、Likely、Very Likely，用這個四個值的分?jǐn)?shù)去辨別情緒。

簡仁賢稱，竹間智能對于人臉情緒識別的算法，大部分都是原創(chuàng)的，架構(gòu)訓(xùn)練和速度更快，不管是在 CPU還是在GPU上測試，與其他算法相比都是運算時間最少的。而且運行存儲十分小，容易直接做到單機上，甚至低端手機上。簡仁賢對自己的技術(shù)充滿了信心，“希望竹間智能能將自己的人臉情緒識別技術(shù)拿到業(yè)界做一個公開的評比。”

在人臉識別方面，除了 9種情緒之外，竹間智能還對人臉做了22種屬性的識別，包括性別、膚色、皮膚質(zhì)量、頭發(fā)顏色、是否戴眼鏡、長發(fā)還是短發(fā)、哪種胡子、年齡等等。

簡仁賢稱，皮膚質(zhì)量公司最新做的人臉屬性，可以識別斑點、黑斑、痘痘、黑眼圈、深皺紋、淺皺紋、曬傷、紅斑、油性皮膚、干性皮膚等等，這部分已經(jīng)得到了應(yīng)用。

除了在人臉上進行情緒識別和屬性的開發(fā)之外，竹間智能還做了 22種語義的情緒（基于文字）和4種聲音的情緒（基于聲音）。人臉表情、語義文字、語音聲波，三種情緒識別融合在一起構(gòu)成了竹間智能最核心的情緒情感識別技術(shù)。

在數(shù)據(jù)積累上，簡仁賢稱情緒情感的數(shù)據(jù)是買不到的，市面上多是一些只能做正負(fù)向兩個維度情緒的數(shù)據(jù)。為此，竹間智能除了少部分用公用數(shù)據(jù)外，大多數(shù)都是自己采集，從爬數(shù)據(jù)、清洗、標(biāo)注，累積了大量的數(shù)據(jù)、數(shù)據(jù)集、訓(xùn)練集、測試集，以及算法的迭代。 “因為情感情緒是非常難標(biāo)注的，所以我們累積了兩年，擁有超過100萬張精確標(biāo)準(zhǔn)過的人臉。”簡仁賢表示。

基于情感情緒做人機交互，這條路走得通嗎？

情緒情感的識別理解是竹間智能的核心技術(shù)，在此之上，簡仁賢把公司定位一家人機交互公司。

“竹間智能不是圖像公司、也不是語義公司，而是基于情感情緒的人機交互公司。”簡仁賢這樣給自己的公司定位。

在簡仁賢看來，要做到好的人機交互，必須要從人臉視覺上、語音識別、文字理解上都做到情緒情感的理解，并把三者融合起來。 “只有這樣才能讓機器人，甚至是AI交互技術(shù)實現(xiàn)突破，實現(xiàn)深層的人機交互和理解。”

”在人臉識別方面，我們著重的是對于人臉的理解，有別于其它的視覺公司是做安防、人臉驗證、刷臉等技術(shù)。“簡仁賢稱，竹間智能在人臉識別上只做情緒情感，其商業(yè)模式是在人臉識別上提供情緒情感的辨識和決策。

簡仁賢表示，情緒情感的識別對機器人的語音識別、語義理解方面也有很大幫助。 “我們有很多合作伙伴提供語料，都是用戶講了一大堆事情，關(guān)鍵詞就超過十個，按照傳統(tǒng)的方式無法匹配，還要讓用戶一遍遍地去做選擇題。我們的做法是首先辨別情緒，如果情緒極端不滿，不管你講什么，先安撫和道歉，之后我再去判別你的意圖。”

“比如說在機場的場景上，乘客可能會問“北京到上海的這個班機在哪里值機？”如果機器人通過攝像頭識別出乘客很慌張，后臺馬上幫忙查詢航班，然后可能會先安撫乘客別著急，還有一個半小時才起飛，時間還來得及，我?guī)湍榈搅耍窃赬X號值機窗口，從這邊往右轉(zhuǎn)...."簡仁賢認(rèn)為，這才是真正的人機交互。

機器人根本聽不懂你在說什么？問題在上下文理解和記憶

對于目前人機交互最難的語義理解技術(shù)，簡仁賢也發(fā)表了自己的看法。他說，當(dāng)下很多對話機器人或聊天機器人也好，或者是 QA問答系統(tǒng)也好，其實它是不理解語義的。

“比如說你跟機器人講，某某明星好丑啊，然后機器人就說，是啊很丑。可是他不知道你是在講誰。如果我把某某明星換成敏感人物，形象、性別敏感的人物，這樣的就會造成言論的錯誤。”簡仁賢表示，如果只是隨便抓一條語料來回這個話，就很容易造成當(dāng)下的一問一答關(guān)健詞的回話。”僅依靠關(guān)鍵詞匹配和后臺搜索是做不好語義理解的，它只會導(dǎo)致聊天的效果是不可控的，失去了人機交互的黏性。“簡仁賢揭了bot們的底。

簡仁賢認(rèn)為，語義理解應(yīng)該是包括上下文的理解和記憶兩部分。由上下文和記憶的理解再來理解情緒情感，然后識別意圖，才有辦法得到一個理解的結(jié)果。只有真正理解每句話的意圖，機器人才有辦法判斷如何回話。

“記憶包括短期記憶和長期記憶，短期記憶指的是我們在對話的48小時之內(nèi)的東西，長期記憶是有關(guān)于你的屬性，你喜歡什么，不喜歡什么，你的年齡，你的愛人是誰，你住哪里，老家哪里，你喜歡誰的電影，喜歡聽誰的歌等等。”簡仁賢對網(wǎng)易智能表示，對于記憶的部分，竹間智能是從對話里面用語義理解的技術(shù)，去把這些抽出來，然后去除隱私信息，再建立起來的。

但即便這樣，人機交互的語義理解部分還是存在的很大的問題，尤其是中文，同一句話可能在不同的場合表示不同的意思。

簡仁賢表示，目前在開放式領(lǐng)域，能夠精準(zhǔn)的判斷你的意圖是做不到的。但是如果限定在特定的對象或環(huán)境中，就比較好。 “在開放式領(lǐng)域，比如我在家里說太吵了，那我說的是外面吵還是電視太吵？但是如果我對著電視講，太吵了，我的意圖是把聲音關(guān)小一點。”“我對證券業(yè)說，我的股票主力走了沒，主力是什么意思？我對一個球隊說橫打主力是誰，這個主力跟那個主力不一樣的。所以我對著特定領(lǐng)域的“主力”，這是代表不一樣的意思的。“簡仁賢解釋到。

目前，竹間智能已經(jīng)根據(jù)特定領(lǐng)域做了幾百種意圖，這些意圖識別準(zhǔn)確率達(dá)到 90%以上。“但是僅僅建立一個特定領(lǐng)域的理解還是不夠的，我們會配合合作伙伴，利用他們的數(shù)據(jù)來做一個適合他們的，這就成了解決方案。“簡仁賢表示。

技術(shù)落地，如何將人機情感交互用到行業(yè)中？

技術(shù)搭建成熟以后，簡仁賢發(fā)現(xiàn)還是不能達(dá)到真正的效果，所以他的團隊將觸角伸向了應(yīng)用領(lǐng)域。 “只有到行業(yè)里去應(yīng)用，才能夠拿到真實的用戶的使用數(shù)據(jù)，對你的模型才能做更精進。”簡仁賢說。

簡仁賢認(rèn)為，在應(yīng)用領(lǐng)域，是一個快速迭代的過程， “像我們的情緒情感的模型做了四代了，我們的意圖引擎也重寫了四次了。包括我們的語義理解，語義理解的部分都重寫了兩次。就是因為我們獲取到的的信息不一樣，但是我們的架構(gòu)很低耦合，可以讓我們做到快速迭代。所以場景的應(yīng)用是很重要的。“

目前，竹間智能的情緒情感的人機交互解決方案已經(jīng)用到了電商、金融和物聯(lián)網(wǎng)等領(lǐng)域。

在金融領(lǐng)域，竹間智能主要服務(wù)金融、證券、保險三個子領(lǐng)域。 “比如金融業(yè)務(wù)之前問答系統(tǒng)，用戶的黏性和效率都是很低的。傳統(tǒng)的問答系統(tǒng)其實需要人工維護，而且維護成本相當(dāng)高。因為他們要寫幾萬個，甚至于十萬個以上的模板來維護，都是模板維護，它不是人工智能。所以傳統(tǒng)的客戶系統(tǒng)，他們是急需要智能的，用人工智能的技術(shù)來解決。”據(jù)簡仁賢向網(wǎng)易智能透露，目前金融部分的業(yè)務(wù)已經(jīng)成為竹間智能的主要To B業(yè)務(wù)。

其次，電商、零售、快銷這些領(lǐng)域是竹間智能最開始接觸應(yīng)用場景。 “比如電商客服場景，用戶進來有可能說，我貨訂了這么久，為什么還沒收到？對于商家來講他需要知道你的意圖是什么，是要查物流嗎？可是首先我們通過情緒識別出不滿，先安撫，然后再查物流告知貨什么時候送到。”簡仁賢稱，這樣的人機情感交互完全有別于傳統(tǒng)的機器人客服。“傳統(tǒng)的智能客服系統(tǒng)都是不智能的，如果用戶跟機器人講，我這個貨訂了好幾天了都還沒收到。機器人會回復(fù)：我猜你要問的是，1，2，3.......然后你再選，然后選完以后可能最后再給你選擇。”簡仁賢說到。

另外，竹間智能目前還利用 22種人臉屬性以及9種時尚穿著識別，為美妝導(dǎo)購產(chǎn)業(yè)服務(wù)。“包括快銷品、護膚品、化妝品，跟臉有關(guān)系的場景都可以用到，我們可以依據(jù)人臉屬性和情感情緒，做適時的個性化推薦和導(dǎo)購。”簡仁賢說。

第三個落地場景是物聯(lián)網(wǎng)部分，包括機器人、手機、電視等。 “這三個應(yīng)用領(lǐng)域是可以融合的，比如說機器人公司將產(chǎn)品賣給銀行網(wǎng)點的，剛好我們有銀行的知識，就可以用上了。我們的商業(yè)模式是一個體系的，這樣容易把服務(wù)串起來。”

簡仁賢表示，公司的目標(biāo)是在未來兩到三年，通過融合視覺、聲音、文字三種情緒識別技術(shù)，做出一套完整的多模態(tài)人機交互解決方案。當(dāng)然，這個解決方案是可以高度定制化的。

對于未來的商業(yè)模式，簡仁賢認(rèn)為，情緒情感識別是非常專業(yè)和垂直的技術(shù)，是在走大公司沒有專注的事情，也不會和市面上特別火的圖像識別公司產(chǎn)生沖突。， “其實在AI的領(lǐng)域里，只有靠小公司才有辦法在特定領(lǐng)域里做出來一些場景，大公司不可能為其它的公司需要AI場景的做定制化服務(wù)。”簡仁賢表示，竹間智能未來會給一個標(biāo)準(zhǔn)的解決方案，然后在標(biāo)準(zhǔn)的解決方案上面為客戶進行定制化。

“很多人說服務(wù)機器人不看好，我說服務(wù)機器人在未來三五年會很流行，特別是在無人店。”簡仁賢表示，我們現(xiàn)在希望把服務(wù)機器人變得很智能，把情感元素加進去，把意圖元素加進去，融合各式各樣的場合。(完)

關(guān)注網(wǎng)易智能公眾號（smartman163），獲取人工智能行業(yè)最新報告。