雷鋒網(wǎng) (公眾號(hào)：雷鋒網(wǎng)) AI科技評(píng)論按，由中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）主辦，福州市人民政府、福州大學(xué)承辦，福建師范大學(xué)、福建工程學(xué)院協(xié)辦的2017中國(guó)計(jì)算機(jī)大會(huì)（CNCC2017）于今日（10.26）在福州·海峽國(guó)際會(huì)展中心正式開(kāi)幕。今年大會(huì)的主題是“人工智能改變世界（AI Changes the World）”，在上午的特邀報(bào)告環(huán)節(jié)，美國(guó)國(guó)家工程院院士、微軟全球執(zhí)行副總裁、ACM/IEEE Fellow沈向洋博士帶來(lái)了主題為《理解自然語(yǔ)言：表述，對(duì)話，意境》的分享。雷鋒網(wǎng)作為獨(dú)家戰(zhàn)略合作媒體，在現(xiàn)場(chǎng)進(jìn)行獨(dú)家跟蹤報(bào)導(dǎo)。

以下為他的分享內(nèi)容：

非常高興今天來(lái)到美麗的福州，感謝大家的邀請(qǐng)。我今天的主題是《理解自然語(yǔ)言：表述，對(duì)話，意境》，今天主要給大家講的是人工智能中我個(gè)人覺(jué)得最重要的研究方向。

得益于大計(jì)算，大數(shù)據(jù)和精準(zhǔn)模型，人工智能在近年來(lái)快速發(fā)展，特別是在深度學(xué)習(xí)方面。

另外還有感知和認(rèn)知，感知中的視覺(jué)和語(yǔ)音進(jìn)展飛速，而認(rèn)知和語(yǔ)言、理解的發(fā)展速度有限。

我們感知研究的飛速發(fā)展，有兩個(gè)方面，一是計(jì)算機(jī)視覺(jué)圖像識(shí)別，二是計(jì)算機(jī)語(yǔ)音識(shí)別合成。

我們先來(lái)講語(yǔ)音識(shí)別，微軟目前在標(biāo)準(zhǔn)測(cè)試上的精度已經(jīng)達(dá)到人類(lèi)水平，最新的誤差率到5.1%。大家都知道，就算是人類(lèi)的誤差率，也分普通人的誤差還是專(zhuān)家的誤差。我們今天做的這個(gè)效果非常好，誤差率比專(zhuān)家的水平都要低。

下面是我們研究的152層殘差神經(jīng)網(wǎng)絡(luò)，我們?cè)谟?xùn)練神經(jīng)網(wǎng)絡(luò)的時(shí)候遇到了很多困難，比如到底要多少層才能做到最優(yōu)的結(jié)果。? ??

深度學(xué)習(xí)在圖象識(shí)別中的總體趨勢(shì)是更深更準(zhǔn)。下面有一個(gè)簡(jiǎn)單的介紹，可以看到，這幾年隨著模型的深度越來(lái)越深，誤差也越來(lái)越低。

前面都是我的鋪墊，接下來(lái)進(jìn)入正題。我認(rèn)為，在下一個(gè)十年里，人工智能的突破在自然語(yǔ)言的理解，我最近老講的一句話就是“懂語(yǔ)言者懂天下”。

我們自己理解自然語(yǔ)言的三層層次是機(jī)器學(xué)習(xí)、機(jī)器智能、機(jī)器意識(shí)。第一層是怎么去表述，我們用機(jī)器學(xué)習(xí)就可以學(xué)到很多東西。第二層就到了機(jī)器智能領(lǐng)域，對(duì)話以及提問(wèn)，這一步就比較困難了。第三點(diǎn)就是到了機(jī)器意識(shí)，意境，比如說(shuō)為什么有的人講的東西你覺(jué)得比較有深度，就是從這個(gè)角度來(lái)講。實(shí)際上這三個(gè)層次的東西是可以轉(zhuǎn)換的。我們小的時(shí)候?qū)懽魑模谝徊绞怯洈ⅲ诙绞钦撟C，第三步就是當(dāng)你文章開(kāi)始寫(xiě)得有點(diǎn)水平了，我們就開(kāi)始寫(xiě)詩(shī)歌，寫(xiě)散文。

我今天有機(jī)會(huì)從這三個(gè)方面和大家探討。第一步就是已經(jīng)做的相當(dāng)不錯(cuò)的機(jī)器語(yǔ)言，我用兩個(gè)微軟的工作來(lái)介紹，第一個(gè)就是微軟認(rèn)知服務(wù)，第二個(gè)就是微軟應(yīng)用軟件。

第一步我簡(jiǎn)單介紹一下什么是API，這里有一張圖片，這張照片上面有關(guān)于這個(gè)人的表述，這個(gè)人的動(dòng)作、表情等。

大家有興趣也可以到微軟的網(wǎng)頁(yè)上看到更多介紹，我們還有很多其他視覺(jué)的服務(wù)。

我想跟大家解釋一下這里面研究的問(wèn)題是什么，其實(shí)就是圖像的描述，以及它想解決什么樣的問(wèn)題。首先你要有一個(gè)語(yǔ)義空間，要把圖像與文字聯(lián)結(jié)起來(lái)。通過(guò)深度結(jié)構(gòu)語(yǔ)義模型把圖像和文字均表征成語(yǔ)義空間內(nèi)的向量，在此空間中進(jìn)行語(yǔ)義相似度計(jì)算。

就算我們有很好的想法，如果不去做系統(tǒng)，那么大家就看不到你的問(wèn)題在哪里。我們有一個(gè)項(xiàng)目，里面會(huì)有很多用戶提供問(wèn)題，其中很好的一點(diǎn)就是用戶會(huì)幫助你提供建議，以及發(fā)現(xiàn)系統(tǒng)的問(wèn)題。比如在系統(tǒng)中的有些場(chǎng)景下，我們覺(jué)得不好，但是用戶覺(jué)得好，或者我們覺(jué)得還行，但是用戶覺(jué)得也不行，另外也有我們和用戶都覺(jué)得不行的部分。

在做大數(shù)據(jù)的時(shí)候，大家要明白，一定要去分析數(shù)據(jù)。其好處就是不斷迭代，接下來(lái)會(huì)越來(lái)越好。微軟的圖像描述服務(wù)系統(tǒng)已經(jīng)根據(jù)收集到的用戶數(shù)據(jù)進(jìn)行了多次迭代。

圖像描述目前在現(xiàn)實(shí)生活中也有應(yīng)用，比如微軟每天服務(wù)數(shù)百萬(wàn)微軟辦公軟件用戶，并應(yīng)用Seeing AI軟件服務(wù)盲人。我覺(jué)得從描述這件事情上，就可以有很多應(yīng)用。

接下來(lái)我想講的就是機(jī)器智能。第一就是對(duì)話即智能，從回答問(wèn)題到提出問(wèn)題，從一問(wèn)一答到連續(xù)對(duì)話，之前是機(jī)器閱讀理解，之后是問(wèn)答對(duì)話生成。

在閱讀文本及提問(wèn)時(shí)，首先要深度理解語(yǔ)言，不僅要回答問(wèn)題，還要能提出問(wèn)題，閱讀并找出關(guān)鍵點(diǎn)，圍繞關(guān)鍵點(diǎn)生成問(wèn)題。比如講讀了一段文字以后，對(duì)它的理解怎么體現(xiàn)出來(lái)，或者我讀了這篇文章我可以自己提問(wèn)，另外還可以回答。

我再簡(jiǎn)單解釋一下，這里有一個(gè)記憶機(jī)制，并且需要端到端對(duì)話生成模型。要在回復(fù)生成的過(guò)程中提煉主要的觀點(diǎn)，然后綜合對(duì)話情感，用戶畫(huà)像以及記憶，一個(gè)對(duì)話往往會(huì)發(fā)生多次話題的轉(zhuǎn)換，時(shí)間越長(zhǎng)的對(duì)話，越有機(jī)會(huì)被自然地引導(dǎo)入期望的話題。

第三點(diǎn)就是我上面提到的，理解和表達(dá)意境。從機(jī)器描述到機(jī)器對(duì)話，到底智能體現(xiàn)在哪里？講圖片的時(shí)候，你可以理解和表達(dá)意境，可以有意識(shí)的腦補(bǔ)。圖片評(píng)論就是從客觀描述到主觀評(píng)論，但再到天馬行空的意境，就是只可意會(huì)，不可言傳的境界。

到現(xiàn)在，人工智能的研究是通過(guò)人做一些東西，再加上環(huán)境，有這個(gè)的一個(gè)表征。通過(guò)你的輸入，機(jī)器把這些輸入進(jìn)來(lái)的信息做成機(jī)器語(yǔ)言，再進(jìn)行深度學(xué)習(xí)。今天絕大多數(shù)人工智能的科研都是停留在這一步，真正有意義的、對(duì)人類(lèi)有貢獻(xiàn)的，就是要對(duì)機(jī)器的結(jié)果進(jìn)行反向推理。我們來(lái)看一下Image? Caption的進(jìn)步，它的表述和評(píng)論都充滿了人情味。

微軟最近上線的一個(gè)比較激動(dòng)人心的消息就是小冰寫(xiě)詩(shī)，下面就是講生成詩(shī)歌的過(guò)程。生成單句詩(shī)：前向RNN模型+反向RNN模型；生成整句詩(shī)：基于遞歸神經(jīng)網(wǎng)絡(luò)的層級(jí)生成模型。

下面是小冰寫(xiě)詩(shī)的兩個(gè)例子，這是由照片到詩(shī)歌的創(chuàng)作過(guò)程：

我再講講微軟對(duì)話式人工智能產(chǎn)品的布局，第一個(gè)就是智能搜索，第二個(gè)是智能助理，第三個(gè)是智能客服，第四個(gè)是智能聊天。

我覺(jué)得每一次時(shí)代的變遷，都是在重新定義人類(lèi)和世界的關(guān)系。

現(xiàn)在人類(lèi)到世界之間，AI最了不起的就是對(duì)我們?nèi)四X的理解，可以從IQ和EQ兩個(gè)方面說(shuō)起。任何一個(gè)時(shí)代你都要思考什么改變了我們的生活。

最后講一下，小冰目前已經(jīng)登陸中日美印尼五個(gè)國(guó)家，具體如下圖所示。

最后我要強(qiáng)調(diào)一句：“懂語(yǔ)言者得天下”。“不要人夸顏色好，只留清氣滿乾坤”。我的演講到此結(jié)束，謝謝大家。

演講結(jié)束之后，沈向洋博士與媒體進(jìn)行了簡(jiǎn)短的交流，以下為媒體提問(wèn)。

問(wèn)：沈老師您好，微軟上個(gè)月先是和Facebook一起推出ONNX，然后又聯(lián)手亞馬遜，推出了一個(gè)深度學(xué)習(xí)庫(kù)Gluon。與這些企業(yè)聯(lián)手，對(duì)于微軟有什么重大的意義？

沈向洋：我覺(jué)得道理很簡(jiǎn)單，就像前面提到的，傳統(tǒng)以為計(jì)算機(jī)大會(huì)都像微軟或者是真正做計(jì)算機(jī)軟硬件的企業(yè)為主，其實(shí)我們今天看了一下，有很多自然學(xué)科、基礎(chǔ)學(xué)科的公司也都參與其中了。融合是一個(gè)大趨勢(shì)。這個(gè)事情的發(fā)展剛才梅院士也提到了，這個(gè)世界到今天只有開(kāi)放，開(kāi)放合作才是王道，因?yàn)榻裉煺麄€(gè)這樣的發(fā)展，要向前走。

最近針對(duì)深度學(xué)習(xí)，微軟做了三件事情：

1、我們和Facebook（現(xiàn)在已經(jīng)有很多其他的公司也加入了）的合作，包括Intel等等，我們做了一個(gè)中間層的東西，其實(shí)就是一個(gè)格式（ONNX），大家都轉(zhuǎn)化成這樣一個(gè)格式以后，你把深度學(xué)習(xí)的模型編譯到任何的系統(tǒng)上，運(yùn)算的能力效率都會(huì)非常高，我們已經(jīng)做了，還再繼續(xù)向前推。

2、開(kāi)始深度學(xué)習(xí)的時(shí)候，你要去搭建深度學(xué)習(xí)的模型，用的界面是什么？包括TensorFlow、MXNet、Microsoft CNTK等等，大家做了很多東西，其實(shí)這樣反而令程序員不知道到底要什么，很多人覺(jué)得谷歌的TensorFlow做得好，事實(shí)上，其他的系統(tǒng)也有很多的優(yōu)勢(shì)。

所以，我們幾家大的公司就站在一起，大家覺(jué)得還是應(yīng)該合作，做一個(gè)公用的界面系統(tǒng)。所以我們最近也做了Gluon，大家粘在一起。

3、還是要有一個(gè)大家熟悉的編程環(huán)境，所以我們最近做了Microsoft Studio，希望有一個(gè)非常熟悉的編程環(huán)境，大家進(jìn)來(lái)之后就是一些模型，可以Copy，一直編程到底層去。

我們會(huì)繼續(xù)和其他的公司以非常開(kāi)放合作的心態(tài)。

問(wèn)：您剛才提到Google的TensorFlow，TensorFlow現(xiàn)在覆蓋率很廣，微軟會(huì)和Google在這方面展開(kāi)合作嗎？

沈向洋：會(huì)展開(kāi)合作，我們一直都在合作，比如說(shuō)ONNX，我們非常希望TensorFlow也把它做成中間層，我們都很Open，如果我們做這樣一個(gè)開(kāi)放的系統(tǒng)的話，對(duì)任何的公司都是開(kāi)放的。

問(wèn)：沈老師，您在演講中提到微軟小冰，微軟小冰在微軟人工智能生態(tài)的地位是怎么樣的？

沈向洋：我剛才已經(jīng)講了，對(duì)話是人工智能產(chǎn)品線的話有四條線，我們現(xiàn)在都在做：智能搜索、智能助理、智能客服、智能聊天機(jī)器人。所以，對(duì)于小冰來(lái)講，實(shí)際上很多人覺(jué)得小冰好像不是很有用，只是隨便聊聊天，我個(gè)人的看法是完全相反的，它真正智能的地方是連續(xù)對(duì)話的能力在所有其他產(chǎn)品的能力之上。

問(wèn)：傳統(tǒng)上，我們會(huì)以為計(jì)算機(jī)大會(huì)是以微軟或者是真正做計(jì)算機(jī)軟硬件的企業(yè)為主，但現(xiàn)場(chǎng)有很多自然學(xué)科、基礎(chǔ)學(xué)科的公司也都參與其中，現(xiàn)在越來(lái)越多的領(lǐng)域都會(huì)在一起，這種融合現(xiàn)象是未來(lái)的趨勢(shì)嗎？

沈向洋：這是必須的，我1980年上大學(xué)的時(shí)候，很多大學(xué)還沒(méi)有計(jì)算機(jī)系，中國(guó)的計(jì)算機(jī)系差不多是在1979-1981年這個(gè)階段才成立的。以前提到計(jì)算機(jī)是在哪里呢？通常要么是在數(shù)學(xué)系弄理論，要不然就是在自動(dòng)化系做應(yīng)用，或者是電子系，后來(lái)才真正成立了計(jì)算機(jī)系，美國(guó)最早成立計(jì)算機(jī)系也就是60年代中后期。

融合是毫無(wú)疑問(wèn)的，但是接下來(lái)我覺(jué)得更加激動(dòng)人心的地方是人工智能在向后的發(fā)展。現(xiàn)在這幾年的發(fā)展，我覺(jué)得更多的是人工智能在各個(gè)學(xué)科的融合，特別是腦科學(xué)、心理學(xué)、哲學(xué)，在這些方面我覺(jué)得會(huì)有更多的發(fā)展。腦科學(xué)是我自己最看重的一個(gè)領(lǐng)域，我覺(jué)得在基礎(chǔ)科研方面大家的投入還遠(yuǎn)遠(yuǎn)不夠，認(rèn)識(shí)還遠(yuǎn)遠(yuǎn)不夠深刻，當(dāng)然對(duì)于這個(gè)的研究我不是很深入。腦科學(xué)現(xiàn)在作為一項(xiàng)科學(xué)，還不那么科學(xué)，科學(xué)就是你要做實(shí)驗(yàn)，要有大量的數(shù)據(jù)，要重復(fù)實(shí)驗(yàn)。而腦科學(xué)則很難，今天還沒(méi)有到這個(gè)階段。我相信以后10年、20年，腦科學(xué)家、AI是最基本的。

包括我今天講的自然語(yǔ)言的理解，我們對(duì)自然語(yǔ)言理解的不是很清楚，腦在處理這些東西的時(shí)候能夠給我們一些建議。

問(wèn)：這次大會(huì)的主題是人工智能改變一切，您覺(jué)得現(xiàn)在已經(jīng)開(kāi)始改變了嗎？而且您覺(jué)得下一個(gè)爆發(fā)點(diǎn)可能在哪個(gè)領(lǐng)域？

沈向洋：我剛才在演講里面講到了，實(shí)際上這個(gè)世界人工智能是有兩個(gè)方向的：

一是感知，二是認(rèn)知。

最近感知方面的發(fā)展非常神速，主要是在計(jì)算機(jī)識(shí)別、計(jì)算機(jī)語(yǔ)音方面的。人之所以有智能，首先是我們能夠感知這個(gè)世界。大家可能不太清楚，比如說(shuō)人的信息處理，進(jìn)到腦子里面信息量的處理91%是視覺(jué)的信息，然后是聽(tīng)覺(jué)的信息，其他的觸覺(jué)相對(duì)比較小。

認(rèn)知現(xiàn)在的發(fā)展還相對(duì)比較慢，首先第一步是自然語(yǔ)言的發(fā)展，包括很多推理，這些東西對(duì)世界和人、社會(huì)的理解都還有很遠(yuǎn)的路要走。

最近的爆發(fā)點(diǎn)就是感知方面的意義，比如說(shuō)像計(jì)算機(jī)視覺(jué)，最近“刷臉”在技術(shù)上越來(lái)越可行了，還有語(yǔ)音的合成，也有很多發(fā)展機(jī)會(huì)。我們做的一個(gè)激動(dòng)人心的項(xiàng)目就是機(jī)器翻譯，實(shí)際上未來(lái)會(huì)有非常巨大的市場(chǎng)。大家可能不見(jiàn)得知道，全世界有6000種語(yǔ)言，一個(gè)人不可能都學(xué)會(huì)，學(xué)兩種語(yǔ)言已經(jīng)很了不起了，講三種語(yǔ)言講得很好的人，這個(gè)世界上幾乎沒(méi)有。

問(wèn)：目前來(lái)說(shuō)，做哪些事情可以吸引更多的海外人才回歸？

沈向洋：我覺(jué)得海外人才回歸是大趨勢(shì)，很多人現(xiàn)在都回來(lái)了，不光是剛剛念完書(shū)的人，也有工作了很多年的人回來(lái)，包括我的很多同事都看到國(guó)內(nèi)有非常多的機(jī)會(huì)，例如BAT。除了BAT，其他一些新的AI創(chuàng)業(yè)公司也有很多這樣的海歸人才。我覺(jué)得這非常正常，今天已經(jīng)沒(méi)有地區(qū)性人才這個(gè)概念了，人才都是全局性的人才，你有能力去哪里都一樣。舉個(gè)例子，RestNet的研究員賀凱明從微軟去了美國(guó)Facebook，他最近得了獎(jiǎng)，我們都覺(jué)得非常自豪，我們培養(yǎng)出了這樣的人才，這樣之后中國(guó)就損失了一個(gè)人才嗎？我覺(jué)得也不必要這樣看，可能我們從Facebook、微軟和其他地方拉回中國(guó)的人會(huì)更多。

政府方面的話，這一年，政府和高校、研究機(jī)構(gòu)從“千人計(jì)劃”開(kāi)始，做了很多事情，我的教授朋友基本上跟國(guó)內(nèi)的合作都做得非常好，例如今天演講的丘成桐院士的數(shù)學(xué)研究中心，也是一批非常優(yōu)秀的中心。

雷鋒網(wǎng) AI科技評(píng)論編輯整理。

。