3月2日，深度學習技術與應用國家工程實驗室揭牌， 林元慶 任主任。這是中國首個國家級的深度學習實驗室， 百度 也喊出了“做成國內最大深度實驗室”口號。李彥宏在會上說，百度要做深度學習“國家隊”。國家隊要干什么？如何分工？怎么干？林元慶在現場的演講中做了大體介紹。本文帶來現場實錄。

林元慶：下面我跟大家分享一下我們深度學習實驗室接下來的計劃。之前我們跟共建單位清華、北航經過了幾輪的討論，在這里我簡要介紹一下我們在這個國家工程實驗室到底要做些什么，我們一些初步的計劃是什么。下午我們這幾個單位還會再進行一下workshop，未來會討論這個深度實驗室的規劃。

人工智能 現在不但是百度的戰略，應該也是國家的戰略。中國政府對這個方向也是高度重視，人工智能現在確實是整個行業，甚至一個國家的戰略。

人工智能在過去這幾年經歷了從量變到質變的一個過程，去年特別熱的一個話題是谷歌的AlphaGo戰勝了圍棋冠軍。包括右邊這張圖我們看到的自動駕駛，我還記得在2012年的時候，谷歌第一次發布自動駕駛視頻，我還在想這個東西哪一年會實現？當時覺得會非常遙遠。但是短短幾年，自動駕駛已經是很多公司扎扎實實的目標了。在百度我們希望能實現三年的商用，五年量產的目標。

人工智能面臨的挑戰是系統性的

我想說的是，人工智能其實是一個非常大的系統工程，其實是需要很多方面的因素結合在一起。這里面提到了人工智能的四大要素，可能在座的各位曾經聽過人工智能很重要的是深度學習、 大數據 和大計算，其實大應用也是非常重要的。我想用這張幻燈片來解釋一下為什么大應用是非常重要的， 有了一些初始的算法，有了一些初始的數據，可以搭建一些初始的技術，然后我們這邊發布一些產品或者是服務，有了這些產品和服務的話，我們能夠搜集到更多的數據，這樣的話，數據跟算法一起迭代，能夠演化出更好的算法。

人工智能研發軌跡

當然有了更好的算法，我們就有更好的技術，有更好的技術，我們就有更好的產品，就會使更多的用戶來用，這是一個正循環。也正是因為這個正循環，人工智能演化的軌跡跟普通傳統的技術是不一樣的。比如我們平常說的精密機床，它可能是幾十年非常線性的往上進步。但是人工智能不是這樣的，人工智能的技術可能在前期會是線性的慢慢的往上進。但是當這個正循環真正起作用的時候，它的發展是非常快的。因此，不管是技術水平或者是應用的深度和廣度都會有一個迅速的體現，這個其實是對于人工智能技術的研發非常重要的。從這個圖里面也解釋了剛才我們看到，要做人工智能技術，我們這四個大要素都需要有很好的技術，這樣的話，我們才能夠研發出真正非常強大的人工智能的技術。

基于這樣的考慮，去年我們籌備深度學習實驗室的時候聯合了清華大學、北京航天航空大學還有電子四院，也是希望在這幾個方面同時發力。在這個實驗室里我們準備搭建七個平臺，百度參與 深度學習平臺 ，清華會參與生物特征識別平臺、視覺感知平臺，北航會參與視覺感知平臺和新型的人機交互，電信研究院會參與知識產權平臺和標準化平臺。

標準化平臺其實也是非常重要的，我們很多人工智能的技術一定要變成一個標準，讓它得到廣泛的應用。 中間這個是我們通常說的人工智能的基礎技術，包括聽的、看的還有理解的。最基礎的就是我們要搭建我們深度學習的平臺。我們在這個深度學習的國家工程實驗室，其實基礎是PaddlePaddle深度學習平臺。但是我們往上面研發的是整個人工智能一系列的技術。

深度學習平臺

深度學習平臺，一方面我們要開放我們的PaddlePaddle，這是我們去年9月份就已經做的。我們不單單要開放PaddlePaddle，我們還要 開放深度學習 的 計算模塊 ，這里面會有GPU，還有大機型的CPU。我們希望建成中國最大的深度學習平臺。

聽覺平臺

聽覺平臺，包括語音識別、語音合成、語義理解，還有后端的一些很多的資源。

視覺感知平臺

視覺感知平臺包括的方面比較多，包括我們的檢索跟識別，包括清晰度圖像識別，我們也正在搭建醫學影像分析，比如說我們希望拿到一張CT，來分析這個病人是不是有癌細胞。

生物特征識別平臺

生物特征識別平臺，我們能夠單獨拿出來，這是一個非常重要的方式。其實我們應該在兩個禮拜之前，我們的人臉識別獲得了MIT的十大突破技術之一。我們在這個工程實驗室，希望生物特征的識別、人臉識別、聲紋識別、虹膜識別等身份特征的識別做成一個能夠廣泛應用的技術。

新型人機交互平臺

新型人機交換平臺，這個里面會融合計算機視覺的AR，百度最近也成立了一個事業部，就是純語音的，用非常自然的這種交互系統，我們最后希望能夠把這些系統都放在一起，是一個基于AI的交互系統。包括我們最近這幾年基于觸摸的，就是在那個基礎上，我們想建立的基于AI的方面，這里面包括語音、語義識別和理解能力，還有計算機視覺的能力。

標準化服務平臺

剛才也提到，我們希望把我們研發出來的很多的技術都標準化。因此，我們也會在這個工程實驗室里面推進標準化平臺的建設，這樣的話，希望很多研發出來的技術，當它足夠成熟的時候，能夠應用在各個行業。

知識產權

知識產權的保護也是非常重要的，我們希望成為中國甚至是世界上最好的人工智能實驗室，我們研發出來的很多技術，我們也需要去做非常好的知識產權的保護。這個里面還包括知識產權的一些分析，比如說能夠分析人工智能這個方向的趨勢各個方面，對于我們技術的研發提出建議，哪些技術是非常重要的，直到最后知識產權的保護。

總體目標

我剛才提到了，人工智能的技術需要從四個大要素一起來發力，我們在這四個大要素上具體是怎么做的？

第一，深度學習的平臺。 我們把我們的PaddlePaddle去開源，我們爭取把PaddlePaddle做成一個非常好的開源系統。

第二，我們會開放大規模的計算資源。 因此我們的PaddlePaddle會在這個計算資源的平臺上進行深度的優化，這是我們要做的一件非常重要的事情。這個計算資源跟PaddlePaddle我們會向社會開放和科研單位開放，他們只需要一個賬號，就可以在這個平臺上去做各種各樣的實驗和人工智能的研發。

第三，大數據。 我們會和目前的共建單位，甚至包括我們后面更多的合作單位我們來定義問題，定義問題的方式就是通過數據，或者我們叫Benchmark來定義人工智能，我們會去看哪一些人工智能的方向是人工智能領域一些非常核心的，同時也需要技術突破的。這些方向，我們百度跟合作單位會投入很大的力量，吸引非常多的科研單位到這個平臺上我們一起來做研發。我們提供深度學習平臺、大計算平臺和大數據平臺，我們一起研發，希望能夠在一些技術上取得非常大的突破。

第四，大應用。 假定我們前面的研發取得不錯的技術，這樣的話，我們希望能在百度很多的應用上很快的用起來，或者是說我們也會把這些應用推到社會上，期望通過百度這個平臺，這些研發出來的技術能夠獲得非常廣泛的應用。

百度的深度學習技術最新進展

當天下午的研討會上，林元慶首先介紹了百度在人工智能上的一些技術布局和方向，以下是文字實錄：

上午在百度大廈“深度學習技術及應用國家工程實驗室”揭牌了，今天下午我們介紹一下這幾個單位在做的一些人工智能的研究。我會第一個發言，之后各位老師都會介紹一下各自的研究方向。我首先來講一下百度的人工智能。

首先簡要介紹一下百度大腦，我會講一下計算機視覺、增強現實、語音技術和NLP。

百度的人工智能基本上可以從這三個層次上來看，中間的層次我們經常叫做百度大腦，就是人工智能的基礎技術。跟人腦一樣，百度大腦里面我們需要有聽的能力、看的能力，還有對語言的理解能力。

當然在百度特別重要的一個功能是大數據提供的推薦和預測的能力，百度現在的搜索需要去預測哪些網頁可能是你真正想看的網頁，在百度還有跟無人車相關的決策規劃、運動和控制。因此在這個層面上，基本上構成了百度大腦的一些非常核心的基礎技術。

最底下是來支持和研發這些技術的，我們叫機器學習平臺，特別是深度學習平臺。這里面有PaddlePaddle的深度學習平臺，有開源的平臺，還有大規模計算，包括CPU、GPU、FPGA。當然我們也很需要大數據來做訓練。

在這個平臺上我們研發這些人工智能的基礎技術，有了這些基礎技術之后，我們可以有非常多的應用。比如像度秘的應用、圖片搜索、人臉閘機，甚至包括自動駕駛。百度大腦主要是幾個基礎技術，主要是語音、圖像、用戶畫像和大數據。

下面講一下計算機視覺。 這個大部分的工作是在IDL，我下面一個個來講一下。

首先是人臉識別，人臉識別包括人臉檢測和識別。人臉檢測在這個圖里面我們會看看臉在哪里，臉上的一些主要特征點在什么位置上。識別的話，一個就是來看這是不是同一個人，還是不同的人。百度人臉識別其實做得還是非常好的，我們在2014年、2015年在國際測試集上都是領先的，2016年我們在這個上面有非常大的技術突破。

下面有一些內部的數據給大家說一下這個突破到底有多大。 在2015年年底、2016年年初的時候，我們在內部的一個測試集上，把一些很簡單的東西去掉了，基本上留下的就是比較難的一些例子。因為我們不想每次看的都是99%以上，我們在內部的測試集是非常難的。在那個測試集上，當時年初的時候還是8%的錯誤率，在9月份的時候，當時大概是開百度世界大會的時候，我們把錯誤率降到了大概是2.3%，這是非常大的。平常我們說把錯誤率降低20%、30%或者是50%，這個其實是幾倍的降低，我們現在基本上已經做到了低于1%，在這個測試集上。因此大家能看到，基本上我們在一個已經非常好的系統上，它的性能提高了接近10倍，這是非常大的一個突破。就是因為我們有了這些突破，我們有一些非常有意思的應用。

我們在百度大廈和百度科技園的樓里面都已經置上了這個人臉識別閘機系統，我們已經有20多條線在用這個系統。 這里面百度的員工每天進出百度的大廈，現在也都是用這個系統，現在百度總共有5萬名員工，主要是在百度大廈和百度科技園有1萬多的員工注冊了這個系統，每天他們就可以用這個來進出。

我想問大家一個問題，人臉閘機這個技術，我們在2008年奧運會的時候就聽說了，當時說2008年的奧運會可以用刷臉來進出這個場館。為什么我們在過去接近10年的時間都沒有看到這個技術真正的落地？包括在烏鎮的西柵景區，我們從去年的世界互聯網大會上，在烏鎮就布了人臉進出烏鎮的景區，一直運行了五六個月的時間。

為什么現在這些技術才真正的落地，以前說了十年還沒有真正的落地？這對技術的門檻還是要求非常高的。比如我們剛才說的百度進出門的閘機系統，首先要讓這個系統幾乎是接近于零的誤通過率，不是百度的人，就一定不能讓他通過，因此要求這個系統非常嚴格，每一個人來，他都要非常仔細的看，非常的嚴格。同時是百度的人，你又要放他進去，因此這兩個是非常矛盾的。如果是一個百度的人，不能讓他等半天就是進不去。因此，這個只有單獨的技術做到極致的時候，才有可能發生。

我們現在有很多人工智能技術的落地。百度非常追求的就是以技術為導向，真正把技術做到極致，然后才非常扎實的去落地，我們這個已經做得是非常好了。這是我非常喜歡說的一個例子，今天上午我在百度大廈也給一些朋友們看了，今天下午有很多學生沒有參加上午的活動。大家能找出來這個圖里面哪一個是我嗎？這是我自己的一張高中畢業照，這個其實是挺難的，你們比較一下，這兩個人從外表來看差別其實是非常大的。我們的人臉識別的技術，我們做到非常靠前的一種程度。

我舉的這個例子跟我們幾個月之前在《最強大腦》上面做的那個比賽相比要容易很多，主要是兩個方面。一個是《最強大腦》那個比賽看的是小學畢業照，我這里面還是高中畢業照，高中畢業照要容易很多。還有《最強大腦》的比賽里面基本上是30張的照片里面去找，而不是1張，因此這個難度要大很多，但是百度的人臉識別技術依然能做得非常好。

下一個方向是我們的細粒度圖像識別。傳統的圖像識別只需要識別這是一把椅子，這是一張桌子就可以了。但是現在細粒度的圖像識別，可能就需要去識別這是哪個廠家、哪個型號的椅子。比如這里面舉的例子，傳統的可能需要去識別這是狗就行了。細粒度的圖像識別，我們就需要去識別這是哪一種狗，這是非常細粒度的。比如我不單單識別這是一只鳥，而且要去識別是這種特別的鳥，百度在這個上面其實投入了非常大的力量在做。

剛才說了，我們在國際上Performance精度做得非常明顯，核心就是注意力模型。比如說我們去識別這一只鳥，我們能夠自動的去發現哪些特征是非常有用的，比如說頭頂的顏色，或者是腹部的一些特征，通過端到端的去訓練，能夠得出哪些信息是非常重要的。

這里面是一個Demo，我們可以看一下，這是菜品的識別，我們在烏鎮落地。這里上了一道菜，打開糯米你可以拍照，能夠自動識別這個菜，這個是餐館里面的魚香茄子，同時還會告訴你它是多少卡路里。我們菜品識別這一塊，應該說是世界上最大規模的細粒度圖像識別。

圖像搜索，我想在座的很多同學可能都用過百度的圖像搜索，這里面可以以圖搜圖，這個我們索引了超過100億張的照片，能夠快速的在100億張照片里面找到你想要的照片。

我們現在的檢索很重要的就是圖片和文本的相似度，很多時候你輸入的是文本去找圖片，這個里面我們需要很好的去理解這個圖片和文本的相似度。

IDL還在做的一個事情就是圖片的圖像技術，大家可能都知道ImageNet，它大概是1千類，150萬張照片，這是一個非常重要的Benchmark。現在百度的類別做的比它大很多，因為百度是希望通過同樣的圖片識別，系統能夠真正的非常有用。因此我們識別的東西，要比ImageNet里面1千類要多得多。我們目前做完的系統是可以識別4萬類，這里面的訓練集是7千萬張照片。

我想給大家說一下，為什么這些數字有這么重要？比如說ImageNet，現在大家訓練還是3天到5天，如果是全部的模式的話是5天。這個相比是40倍的區別，相當于原來如果ImageNet要訓練5天的話，在我的大數據下要訓練半年以上，就得200天，這個明顯太慢了。百度為什么能做這個？其實也是因為我們有PaddlePaddle，還有非常大的計算集群。這也是為什么我們希望像這樣的技術可以在國家工程實驗室平臺上開放出來，很多的科研單位，或者是很多的公司都可以來用這樣一個平臺。

這里面還要提一下，圖像的技術里很重要的兩個事情，一個是物體的檢測，還有一個就是物體的分割。物體的檢測就是給你一張照片，如果圖像分類的話，只需要知道這里面有一條狗，但是不知道狗在哪里。如果是物體檢測的話，還要知道這條狗的位置，用這個框的形式表示。百度在這個上面有非常好的技術，叫做Dense-Box，這個用到了百度非常多的產品線上，這個技術做得非常好。我們現在也在研發圖片分割，我們希望能夠對圖片進行更好的一些理解。其實我下面還會提到一個我們現在在建的非常大的做視頻分割的一個團隊。

現在還有一個技術是OCR，這個應該比較容易理解。就是拍一張照片，上面如果有文字的話，我們能夠把文字檢測出來，還要知道這些文字是什么意思。如果是翻譯的話，我們還可以直接把英文翻譯成中文。百度現在的OCR應該說在國內是做得非常領先的，甚至在國際上也是做得非常領先的。我們其實幾年以來都是有5個指標是世界第一。

這里面有兩個Demo我們可以看一下，這是拍身份證的，比如說就這么一拍，我們下面的信息就可以直接提取出來了。我們也可以拍銀行卡，這個都已經在產品里面了，現在拍銀行卡的功能都已經在百度錢包里面了。

我剛才提到百度正在搭建一個非常重要的團隊，就是對于視頻有比較好的理解。在座的也有很多清華或者各個學校來的學生，如果大家在這個上面有興趣的話，應該考慮到百度來，我們一起來做這個事情。

我們覺得下一步計算機視覺里面非常重要的一個事情就是視頻的理解，當然視頻的理解分兩部分，一部分是我們叫LowLevel的，我們希望這個視頻知道這些是路面，這些是車，這些是樹，另外是建筑物。我們希望在這個層面得到99%以上的精度，在這個領域里面大家知道這是非常難做的一個事情。

百度現在正在搭建一個非常重要的團隊，就是我們希望做醫療圖像的分析。比如說CT的圖片，進來之后我們希望利用人工智能的方法，或者是圖像識別的方法去看這個里面是不是有癌細胞，還是所有的細胞都是正常的。因此，我們認為這個應該會是AI在醫療上面一個非常重要的落地方向。

下面我簡要說一下增強現實。增強現實基本上系統就是這樣的，前面有各種傳感器，這個傳感器可能包括攝像頭、GPS和MU。之后我們會做場景的理解，包括物體的檢測和識別，還有攝像機自己的三維重建，還有姿態的識別。然后，我們把這些放在一起，就是做帶有語義理解的三維重建。這樣的話，我們可以根據用戶看的角度各個方面做圖像渲染，然后推送給用戶。這個里面我們還可以加入交互的功能。

在這里給大家看一下我們做的一個Case，這個大家能看到，在這個明信片上，我們現在看到的這個圖全部是手機的截屏，所有的程序都是在手機上實時Run的。當我們把明信片拿起來的時候，這些花落到明信片上，不管你怎么動，或者是攝像頭怎么動的話，我們看到那個花就像黏在這個明信片上。這個里面需要去理解這個明信片3D的姿態，我們需要做很好的跟蹤和三維重建。這些就像我剛才說的，全部是在手機上實時完成的。這是我剛才說的互動場景，在手機前面把手掌打開，有一只熊可以坐在手掌上。

剛才我們看到的都是看的能力，百度還有非常強的聽的能力，這里面包括語音識別、語音合成、語義理解，還有現在非常重要的語音的喚醒。就是一個設備，你希望跟它一說話，它馬上就知道是在跟它說話。這里有一個例子，這是一個韓喬生老師語音合成的，我們用他的聲音合成了一段我們想說的話。

現在百度語音這一塊，除了度秘，我們會提到一個非常大的應用就是智能客服和金牌銷售的例子。這個圖里面說了，傳統的人工客服需要非常多的人，現在如果要做自動化的話，問題在于客戶很多時候就不滿意，核心的核心還是技術需要進步，能做到非常好才可以用。

下面我簡要介紹一下度秘。度秘我們在兩個禮拜之前成立了事業部，將會成為百度人工智能這一塊非常重要的一個方向。我們希望搭建這么一個平臺，能夠讓人跟機器非常流暢地，或者是非常自然地進行交流。

這個系統就是我們去年做的一站式的高考解決方案，就是你不要再去到處搜集材料了，你只要進來，告訴我你想問什么問題，我直接給你回答，我自動的在后臺把這些資料都找出來，把這個提供給你，就是一站式的，去年我們還做了一個Case是全球的智能籃球解說員。

這里面也有一個例子，我們在度秘這個平臺上能夠把菜品推薦或者是餐館的推薦做得更流暢，體驗的話就是你不需要到處去找材料，到處去找各種各樣的網頁，直接打開度秘，你問它問題就行了。

這些很多的功能其實都在線下，現在度秘的功能里面已經是線上的一些功能了。這是一個智能日程管理的例子，我想提醒大家注意的是，這里面能夠有很好的多輪的對話，它能夠記住之前說過的一些內容。

對于人工智能來說，現在確實是一個非常熱的時期，但是其實也剛剛開始。百度在人工智能的四大要素上，早上深度學習實驗室揭牌的時候我也提到，我們在這四個要素上，國家工程實驗室當中都有非常重要的體現。百度的四大核心能力，圖像能力、語音能力、用戶畫像能力和自然語言處理的能力，確實百度在過去這幾年都有非常好的積累。

李彥宏早上也說，人工智能是百度核心的核心，從去年年初開始，他說人工智能是百度的下一幕，一整年下來，我們現在就說人工智能確實是百度核心的核心。 我特別要強調的是，百度的人工智能會是非常開放的，我們今天早上揭牌了國家工程實驗室，也是一個非常重要的體現。我們的PaddlePaddle會在上面開源，我們會開放計算資源，開放大數據，還會開放其他的產品給大家，因此這個會是一個非常開放的平臺。包括我們現在已經做得很好的，給大家展示的做得非常不錯的人工智能的技術，你都能在ai.baidu.com上面找到。

就像我剛才說的，其實我們是剛剛開始，非常期待有這個國家工程實驗室這個平臺，能夠跟我們的共建單位一起，后續聯合更多的單位，我們一起來把人工智能做成一個非常棒的事情，謝謝大家！