科技獵中國(guó)力量在人工智能頂會(huì)崛起，這枚NLP“金牌”奧妙何在？
作者 |?
青暮
以學(xué)術(shù)界為主力軍的中國(guó)AI研究力量正在悄然變化，工業(yè)界的作用愈發(fā)凸顯，與學(xué)術(shù)界一起形成雙輪驅(qū)動(dòng)之勢(shì)。
倫敦帝國(guó)理工學(xué)院 Marek Rei 教授對(duì)ML&NLP相關(guān)會(huì)議論文的統(tǒng)計(jì)顯示，自2012年至2020年期間，美國(guó)以近4000篇論文的數(shù)量遙遙領(lǐng)先，中國(guó)、英國(guó)、德國(guó)和加拿大分別名列第二至五位。
美國(guó)科技公司在各大人工智能頂會(huì)上格外強(qiáng)勢(shì)，微軟和谷歌排名前二，IBM和Facebook也名列前十；與此形成鮮明反差的是，中國(guó)AI研究界則由學(xué)術(shù)機(jī)構(gòu)當(dāng)家，僅清華和北大躋身前十，分別排名第八和第九位。
但是在AI技術(shù)應(yīng)用火熱的推動(dòng)下，中國(guó)科技企業(yè)也逐漸從“輔助角色”進(jìn)化為中堅(jiān)力量。 在剛剛結(jié)束的NLP頂會(huì)ACL 2021上，中國(guó)的論文投稿數(shù)量已經(jīng)大幅超越美國(guó)，共有 1239 篇論文投稿來(lái)自中國(guó)大陸，其中 251 篇被接收，接收率 20.3%，工業(yè)界在其中出力甚多。
更值得欣喜的是， 字節(jié)跳動(dòng)AI La b的詞表學(xué)習(xí)方案VOLT贏得“最佳論文”獎(jiǎng)項(xiàng)。 這是ACL舉辦59年以來(lái)，中國(guó)團(tuán)隊(duì)第二次獲得會(huì)議最高榮譽(yù)，上一次是由中科院計(jì)算所研究員馮洋獲得ACL 2019年最佳長(zhǎng)論文獎(jiǎng)。此外，香港中文大學(xué)與騰訊AI Lab的合作論文成功入選“杰出論文”。
本次我們采訪到了字節(jié)跳動(dòng)AI Lab獲獎(jiǎng)?wù)撐淖髡撸蜃x者介紹他們?cè)贏CL 2021上的工作。
1
NLP的華人力量
字節(jié)跳動(dòng)獲獎(jiǎng)?wù)撐? “Vocabulary Learning via Optimal Transport for Machine Translation” 提出了VOLT方法， 能以非常低的代價(jià)學(xué)習(xí)詞表，在機(jī)器翻譯上取得了更好的性能。 而詞表幾乎可以用于所有NLP任務(wù)，團(tuán)隊(duì)也在積極推動(dòng)VOLT在其他NLP任務(wù)上的應(yīng)用。
另外這項(xiàng)工作是 從經(jīng)濟(jì)學(xué)和數(shù)學(xué)中獲取靈感 ，從而給出了一個(gè)可行的詞表學(xué)習(xí)方案。該論文第一作者許晶晶說(shuō)：“我們給出了基于最大邊際效應(yīng)的一種可能的解釋，和把詞表學(xué)習(xí)建模成一個(gè)最優(yōu)運(yùn)輸問(wèn)題的全新想法。”
論文地址：https://arxiv.org/abs/2012.15671
項(xiàng)目地址：https://github.com/Jingjing-NLP/VOLT
許晶晶于2015年進(jìn)入北京大學(xué)電子工程與計(jì)算機(jī)科學(xué)學(xué)院，攻讀博士學(xué)位，在計(jì)算語(yǔ)言學(xué)教育部重點(diǎn)實(shí)驗(yàn)室跟隨孫栩教授做研究。
2021年2月，也就是五年后，AAAI首次評(píng)選“學(xué)術(shù)新星”（New Faculty Highlight），許晶晶成功入選，是入選者中唯一的中國(guó)機(jī)構(gòu)學(xué)者。
回首五年前，許晶晶認(rèn)為自己非常幸運(yùn)，剛進(jìn)入AI領(lǐng)域的時(shí)候，恰好就是自然語(yǔ)言處理從傳統(tǒng)的淺層模型走向深度模型的過(guò)渡點(diǎn)。“對(duì)于NLP領(lǐng)域而言，深度學(xué)習(xí)在當(dāng)時(shí)還是一種比較新的方法，入學(xué)的時(shí)候比較幸運(yùn)趕上了深度學(xué)習(xí)在自然語(yǔ)言處理應(yīng)用的浪潮”。
今年中國(guó)團(tuán)隊(duì)再次獲得ACL最高榮譽(yù)，但光芒的背后，是一步一步的扎實(shí)積累。“最近幾年華人在NLP領(lǐng)域的進(jìn)步是非常大的。在15年的時(shí)候，對(duì)于一家中國(guó)研究機(jī)構(gòu)來(lái)說(shuō)，可能一年中一篇ACL，就是非常了不起的事情。隨著時(shí)代的進(jìn)步，華人的名字開(kāi)始越來(lái)越多地出現(xiàn)在會(huì)議上，這是一個(gè)可喜的進(jìn)步。相信在不久的將來(lái)，華人也可以做出很多可以引領(lǐng)整個(gè)時(shí)代潮流的工作。”許晶晶說(shuō)道。
2
來(lái)自經(jīng)濟(jì)學(xué)和數(shù)學(xué)的啟發(fā)
許晶晶對(duì)自然語(yǔ)言處理（NLP）的基礎(chǔ)研究比較感興趣，而詞表又是自然語(yǔ)言處理的基礎(chǔ)組件。
團(tuán)隊(duì)成員們非常尊重和支持她的個(gè)人研究興趣，當(dāng)她最開(kāi)始提出想要研究詞表的時(shí)候，很快就獲得了團(tuán)隊(duì)成員們的支持。
詞表，也就是把句子拆分表示的參考表，有多種形式，比如 詞級(jí)別、字符級(jí)別、子詞級(jí)別 等等，如下圖所示。
在機(jī)器翻譯架構(gòu)中，這些句子在輸入后會(huì)依據(jù)詞表拆分成token（比如”O(jiān)regon“被拆分成“O”、“re”、“gon”三個(gè)token），然后 將每個(gè)token分別表示為向量 ，再進(jìn)行神經(jīng)網(wǎng)絡(luò)的編碼、解碼，然后先輸出token級(jí)別的表示，再依據(jù)詞表組合成完整的翻譯句子輸出。
在三種級(jí)別的詞表中，詞級(jí)別簡(jiǎn)單按照詞匯水平對(duì)句子進(jìn)行分割，對(duì)應(yīng)的詞表就是語(yǔ)料中所有的單詞；字符級(jí)別把所有單詞都拆分成字母。子詞級(jí)別介于兩者之間，比如在上圖這句話中，”O(jiān)regon“被拆分成“O”、“re”、“gon”三個(gè)token，“enlisting”被拆分成“en”、“l(fā)isting”。
目前為止， 子詞級(jí)別的詞表使用比較多，并且已經(jīng)在多個(gè)任務(wù)上驗(yàn)證了效果。 因此，在目前的認(rèn)知條件下，可以暫時(shí)認(rèn)定子詞為較好的選擇。
在這項(xiàng)研究中，實(shí)驗(yàn)室團(tuán)隊(duì)就是希望找到最好的子詞詞表，以提高機(jī)器翻譯的性能和效率。
如何理解子詞表示的好處呢？比如在“enlisting”和“enlighten”這兩個(gè)單詞中，我們可以把它們拆分成“en”、“l(fā)isting”，以及“en“、”lighten”，然后我們?cè)谙蛄靠臻g中需要構(gòu)建“en”、“l(fā)isting”、“l(fā)ighten”這三個(gè)詞向量。在足夠多的詞匯量下，子詞級(jí)別需要的詞表比詞級(jí)別的要小。
從一般的意義上講， 子詞表示是一種信息壓縮 （相對(duì)于字符表示）。就好像為了理解大量的蛋白質(zhì)數(shù)據(jù)，我們用氨基酸作為基本單元來(lái)進(jìn)行分類，而不是直接用原子作為基本單元。但也因此， 子詞級(jí)別的詞表相比字符級(jí)別會(huì)更大。
那么詞表是不是越大越好呢？ 實(shí)際上在BPE算法中隨著詞表增大，新增的子詞匹配的多是稀疏單詞，也就是信息熵降低，這樣反倒不利于模型學(xué)習(xí)。
具體而言，對(duì)于每一種語(yǔ)言來(lái)說(shuō)，常用的單詞都是少數(shù)的。或者準(zhǔn)確點(diǎn)說(shuō)， 每一種語(yǔ)言的單詞使用頻率是呈現(xiàn)長(zhǎng)尾分布的。
這意味著，整個(gè)機(jī)器翻譯系統(tǒng)中，對(duì)這些低頻詞匯進(jìn)行子詞分解，在后續(xù)的編解碼中，并不會(huì)對(duì)信息熵的變化帶來(lái)太大收益。
因此除了信息熵，詞表大小也是衡量詞表的重要因素。
團(tuán)隊(duì)由此聯(lián)想到了經(jīng)濟(jì)學(xué)中的經(jīng)典現(xiàn)象—— 邊際收益 。
通俗來(lái)說(shuō)，邊際收益就是指 “剛開(kāi)始的幾口蛋糕真香” 以及 “最后一口蛋糕好膩”。 我們可以把“吃一口蛋糕”定義為投入，“真香感受”定義為產(chǎn)出，邊際收益就是投入產(chǎn)出比。“剛開(kāi)始的幾口蛋糕真香”的投入產(chǎn)出比高，“最后一口蛋糕好膩”的投入產(chǎn)出比低。
在子詞詞表構(gòu)建中，隨著詞表大小的增加，一般來(lái)說(shuō)，token的信息熵收益會(huì)在某個(gè)時(shí)刻之后達(dá)到巔峰并且下降。
而這個(gè)性價(jià)比臨界點(diǎn)，正是團(tuán)隊(duì)要尋找的目標(biāo)。
因此，團(tuán)隊(duì)為了建模這種平衡，引入了邊際收益的概念。團(tuán)隊(duì)將信息熵看成是邊際收益中的利益，詞表大小看成是邊際收益中的代價(jià)。隨著詞表的增加，不同大小的詞表的信息熵收益是不同的。
團(tuán)隊(duì)使用邊際收益的概念定義了衡量詞表質(zhì)量的指標(biāo) MUV ，并且觀測(cè)到了MUV指標(biāo)和下游任務(wù)的相關(guān)性。
MUV可以理解成為信息熵對(duì)詞表大小的負(fù)一階導(dǎo)數(shù)，也即是我們?cè)谥饌€(gè)增加token來(lái)構(gòu)建詞表的時(shí)候，每增加一定量的token導(dǎo)致的信息熵增益。我們的目標(biāo)，就是要在巨大的詞表空間中尋找MUV的最高值。
這樣就可以把詞表學(xué)習(xí)轉(zhuǎn)化為搜索具有最大MUV分?jǐn)?shù)的詞表問(wèn)題。 為了解決該問(wèn)題，作者提出了一種基于最優(yōu)運(yùn)輸?shù)姆桨浮?/span>
為了便于大家更方便地理解 最優(yōu)運(yùn)輸 ，這里對(duì)最優(yōu)運(yùn)輸先做一個(gè)簡(jiǎn)單的回顧。
大約250年前，法國(guó)數(shù)學(xué)家蒙日在其作品中對(duì)這類問(wèn)題進(jìn)行了嚴(yán)格分析，下面是一個(gè)比較直觀的例子。
假設(shè)在戰(zhàn)爭(zhēng)中，我方有一些前線（藍(lán)色星星）發(fā)出了需要增兵的信號(hào)，而我們的士兵分散在不同的后方根據(jù)地（紅色旗幟）。不同的前線需要的士兵個(gè)數(shù)不同，后方根據(jù)地的士兵個(gè)數(shù)也不同，前線距離后方根據(jù)地的距離也不同。 問(wèn)如何設(shè)計(jì)轉(zhuǎn)移方案，使得總轉(zhuǎn)移代價(jià)最低？ 這就是最優(yōu)運(yùn)輸想要回答的問(wèn)題。
那么，如果要用最優(yōu)傳輸來(lái)解決詞表學(xué)習(xí)問(wèn)題， 首先要將問(wèn)題進(jìn)行重建。 作者們將句子拆分成字符后的表示看成是后方士兵，將候選詞表看成是前線。為了避免不合法的搬運(yùn)，作者們將不合法的搬運(yùn)設(shè)為無(wú)窮大（比如字e搬運(yùn)給詞cat是不合法的）。每種搬運(yùn)方式對(duì)應(yīng)一種詞表，那么 我們只需要把搬運(yùn)代價(jià)定義成MUV相關(guān)分?jǐn)?shù)，就可以實(shí)現(xiàn)搜索的目的。
那么如何將詞表學(xué)習(xí)的問(wèn)題轉(zhuǎn)化成為最優(yōu)運(yùn)輸?shù)拇鷥r(jià)呢？作者對(duì)問(wèn)題進(jìn)行了簡(jiǎn)化。簡(jiǎn)化過(guò)程分為兩步， 一個(gè)是對(duì)搜索空間進(jìn)行壓縮，一個(gè)是對(duì)目標(biāo)進(jìn)行近似。 對(duì)技術(shù)細(xì)節(jié)感興趣的讀者，可以看看VOLT方法的偽代碼：
以下是VOLT生成的詞表在雙語(yǔ)翻譯的結(jié)果，可以看出 新方法學(xué)到的詞表比經(jīng)常使用的詞表大小小很多，效果也很有競(jìng)爭(zhēng)力。
以下是在多語(yǔ)翻譯的結(jié)果，總體來(lái)看， 在三分之二的數(shù)據(jù)集上效果也是較好的。
VOLT不需要結(jié)合任務(wù)的下游任務(wù)訓(xùn)練，因此非常簡(jiǎn)單高效。 但許晶晶轉(zhuǎn)而說(shuō)道，“這其實(shí)是一把雙刃劍，如果可以結(jié)合下游任務(wù)的話，有機(jī)會(huì)針對(duì)特定情況或許可以獲得更好的性能和效率。”
3
不止是VOLT
相比于對(duì)模型的關(guān)注，詞表在NLP社區(qū)中相關(guān)的研究可能少一些，而詞表又是非常重要的一環(huán)。如何去理解詞表其實(shí)是一個(gè)很有意思的問(wèn)題。
對(duì)于這項(xiàng)工作的泛化性，許晶晶也有所期待，“或許未來(lái)能在其他NLP任務(wù)上看到VOLT的身影。”
同時(shí)， 這項(xiàng)技術(shù)也被團(tuán)隊(duì)用到了競(jìng)賽中。 在今年的WMT2021中，字節(jié)跳動(dòng)AI Lab在WMT機(jī)器翻譯比賽中取得了好成績(jī)。這次比賽中，除了VOLT，團(tuán)隊(duì)們還使用了非自回歸的方法GLAT。
論文鏈接：https://arxiv.org/abs/2008.07905
在WMT2021國(guó)際機(jī)器翻譯大賽上，字節(jié)跳動(dòng)火山翻譯團(tuán)隊(duì)以“并行翻譯”系統(tǒng)參賽，獲得德語(yǔ)到英語(yǔ)方向機(jī)器翻譯比賽自動(dòng)評(píng)估第一名。“并行翻譯”在國(guó)際大賽首次亮相，就成功擊敗了從左向右逐詞翻譯的“自回歸模型”技術(shù)，打破后者在機(jī)器翻譯領(lǐng)域的絕對(duì)統(tǒng)治地位。
許晶晶的團(tuán)隊(duì)同事周浩說(shuō)道， “這充分說(shuō)明并行（非自回歸）生成模型未必比自回歸模型差”。
WMT2021是由國(guó)際計(jì)算語(yǔ)言學(xué)協(xié)會(huì)ACL舉辦的世界頂級(jí)機(jī)器翻譯比賽，德英語(yǔ)向是該賽事競(jìng)爭(zhēng)最激烈的大語(yǔ)種項(xiàng)目之一。
GLAT被還上線到了字節(jié)跳動(dòng)的火山翻譯中，為公司產(chǎn)品和火山引擎的企業(yè)級(jí)客戶提供翻譯服務(wù) ，” 在訓(xùn)練數(shù)據(jù)量小的場(chǎng)景下，‘并行翻譯’的質(zhì)量相比傳統(tǒng)技術(shù)處于劣勢(shì)。但是當(dāng)訓(xùn)練數(shù)據(jù)規(guī)模變大后，‘并行翻譯’會(huì)逐漸縮小差距，甚至反超傳統(tǒng)技術(shù)。“周浩補(bǔ)充道。
火山翻譯是字節(jié)跳動(dòng)旗下火山引擎的AI中臺(tái)能力之一，提供全球先進(jìn)的翻譯技術(shù)與服務(wù)，打造各大場(chǎng)景智能翻譯解決方案。
火山翻譯打通了多個(gè)翻譯場(chǎng)景，包括文本、語(yǔ)音、圖片、音頻、視頻，以及虛擬世界和現(xiàn)實(shí)世界。 其中，虛擬世界即AR，現(xiàn)實(shí)世界即同傳。此外還支持多語(yǔ)種，包括56門(mén)語(yǔ)言、3080個(gè)語(yǔ)向的翻譯。
在2021年上半年，火山翻譯研發(fā)了視頻翻譯和AR智能翻譯眼鏡，火山同傳也支持了多場(chǎng)大會(huì)與直播，很好促進(jìn)了多語(yǔ)言內(nèi)容互通。
視頻翻譯：
?
?
在這些產(chǎn)品背后，字節(jié)跳動(dòng)AI Lab重點(diǎn)研發(fā)了多語(yǔ)言翻譯和語(yǔ)音翻譯，有如下幾個(gè)亮點(diǎn)。
比如開(kāi)源了 lightseq2.0 ，這是業(yè)界最快的推理和訓(xùn)練引擎，可以把機(jī)器翻譯的訓(xùn)練速度提升 3 倍，把推理速度提升 10 倍。
以及研發(fā)了大規(guī)模多語(yǔ)言預(yù)訓(xùn)練 mRASP2 ，可以支持 150 個(gè)語(yǔ)種之間的互譯，通過(guò)大規(guī)模預(yù)訓(xùn)練翻譯效果非常好。
還有研發(fā)了端到端語(yǔ)音翻譯，并且開(kāi)源了 NeurST ，引起了業(yè)內(nèi)較大的關(guān)注。
“既重視基礎(chǔ)研究，又能高效轉(zhuǎn)化技術(shù)。”這也是許晶晶當(dāng)初選擇字節(jié)跳動(dòng)AI Lab的原因，“組里的同事們都很年輕，有活力、有想法，同時(shí)氛圍又很自由，大家都會(huì)積極地去推動(dòng)整個(gè)工作組的研究，并在自己的領(lǐng)域中發(fā)光發(fā)熱。”
許晶晶的主要研究方向是綠色深度學(xué)習(xí)，VOLT的能力正好定位于這個(gè)價(jià)值觀。
VOLT：綠色環(huán)保的詞表學(xué)習(xí)方案
以主流詞表BPE為例。為了搜索最優(yōu)詞表，業(yè)內(nèi)普遍會(huì)通過(guò)大量自然語(yǔ)言處理下游任務(wù)的訓(xùn)練以尋找最優(yōu)大小。相比之下， 使用VOLT方案可以節(jié)省92%的算力，這同時(shí)意味著所需電能的大量減少。
巧合的是，伏特（volt）是電學(xué)的一個(gè)基本單位。可以說(shuō)，VOLT是一項(xiàng)非常環(huán)保的綠色解決方案。
機(jī)器翻譯是NLP應(yīng)用的主要部分，而NLP的市場(chǎng)價(jià)值仍然無(wú)可限量。John Snow實(shí)驗(yàn)室與Gradient Flow合作在2020年發(fā)布了一份全球調(diào)查報(bào)告。這項(xiàng)全球調(diào)查詢問(wèn)了來(lái)自50多個(gè)國(guó)家的近600名受訪者，全面了解了2020年NLP的采用和實(shí)施狀況。
盡管今年IT支出不景氣，但有趣的是，NLP預(yù)算全面增加，報(bào)告的NLP技術(shù)預(yù)算比去年增加了10-30%。考慮到該調(diào)查是在全球COVID-19大流行的高峰期進(jìn)行的，而當(dāng)時(shí)全球的IT支出都在下降，這一點(diǎn)尤其重要。
4
寫(xiě)在最后
”獲得最佳論文對(duì)于我來(lái)說(shuō)是很高的起點(diǎn)。但人終究是要不斷追求進(jìn)步的，對(duì)于下一步該往何處走，做出更好的研究貢獻(xiàn)，也會(huì)感受到壓力。“
展望未來(lái)，許晶晶抱有很大的期待，“事物是動(dòng)態(tài)發(fā)展的，方向會(huì)不斷調(diào)整，但我相信都會(huì)往好的方向發(fā)展。對(duì)于我個(gè)人，也期望在這個(gè)自由的環(huán)境中，繼續(xù)做出對(duì)公司、對(duì)社區(qū)、對(duì)社會(huì)有幫助的事情。字節(jié)跳動(dòng)AI Lab還很年輕，歡迎大家過(guò)來(lái)開(kāi)拓自己的事業(yè)。”
雷鋒網(wǎng) (公眾號(hào)：雷鋒網(wǎng)) 雷鋒網(wǎng)雷鋒網(wǎng)
雷鋒網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)。
