科技獵時(shí)隔40年，斯坦福大學(xué)吳佳俊再譯馬爾代表作《視覺》：一場(chǎng)超越時(shí)空的對(duì)話
作者 | 陳彩嫻
David Courtnay Marr（1945-1980）是計(jì)算神經(jīng)科學(xué)領(lǐng)域的先驅(qū)之一。1973年，他應(yīng)Marvin Minsky與Seymour Papert的邀請(qǐng)加入MIT人工智能實(shí)驗(yàn)室，從事視覺相關(guān)研究，并開創(chuàng)性地提出了 三維表達(dá)思想 ，使計(jì)算機(jī)視覺進(jìn)入了一個(gè)新的時(shí)代。
可惜，馬爾于1980年英年早逝。在他的學(xué)生幫助下，MIT出版社在1982年出版了他的遺作《Vision: A Computational Investigation into the Human Representation and Processing of Visual Information》。該書一經(jīng)出版，即成經(jīng)典。
馬爾《視覺》的第一個(gè)中文譯本由汪云九、姚國正、劉磊等人推動(dòng)。1983年到1986年，中國神經(jīng)網(wǎng)絡(luò)研究先驅(qū)汪云九與其同事姚國正、學(xué)生劉磊花費(fèi)了巨大功夫，將馬爾的原著翻譯成中文，并于1988年出版，也就是著名的《視覺計(jì)算理論》（如下）。
《視覺計(jì)算理論》一出版，立即成為高校和研究單位必備的參考資料。這本書也成為至今國內(nèi)被引用最多的一本中文譯著，在我國極大地推動(dòng)了計(jì)算機(jī)視覺在普通師生間的推廣，對(duì)我國計(jì)算機(jī)視覺、圖像處理、人工智能、模式識(shí)別等領(lǐng)域的研究和人才培養(yǎng)具有極其重要的價(jià)值。
當(dāng)時(shí)馬爾在撰寫《視覺》一書時(shí)，人工智能、尤其是深度學(xué)習(xí)還未得到發(fā)展。而在深度學(xué)習(xí)時(shí)代，計(jì)算機(jī)視覺的研究發(fā)展得到了重大突破。此時(shí)重溫馬爾的經(jīng)典著作，思考馬爾的計(jì)算理論在當(dāng)代視覺研究中的作用，對(duì)計(jì)算機(jī)視覺未來的研究有很大意義。而現(xiàn)在距汪、姚、劉等人的第一個(gè)中文譯本的出版已經(jīng)過去了三十多年，該譯本已經(jīng)不易獲取，書中許多術(shù)語的通用譯法也都已有了改變。
受此啟發(fā)，現(xiàn)任斯坦福大學(xué)計(jì)算機(jī)科學(xué)系助理教授、昔日清華大學(xué)姚班畢業(yè)生的青年學(xué)者吳佳俊決定再次基于2010年麻省理工學(xué)院出版社出版的英文第2版再次進(jìn)行翻譯。 中文譯本《視覺：對(duì)人類如何表示和處理視覺信息的計(jì)算研究》 已由博文視點(diǎn)出版。新的中文譯本包含了馬爾的同事Tomaso Poggio和Shimon Ullman為中文版新寫的序和后記，討論了馬爾的視覺理論在深度學(xué)習(xí)時(shí)代的價(jià)值，給新一代年輕學(xué)生提供了一本優(yōu)秀的學(xué)習(xí)資料，可謂意義非凡！
該譯本也得到了朱松純、沈向洋、張正友、湯曉鷗、李飛飛等名人的大力推薦，不可錯(cuò)過。
時(shí)隔多年，《視覺》一書所反映的馬爾利用神經(jīng)科學(xué)知識(shí)、從人類視覺系統(tǒng)出發(fā)研究計(jì)算機(jī)識(shí)別的方法仍具有前瞻性與引領(lǐng)性。
在這本書中，馬爾至少做了兩大貢獻(xiàn)， 一是將對(duì)信息處理系統(tǒng)的理解分為三個(gè)層次（計(jì)算理論層次、算法層次與硬件實(shí)現(xiàn)層次），二是提出了三維的視覺計(jì)算理論，對(duì)計(jì)算機(jī)視覺、人工智能與神經(jīng)科學(xué)在內(nèi)的多個(gè)領(lǐng)域產(chǎn)生了深遠(yuǎn)影響。
比方說，20世紀(jì)80年代也是模式識(shí)別與計(jì)算機(jī)視覺、人工智能分化融合的一個(gè)關(guān)鍵時(shí)間點(diǎn)。模式識(shí)別這一學(xué)科最初是為了解決用機(jī)器識(shí)別物體的問題而出現(xiàn)。后來，隨著計(jì)算機(jī)研究的發(fā)展深入，如何讓計(jì)算機(jī)識(shí)別物體也成為了模式識(shí)別最重要的研究方向之一。馬爾的計(jì)算視覺理論出來后，模式識(shí)別與計(jì)算機(jī)視覺的結(jié)合也愈發(fā)緊密。
過去模式識(shí)別在模擬人的識(shí)別能力（尤其是識(shí)別3D物體方面）存在先天不足，需要把「識(shí)別目標(biāo)」改為「識(shí)別表面」，把三維問題降為「2.5維問題」，從而集中解決從圖像到可見表面的識(shí)別問題。而馬爾的計(jì)算視覺理論反過來提供了從二維到包含紋理信息的2.5維圖像再到三維圖像的轉(zhuǎn)變方法，可謂是一枚硬幣的兩面，使得計(jì)算機(jī)視覺的研究取得了突破性的進(jìn)展，也直接推動(dòng)模式識(shí)別的對(duì)象從二維進(jìn)入了三維領(lǐng)域。
圖注：馬爾的3D表示思想
在吳佳俊新完成的譯作中，美國藝術(shù)與科學(xué)院院士、以色列魏茨曼科學(xué)研究所 Samy 和Ruth Cohn 講席教授 Shimon Ullman 參與作序，也談到深度學(xué)習(xí)的出現(xiàn)對(duì)馬爾在40年前對(duì)視覺與人工智能的看法提出了多重挑戰(zhàn)。
Ullman認(rèn)為，深度學(xué)習(xí)最核心的一點(diǎn)是挑戰(zhàn)了馬爾的基本方法，即為人類視覺與人工智能問題尋求所謂的「計(jì)算理論」。
在《視覺》一書中，馬爾的重點(diǎn)是在計(jì)算理論層次，而當(dāng)前的深度網(wǎng)絡(luò)建模則側(cè)重于算法和實(shí)現(xiàn)層次，摒棄了計(jì)算理論的概念。
比方說，在處理從雙眼視覺計(jì)算三維形狀的問題時(shí)， 馬爾分析，計(jì)算任務(wù)依賴于在左右眼獲得的兩張圖像中建立視覺特征之間的對(duì)應(yīng)關(guān)系，為了獲得可靠的對(duì)應(yīng)關(guān)系，最合適的特征是多個(gè)層次上清晰的圖像強(qiáng)度變化（邊），通過將問題簡(jiǎn)化為沿所謂的極線進(jìn)行一維搜索，對(duì)相應(yīng)特征的搜索也變得容易。根據(jù)這樣的分析，馬爾與團(tuán)隊(duì)描述了基于這一任務(wù)的基本原理的計(jì)算理論。
而在深度學(xué)習(xí)的方法中，視覺問題是通過對(duì)任務(wù)進(jìn)行端到端訓(xùn)練來解決。這些訓(xùn)練基于圖像示例，并將其與所需的輸出配對(duì)。作為計(jì)算理論支柱的基本原則在這里并不起直接作用。這些原則可能會(huì)被網(wǎng)絡(luò)模型隱式地發(fā)現(xiàn)并使用，但它們不會(huì)被從外部提供或顯式地使用。
這種方法上的差異會(huì)對(duì)馬爾的方法和方法論的其他核心問題產(chǎn)生影響。例如，馬爾強(qiáng)調(diào)基于計(jì)算理論的模塊化設(shè)計(jì)的用處，而深度學(xué)習(xí)方法則強(qiáng)調(diào)端到端訓(xùn)練的價(jià)值。
不過，Ullman指出，在算法層次上，馬爾的計(jì)算理論與深度學(xué)習(xí)的端到端學(xué)習(xí)方法并不能完全區(qū)分開來。在馬爾發(fā)表于1977年的"Artificial Intelligence — A Personal View"中，馬爾區(qū)分了兩種類型的理論，分別稱為「類型1」與「類型2」。其中，「類型1」理論強(qiáng)調(diào)在設(shè)計(jì)合適的算法前必須了解算法應(yīng)該做什么、且這些信息能夠被計(jì)算理論捕獲，許多生物信息處理問題都遵循「類型1」理論，且具有可解釋性；而「類型2」理論則是通過大量同時(shí)進(jìn)行的流程/步驟來解決問題，比如預(yù)測(cè)蛋白質(zhì)如何折疊的問題，偏向黑盒性質(zhì)。
論文鏈接：http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.111.5076&rep=rep1&type=pdf
在該文中，馬爾提到，他認(rèn)為視覺與人工智能中的許多問題可能是「類型1」與「類型2」的混合，而不是單純的「類型1」。從理論上看，「類型1」的原則具備「類型2」所缺乏的解釋性。但是，在解決視覺、人工智能與人類認(rèn)知的問題時(shí)，這些原則又是否真的有必要？這是一個(gè)爭(zhēng)議性很大的問題。
2
計(jì)算機(jī)視覺究竟要「計(jì)算」什么？
從譯者吳佳俊的序來看，他對(duì)馬爾理論最感興趣的自然是馬爾所提出的三大理解層次。計(jì)算機(jī)視覺在過去十年的進(jìn)展都與理解層次有著本質(zhì)關(guān)聯(lián)，但主流的研究逐漸忽視了計(jì)算理論的進(jìn)展： 計(jì)算機(jī)視覺究竟要「計(jì)算」什么？
吳佳俊談到，在過去十年，計(jì)算機(jī)視覺領(lǐng)域的最大進(jìn)展是語義上的判別任務(wù)，尤其以語義上的圖像識(shí)別與分類為代表，判斷圖上的對(duì)象是貓還是狗。但計(jì)算機(jī)視覺中的「計(jì)算」，顯然不應(yīng)該限于這類單一的任務(wù)。
馬爾所提出的低層視覺與三維結(jié)構(gòu)重建在很長一段時(shí)間內(nèi)主導(dǎo)了計(jì)算機(jī)視覺的研究。后來，深度學(xué)習(xí)的興起，以及算力和數(shù)據(jù)的增強(qiáng)對(duì)圖像的語義識(shí)別帶來了革命性的變化，這也即使導(dǎo)致了有些學(xué)者認(rèn)為馬爾理論在過去的數(shù)十年間誤導(dǎo)了計(jì)算機(jī)視覺的發(fā)展走向。
對(duì)此，吳佳俊提供了一個(gè)觀點(diǎn) ：現(xiàn)今計(jì)算機(jī)視覺的發(fā)展并不意味著語義判別是最重要、最正確的計(jì)算任務(wù)，也就無可區(qū)分馬爾計(jì)算理論與深度學(xué)習(xí)計(jì)算理論的優(yōu)劣。 此外，除了深度學(xué)習(xí)理論，計(jì)算機(jī)視覺在過去十年的爆發(fā)還歸功于以卷積神經(jīng)網(wǎng)絡(luò)和反向傳播算法為代表的 算法 、以 GPU 為代表的 硬件實(shí)現(xiàn) 和以 ImageNet 為代表的 數(shù)據(jù)， 這與馬爾的三個(gè)理解層次也是相符合的（除了數(shù)據(jù)）。
馬爾在《視覺》一書中提出的計(jì)算理論基于包括初草圖和2.5維草圖在內(nèi)的中間表示，以及過零點(diǎn)、視差等基本元素或「特征」，這似乎與當(dāng)今部分深度學(xué)習(xí)領(lǐng)袖所強(qiáng)調(diào)的 「完全從數(shù)據(jù)中學(xué)習(xí)」的概念格格不人。
吳佳俊也在譯者序中提出了兩點(diǎn)看法：
-
其一，現(xiàn)有的深度學(xué)習(xí)架構(gòu)有其內(nèi)在的歸納偏置，如卷積神經(jīng)網(wǎng)絡(luò)的空間局部性、循環(huán)神經(jīng)網(wǎng)絡(luò)的時(shí)間局部性、Transformer 的自相似性，等等。而本書中討論的許多基本元素，恰與這些歸納偏置有內(nèi)在的關(guān)聯(lián)。
-
其二，如果我們還試圖在人工智能和人類智能之間建立聯(lián)系（這本身也還漸成為一個(gè)有爭(zhēng)議的話題），那么任何的偏置是應(yīng)該被預(yù)先設(shè)計(jì)，還是應(yīng)該通過學(xué)習(xí)得到，就與人類認(rèn)知科學(xué)中的先天與后天的概念，以及神經(jīng)科學(xué)的內(nèi)在機(jī)理，產(chǎn)生了千絲萬縷的聯(lián)系。諸如2.5 維草圖及與其緊密相關(guān)的包括深度圖在內(nèi)的本征圖像這樣的概念，在認(rèn)知科學(xué)和神經(jīng)科學(xué)中都有廣泛的研究，這也可以至少在一定程度上解釋將它們引入計(jì)算模型的歸納偏置的合理性。而這種聯(lián)系也正是本書作為計(jì)算神經(jīng)科學(xué)的教科書，可以長期對(duì)人工智能有深刻啟發(fā)和深遠(yuǎn)影響的原因所在。
馬爾的視覺計(jì)算理論對(duì)吳佳俊影響深遠(yuǎn)。在麻省理工學(xué)院求學(xué)期間，吳佳俊時(shí)常與導(dǎo)師或同事們討論將學(xué)習(xí)本身的歸納偏置與世界的內(nèi)在先驗(yàn)建立關(guān)聯(lián)的意義。這樣的先驗(yàn)可以來源于人（即認(rèn)知科學(xué)或神經(jīng)科學(xué)，但在現(xiàn)在的發(fā)展下更多是認(rèn)知科學(xué)），也可以來源于自然（即物理世界，也可以看作「把視覺還給視覺」）。
2017年，吳佳俊與多位合作者還發(fā)表了一篇論文（"MarrNet: 3D Shape Reconstruction via 2.5D Sketches），將2.5維草圖的概念及其在恢復(fù)物體的三維結(jié)構(gòu)中的作用與神經(jīng)網(wǎng)絡(luò)相結(jié)合，將其命名為「MarrNet」，以表對(duì)馬爾的尊敬。
論文鏈接：https://jiajunwu.com/papers/marrnet_nips.pdf
吳佳俊的新譯本獲得了計(jì)算機(jī)視覺領(lǐng)域多位重要學(xué)者的推崇與肯定：
3
對(duì)話吳佳俊
吳佳俊，斯坦福大學(xué)計(jì)算機(jī)科學(xué)系助理教授，研究方向是計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)和計(jì)算認(rèn)知科學(xué)。加入斯坦福大學(xué)之前，曾是谷歌研究院的訪問研究員，并分別在清華大學(xué)和麻省理工學(xué)院獲得了學(xué)士和博士學(xué)位。他的研究曾獲ACM博士學(xué)位論文榮譽(yù)提名獎(jiǎng)、AAAIIACM SIGAl博士學(xué)位論文獎(jiǎng)、麻省理工學(xué)院George M. Sprowis人工智能與決策博士學(xué)位論文獎(jiǎng)，以及2020年三星人工智能年度研究人員獎(jiǎng)。
以下是AI科技評(píng)論與吳佳俊的簡(jiǎn)短對(duì)話：
1、AI科技評(píng)論：您從什么時(shí)候開始翻譯《視覺》這本書？用了多長時(shí)間？
吳佳俊：2019年開始，基本是過去兩年的課余生活。
2、AI科技評(píng)論：促使您決定將《視覺》翻譯成中文的最主要?jiǎng)訖C(jī)是什么？
吳佳俊：我想把這本書好好讀一遍，所以要翻譯的話，就會(huì)讓自己盡力把每一句都讀懂。
3、AI科技評(píng)論：在翻譯這本書的過程中，您對(duì)計(jì)算機(jī)視覺的研究有了哪些新的理解與認(rèn)知 ？
吳佳俊：這本書本質(zhì)上是關(guān)注于人類視覺的一本教科書。雖然計(jì)算神經(jīng)科學(xué)在過去四十年間的進(jìn)展讓我們?cè)鲞M(jìn)了對(duì)人類視覺的理解（毫無疑問，馬爾和他所著的《視覺》起到了重要的作用），但對(duì)絕大多數(shù)視覺問題，我們的知識(shí)仍舊是非常有限的。
對(duì)于計(jì)算機(jī)視覺而言，我們雖然在一些高層視覺的識(shí)別問題上取得了很大進(jìn)展，但在很多書中提到的視覺的底層和本質(zhì)問題上的進(jìn)展其實(shí)還很有限。同時(shí)，并不意外地，我們對(duì)計(jì)算機(jī)視覺和人類視覺（包括行為層次和神經(jīng)層次）的關(guān)聯(lián)的理解也非常初步。
最近幾年，學(xué)術(shù)界有越來越多的意愿來構(gòu)建兩者之間的雙向聯(lián)結(jié)。我希望我們能夠有機(jī)會(huì)真正理解計(jì)算機(jī)和人類視覺的關(guān)系，以及在何種層次、何種程度上它們可以互相促進(jìn)。
4、AI科技評(píng)論：馬爾在撰寫《視覺》一書時(shí)，深度學(xué)習(xí)仍未得到發(fā)展；而如今，計(jì)算機(jī)視覺已在深度學(xué)習(xí)的推動(dòng)下得到了重大突破。時(shí)隔40年，您認(rèn)為重溫《視覺》一書的意義是什么？對(duì)當(dāng)下的學(xué)者研究有哪些啟發(fā)？
吳佳俊：我想最主要的還是激勵(lì)我們找到正確的計(jì)算理論（目標(biāo)），為達(dá)成這個(gè)目標(biāo)所需要的表示，以及獲取這些表示所需要的方法，和學(xué)習(xí)在獲取表示中所起的作用。
具體來說，以語義分類為代表的識(shí)別問題推動(dòng)了視覺的發(fā)展；在某種意義上，我們可以把對(duì)ImageNet數(shù)據(jù)集的語義標(biāo)注看作一場(chǎng)大型的心理物理學(xué)實(shí)驗(yàn)：人類在這一特定的高層次的標(biāo)注作為計(jì)算目標(biāo)，雖與馬爾提出的計(jì)算目標(biāo)不同，但恰與算法和硬件實(shí)現(xiàn)協(xié)同作用，推動(dòng)了過去十年計(jì)算機(jī)視覺的跨越式發(fā)展。那在接下來的十年或二十年里，視覺計(jì)算的下一個(gè)目標(biāo)又是什么呢？馬爾對(duì)于計(jì)算理論的追求歷久彌新，始終對(duì)我們的研究有所啟發(fā)。
5、AI科技評(píng)論：您為什么推薦青年學(xué)生就讀此書？在學(xué)習(xí)計(jì)算機(jī)視覺的過程中，這本譯作能夠給他們帶來什么？
吳佳俊：深度學(xué)習(xí)對(duì)計(jì)算機(jī)視覺的發(fā)展起到了極大的推動(dòng)作用，但計(jì)算機(jī)視覺不僅僅只有深度學(xué)習(xí)。對(duì)計(jì)算機(jī)視覺的深入研究需要理解視覺本身，而馬爾的這本教科書是一個(gè)很好的出發(fā)點(diǎn)。
留言贈(zèng)書
AI科技評(píng)論本次聯(lián)合【博文視點(diǎn)】為大家?guī)?0本《視覺：對(duì)人類如何表示和處理視覺信息的計(jì)算研究》正版新書。
在本文（僅限AI科技評(píng)論微信公眾號(hào)端）留言區(qū)留言，歡迎大家暢所欲言，說一下你和計(jì)算機(jī)視覺的那些事~在綜合留言質(zhì)量（留言是敷衍還是走心）和留言點(diǎn)贊最高（注：點(diǎn)贊最高的前10不意味著一定會(huì)中獎(jiǎng)）的讀者中選出10位讀者獲得贈(zèng)書。獲得贈(zèng)書的讀者請(qǐng)聯(lián)系 AI 科技評(píng)論客服（aitechreview）。
-
留言內(nèi)容會(huì)有篩選，例如"選我上去"、"這書寫的很棒（僅僅幾個(gè)字）"等內(nèi)容將不會(huì)被篩選，亦不會(huì)中獎(jiǎng)。
-
留言送書活動(dòng)時(shí)間為2022年1月21日 - 2022年1月27日（23:00），活動(dòng)推送時(shí)間內(nèi)僅允許贈(zèng)書福利中獎(jiǎng)一次。
參考鏈接：
1. https://mp.weixin.qq.com/s/bKSmCpoYeuxmcqk9BK1EFg
斯坦福大學(xué)吳佳俊：AI如何學(xué)習(xí)到現(xiàn)實(shí)世界的物理性？從我的研究哲學(xué)談起......
2021-06-08
溫故而知新，6位頂級(jí)CV科學(xué)家聚首：計(jì)算機(jī)視覺中的深度學(xué)習(xí)方法vs傳統(tǒng)方法
2021-12-05
【深度】視覺的層次化處理過時(shí)了嗎？
2020-06-14
雷峰網(wǎng)
(公眾號(hào)：雷峰網(wǎng))
雷峰網(wǎng)
雷峰網(wǎng)
(公眾號(hào)：雷峰網(wǎng))
雷峰網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見。
