賈揚(yáng)清離職 Facebook,即將加盟阿里硅谷研究院
雷鋒網(wǎng) AI 科技評(píng)論消息,繼年初張潼博士離職騰訊 AI lab,又傳來重磅人事變動(dòng)——賈揚(yáng)清離職 Facebook。
昨日,有用戶在知乎爆料,賈揚(yáng)清已離職 Facebook,他的下一站將是阿里硅谷研究院,職級(jí)為 VP。從各路傳言看來,這已經(jīng)得到諸多業(yè)內(nèi)人士確認(rèn)。
賈揚(yáng)清擁有加州大學(xué)伯克利分校計(jì)算機(jī)科學(xué)博士學(xué)位、清華大學(xué)碩士學(xué)位和學(xué)士學(xué)位,曾于新加坡國(guó)立大學(xué)、微軟亞洲研究院、NEC 美國(guó)實(shí)驗(yàn)室、Google Brain 工作,在離職 Facebook 之前,負(fù)責(zé) Facebook 前沿 AI 平臺(tái)的開發(fā)以及前沿的深度學(xué)習(xí)研究。
他最為人所熟知的成就當(dāng)屬在伯克利期間開發(fā)的深度學(xué)習(xí)框架 Caffe。在接受《程序員》雜志專訪時(shí),談到開發(fā) Caffe 的前因后果,他表示,2013 年,因?yàn)?Alex Krizhevsky 在 ImageNet 的成功,他開始考慮把 CNN 的特征用到心理學(xué)的實(shí)驗(yàn)上,于是就寫了 Decaf。Decaf 需要基于 cuda-convnet 來訓(xùn)練,他們通過 Decaf 驗(yàn)證了深度學(xué)習(xí)特征的優(yōu)異的可移植性,這應(yīng)該算是他開始考慮實(shí)現(xiàn)一個(gè)完整的深度學(xué)習(xí)框架的初衷。
2013 年下半年,他獲得了 NVIDIA 學(xué)術(shù)捐贈(zèng)計(jì)劃的一塊 K20 GPU,當(dāng)時(shí)他正好在寫畢業(yè)論文,空閑之余準(zhǔn)備把這個(gè)計(jì)劃實(shí)現(xiàn)出來。
「我從9月下旬開始,先自己攢了一個(gè)機(jī)器,然后大概花了兩個(gè)多月的時(shí)間寫了整個(gè)架構(gòu)和 ImageNet 所需要的各個(gè)實(shí)現(xiàn)。起初純粹是因?yàn)榕d趣使然作為一個(gè)業(yè)余的項(xiàng)目,后來因?yàn)樵絹碓接X得有意思(寫代碼可能和玩游戲上癮差不多),花在 Caffe 上的時(shí)間逐漸變成 20%、40%、80%,后來在上下班的地鐵上也開始編程序,畢業(yè)論文倒是沒有太重視,所幸我的導(dǎo)師開明,也沒有說什么。Caffe 寫完以后在我們組里面試用,大家都覺得它挺好使 - 比如 Jeff 和 Ross 利用 Caffe 的訓(xùn)練代碼實(shí)現(xiàn)了 R-CNN。到了 11 月份的時(shí)候,我開始考慮是不是要開源 Caffe,然后 12 月份正式開源。」
在 Caffe 開源之后,開始吸引了很多其他的用戶和開發(fā)人員。NVIDIA 開始幫助他們做更多的加速,Berkeley 成立了 Berkeley Learning and Vision Center 來組織和吸引工業(yè)界的研究人員共同開發(fā)多個(gè)開源項(xiàng)目(包括 Caffe)。他畢業(yè)以后還在繼續(xù)和伯克利的同事開發(fā) Caffe,同時(shí)在 Google 繼續(xù)進(jìn)行深度學(xué)習(xí)的應(yīng)用和研究;他們?cè)诓死步⒘艘粋€(gè)核心的 Caffe 團(tuán)隊(duì)。
他在隨后大牛講堂的公開課上也總結(jié)了 Caffe 之所以廣受歡迎,可能是因?yàn)橐韵滤膫€(gè)特點(diǎn):
1、 穩(wěn)定的模型架構(gòu)
Caffe 通過 Protobuf 來定義一個(gè)網(wǎng)絡(luò)的結(jié)構(gòu),而這個(gè)由 Google 開源的庫(kù)具有優(yōu)秀的版本兼容性。隨著 Caffe 的框架源碼的不斷更新迭代,之前定義的網(wǎng)絡(luò)結(jié)構(gòu)依然能兼容解析,模型仍然能正確加載運(yùn)行。
2、較好的設(shè)備抽象
合理的設(shè)備抽象能夠精簡(jiǎn)代碼,提高框架適用性。在這方面 Caffe 做了比較好的嘗試,模型的訓(xùn)練和使用與不同的平臺(tái)耦合比較低,只要平臺(tái)能解析網(wǎng)絡(luò)結(jié)構(gòu)并讀取二進(jìn)制的模型參數(shù),就能運(yùn)行該模型。這樣大大拓展了框架的應(yīng)用范圍,自然更加符合用戶的使用需求。
3、清晰的說明教程
如何讓首次接觸到框架的人通過說明教程就能最快地熟悉運(yùn)用,這對(duì)于一個(gè)新面世的框架來說尤為重要。以 Caffe 為例,用戶只需要將官方文檔的例子跑一遍,基本就能清楚 Caffe 的操作過程和細(xì)節(jié),這給它的廣泛傳播提供了最堅(jiān)實(shí)的基礎(chǔ)。
4、開放的模型倉(cāng)庫(kù)
Caffe 還維護(hù)了一個(gè) Model Zoo, 許多論文的作者會(huì)將模型發(fā)布到這里,其它用戶可以利用這些材料輕松地將模型復(fù)現(xiàn),還可以在 github 上參與開發(fā)討論,從而更深入地學(xué)習(xí)實(shí)踐。
詳情可參見雷鋒網(wǎng)此前報(bào)導(dǎo): Caffe作者賈揚(yáng)清,教你如何打造優(yōu)秀的深度學(xué)習(xí)架構(gòu)
2016 年 2 月,賈揚(yáng)清從 Google 離職,加盟 Facebook,2017 年 4 月,F(xiàn)acebook 開源深度學(xué)習(xí)框架 Caffe2。Caffe2 最大的特點(diǎn)就是輕量、模塊化和擴(kuò)展性好,可以方便地為手機(jī)等移動(dòng)終端設(shè)備帶來 AI 加持,讓 AI 從云端走向終端。它在 Caffe 基礎(chǔ)上進(jìn)行了重構(gòu)和升級(jí),一方面集成了諸多新出現(xiàn)的算法和模型,另一方面在保證運(yùn)算性能和可擴(kuò)展性的基礎(chǔ)上重點(diǎn)加強(qiáng)了框架在輕量級(jí)硬件平臺(tái)的部署能力。
對(duì)于為何發(fā)布 Caffe2,賈揚(yáng)清回答到,「最重要的是工程實(shí)踐上把很多東西做到極致,比如說 NVidia 給的早期測(cè)試數(shù)據(jù),在 P100 上面跑 ResNet50,C2 可以到 235 幀每秒,第二位大概可以到 216 幀,前東家大概能到 180 左右。無他,只不過就是框架的 overhead 小而已。說大也不大,但是在 Facebook 這種 5% 的 performance 都能分分鐘上下以 million 記的地方,什么事情都得做到這樣才行。另外跨平臺(tái)也不是吹的,比如說我今天晚上試了一下怎樣支持蘋果 Watch: Support WatchOS build by Yangqing · Pull Request #321 · caffe2/caffe2 。15 行代碼搞定,你來告訴我哪個(gè)框架能那么簡(jiǎn)單。」
關(guān)于 Caffe2 的詳細(xì)內(nèi)容,請(qǐng)參見雷鋒網(wǎng) (公眾號(hào):雷鋒網(wǎng)) 此前報(bào)導(dǎo): 開源神經(jīng)網(wǎng)絡(luò)框架Caffe2全介紹
2018 年 4 月,F(xiàn)acebook 宣傳將 Caffe2 代碼并入 PyTorch 庫(kù)。賈揚(yáng)清表示,將這兩個(gè)框架整合起來可以極大提升開發(fā)效率,為廣大開發(fā)者提供便利。
「PyTorch 有優(yōu)秀的前端,Caffe2 有優(yōu)秀的后端,整合起來以后可以進(jìn)一步最大化開發(fā)者的效率。目前 FAIR 大概有超過一半的項(xiàng)目在使用 PyTorch,而產(chǎn)品線全線在使用 Caffe2,所以兩邊都有很強(qiáng)的動(dòng)力來整合優(yōu)勢(shì)。」他如是說道。
那么,該如何評(píng)價(jià)他此次離職。借助他離職 Google 加盟 Facebook 時(shí)發(fā)表的言論,「正常換工作而已,大家不要太過關(guān)注」。當(dāng)然,也期待此次加盟阿里,賈揚(yáng)清帶領(lǐng)阿里團(tuán)隊(duì)在硅谷創(chuàng)造出新的成績(jī)。
雷鋒網(wǎng)版權(quán)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見。