雷鋒網 (公眾號：雷鋒網) 按：2 月 3 日，在 ICLR 2018 大會期間，谷歌大腦負責人 Jeff Dean 日前在推特上轉了一篇名字為 Anish Athalye 的推文，推文內容如下：防御對抗樣本仍然是一個尚未解決的問題，三天前公布的 ICLR 接收論文里，八篇關于防御論文里已經有七篇被我們攻破。這一言論立刻引起了整個機器學習學術圈的關注。 Wired ?近日發布了一篇關于這一事件后續的討論文章，雷鋒網進行了編譯。

在機器學習的強大力量推動下，科技公司正在急于將很多事物與人工智能結合在一起。但是，激起這種趨勢的深度神經網絡卻有一個很難解決的弱點：對圖像、文本或音頻進行微小的改變就可以欺騙這些系統，感知到那些并不存在的事物。

對依賴于機器學習的產品而言，這可能是一個大問題，特別是對諸如自動駕駛汽車這種視覺系統，研究者們正在努力制定針對此類攻擊的防御措施，但很有挑戰性。

今年 1 月，一場頂級機器學習大會公布了它在 4 月選出的 11 篇新論文，它們提出了應對或檢測這種對抗性攻擊的方法。但僅三天后，麻省理工學院學生 Anish Athalye 就聲稱已經“破解”了其中 7 篇新論文，其中包括 Google，亞馬遜和斯坦福等機構?！坝袆撛煨运季S的攻擊者仍然可以規避這些防御。”Athalye 說。他與伯克利分校的研究生 David Wagner 和教授 Nicholas Carlini 一起參與了這個項目的研究。?

這個項目導致一些學者對這三人組的研究細節進行了反復討論。但關于項目中提到的一點他們幾乎沒有爭議：目前人們尚不清楚如何保護基于深度神經網絡的消費品和自動駕駛產品以免讓“幻覺”給破壞了?！八羞@些系統都很脆弱，”意大利卡利亞里大學的助理教授 Battista Biggio 已經研究機器學習的安全問題有十年之久，“機器學習社區缺乏評估安全性的方法論?！?/p>

人類將很容易識別 Athalye 創建的上面這張圖，它里面有兩名滑雪者。當在周四上午，谷歌的 Cloud Vision 服務認為它有 91％ 的可能性這是一只狗。其他的還有如何讓停止標志看不見，或者對人類聽起來沒問題的語音卻讓機器轉錄為“好的谷歌，瀏覽到惡意網站.com”。

到目前為止，此類攻擊還沒有在實驗室以外的地方得到證實。但伯克利的博士后研究員 Bo Li 說，現在他們仍然需要認真對待。自動駕駛汽車的視覺系統，能夠購物的語音助理以及過濾網上不雅內容的機器學習系統都需要值得信賴。 “這是非常危險的，”Li 說，她去年的研究——在停車標志上貼上貼紙——表明可以使機器學習軟件識別不到它們。

Athalye 及其合作者共同撰寫的論文中就有 Li 作為共同作者。她和伯克利的其他人介紹了一種分析對抗攻擊的方法，并表明它可以用來檢測這些攻擊。 Li 對 Athalye 的關于防護還有諸多漏洞的項目表示，這種反饋有助于研究人員取得進步。 “他們的攻擊表明我們需要考慮一些問題，”她說。

在 Athalye 所分析論文在內的斯坦福大學的研究者 Yang Song 拒絕對這項工作發表評論，他的論文正在接受另一個重要會議的審查?？▋然仿〈髮W教授兼包括亞馬遜研究員在內的另一篇論文共同作者 Zachary Lipton 表示，他沒有仔細檢查分析結果，但認為所有現有的防御措施都可以避開是合理的。Google 拒絕對自己的論文進行評論，該公司的一位發言人強調 Google 致力于對抗攻擊的研究，并表示計劃更新公司的 Cloud Vision 服務，以抵御這些攻擊。?

為了對攻擊建立更強大的防御機制，機器學習研究人員可能要更加苛刻。 Athalye 和 Biggio 表示，該領域應該采用安全研究的做法，他們認為這種做法能更嚴格的測試新防御技術。 “在機器學習領域，人們傾向于相互信任，”Biggio 說，“而安全研究的心態正好相反，你必須始終懷疑可能會發生不好的事情發生?！?/p>

上個月，AI 和國家安全研究人員的一份重要報告也提出了類似的建議，它建議那些從事機器學習的人應更多地考慮他們正在創造的技術會被濫用或利用。

對于某些 AI 系統來說，防范對抗性攻擊可能比其他方面要做的要更為容易。Biggio 說，受過訓練的檢測惡意軟件的學習系統應該更容易實現強魯棒性，因為惡意軟件是功能性的，限制了它的多樣性。 Biggio 稱，保護計算機視覺系統要困難得多，因為自然界變化多端，圖像中包含了很多像素。

解決這個問題（這可能會挑戰自動駕駛汽車的設計者）可能需要對機器學習技術進行更徹底的反思。 “我想說的根本問題是，深度神經網絡與人腦大不相同。”Li 說。

人類并不對來自感官的欺騙完全免疫。我們可能被看到的錯覺所愚弄，最近來自 Google 的一篇論文創建了奇怪的圖像，這欺騙了軟件和人類，讓他們在不到 1/10 秒內看見圖像時將貓誤認為是狗。但是，在解釋照片時，我們不僅要看像素模式，還要考慮圖像不同組成部分之間的關系，比如人臉特征，Li 說。

Google 最杰出的機器學習研究員 Geoff Hinton 正試圖給機器提供這種能力，他認為這可以讓軟件學會從少數幾張圖片而不是幾千張圖片中識別物體。Li 認為，具有更人性化視角的機器也不太容易受到“幻覺”影響。她和伯克利的其他研究者已經開始與神經科學家和生物學家展開合作，嘗試從大自然中獲得啟發。

*雷鋒網編譯自 Wired ，題圖來自 Marco Goran Romano

相關文章：

MIT在讀博士生質疑ICLR 2018防御論文很水？Ian Goodfellow跟帖回應

。