如今的網絡安全系統，要么是人來監控可疑信息，要么是由機器來進行判斷。對前者來說，所謂“分析驅動的解決方案”依賴于現有專家建立的規則，因此不符合規則的任何攻擊都會被錯過；同時，現在機器學習的方法依賴于“異常檢測”，這往往會引發誤報，無論如何兩者都會導致系統的不信任，人們不得不進行調查。

但是，如果有合并這兩種方式的解決方案，將會是什么樣的？

最近一篇新論文討論了這一可能性。在麻省理工學院計算機科學與人工智能實驗室（CSAIL）和機器學習創業公司PatternEx共同研發了叫做AI2 （這個名字來源于合并人工智能AI和人稱“分析師直覺”Analyst Intuition。） 的人工智能平臺，該平臺通過不斷整合人類專家的輸入，預測網絡攻擊顯著比現有系統更好。

研究小組發現，AI2可以檢測85％的攻擊，這大概是以前基準的三倍，同時減少了五分之四的誤判。該系統在36億的日志數據進行測試，由數百萬用戶用時三個多月產生的日志。

為了預測攻擊，AI2會梳理數據和檢測可疑活動，其通過聚類分析的方法，再加上自主機器學習，把數據變成有意義的模式。然后呈現給人類分析師，以確認哪些事件是實際的攻擊，并把反饋集成模式，為下一組數據服務。

“你可以想象該系統為一個虛擬的分析師，”CSAIL科學家Kayan Veeramachaneni說，他與PatternEx首席數據科學家阿納爾多·伊格納西奧一起研發了AI2。 “它不斷產生新的模式，它可以在短短的幾個小時里優化，這意味著它可以顯著并迅速提高其檢測率?！?/p>

Veeramachaneni在上周紐約召開的IEEE大數據安全國際會議中，呈現了關于該系統的論文。

創建一個融合人類和計算機為基礎的網絡安全系統十分棘手，部分原因是手動標注網絡安全數據算法是一個挑戰。

例如，假設你要開發一個識別精度高的計算機視覺算法。給這樣的數據加標簽很簡單：只要招募少數志愿者標記照片為或者“物”或“非物”，并且把數據融入到算法中。

但對于網絡安全的任務來說，在眾包網站如亞馬遜Mechanical Turk，一般人根本沒有辨別“DDOS”或“發現攻擊”這樣的技能，Veeramachaneni說， “你需要安全方面的專家?！?/p>

這就引出了另一個問題：專家都很忙，他們不可能整天審查大量被標記為可疑的數據。大家都知道，公司會棄用工作太繁雜的平臺，所以有效的機器學習系統，必須在沒有給人類帶來工作負擔的情況下，能夠提高自身。

AI2的秘密武器就是它融合了三個不同的自主學習方法，然后把頂級的事件交給分析師來標簽。然后，它構建一個不斷優化的監管模型，團隊稱其為“不斷主動學習系統”。

具體而言，在其訓練的第一天，AI2采集了200件最異常的事件，并把它們交給專家。隨著時間的推移，它不斷提高，越來越能清楚識別真實攻擊，這意味著不久的將來，分析員可以每天只需要審核30或40宗事件。

“這篇論文匯集了分析師的直覺和機器學習的優勢，并最終壓低了錯判和誤判的數量，”計算機科學教授Nitesh Chawla說， “這項研究有可能成為抵御諸如欺詐、濫用服務和盜用帳戶等攻擊，這些攻擊對面向消費者的系統來說都是挑戰?！?/p>

該小組說，AI2可以擴展到每天數十億的日志，將數據轉換成不同的“類別”，或將行為分類為“正常”或“異常”。?

“系統檢測到越多的攻擊，其接收到分析師的反饋就越多，反過來又提高了未來預測的準確度，”Veeramachaneni說， “這樣的人機交互創造了一個美麗又級級滲透的效應”。

via MIT