伴隨著海量數據的沖擊,數據處理分析能力在業務中的價值與日俱增,各行各業對于數據處理時效性的探索也在不斷深入,作為主打實時計算的計算引擎 - Apache Flink 應運而生。

為給行業帶來更多實時計算賦能實踐的思路,鼓勵廣大熱愛技術的開發者加深對 Flink 的掌握,Apache Flink 社區聯手阿里云、英特爾、阿里巴巴人工智能治理與可持續發展實驗室 (AAIG)、Occlum 聯合舉辦? "第三屆 Apache Flink 極客挑戰賽暨 AAIG CUP" ?活動,即日起正式啟動。

劃重點: 作為全球首個基于推薦系統的流量攻擊實時檢測比賽,我們首次公開了 100 萬流量作弊識別真實數據集!并應用 Intel SGX 加密技術保障風控模型數據安全。

過去兩年,阿里云和英特爾、Apache Flink 社區聯合舉辦了第一屆和第二屆 Flink 極客挑戰賽,運用 Flink,Analytics Zoo,Proxima 等平臺和技術,引導選手在垃圾分類,實時疫情追蹤等熱點民生問題上進行了思考和創新;阿里巴巴人工智能治理與可持續發展實驗室 (AAIG) 主辦了七期安全 AI 挑戰者計劃,如人臉識別對抗賽、辱罵文本對抗賽、防御模型白盒以及無限制對抗賽等,勇闖 AI 對抗無人區,并發起 AI 治理多學科交叉結合的新項目 AAIG-CUP。

今年的第三屆 Flink 極客挑戰大賽暨 AAIG CUP,利用了第三代英特爾?至強?可擴展處理器的 Intel? SGX 技術,引導選手在隱私保護的機器學習方面進行探索和開發。本屆比賽將繼續面向全社會開放,個人、高等院校、科研單位、企業、創客團隊等人員均可報名參賽。

賽題背景

隨著 互聯網 的發展,網購成為越來越多人的選擇,據阿里巴巴財報顯示,2020 財年阿里巴巴網站成交總額突破一萬億美元,全球年度活躍消費者達 9.60 億。

為了滿足不同用戶的個性化需求,電商平臺會根據用戶的興趣愛好推薦合適的商品,從而實現商品排序的千人千面需求。為了獲取更多的平臺流量曝光,將自己的商品展現在更多的消費者面前,部分商家通過 HACK 平臺的推薦機制從而增加商品的曝光機會。其中一種典型的手法為 "抱大腿" 攻擊,該方法通過雇傭一批惡意用戶協同點擊目標商品和爆款商品,從而建立目標商品與爆款商品之間的關聯關系,提升目標商品與爆款商品之間的 I2I 關聯分。

商家通過這種方式誘導用戶以爆款的心理預期購買名不符實的商品,不僅損害了消費者的利益,降低其購物體驗,還影響了平臺和其他商家的信譽,嚴重擾亂了平臺的公平性。實時攔截此類行為,有助于在保證推薦的時效性的同時,保護實時推薦系統不受惡意攻擊影響。

如何準確、高效地識別這類型的惡意流量攻擊,實時過濾惡意的點擊數據是推薦系統中迫切需要解決的問題。

除此之外,此類實時風控系統對數據安全的要求較高。如果系統的攔截算法意外泄漏,HACK 平臺將得以針對性地加強惡意流量的偽裝能力,增大平臺監控惡意流量的難度。因此,此類系統有必要部署在加密的可信環境中。

本賽題要求選手基于 Flink,Analytics Zoo/BigDL 等組件,在 Occlum 環境中搭建保護數據安全的 PPML (Privacy Preserving Machine Learning) 應用,實現對惡意流量的實時識別。

賽程安排

本次大賽分為初賽、復賽和決賽三個階段,時間安排如下:

初賽階段

參賽隊伍將采用 docker 鏡像的提交方式,由選手提交打包好的代碼鏡像來運行得出搭建結果;參賽隊伍通過天池平臺下載小型訓練集和測試集,用于本地訓練和調試算法;最終完成的代碼鏡像提交到天池平臺后,由評測系統在完整數據集上訓練與預測。

復賽階段

進入復賽后,將會進一步要求選手在半監督數據集上訓練深度學習模型,同時鼓勵選手在工程上做一些優化與創新。

決賽階段

最終的決賽將以答辯會的形式進行,晉級決賽團隊需提前按照要求準備答辯 PPT,而在場評委將根據選手的技術思路、理論深度現場表現進行綜合評分。

活動激勵

據悉,本次大賽最終將產生:

·? 冠軍 隊伍 1 支,獎金 10 萬人民幣;

·? 亞軍 隊伍 2 支,獎金各 5 萬人民幣;

·? 季軍 隊伍 3 支,獎金各 2 萬人民幣;

·? 優勝獎 隊伍 4 支,獎金 1 萬人民幣。

同時,本次大賽在報名階段還將延續上一屆的 "鼓勵師計劃" 玩法,成功邀請小伙伴參賽即可成為鼓勵師贏取豐厚的禮品!

彩蛋: 本次比賽頒獎典禮預計將于 12 月 Flink Forward Asia 2021 (近期正式上線) 主論壇舉辦,活動信息獲取歡迎關注? “Flink 中文社區” ?公眾號,更多參賽秘籍等你 Get～!