5 月 30 日，由中國(guó)信息通信究院、浙江省 經(jīng)濟(jì) 和信息化廳、杭州市人民政府、中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟主辦的杭州通用人工智能論壇，在杭州未來(lái) 科技 城學(xué)術(shù)交流中心成功舉辦。

本次會(huì)議以“大模型應(yīng)用機(jī)遇和挑戰(zhàn)”為主題，超過(guò) 1000 名產(chǎn)學(xué)研代表現(xiàn)場(chǎng)參會(huì)，共同探討人工智能領(lǐng)域的創(chuàng)新經(jīng)驗(yàn)與創(chuàng)新方向。網(wǎng)易易盾 CEO 朱浩齊受邀出席大會(huì)，并以《AIGC 浪潮下數(shù)字內(nèi)容風(fēng)控的新挑戰(zhàn)》為主題發(fā)表演講。以下是演講實(shí)錄：

中國(guó)杭州

中國(guó)信通院副總工程師、中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟副秘書長(zhǎng)王愛(ài)華大會(huì)致辭

各位領(lǐng)導(dǎo)、各位嘉賓，大家下午好！易盾是一家數(shù)字內(nèi)容風(fēng)控公司，自成立以來(lái)一直服務(wù)網(wǎng)易內(nèi)部及行業(yè)其他公司的客戶。剛才很多嘉賓也提到了大模型、AIGC 相關(guān)內(nèi)容，我也想借此機(jī)會(huì)，和大家回顧一下，人工智能技術(shù)在“數(shù)字內(nèi)容風(fēng)控”行業(yè)的一些成長(zhǎng)歷程。本次分享分為四個(gè)方面：

簡(jiǎn)要介紹 AIGC 相關(guān)技術(shù)及應(yīng)用；

介紹 AIGC 帶來(lái)的潛在風(fēng)險(xiǎn)和挑戰(zhàn)；

探討應(yīng)對(duì)這些挑戰(zhàn)的策略；

對(duì)未來(lái)內(nèi)容風(fēng)控技術(shù)趨勢(shì)進(jìn)行判斷。

01

2022-2023年的AIGC

數(shù)據(jù)快速繁殖，十年后模型的參數(shù)量可與人類總腦容量相當(dāng)。

近半年來(lái)，以 ChatGPT 為代表的 AIGC 技術(shù)引起了廣泛關(guān)注。借助 AIGC 技術(shù)，人們可以創(chuàng)作獨(dú)特作品、提升工作效率，但也可能將其用于非法活動(dòng)。數(shù)字內(nèi)容風(fēng)控行業(yè)也面臨新的挑戰(zhàn)，如何更有效、精準(zhǔn)地識(shí)別風(fēng)險(xiǎn)，確保內(nèi)容的合法性和真實(shí)性，值得探討。因此，今天將與大家分享數(shù)字內(nèi)容風(fēng)控在 AIGC 浪潮下所面臨的新挑戰(zhàn)及應(yīng)對(duì)策略。 ChatGPT 是史上用戶數(shù)量增長(zhǎng)最快的平臺(tái)之一。2022 年底，OpenAI 推出?ChatGPT。令人驚嘆的是，僅僅兩個(gè)月后，月活躍用戶就突破了億級(jí)，這使得 AIGC 成為備受矚目的話題。

ChatGPT 作為 AIGC 的一部分，主要用于文字生成，而 AIGC 不僅包括文字生成，還包括圖像、3D 和音視頻生成等。文字生成可用于智能對(duì)話，圖像生成技術(shù)可用于藝術(shù)創(chuàng)作，3D 生成技術(shù)可應(yīng)用于建筑、工業(yè)設(shè)計(jì)等領(lǐng)域，視頻生成技術(shù)可生產(chǎn)出兼具藝術(shù)性和創(chuàng)新性的視頻內(nèi)容。在 AIGC 的助力下，上述工作的效率推被進(jìn)到了一個(gè)全新的水平。 在文本領(lǐng)域，2018 年 GPT-1 的誕生標(biāo)志著 NLP 無(wú)監(jiān)督預(yù)訓(xùn)練模型的開(kāi)端。隨著 GPT-2、GPT-3、ChatGPT 和 GPT-4 的不斷發(fā)展，這些模型的參數(shù)量已經(jīng)從最初的大約1億增長(zhǎng)到了萬(wàn)億級(jí)別。如果把 GPT-1 的參數(shù)量比喻為西湖的大小，現(xiàn)在 GPT-4 的規(guī)模已經(jīng)相當(dāng)于浙江省的面積。如果以這種速度繼續(xù)下去，五年或十年后，模型的參數(shù)規(guī)模將達(dá)到地球甚至太陽(yáng)表面積的數(shù)量級(jí)。這種快速發(fā)展和參數(shù)量的巨大是非常驚人的，十年后模型的參數(shù)量可能與人類總腦容量相當(dāng)。 圖像生成領(lǐng)域在過(guò)去的 10 年中也經(jīng)歷了快速的發(fā)展。2014 年，生成對(duì)抗網(wǎng)絡(luò)開(kāi)啟了圖像生成算法的新篇章。2021 年，基于擴(kuò)散模型的算法憑借“加噪和去噪”的思路生成質(zhì)量更高、多樣性更強(qiáng)的圖像，成為目前圖像合成領(lǐng)域的主要研究方向。另外，Midjourney 是一款高質(zhì)量的圖像生成工具，始終采取不開(kāi)源與收費(fèi)的模式，已經(jīng)成為眾多設(shè)計(jì)師和畫家的得力助手。如今，生成的圖像質(zhì)量已然以假亂真。 相較于圖像生成，視頻生成更難一些，但是目前合成視頻的質(zhì)量相比前幾年已經(jīng)有了很大的提升。在技術(shù)路線上，視頻生成算法也較多地借鑒了圖像生成相關(guān)的算法，例如當(dāng)下研究火熱的擴(kuò)散模型。此外，和圖像一樣，視頻生成也逐漸從單模態(tài)的視頻生成逐漸走向跨模態(tài)的視頻生成。舉例而言，AIGC 支持基于文本描述生成一段視頻。

綜上而言，AIGC 實(shí)際上已經(jīng)發(fā)展了很多年，并在各個(gè)領(lǐng)域取得了不錯(cuò)的進(jìn)展。最近，以 ChatGPT 為代表的算法引起了人們的高度關(guān)注，讓人們感受到了智能的存在和生產(chǎn)效率的提升，但同時(shí)也帶來(lái)了一系列的風(fēng)險(xiǎn)和挑戰(zhàn)。

02

警惕充斥侵權(quán)、虛假、垃圾的數(shù)字世界

潛力巨大，但發(fā)展之路充滿挑戰(zhàn)。

自誕生以來(lái)，ChatGPT 的數(shù)據(jù)安全問(wèn)題和隱私問(wèn)題一直被提及。這與其訓(xùn)練方式密切相關(guān)，喂養(yǎng) ChatGPT 的訓(xùn)練數(shù)據(jù)不僅包括維基百科，還包括其他 社交 媒體 、新聞、科學(xué)論文等多種來(lái)源。

這種訓(xùn)練方式還帶來(lái)了另一大算法問(wèn)題：數(shù)據(jù)泄露，即生成的數(shù)據(jù)和訓(xùn)練數(shù)據(jù)很相似，如下方的版權(quán)圖可能存在侵權(quán)風(fēng)險(xiǎn)（左圖來(lái)源：Erin Hanson，右圖來(lái)源：Rachel Metz via Stable Diffusion）。 此外，雖然用 ChatGPT 能夠輕松應(yīng)對(duì)日常寫作任務(wù)，而在其背后，卻參雜著高比例的虛假信息，人工驗(yàn)證不可或缺。由此可見(jiàn)，AIGC 技術(shù)在下游應(yīng)用上仍有許多不完善的地方。

確實(shí)，AIGC 技術(shù)的一個(gè)顯著特點(diǎn)就是內(nèi)容生成速度快。在 PGC 時(shí)代，內(nèi)容生成主要依靠專業(yè)的創(chuàng)作團(tuán)隊(duì)，生成速度較慢，內(nèi)容也比較單一。在 UGC 時(shí)代，內(nèi)容生成更多地依靠用戶創(chuàng)作，速度得到了明顯提升，但質(zhì)量不穩(wěn)定。而在 AIUGC 和 AIGC 時(shí)代，內(nèi)容生成速度更快，并且能夠創(chuàng)造出具有藝術(shù)性、創(chuàng)新性和獨(dú)特性的作品，內(nèi)容創(chuàng)作空間更加廣闊。

除了生成速度快之外，AIGC 技術(shù)可生成多樣化的內(nèi)容類型，包括文字、圖片、音頻、視頻等，也支持在已有真實(shí)內(nèi)容上做自定義修改。同時(shí)，借助跨模態(tài)技術(shù)，人們只要說(shuō)一段話、寫一段文字就能生成對(duì)應(yīng)的內(nèi)容，大大降低了內(nèi)容創(chuàng)作的難度。

AIGC 不僅生成速度快、內(nèi)容多樣，而且內(nèi)容逼真。以目前最常見(jiàn)的人臉生成為例，人物的整體形態(tài)和臉部細(xì)節(jié)都和真人相差無(wú)幾，甚至連光影效果、虛化都能以假亂真。

基于以上 AIGC 的顯著特點(diǎn)，在帶來(lái)生產(chǎn)效率提升的同時(shí)，也充斥著欺詐、不合規(guī)內(nèi)容的泛濫，給內(nèi)容風(fēng)控帶來(lái)了新的挑戰(zhàn)。這不僅要求內(nèi)容風(fēng)控需要精準(zhǔn)有效，而且要能快速識(shí)別特定內(nèi)容，保障內(nèi)容的合法性和真實(shí)性。

03

變與不變，呼喚數(shù)字風(fēng)控新時(shí)代

AIGC 暴露潛在問(wèn)題，智能風(fēng)控技術(shù)來(lái)彌補(bǔ)。

針對(duì) AIGC 技術(shù)所帶來(lái)的風(fēng)控難題，易盾依靠近些年和黑產(chǎn)的對(duì)抗，沉淀出一套全方位的風(fēng)控體系，結(jié)合近期出現(xiàn)的 AIGC 風(fēng)險(xiǎn)加以驗(yàn)證和優(yōu)化，不斷適應(yīng)新的挑戰(zhàn)。

這套風(fēng)控體系應(yīng)涵蓋多個(gè)環(huán)節(jié)，以實(shí)現(xiàn)對(duì)生成內(nèi)容的全面、精準(zhǔn)、實(shí)時(shí)監(jiān)控和管理，確保內(nèi)容的安全可靠。 在體系建設(shè)方面，我們從 AIGC 提供商運(yùn)營(yíng)角度出發(fā)，結(jié)合國(guó)家政策與豐富的行業(yè)經(jīng)驗(yàn)，提供了覆蓋事前—平臺(tái)運(yùn)營(yíng)前置的風(fēng)險(xiǎn)、事中—平臺(tái)內(nèi)容合規(guī)風(fēng)險(xiǎn)以及事后—投訴與違規(guī)處理風(fēng)險(xiǎn)的全流程解決方案。在 AI 算法治理、安全制度管理、AI 偽造內(nèi)容識(shí)別、實(shí)時(shí)審核平臺(tái)建設(shè)與人機(jī)交互等方面不斷開(kāi)拓與創(chuàng)新，構(gòu)建了多輪多模態(tài)的內(nèi)容風(fēng)控體系，以確保平臺(tái)上的內(nèi)容安全合規(guī)，同時(shí)保證 AIGC 技術(shù)的正常運(yùn)營(yíng)和發(fā)展。

在產(chǎn)品形態(tài)上，我們?cè)O(shè)計(jì)了支持業(yè)務(wù)定制攔截尺度的策略，以滿足每個(gè)客戶的不同需求和標(biāo)準(zhǔn)。由于相同客戶在不同場(chǎng)景不同時(shí)期的標(biāo)準(zhǔn)也會(huì)存在差異，我們采用通用標(biāo)準(zhǔn)和個(gè)性化標(biāo)準(zhǔn)結(jié)合的策略，通用標(biāo)準(zhǔn)的復(fù)用可以大大節(jié)約新客戶接入的成本，個(gè)性化標(biāo)準(zhǔn)則進(jìn)一步貼合客戶定制需求，從而實(shí)現(xiàn)更加靈活、高效的內(nèi)容風(fēng)控服務(wù)。

為實(shí)現(xiàn)產(chǎn)品形態(tài)上的策略定制，網(wǎng)易易盾設(shè)計(jì)了多層級(jí)的標(biāo)簽組合。層級(jí)粒度越細(xì)，不僅有利于策略方案上靈活組合，實(shí)現(xiàn)客戶定制需求，而且不斷沉淀為堅(jiān)實(shí)的知識(shí)庫(kù)，借助知識(shí)圖譜的能力，可以實(shí)現(xiàn)更強(qiáng)的信息檢索和關(guān)聯(lián)分析。 在算法層級(jí)上，我們?cè)O(shè)計(jì)了基于領(lǐng)域泛化的算法優(yōu)化流程，在數(shù)據(jù)、特征學(xué)習(xí)、模型設(shè)計(jì)、訓(xùn)練技巧等方面分別進(jìn)行優(yōu)化。通過(guò)提高數(shù)據(jù)多樣性和模型魯棒性，領(lǐng)域差異的影響將越來(lái)越小，通用知識(shí)的積累使得模型在零樣本、少樣本遷移方面更有優(yōu)勢(shì)。這個(gè)思想也是大模型的基本思想，通過(guò)優(yōu)化模型結(jié)構(gòu)和算法流程，提高模型的泛化能力和適應(yīng)性，以實(shí)現(xiàn)更加精準(zhǔn)和高效的內(nèi)容風(fēng)控服務(wù)。

我們來(lái)看實(shí)際遇到的案例，首先是人臉相關(guān)的。AIGC 的人臉和真實(shí)人臉相比，細(xì)節(jié)丟失非常多，強(qiáng)行與真實(shí)人臉匹配難度較大。我們基于擴(kuò)散模型實(shí)現(xiàn)了各類風(fēng)格和人物的生成，多樣化的大數(shù)據(jù)強(qiáng)化了人臉識(shí)別能力，同時(shí)新增形態(tài)識(shí)別、風(fēng)格識(shí)別等輔助能力。最終，基于人臉、風(fēng)格、人體形態(tài)、背景等聯(lián)合特征進(jìn)行綜合決策與識(shí)別，我們實(shí)現(xiàn)了過(guò)度篡改條件下對(duì)于人臉識(shí)別、人臉屬性、以及篡改方法等內(nèi)容的精準(zhǔn)識(shí)別，問(wèn)題解決率在 80% 以上。 在色情性感方面，AIGC 可以低成本、快速生成大量色情性感內(nèi)容，因此色情、性感的擦邊球數(shù)據(jù)占比越來(lái)越多，隨之而來(lái)的是不同客戶對(duì)這些數(shù)據(jù)的攔截標(biāo)準(zhǔn)不一，此時(shí)采用一套統(tǒng)一的色情性感標(biāo)準(zhǔn)難以準(zhǔn)確滿足不同客戶的需求。我們構(gòu)建了基于色情性感大模型的定向?qū)W習(xí)能力，可實(shí)現(xiàn)快速遷移，最終實(shí)現(xiàn)面向每個(gè)客戶的能力定制。定制成本相比之前減少一半以上，且效果普遍提升 30% 左右。

此外，還有一些新型的風(fēng)險(xiǎn)，如未成年人孕肚、男男孕肚等均是不良價(jià)值導(dǎo)向，這些新型風(fēng)險(xiǎn)的識(shí)別需要模型具備更強(qiáng)的語(yǔ)義能力。我們構(gòu)建了圖文多模態(tài)大模型，提供基礎(chǔ)且強(qiáng)大的通用圖像語(yǔ)義能力，借助高效的遷移學(xué)習(xí)能力，更準(zhǔn)確識(shí)別指定風(fēng)險(xiǎn)數(shù)據(jù)。目前我們已支持十余項(xiàng)新型風(fēng)險(xiǎn)識(shí)別能力，定制成本減少 80%。

04

抓住 AI 跨越式發(fā)展的機(jī)遇之窗

洞察內(nèi)容風(fēng)控技術(shù)趨勢(shì)，捕捉機(jī)遇，應(yīng)對(duì)未來(lái)挑戰(zhàn)。

AIGC 帶來(lái)的全行業(yè)變化，可謂是改天換地，即使是過(guò)去看似穩(wěn)固的方案和成熟的經(jīng)驗(yàn)，在當(dāng)今或已經(jīng)不再適用。

為了適應(yīng)新風(fēng)險(xiǎn)的挑戰(zhàn)， 互聯(lián)網(wǎng) 平臺(tái)企業(yè)要求變，看清現(xiàn)在、洞察未來(lái)，以便選擇正確的方向并制定有效的戰(zhàn)略。以易盾為例，我們不斷基于 AIGC 內(nèi)容風(fēng)險(xiǎn)特點(diǎn)變革“數(shù)字內(nèi)容風(fēng)控”服務(wù)，以滿足行業(yè)不斷變化的需求。 如圖所示，未來(lái)的內(nèi)容風(fēng)控需要解決的問(wèn)題很多，但留給我們解決這些問(wèn)題的時(shí)間卻很短，這對(duì)我們的快速響應(yīng)能力提出了極大的考驗(yàn)。

行業(yè)里有種說(shuō)法，叫“技術(shù)是把雙刃劍”。面對(duì)AIGC，我們除了防范它的負(fù)面效果外，也要充分利用它的正面能力。舉個(gè)例子，在《復(fù)仇者聯(lián)盟》這部電影里，人類創(chuàng)造的智能體奧創(chuàng)要啟動(dòng)核彈密碼意圖毀滅人類，最后是另外一個(gè)人工智能體賈維斯一直在變更密碼保護(hù)人類。那回到現(xiàn)實(shí)中，我們也要充分利用大模型的技術(shù)，進(jìn)一步提升我們的內(nèi)容識(shí)別能力。比如我們對(duì)AIGC技術(shù)的研究，提前預(yù)演了大量潛在的內(nèi)容風(fēng)險(xiǎn)，幫助易盾的“賈維斯”提前學(xué)習(xí)到了更多類型的有害信息，它便有了更好更快的防御能力。這也驗(yàn)證了網(wǎng)絡(luò)上的一個(gè)梗，叫“用魔法打敗魔法”。 從技術(shù)層面來(lái)看，AIGC 也確實(shí)可以賦能到內(nèi)容風(fēng)控能力，實(shí)現(xiàn)從定制到通用、從后知后覺(jué)到提前預(yù)判、從感知到認(rèn)知的跨越。這種跨越使得內(nèi)容風(fēng)控能力更加全面、深入、穩(wěn)定，從而顯著提升了內(nèi)容風(fēng)控的效果和響應(yīng)速度。通過(guò)借力 AIGC 技術(shù)本身，我們可以更快速、更準(zhǔn)確地檢測(cè)和識(shí)別涉嫌違規(guī)的內(nèi)容，從而有效地保護(hù)用戶和平臺(tái)的合法權(quán)益。

未來(lái)的內(nèi)容風(fēng)控會(huì)朝著更加智能、靈活、互動(dòng)的方向發(fā)展。在標(biāo)準(zhǔn)的自適應(yīng)、邊界的自界定、模態(tài)的自對(duì)齊等方面不斷突破。我們可以像跟 ChatGPT 聊天一樣，說(shuō)出我們的標(biāo)準(zhǔn)和訴求，從更加主觀化、更加個(gè)性化、更加多元化的視角來(lái)更好的完成內(nèi)容風(fēng)控任務(wù)，以實(shí)現(xiàn)更安全、更優(yōu)質(zhì)的內(nèi)容風(fēng)控任務(wù)，提供更好的用戶體驗(yàn)。 最后我想說(shuō)，技術(shù)的進(jìn)步不可逆轉(zhuǎn)，為了更好享受技術(shù)帶來(lái)的便利，我真心希望數(shù)字內(nèi)容風(fēng)控技術(shù)，會(huì)像空氣之于物理世界一樣，在虛擬世界中無(wú)處不在，卻又不宜感知。畢竟歷史經(jīng)驗(yàn)告訴我們，絕對(duì)的自由帶來(lái)的是毀滅，放任網(wǎng)絡(luò)內(nèi)容混亂必然會(huì)影響到現(xiàn)實(shí)世界秩序。但我也有一些美好的愿望，希望安全能更加溫暖、更加人性化，對(duì)于違規(guī)用戶不再是粗暴的管理，而是更好地引導(dǎo)人們?nèi)ナ褂眉夹g(shù)，創(chuàng)造美好的內(nèi)容。用魔法打敗魔法，用最強(qiáng)的矛來(lái)打造最強(qiáng)的盾，網(wǎng)易易盾將一直堅(jiān)持下去，為行業(yè)可信安全發(fā)展貢獻(xiàn)自己的力量。謝謝大家！