鈦媒體注：本文來自于量子位（ID：QbitAI），作者丨蕾師師，鈦媒體經授權發布。

小明隨意地涂鴉了一個頭部，再簡單地畫了個翅膀，加上一個大尾巴……再單擊「轉換」鍵。

一只面目猙獰、皮膚粗糙、紋理細致的大怪獸就創造出來了。

這是Google研究人員制作的AI工具奇美拉畫家（Chimera Painter）。

這是個線上繪畫工具，可以將涂鴉變成一個栩栩如生的怪物。

奇美拉的條件型GAN

研究人員建立了一個生物混合體的概念，就像是一個紙牌游戲。

比如你拿到一張「鯨」卡，通過組合，可以變成一個「鯨VS大象」的嵌合體怪獸。

這個組合而成藝術作品，還能保留原始圖像的視覺特征。

在此之前生成式對抗網絡 （GAN, Generative Adversarial Networks ）被廣泛用于圖像創作上。GAN一般包含兩個模塊：

• 生成模型（Generative Model）

• 判別模型（Discriminative Model）

兩個模塊互相博弈學習產生相當好的輸出。一個優秀的GAN應用需要有良好的訓練方法，否則可能由于神經網絡模型的自由性而導致輸出不理想。

例如，麻省理工學院和IBM合作，開發出了“GAN繪畫工作室”。

允許用戶上傳自選圖像以從多種角度修改其外觀，從更改對象的大小到添加全新的物體，例如如樹木、窗戶、建筑物、桌子……等等。

再有，英偉達（Nvidia）最新的AI軟件將粗糙的涂鴉變成真實的風景。

而在奇美拉畫家中，與前兩者注重照片寫實的GAN不一樣，他們采用了一種稱作條件型GAN的方法。

這種方法與一般的GAN不一樣，一般的GAN是在一系列圖片基礎上，生成器和判別器相互對抗磨合，形成全新的圖。

奇美拉畫家則是需要在生成器中輸入一張創作圖，在此基礎上，再通過GAN生成新圖。

將怪獸肢解建模，再組合渲染

為了訓練GAN，研究人員創建了10000多個全彩色圖像的數據集，包含不同生物的3D模型。

在這個生物模型的數據庫中，不僅描繪了每個生物整體的大小和形狀，還提供了肢體、器官、軀干的分割圖。

藝術家就在這些“肢解”模型的基礎上，重新組合出新的“生物”。可以選擇頭、牙齒、軀干、翅膀等不同部分進行繪畫。

可以看到左側有各種肢體部分選項按鈕。

然后經過GAN，選出組合得最好的模型，將之合并，輸出到Chimera Painter中。

得先制作生物紋理

在GAN模型中，在渲染對比度低的圖像部分時，會有跳格，使圖像失去空間連貫性。

例如這張圖的腿和眼睛的識別界限不清晰，導致輸出來的圖像奇奇怪怪。

為了解決這個問題，奇美拉畫家的研究人員開發了一種新的半自動化方法。

奇美拉畫家對每種所需的生物類型（例如鬣狗或獅子）都會建立一個模型。

然后，藝術家使用虛幻引擎制作了疊加在3D模型上的彩色紋理。

再將「分割圖」的單色（例如頭，耳，頸等部分）套用到模型上，確保GAN了解到藝術家指定的的結構，形狀，紋理和比例。

再次使用虛幻引擎將3D生物模型放置在簡單的3D場景中。

為了增加數據庫的模型數量，一個自動化腳本會主動采用這個3D場景。在10000張生物模型的基礎上，繼續補充，生成了10000+張圖像+分割圖。

根據生物的不同姿勢，在視點和縮放級別之間進行插值，創建出全色圖像和分割圖，形成GAN新的訓練數據集。

而每次手動創建這些數據，需要20多分鐘。

谷歌表示，奇美拉畫家為藝術家節省了數百萬小時的時間。

參考鏈接：
https://www.theverge.com/2019/3/19/18272602/ai-art-generation-gan-nvidia-doodle-landscapes
https://www.theverge.com/tldr/2020/11/18/21572884/google-ai-tool-gan-chimera-painter-machine-learning-monsters
https://storage.googleapis.com/chimera-painter/index.html
https://www.ithome.com/0/433/709.htm

https://ai.googleblog.com/2020/11/using-gans-to-create-fantastical.html