前些天，英偉達發布全新GPU架構——Turing（圖靈），被黃仁勛視為十二年來英偉達GPU的最大飛躍，無疑是計算機圖形領域的游戲改變者。

圖靈架構最大核心亮點在于即時光線追蹤（Real Time Ray Tracing）,能夠計算光線反射、折射、散射等路線，渲染出逼真的畫面，可為游戲開發者提供電影級畫質的實時渲染，也就是讓游戲看起來更像電影。據悉，這些新GPU依靠自身的一個特殊部分來快速呈現高分辨率圖形，完成圖像的大部分成像工作后，使用人工智能技術來猜測未完成的像素。

雷鋒網了解到，除了即時光線追蹤外，英偉達的GPU還支持多種AI圖像處理能力，可謂是開了掛。

Adobe上的AI圖像處理插件

在上周舉辦的計算機圖形學年度會議SIGGRAPH 2018上，英偉達發布了全新的圖靈架構，隨后展示了一系列用于Photoshop和Premiere的插件。這些插件都利用了其最新的圖靈GPU架構和Quadro RTX系列顯卡支持的機器學習功能，能夠使Photoshop和Premiere上的一些常用功能運行更順暢，更少手動調整。

早在2017年，Adobe在AI圖像處理上就有很多的案例。通過機器學習技術訓練計算機識別和操縱數據，能夠使得圖像處理工具對圖像內容有更準確的理解和猜測，實現很多P圖高手都難以完成的效果。

雷鋒網 (公眾號：雷鋒網) 曾報道，2018年3月，在Adobe Summit 2018上，Adobe和英偉達宣布雙方將基于 Nvidia GPU 對 Adobe Sensei 人工智能系統和機器學習框架進行優化。簡單地說，就是將 Adobe Sensei 建立在 Nvidia GPU 的硬件基礎之上。

實際上，雙方的合作已經持續了十多年，不過此前的合作都是在創意和數字體驗方面， Adobe 的圖片、視頻等依賴于 GPU 來運作圖形相關應用；不過這次合作的核心是 Adobe 在 2016 年 9 月發布的 Sensei 人工智能系統。

合作確立半年之后，英偉達發布全新圖靈架構之際，也展示了雙方合作的成果。

雷鋒網編輯在英偉達于SIGGRAPH大會的展臺上也看到了這些插件的演示。

第一個插件是Super Rez。

?

Super Rez的主要功能是為圖像添加更逼真的細節。如圖所示，狼群站立在山腰上,其毛發細節逼真，樹葉紋理清楚，放大后也很清晰，分辨率能達到4K至8K。這個功能對于大幅高清圖像很適用，例如大幅面海報。從現場演示來看，這項功能大概需要10分鐘。

第二個插件是Inpaint。

?

這個插件用AI增強了Photoshop的內容感知填充。英偉達演示的案例是，在陡峭的懸崖上繪制成群結隊的企鵝，企鵝腳下的巖石看起來如真的巖石一樣粗糙，看起來并不像用傳統的畫筆從附近區域復制過來的。

據雷鋒網了解，Inpaint這個技術由英偉達Guilin Liu領導的團隊開發，運用了最先進的深度學習方法，可以編輯重建損壞的圖像，同時也可以通過移除部分圖像并重新填充來編輯圖像。
?
“我們的模型可以穩健地處理任何形狀、大小、位置距離的圖像破洞。以前的深度學習方法主要關注位于圖像中心周圍的矩形區域，并且通常依賴昂貴的后期處理”。

?
（使用Inpaint去除多余的一棵樹)

為了準備用于訓練的神經網絡，該團隊首先生成了55,116個隨機條紋和任意形狀和大小的圖像破洞用于訓練。該團隊使用NVIDIA Tesla V100 GPU和cuDNN加速的PyTorch深度學習框架，該團隊通過將生成的圖像破洞的蒙版應用于ImageNet，Places2和CelebA-HQ數據集中的圖像來訓練他們的神經網絡。在訓練階段，將破洞或缺失部分引入上述數據集的完整訓練圖像中，以使網絡能夠學習重建丟失的像素。

目前，英偉達演示的Inpaint運行于6300美元的Quadro RTX 6000顯卡上，但是其效果實現所花費的時間依然不短。或許因為如此，英偉達表示它沒有計劃發布這些插件，只是展示新顯卡和Nvidia的NGX SDK的可能性。

相比于價格高昂的Quadro系列，英偉達于8月21日發布的幾款針對游戲玩家的Geforce RTX顯卡價格則要親民很多。

草圖視頻生成真實視頻

英偉達與Adobe合作的這幾款插件看起來都很日常，而英偉達與MIT合作的一項視頻生成技術看起來則尤為炫酷。

?

不知道是否有人看過韓劇《W兩個世界》，在這部大火的浪漫韓劇中，男主人公是從一本漫畫里走出來的，女主人公也能在二次元和三次元之間隨意穿梭。
?
英偉達新的技術向我們展示了“腦洞大開”的韓劇也是有實現的可能，用線條畫一個帥哥，然后一鍵轉換，他的真實的眉眼就出來了，就這么神奇。?

效果如下：給出一個由簡單線條組成的素描草圖就能生成細節豐富的人臉，臉型、鼻子眼睛嘴巴等五官、發型等都和草圖的輪廓一致，最厲害的是生成的人物還能流暢地動起來。

?
目前，我們能看到的圖像處理技術能做到的主要是背景分割、人臉區域分割，用來對頭發發型、發色、面部五官進行調整。而像這樣根據草圖直接生成一個嶄新的人臉，不免讓人訝異。
?
除了人物，英偉達和MIT的這項技術也可以用于實景。可以合成長達30秒的2K分辨率街景視頻。

?

右邊是一幅動態語義地圖，左邊則是和真實世界一樣的視頻。可以看到，兩邊的場景的布局完全一樣，所以這并不是找了一個相似的視頻出來，而是依葫蘆畫瓢全新生成的。
?
由于是計算機生成的，你可以對視頻中的元素進行修改，例如，將道路兩側全部變成樹木，或者全部變成建筑。
?
據雷鋒網了解，此項目由英偉達和MIT組成的團隊開發，包括英偉達的Ting-Chun Wang、劉明宇（Ming-Yu Liu），以及來自MIT的朱俊彥（Jun-Yan Zhu）等。
?
以上幾位研究員合著了一篇名為“Video-to-Video Synthesis”的論文，論文摘要現實，該論文研究視頻到視頻的合成問題，目標是學習從輸入源視頻（例如，一系列的語義分割掩碼）到輸出照片級視頻的映射眼熟，輸出視頻能精確地描繪原視頻內容。論文提出了一種新型的生成對抗網絡框架下的視頻到視頻合成方法。通過精心設計生成器和判別器架構，結合空間-時間對抗目標函數，在多種輸入視頻格式下生成了高分辨率、時間連貫的照片級視頻，其中多種形式的輸入包括分割掩碼、草圖和姿態圖。
?
視頻合成的demo很炫酷，可以想象，以后影視制作中的一些部分完全可以不用實景拍攝，畫個簡筆畫然后合成真實視頻就可以了。但是，很顯然，這個視頻到視頻的合成的技術比前面介紹的Adobe里用到的AI圖像處理技術還要難實現，目前還停留在實驗室階段。

GPU與AI圖像處理

圖靈架構的實時光線追蹤無疑是最讓人驚嘆的，其能計算光線反射、折射、散射，渲染出逼真的畫面，對游戲、影視的畫面效果會帶來很大的提升。
?
此外，圖靈架構還有更多的特性：

• Tensor Core可加速深度神經網絡訓練和推理；

• 圖靈流式多處理器（Turing Streaming Multiprocessor）架構擁有4608個CUDA core，可提供高達16 teraflops的計算性能，并行運算每秒16萬億次整數運算，以加速模擬真實世界的物理模擬；

• 先進的可編程著色技術可提高復雜視效和圖形密集型工作體驗；

• 首次采用超快速的三星16Gb GDDR6內存，支持更復雜的設計、海量建筑數據集、8K電影內容等;

• NVIDIA NVLink可通過高速鏈路聯通兩個GPU，將內存容量擴展至96 GB，并可通過高達100GB / s的數據傳輸提供更高性能；

• 增強型技術可提高VR應用性能，包括可變速率著色（Variable Rate Shading）、多視角渲染（Multi-View Rendering）和VRWorks Audio。

計算機圖形領域一直追逐更清晰的圖像顯示、更逼真的渲染、更快的處理速度是，GPU的性能提升在不斷實現這些目標。如今，AI與圖像處理的結合給我們帶來更多的可能性，這也是不少公司都在布局的方向。
?
在今年的WWDC上，蘋果重點介紹了其Metal和ML兩大技術。2014年蘋果推出Metal，能利用GPU獲得更高的圖形計算能力，使得一些操作游戲如《堡壘之夜》在iPhone上運行。通過對eGPU的支持，Metal使得蘋果的設備能夠獲得更逼真的3D渲染效果，還能幫助Unity實現實時的光線渲染效果。
?
此外，Metal的另一大特色在于，其能支持機器學習，加速訓練神經網絡這樣的計算密集型任務。因此基于Metal開發的機器學習工具Core ML也能利用GPU，在效率上得到很大提升。

GPU和AI技術的提升，無疑也將對VR的發展起到推動的作用，雷鋒網編輯期待著更多炫酷的AI圖像處理技術的誕生。

?

?

相關文章：

英偉達發布新算法，可以重建缺失像素

P圖現在都這么狠了嗎？英偉達新算法，輕松幫你P掉前男友

英偉達放出12年來最大招：全新圖靈架構登場，全球首批即時光線追蹤GPU同步亮相

英偉達發布3款RTX 20系列游戲顯卡，性能提升6倍讓游戲更像電影

。