欧美中文字幕第一页-欧美中文字幕一区-欧美中文字幕一区二区三区-欧美中文字幕在线-欧美中文字幕在线播放-欧美中文字幕在线视频

除了實時光線追蹤,英偉達圖靈架構還有這些AI圖像處理能力

我是創始人李巖:很抱歉!給自己產品做個廣告,點擊進來看看。  

除了實時光線追蹤,英偉達圖靈架構還有這些AI圖像處理能力

前些天,英偉達發布全新GPU架構——Turing(圖靈),被黃仁勛視為十二年來英偉達GPU的最大飛躍,無疑是計算機圖形領域的游戲改變者。

圖靈架構最大核心亮點在于即時光線追蹤(Real Time Ray Tracing),能夠計算光線反射、折射、散射等路線,渲染出逼真的畫面,可為游戲開發者提供電影級畫質的實時渲染,也就是讓游戲看起來更像電影。據悉,這些新GPU依靠自身的一個特殊部分來快速呈現高分辨率圖形,完成圖像的大部分成像工作后,使用人工智能技術來猜測未完成的像素。

雷鋒網了解到,除了即時光線追蹤外,英偉達的GPU還支持多種AI圖像處理能力,可謂是開了掛。

Adobe上的AI圖像處理插件

在上周舉辦的計算機圖形學年度會議SIGGRAPH 2018上,英偉達發布了全新的圖靈架構,隨后展示了一系列用于Photoshop和Premiere的插件。這些插件都利用了其最新的圖靈GPU架構和Quadro RTX系列顯卡支持的機器學習功能,能夠使Photoshop和Premiere上的一些常用功能運行更順暢,更少手動調整。

早在2017年,Adobe在AI圖像處理上就有很多的案例。通過機器學習技術訓練計算機識別和操縱數據,能夠使得圖像處理工具對圖像內容有更準確的理解和猜測,實現很多P圖高手都難以完成的效果。

雷鋒網 (公眾號:雷鋒網) 曾報道,2018年3月,在Adobe Summit 2018上,Adobe和英偉達宣布雙方將基于 Nvidia GPU 對 Adobe Sensei 人工智能系統和機器學習框架進行優化。簡單地說,就是將 Adobe Sensei 建立在 Nvidia GPU 的硬件基礎之上。

實際上,雙方的合作已經持續了十多年,不過此前的合作都是在創意和數字體驗方面, Adobe 的圖片、視頻等依賴于 GPU 來運作圖形相關應用;不過這次合作的核心是 Adobe 在 2016 年 9 月發布的 Sensei 人工智能系統。

合作確立半年之后,英偉達發布全新圖靈架構之際,也展示了雙方合作的成果。

雷鋒網編輯在英偉達于SIGGRAPH大會的展臺上也看到了這些插件的演示。

第一個插件是Super Rez。

? 除了實時光線追蹤,英偉達圖靈架構還有這些AI圖像處理能力

Super Rez的主要功能是為圖像添加更逼真的細節。如圖所示,狼群站立在山腰上,其毛發細節逼真,樹葉紋理清楚,放大后也很清晰,分辨率能達到4K至8K。這個功能對于大幅高清圖像很適用,例如大幅面海報。從現場演示來看,這項功能大概需要10分鐘。

除了實時光線追蹤,英偉達圖靈架構還有這些AI圖像處理能力

第二個插件是Inpaint。

? 除了實時光線追蹤,英偉達圖靈架構還有這些AI圖像處理能力

這個插件用AI增強了Photoshop的內容感知填充。英偉達演示的案例是,在陡峭的懸崖上繪制成群結隊的企鵝,企鵝腳下的巖石看起來如真的巖石一樣粗糙,看起來并不像用傳統的畫筆從附近區域復制過來的。

據雷鋒網了解,Inpaint這個技術由英偉達Guilin Liu領導的團隊開發,運用了最先進的深度學習方法,可以編輯重建損壞的圖像,同時也可以通過移除部分圖像并重新填充來編輯圖像。
?
“我們的模型可以穩健地處理任何形狀、大小、位置距離的圖像破洞。以前的深度學習方法主要關注位于圖像中心周圍的矩形區域,并且通常依賴昂貴的后期處理”。

除了實時光線追蹤,英偉達圖靈架構還有這些AI圖像處理能力

除了實時光線追蹤,英偉達圖靈架構還有這些AI圖像處理能力 ?
(使用Inpaint去除多余的一棵樹)

為了準備用于訓練的神經網絡,該團隊首先生成了55,116個隨機條紋和任意形狀和大小的圖像破洞用于訓練。該團隊使用NVIDIA Tesla V100 GPU和cuDNN加速的PyTorch深度學習框架,該團隊通過將生成的圖像破洞的蒙版應用于ImageNet,Places2和CelebA-HQ數據集中的圖像來訓練他們的神經網絡。在訓練階段,將破洞或缺失部分引入上述數據集的完整訓練圖像中,以使網絡能夠學習重建丟失的像素。

目前,英偉達演示的Inpaint運行于6300美元的Quadro RTX 6000顯卡上,但是其效果實現所花費的時間依然不短。或許因為如此,英偉達表示它沒有計劃發布這些插件,只是展示新顯卡和Nvidia的NGX SDK的可能性。

相比于價格高昂的Quadro系列,英偉達于8月21日發布的幾款針對游戲玩家的Geforce RTX顯卡價格則要親民很多。

草圖視頻生成真實視頻

英偉達與Adobe合作的這幾款插件看起來都很日常,而英偉達與MIT合作的一項視頻生成技術看起來則尤為炫酷。

除了實時光線追蹤,英偉達圖靈架構還有這些AI圖像處理能力 ?

不知道是否有人看過韓劇《W兩個世界》,在這部大火的浪漫韓劇中,男主人公是從一本漫畫里走出來的,女主人公也能在二次元和三次元之間隨意穿梭。
?
英偉達新的技術向我們展示了“腦洞大開”的韓劇也是有實現的可能,用線條畫一個帥哥,然后一鍵轉換,他的真實的眉眼就出來了,就這么神奇。?

效果如下:給出一個由簡單線條組成的素描草圖就能生成細節豐富的人臉,臉型、鼻子眼睛嘴巴等五官、發型等都和草圖的輪廓一致,最厲害的是生成的人物還能流暢地動起來。

除了實時光線追蹤,英偉達圖靈架構還有這些AI圖像處理能力

?
目前,我們能看到的圖像處理技術能做到的主要是背景分割、人臉區域分割,用來對頭發發型、發色、面部五官進行調整。而像這樣根據草圖直接生成一個嶄新的人臉,不免讓人訝異。
?
除了人物,英偉達和MIT的這項技術也可以用于實景。可以合成長達30秒的2K分辨率街景視頻。

除了實時光線追蹤,英偉達圖靈架構還有這些AI圖像處理能力 ?

右邊是一幅動態語義地圖,左邊則是和真實世界一樣的視頻。可以看到,兩邊的場景的布局完全一樣,所以這并不是找了一個相似的視頻出來,而是依葫蘆畫瓢全新生成的。
?
由于是計算機生成的,你可以對視頻中的元素進行修改,例如,將道路兩側全部變成樹木,或者全部變成建筑。
?
據雷鋒網了解,此項目由英偉達和MIT組成的團隊開發,包括英偉達的Ting-Chun Wang、劉明宇(Ming-Yu Liu),以及來自MIT的朱俊彥(Jun-Yan Zhu)等。
?
以上幾位研究員合著了一篇名為“Video-to-Video Synthesis”的論文,論文摘要現實,該論文研究視頻到視頻的合成問題,目標是學習從輸入源視頻(例如,一系列的語義分割掩碼)到輸出照片級視頻的映射眼熟,輸出視頻能精確地描繪原視頻內容。論文提出了一種新型的生成對抗網絡框架下的視頻到視頻合成方法。通過精心設計生成器和判別器架構,結合空間-時間對抗目標函數,在多種輸入視頻格式下生成了高分辨率、時間連貫的照片級視頻,其中多種形式的輸入包括分割掩碼、草圖和姿態圖。
?
視頻合成的demo很炫酷,可以想象,以后影視制作中的一些部分完全可以不用實景拍攝,畫個簡筆畫然后合成真實視頻就可以了。但是,很顯然,這個視頻到視頻的合成的技術比前面介紹的Adobe里用到的AI圖像處理技術還要難實現,目前還停留在實驗室階段。

GPU與AI圖像處理

圖靈架構的實時光線追蹤無疑是最讓人驚嘆的,其能計算光線反射、折射、散射,渲染出逼真的畫面,對游戲、影視的畫面效果會帶來很大的提升。
?
此外,圖靈架構還有更多的特性:

  • Tensor Core可加速深度神經網絡訓練和推理;

  • 圖靈流式多處理器(Turing Streaming Multiprocessor)架構擁有4608個CUDA core,可提供高達16 teraflops的計算性能,并行運算每秒16萬億次整數運算,以加速模擬真實世界的物理模擬;

  • 先進的可編程著色技術可提高復雜視效和圖形密集型工作體驗;

  • 首次采用超快速的三星16Gb GDDR6內存,支持更復雜的設計、海量建筑數據集、8K電影內容等;

  • NVIDIA NVLink可通過高速鏈路聯通兩個GPU,將內存容量擴展至96 GB,并可通過高達100GB / s的數據傳輸提供更高性能;

  • 增強型技術可提高VR應用性能,包括可變速率著色(Variable Rate Shading)、多視角渲染(Multi-View Rendering)和VRWorks Audio。

計算機圖形領域一直追逐更清晰的圖像顯示、更逼真的渲染、更快的處理速度是,GPU的性能提升在不斷實現這些目標。如今,AI與圖像處理的結合給我們帶來更多的可能性,這也是不少公司都在布局的方向。
?
在今年的WWDC上,蘋果重點介紹了其Metal和ML兩大技術。2014年蘋果推出Metal,能利用GPU獲得更高的圖形計算能力,使得一些操作游戲如《堡壘之夜》在iPhone上運行。通過對eGPU的支持,Metal使得蘋果的設備能夠獲得更逼真的3D渲染效果,還能幫助Unity實現實時的光線渲染效果。
?
此外,Metal的另一大特色在于,其能支持機器學習,加速訓練神經網絡這樣的計算密集型任務。因此基于Metal開發的機器學習工具Core ML也能利用GPU,在效率上得到很大提升。

GPU和AI技術的提升,無疑也將對VR的發展起到推動的作用,雷鋒網編輯期待著更多炫酷的AI圖像處理技術的誕生。

?

?

相關文章:

英偉達發布新算法,可以重建缺失像素

P圖現在都這么狠了嗎?英偉達新算法,輕松幫你P掉前男友

英偉達放出12年來最大招:全新圖靈架構登場,全球首批即時光線追蹤GPU同步亮相

英偉達發布3款RTX 20系列游戲顯卡,性能提升6倍讓游戲更像電影

除了實時光線追蹤,英偉達圖靈架構還有這些AI圖像處理能力

隨意打賞

英偉達 ai 芯片英偉達 ai芯片英偉達光線追蹤英偉達圖靈架構英偉達AI芯片圖靈兒童AI英偉達ai英偉達圖靈英偉達AI光線傳媒
提交建議
微信掃一掃,分享給好友吧。
主站蜘蛛池模板: 九九婷婷 | 久久成人18免费 | 日韩欧美亚洲在线 | 国产精品网站 夜色 | 日韩久草| 91福利精品老师国产自产在线 | 嘿嘿嘿视频免费网站在线观看 | 国产99视频精品草莓免视看 | 99热在线看 | 国产香蕉免费精品视频 | 手机看片精品高清国产日韩 | 欧美深夜在线 | 欧美日韩色黄大片在线视频 | 91视频高清 | 99精品视频在线观看免费专区 | 爱视频福利网 | 秘密影院久久综合亚洲综合 | 国产亚洲一区在线 | 精品国产91乱码一区二区三区 | 97爱爱爱 | 久久这里只精品热免费99 | 特黄特黄aaaa级毛片免费看 | 日本在线毛片视频免费看 | 日本一级高清不卡视频在线 | 亚洲国产成人久久一区久久 | 美女又xx又xx免费 | 九九夜夜 | 国产日产欧美精品 | 狠狠色丁香久久婷婷综合五月 | 欧美亚洲国产精品久久第一页 | 国产成人乱码一区二区三区 | 欧美亚洲综合在线观看 | 久久99精品一区二区三区 | 免费亚洲视频在线观看 | 六月婷婷中文字幕 | 天天爽影院一区二区在线影院 | 91私拍| 精品中文字幕在线观看 | 久久九九久精品国产 | 欧美日韩免费做爰视频 | 91成人爽a毛片一区二区 |