欧美中文字幕第一页-欧美中文字幕一区-欧美中文字幕一区二区三区-欧美中文字幕在线-欧美中文字幕在线播放-欧美中文字幕在线视频

從技術(shù)到產(chǎn)品,AI-ISP夜視的破局之路

我是創(chuàng)始人李巖:很抱歉!給自己產(chǎn)品做個(gè)廣告,點(diǎn)擊進(jìn)來(lái)看看。  

具備夜視能力的攝像機(jī),可以打破晝夜限制,識(shí)別夜間無(wú)法辨別的目標(biāo),提高夜間工作的能力,目前已落地到安防、交通管理、環(huán)保監(jiān)測(cè)、夜景拍攝、戶外探險(xiǎn)等場(chǎng)景。

當(dāng)前,市場(chǎng)上夜視相機(jī)的極限光照度基本在0.01Lux。

照度(Lux),指單位面積上接收到的可見(jiàn)光的光通量,是衡量環(huán)境光的亮度單位。“最低照度”反映的是攝像機(jī)可以在多黑的環(huán)境下仍能看到物體。

然而,受到硬件發(fā)展的制約,視覺(jué)成像系統(tǒng)的成像效果已接近天花板。但在一些特定場(chǎng)景下,市場(chǎng)需求達(dá)到了0.001Lux及以下的星光級(jí)。

在未來(lái)較長(zhǎng)一段時(shí)間內(nèi),通過(guò)硬件實(shí)現(xiàn)最低光照度從0.1Lux到0.001lux的跳升,困難極大。

并且,隨著復(fù)雜場(chǎng)景和圖像處理要求的提高,傳統(tǒng)ISP在暗光條件下的降噪、對(duì)比度增強(qiáng)和暗光提亮方面的局限性,已經(jīng)越來(lái)越明顯。

2018年,英特爾實(shí)驗(yàn)室發(fā)表論文《Learning to see in the dark》,提供了一條新的路徑,其通過(guò)深度學(xué)習(xí)算法打造全新AI-ISP成像體系的思路,成為時(shí)下提升光照度的主流。

低照度下的夜視技術(shù)探索:硬件方案受阻,AI技術(shù)解圍

在AI-ISP技術(shù)出現(xiàn)前,夜視領(lǐng)域的玩家們更多在硬件上想辦法,實(shí)現(xiàn)更低的照度。

索尼是感光芯片領(lǐng)域的最強(qiáng)玩家,上世紀(jì)90年代便已進(jìn)入低照度全彩夜視領(lǐng)域,并且是背照式、堆棧式CMOS圖像傳感器的率先研發(fā)者。

索尼主要針對(duì)感光芯片進(jìn)行工藝上的改進(jìn),核心思路是不斷減少電路所占的面積,同時(shí)增加感光芯片的感光面積。硬件上,索尼做出不少努力,比如推出全畫(huà)幅感光芯片。

但即便是索尼,將低照度感光芯片的光照感知能力 0. 14 Lux 提升到 0. 07 Lux,也花費(fèi)了五年時(shí)間。使用的最高端的全畫(huà)幅感光芯片,售價(jià)高達(dá)上萬(wàn)塊錢(qián)。

材料學(xué)及制造工藝難以突破,硬件制約下的視覺(jué)成像系統(tǒng),成像效果已接近天花板。

短期內(nèi),通過(guò)硬件提升光照度,難度顯而易見(jiàn),在軟件上進(jìn)行探索,則能打開(kāi)局面。

2018年,英特爾實(shí)驗(yàn)室針對(duì)這一世界級(jí)難題,提出可以通過(guò)整個(gè)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)ISP的全部功能。

ISP(圖像處理芯片)類似人腦的視覺(jué)處理中樞,當(dāng)我們想要看到這個(gè)世界的時(shí)候,大腦中幾百億個(gè)神經(jīng)元鏈接就會(huì)開(kāi)始工作。AI-ISP相當(dāng)于將人類復(fù)雜的視覺(jué)神經(jīng)網(wǎng)絡(luò)在攝像機(jī)中實(shí)現(xiàn),為攝像機(jī)提供一個(gè)新的大腦。

ISP作為一系列圖像處理算法的集合,負(fù)責(zé)完成從sensor RAW到圖像RGB數(shù)據(jù)的轉(zhuǎn)換,過(guò)程包括各種矯正、去噪、轉(zhuǎn)換和增強(qiáng)等環(huán)節(jié)。

然而,隨著復(fù)雜場(chǎng)景越來(lái)越多,圖像處理要求越來(lái)越高,傳統(tǒng)ISP在暗光條件下的降噪、對(duì)比度增強(qiáng)和暗光提亮方面,局限性越來(lái)越明顯。

由于傳統(tǒng)ISP通常采用硬件實(shí)現(xiàn),不斷擴(kuò)充的參數(shù)庫(kù),帶來(lái)調(diào)試上的困難,整體開(kāi)發(fā)周期逐步拉長(zhǎng)。

而以AI技術(shù)為輔助,通過(guò)深度學(xué)習(xí)海量場(chǎng)景和數(shù)據(jù),輸出算法模型,對(duì)圖像進(jìn)行精準(zhǔn)處理,則可以在某些場(chǎng)景大幅改善傳統(tǒng)ISP的成像效果。

得到端側(cè)大算力的支持后,這種全新的ISP成像體系,突破了傳統(tǒng)ISP圖像處理體系的硬件限制。

作為解決低照度下實(shí)時(shí)全彩夜視這一難題的一劑良方,AI-ISP的技術(shù)成果,已經(jīng)落地到了安防、礦井、石油、自動(dòng)駕駛、無(wú)人機(jī)等場(chǎng)景。

目前,國(guó)外的索尼、豪威、安霸,國(guó)內(nèi)的???、大華、華為等都是該領(lǐng)域的重要玩家。

除了上述大廠,也有一些創(chuàng)業(yè)公司參與其中,比如深知未來(lái)、京德致遠(yuǎn)、影石等。

在深知未來(lái)創(chuàng)始人&CEO張齊寧看來(lái),“AI夜視技術(shù)是目前唯一能夠?qū)崿F(xiàn)全彩夜視的技術(shù)路徑”。

目前,深知未來(lái)基于其AI-ISP全彩夜視技術(shù),已發(fā)布一系列產(chǎn)品,包括無(wú)人機(jī)載荷S2 PRO和S6,手持夜視單筒鏡等。

這些產(chǎn)品突破了傳統(tǒng)夜視技術(shù)的局限,具有全彩實(shí)時(shí)成像、高分辨率、不懼強(qiáng)光、成本低、場(chǎng)景適應(yīng)力強(qiáng)等特點(diǎn)。

AI-ISP商業(yè)化落地的兩大難點(diǎn):難調(diào)試、成本高

最開(kāi)始,深知未來(lái)按照英特爾的思路,用一個(gè)端到端的一體化神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)ISP。

然而,團(tuán)隊(duì)很快發(fā)現(xiàn),英特爾的思路雖然可行,但終歸只是一個(gè)實(shí)驗(yàn)室中的技術(shù),很難實(shí)現(xiàn)商業(yè)化。

原因在于,這一技術(shù)需要巨大的算力支持,成本頗高。即使以當(dāng)下的算力平臺(tái),要支持這樣一個(gè)端到端的一體化神經(jīng)網(wǎng)絡(luò),也仍是一件難事。

經(jīng)過(guò)半年探索,深知未來(lái)發(fā)現(xiàn)了兩個(gè)橫亙?cè)谏虡I(yè)化途中的問(wèn)題。

其一,用一體化神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)ISP時(shí),很難對(duì)其進(jìn)行調(diào)試。

由于不同產(chǎn)品應(yīng)用對(duì)圖像的要求不一,因此芯片廠商基本都會(huì)預(yù)留大量參數(shù),以供產(chǎn)品廠商再做調(diào)整,調(diào)試出具備自身風(fēng)格的圖像。

然而,對(duì)于使用ISP芯片的廠商們來(lái)說(shuō),想要對(duì)一整個(gè)神經(jīng)網(wǎng)絡(luò)進(jìn)行調(diào)整,為此專門(mén)另招專業(yè)的算法工程師并不切合實(shí)際,此外也根本沒(méi)有數(shù)據(jù)對(duì)圖像風(fēng)格進(jìn)行調(diào)整。

其二,通過(guò)整個(gè)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)ISP的全部功能,難度太大且不必要。

“事實(shí)上,只需做跟圖像質(zhì)量相關(guān)的關(guān)鍵ISP環(huán)節(jié),如降噪、HDR、3A等 AI 化,就能立刻提升圖像質(zhì)量,而不必對(duì)整個(gè)ISP進(jìn)行神經(jīng)網(wǎng)絡(luò)化。”張齊寧對(duì)雷峰網(wǎng) (公眾號(hào):雷峰網(wǎng)) 表示。

截止目前,大多數(shù)業(yè)界針對(duì)AI-ISP的研究,都只將少數(shù)模塊AI化,“大多數(shù)芯片廠商只處理其中的一部分任務(wù),仍然留很多參數(shù),讓下游產(chǎn)品廠商做調(diào)整。”

深知未來(lái)于是轉(zhuǎn)換思路,拋棄高成本的整體路線,轉(zhuǎn)而針對(duì)關(guān)鍵ISP環(huán)節(jié)進(jìn)行AI化,并將自己的夜視神經(jīng)網(wǎng)絡(luò)命名為“EODNet”(end of dark)。

2019年,安霸公司提出“AI-ISP”概念,用以描述這種全新的ISP成像體系。

自安霸提出AI-ISP概念后,業(yè)界都將自己的相關(guān)技術(shù)定義為AI-ISP,并提出各不相同的理解。在當(dāng)時(shí),連AI人臉識(shí)別這一更上層的應(yīng)用,也被納入AI-ISP領(lǐng)域。

經(jīng)過(guò)幾年的探索,業(yè)界對(duì)于AI-ISP的理解漸漸趨于一致。

張齊寧對(duì)雷峰網(wǎng)解釋道:“AI-ISP的定義,是完成從感光芯片到成像過(guò)程的一整個(gè)算法集合體,包含20-30個(gè)算法。凡解決的問(wèn)題與這20-30個(gè)成像任務(wù)相關(guān),如降噪、銳化、HDR等,那么就可以被認(rèn)為是在解決AI-ISP的問(wèn)題。”

業(yè)界主要玩家中,索尼的重心主要在低照度的底層技術(shù)研究上,前期更多探索如何通過(guò)硬件實(shí)現(xiàn)最低照度;國(guó)內(nèi)在夜視應(yīng)用領(lǐng)域長(zhǎng)期布局的海康、大華,重心則在使用更好的光學(xué)鏡頭與感光芯片,解決具體場(chǎng)景中的夜視難題。

“對(duì)比做AI-ISP的友商,深知未來(lái)對(duì)整個(gè)AI-ISP體系研究涵蓋的范圍和深度是最大的。有的廠商在20-30個(gè)算法中,只關(guān)注了2-4個(gè)領(lǐng)域,深知未來(lái)關(guān)注了7-8個(gè)成像領(lǐng)域。其中3A、超分等技術(shù),很多AI-ISP廠商還沒(méi)有開(kāi)始涉及,而深知未來(lái)已經(jīng)做了很多年研究。”張齊寧介紹道。

行業(yè)應(yīng)用多樣,同類賽道該如何競(jìng)技?

如今,低照度全彩夜視成像,已在G端、B端和C端市場(chǎng)形成多樣分支。

比如,在公安領(lǐng)域,低照度全彩夜視成像的攝像機(jī)被用于刑偵場(chǎng)景。

數(shù)據(jù)顯示,80%的重大刑事案件發(fā)生在夜間,這給刑偵帶來(lái)了很大困難,傳統(tǒng)AI視覺(jué)攝像頭很難解決黑夜場(chǎng)景下成像模糊乃至缺失的痛點(diǎn)。

全彩夜視攝像機(jī)的優(yōu)點(diǎn)是,即使在極低照度、肉眼無(wú)法看清、無(wú)補(bǔ)光的夜間環(huán)境下,仍能以較低的成本,提供實(shí)時(shí)彩色清晰的圖像。

此外,自動(dòng)駕駛領(lǐng)域的夜間行駛,工業(yè)檢測(cè)領(lǐng)域的復(fù)雜光線場(chǎng)景,基于AI-ISP的低照度全彩夜視成像,都能極大改善圖像質(zhì)量。

根據(jù)客戶屬性的不同,深知未來(lái)提供差異化產(chǎn)品,以滿足客戶需求。

面對(duì)B端市場(chǎng),深知未來(lái)的定位是一家技術(shù)公司。

深知未來(lái)在B端市場(chǎng),類似一個(gè)單點(diǎn)技術(shù)服務(wù)商,以為合作伙伴競(jìng)標(biāo)提供更有競(jìng)爭(zhēng)優(yōu)勢(shì)的前端產(chǎn)品為主。

“B端選擇深知未來(lái),更多的是對(duì)方自己有成熟的解決方案,需要一些讓客戶更感興趣的點(diǎn),避免同質(zhì)化競(jìng)爭(zhēng)?!?/p>

深知未來(lái)在B端的產(chǎn)品形態(tài),主要分為兩種:整機(jī)產(chǎn)品和機(jī)芯。

工業(yè)無(wú)人機(jī)是深知未來(lái)最先商業(yè)化的領(lǐng)域,主要提供完整的產(chǎn)品形態(tài)。截止目前,深知未來(lái)一共發(fā)布了 4 款全彩夜視相機(jī),可適配搭載于大疆的行業(yè)機(jī)。

其中,全彩夜視無(wú)人機(jī)載荷S2 PRO在S2的基礎(chǔ)上,著重解決夜間作業(yè)的關(guān)鍵痛點(diǎn),實(shí)現(xiàn)更遠(yuǎn)的視距與更精準(zhǔn)的定位。

安防領(lǐng)域,深知未來(lái)主要提供夜視機(jī)芯,合作伙伴基于深知未來(lái)的機(jī)芯,已經(jīng)開(kāi)發(fā)出10款不同的安防產(chǎn)品。

面對(duì)C端市場(chǎng),深知未來(lái)的定位是一家產(chǎn)品公司。

C端客戶需求相對(duì)簡(jiǎn)單,更注重新奇的體驗(yàn)。

深知未來(lái)在C端主要推出完整產(chǎn)品,如今年推出的兩款便攜式夜視設(shè)備,單反式的夜視設(shè)備P6,以類似單筒望遠(yuǎn)鏡形態(tài)的P8 Pro。

P6和P8 Pro是兩款從行業(yè)到戶外的產(chǎn)品。

行業(yè)端,應(yīng)急救援、公安偵查、邊防巡檢等場(chǎng)景對(duì)便攜手持夜視設(shè)備有著長(zhǎng)期的更新需求。

消費(fèi)端,歐美地區(qū)戶外文化成熟,徒步露營(yíng)、打獵觀鳥(niǎo)等場(chǎng)景,對(duì)便攜手持夜視設(shè)備的需求同樣必不可少。

當(dāng)下,夜間全彩成像,需求缺口巨大。北美地區(qū),用戶對(duì)戶外精準(zhǔn)夜視的需求幾近剛需,但市面上主流的熱成像夜視儀和紅外補(bǔ)光夜視儀,多為黑白成像或弱彩,存在目標(biāo)細(xì)節(jié)特征不明顯等缺點(diǎn)。

除了便攜式設(shè)備向消費(fèi)端的傾斜,深知未來(lái)也計(jì)劃將工業(yè)無(wú)人機(jī)的整個(gè)模組和產(chǎn)品做得更加輕量級(jí),在未來(lái)搭載到消費(fèi)無(wú)人機(jī)上。

結(jié)語(yǔ)

在夜間實(shí)時(shí)全彩成像這一難題上,AI-ISP技術(shù)已被證實(shí)取得了突破性的進(jìn)展,但其商業(yè)化之路,經(jīng)歷了不斷的調(diào)整和適配。

自2010年的計(jì)算革命開(kāi)始,AI視覺(jué)成像成為一股浪潮。但是夜間在極低照度下,如何在多個(gè)行業(yè)應(yīng)用場(chǎng)景里實(shí)現(xiàn)全彩成像,仍然是一個(gè)需要不斷突破的命題。

當(dāng)下,入局AI-ISP的玩家眾多,不僅有海康、大華等安防巨頭,還有OPPO、vivo 等手機(jī)大廠,芯片端海思、地平線、瑞芯微、安霸、豪威、國(guó)芯微等也都有所涉及。投身于其中的巨頭們,雖有技術(shù)、品牌、渠道優(yōu)勢(shì),但整個(gè)賽道仍處于早期發(fā)展階段。

創(chuàng)業(yè)公司們通過(guò)不同的技術(shù)路線進(jìn)行差異化布局,仍然可以在眾多細(xì)分領(lǐng)域中找到屬于自己的位置。

雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn) 轉(zhuǎn)載須知 。

隨意打賞

提交建議
微信掃一掃,分享給好友吧。
主站蜘蛛池模板: 一区二区三区久久精品 | 深夜福利免费观看 | 国产一级二级在线观看 | 青青爽国产手机在线观看免费 | 亚洲国产高清在线精品一区 | 一区二区三区在线免费观看视频 | 色综合影视 | 国产成人在线视频免费观看 | 九九啪啪 | 精品免费在线视频 | 欧美精品国产一区二区三区 | 久久在线 | 欧美国产亚洲精品a第一页 欧美国产亚洲精品高清不卡 | 91视频福利 | 91精彩视频在线观看 | 亚洲五月综合网色九月色 | 国产免费一级高清淫日本片 | 一级一级一级毛片 | 国产成人精品精品欧美 | 色综久久 | 国产日比视频 | 国产免费无遮挡精品视频 | 国产精品香蕉成人网在线观看 | 国产精品夜色视频一级区 | 97av在线视频 | 91极品视频在线观看 | 国产精品久久久久久久久久影院 | 色噜噜亚洲精品中文字幕 | 国产一区二区三区毛片 | 97影院理论片手机在线观看 | 一级特级欧美a毛片免费 | 欧美.成人.综合在线 | 久久视频在线免费观看 | 免费观看精品视频999 | 国产一区福利 | 色综合天天综合网站中国 | 91综合精品网站久久 | 欧美一区二区在线观看视频 | 夜色资源在线观看免费 | 91热久久免费精品99 | 成视频年人黄网站免费视频 |