繼百度在CVPR 2019、CVPR 2020拿下三個(gè)圖像視頻領(lǐng)域競(jìng)賽冠軍后，百度自研的"圖像超分辨技術(shù)"又一次在世界舞臺(tái)上"傲視群雄"。
近日，百度在國(guó)際視覺(jué)領(lǐng)域頂會(huì)ECCV 2020上展現(xiàn)了全球領(lǐng)先的AI技術(shù)實(shí)力，以自研的創(chuàng)新技術(shù)，百度包攬了AIM 2020 Real Image Super-Resolution Challenge全部3項(xiàng)冠軍。截至目前，百度自研的SA-NAS和GP-NAS等自動(dòng)化深度學(xué)習(xí)技術(shù)已在CVPR2019，CVPR2020，ECCV2020 等多個(gè)頂會(huì)workshop上，累計(jì)奪得6項(xiàng)世界第一，提交專(zhuān)利申請(qǐng)超過(guò)200余項(xiàng)，并已開(kāi)始應(yīng)用于不同領(lǐng)域，展示了百度在AI圖像處理領(lǐng)域進(jìn)軍的最新成果。
其中，SA-NAS搜索方法是百度首次把NAS技術(shù)應(yīng)用于圖像降噪領(lǐng)域；GP-NAS搜索方法是百度首次把NAS技術(shù)應(yīng)用于圖像超分領(lǐng)域。首次嘗試創(chuàng)新技術(shù)斬獲國(guó)際頂級(jí)大賽冠軍，這也是百度視覺(jué)AI技術(shù)實(shí)力經(jīng)得起驗(yàn)證、領(lǐng)先全球的最好證明。
百度視覺(jué)AI處理技術(shù)持續(xù)領(lǐng)先全球
此次百度包攬AIM 2020 Real Image Super-Resolution Challenge的3項(xiàng)冠軍，含金量如何？
從會(huì)議規(guī)格來(lái)看，ECCV是世界計(jì)算機(jī)視覺(jué)頂級(jí)會(huì)議之一，每?jī)赡昱e辦一場(chǎng)，與CVPR和ICCV并稱(chēng)計(jì)算機(jī)視覺(jué)領(lǐng)域三大會(huì)議，由此可以看出本次ECCV大會(huì)中AIM 2020 workshop上舉辦的 Real Image Super-Resolution Challenge是國(guó)際頂級(jí)賽事，含金量極高。值得一提的是，此次競(jìng)賽主要聚焦圖片和視頻處理技術(shù)，參賽者也在不斷挖掘相關(guān)領(lǐng)域的新趨勢(shì)和進(jìn)展，在學(xué)術(shù)界和工業(yè)界都有非常大的影響力。
從技術(shù)要求來(lái)看，所謂的圖像超分辨技術(shù)指的是通過(guò)低分辨率圖像還原出高分辨率圖像，盡管很多模型在模擬數(shù)據(jù)集上會(huì)取得比較不錯(cuò)的效果，但真實(shí)圖像的超分辨技術(shù)比模擬數(shù)據(jù)更具有挑戰(zhàn)性。所以此項(xiàng)賽事對(duì)于參賽者的技術(shù)能力要求極高。
近年來(lái)，隨著神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（NAS，Neural Architecture Search）技術(shù)發(fā)展，有學(xué)者將NAS應(yīng)用到圖像超分領(lǐng)域，雖然在每秒浮點(diǎn)運(yùn)算次數(shù)（Flops）和延時(shí)約束下，NAS模型取得了非常不錯(cuò)的結(jié)果，但這些模型相比人工設(shè)計(jì)的不受Flops約束的當(dāng)前模型，仍存在一定的性能差距。
此次AIM 2020 Real Image Super-Resolution Challenge更側(cè)重于考核參賽者的當(dāng)前結(jié)果，百度自研的GP-NAS AutoDL技術(shù)，充分挖掘基于自研的多重殘差網(wǎng)絡(luò)在圖像超分的應(yīng)用潛力，在真實(shí)圖像超分任務(wù)上取得當(dāng)前結(jié)果。
GP-NAS是百度自研的AutoDL算法，從貝葉斯角度來(lái)建模NAS，并為不同的搜索空間設(shè)計(jì)了定制化的高斯過(guò)程均值函數(shù)和核函數(shù)?；贕P-NAS的超參數(shù)，可高效率預(yù)測(cè)搜索空間中任意模型結(jié)構(gòu)的性能，從而模型結(jié)構(gòu)自動(dòng)搜索問(wèn)題被轉(zhuǎn)換為GP-NAS高斯過(guò)程的超參數(shù)估計(jì)問(wèn)題。接下來(lái)，通過(guò)互信息化采樣算法，可有效采樣模型結(jié)構(gòu)。根據(jù)采樣網(wǎng)絡(luò)的性能，有效地逐步更新GP-NAS超參數(shù)的后驗(yàn)分布。基于估計(jì)出的GP-NAS超參數(shù)，最終可以預(yù)測(cè)出滿足特定延時(shí)約束的最優(yōu)的模型結(jié)構(gòu)。
（基于高斯過(guò)程的模型結(jié)構(gòu)自動(dòng)搜索GP-NAS的架構(gòu)圖）
基于GP-NAS，百度自研了用于圖像恢復(fù)與增強(qiáng)的多重殘差網(wǎng)絡(luò)DRN。針對(duì)真實(shí)圖像超分的應(yīng)用場(chǎng)景，該網(wǎng)絡(luò)利用殘差模塊內(nèi)和模塊間的多重鏈接學(xué)習(xí)不同維度的特征，并設(shè)計(jì)了基于特征通道、殘差模塊數(shù)和模塊內(nèi)卷積層數(shù)等超參的搜索空間?；贕P-NAS技術(shù)原理，可以預(yù)測(cè)搜索空間中任意模型結(jié)構(gòu)的性能，并快速篩選多個(gè)模型結(jié)構(gòu)差異化的多重殘差模型用于模型融合來(lái)達(dá)到的圖像超分效果。
（百度自研的用于圖像恢復(fù)與增強(qiáng)的多重殘差網(wǎng)絡(luò)DRN的基本結(jié)構(gòu)）
該模型在ECCV 2020 Real Image Super-Resolution Challenge的比賽結(jié)果，全部3項(xiàng)的PSNR和SSIM指標(biāo)都排在第一位。
如此先進(jìn)的視覺(jué)技術(shù)在生活中的應(yīng)用效果如何？下圖為基于GP-NAS的多重殘差圖像超分模型與雙三次插值的效果對(duì)比圖，可以看到，百度自研的GP-NAS技術(shù)讓這個(gè)世界的美好更加清晰可見(jiàn)。
（GP-NAS圖像超分模型效果對(duì)比圖）
上述技術(shù)已經(jīng)在實(shí)際場(chǎng)景中使用，智感超清等相關(guān)產(chǎn)品搭載該項(xiàng)技術(shù)，可對(duì)視頻場(chǎng)景級(jí)別的畫(huà)面復(fù)雜度進(jìn)行智能分析，在視頻轉(zhuǎn)碼中涉及的超分辨重建，畫(huà)質(zhì)增強(qiáng)等關(guān)鍵技術(shù)上發(fā)揮重要作用。 配合百度研發(fā)的AI驅(qū)動(dòng)內(nèi)容自適應(yīng)轉(zhuǎn)碼技術(shù)， 動(dòng)態(tài)分配最優(yōu)編碼參數(shù)，在同等畫(huà)質(zhì)下，碼率更低，智感超清技術(shù)節(jié)省帶寬成本和存儲(chǔ)成本30%+。目前，智感超清在好看視頻、全民小視頻、百度貼吧等已全量上線，每日進(jìn)行上千萬(wàn)轉(zhuǎn)碼任務(wù)，保證畫(huà)面質(zhì)量的同時(shí)，大大降低平臺(tái)的帶寬成本。
百度AI圖像處理技術(shù)早已被世界認(rèn)可
實(shí)際上，百度領(lǐng)先的視覺(jué)AI技術(shù)早已獲得世界認(rèn)可。今年6月，在全球計(jì)算機(jī)視覺(jué)頂會(huì)CVPR 2020上，百度斬獲NTIRE(New Trends in Image Restoration and Enhancement)挑戰(zhàn)賽的真實(shí)圖像降噪賽道和視頻質(zhì)量映射賽道的兩項(xiàng)冠軍。
真實(shí)圖像降噪賽道
圖像降噪作為計(jì)算機(jī)視覺(jué)熱門(mén)領(lǐng)域，在視頻監(jiān)控、無(wú)人駕駛、移動(dòng)可穿戴設(shè)備、遙感及醫(yī)學(xué)圖像分析等領(lǐng)域應(yīng)用廣泛。對(duì)于NTIRE2020挑戰(zhàn)賽的真實(shí)圖像降噪賽道(Real Image Denoising rawRGB Track)，其首要目標(biāo)是去除或糾正圖像上的噪聲信息，百度最終以第一的成績(jī)達(dá)成目標(biāo)，奪得冠軍。
（百度拿下NTIRE2020挑戰(zhàn)賽真實(shí)圖像降噪賽道冠軍）
針對(duì)該項(xiàng)競(jìng)賽，百度設(shè)計(jì)了多跳躍連接的密集殘差模塊學(xué)習(xí)不同分辨率下的特征表達(dá)，并通過(guò)創(chuàng)新性mosaic-stride模塊提升rawRGB的降噪能力，同時(shí)使用分布式SA-NAS搜索最優(yōu)的模型結(jié)構(gòu);其中，SA-NAS搜索方法是百度首次把NAS技術(shù)應(yīng)用于圖像降噪領(lǐng)域。
視頻質(zhì)量映射賽道
視頻質(zhì)量映射賽道(Video Quality MappingTrack1: Supervised)關(guān)注圖片視頻底層視覺(jué)技術(shù)的關(guān)鍵問(wèn)題。這一技術(shù)可有效提高視頻質(zhì)量，提升用戶觀看體驗(yàn)。百度憑借過(guò)硬的視覺(jué)技術(shù)和經(jīng)驗(yàn)積累，取得了該賽道的冠軍成績(jī)。
（百度拿下NTIRE2020挑戰(zhàn)賽視頻質(zhì)量映射賽道冠軍）
針對(duì)該賽道的問(wèn)題，百度通過(guò)把現(xiàn)有EDVR模型思路與CNN網(wǎng)絡(luò)結(jié)構(gòu)DenseNet相結(jié)合，利用DenseNet提取視頻的圖片特征，融合CNN淺層與深層特征，從而實(shí)現(xiàn)更強(qiáng)的表達(dá)能力;EDVR模型則完成了視頻幀之間信息交換，對(duì)齊幀間信息，實(shí)現(xiàn)信息共享與互補(bǔ)。
而更早前的2019年，百度也曾在 NTIRE 競(jìng)賽中的圖像超分辨項(xiàng)目中強(qiáng)勢(shì)奪冠。該比賽采用了全新拍攝的真實(shí)數(shù)據(jù)集（RealSR），百度視覺(jué)團(tuán)隊(duì)在 PSNR 和 SSIM 兩項(xiàng)指標(biāo)上均名列第一，同時(shí)提出極具創(chuàng)新性的 CDSR 超分模型，通過(guò)級(jí)聯(lián)的方法逐步將圖像從模糊變清晰。
據(jù)介紹，NTIRE(New Trends in Image Restoration and Enhancement)和AIM (Advances in Image Manipulation)是近年來(lái)計(jì)算機(jī)圖像修復(fù)領(lǐng)域最具影響力的賽事，每年都會(huì)吸引大量的關(guān)注者和參賽者。而百度在這樣極具影響力的大賽中屢屢?jiàn)Z冠，顯示出百度大腦在視覺(jué)領(lǐng)域各個(gè)方向的長(zhǎng)期積累、全面發(fā)力，更是百度大腦技術(shù)實(shí)力全球領(lǐng)先的強(qiáng)大佐證。此外，這些技術(shù)也已經(jīng)應(yīng)用于不同領(lǐng)域，幫助有智感超清需求的產(chǎn)品升級(jí)，為企業(yè)降本增效的同時(shí)，也能讓人們感受到人工智能技術(shù)帶來(lái)的紅利，體驗(yàn)美好的人工智能時(shí)代。
重慶分公司
重慶分公司
