本技術(shù)涉及人工智能,具體涉及一種圖像處理方法、裝置、電子設(shè)備、存儲(chǔ)介質(zhì)及程序產(chǎn)品、其中,存儲(chǔ)介質(zhì)可以是指計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),程序產(chǎn)品可以是指計(jì)算機(jī)程序產(chǎn)品。
背景技術(shù):
1、在對(duì)虛擬三維場(chǎng)景的創(chuàng)建過(guò)程中,會(huì)獲取現(xiàn)實(shí)場(chǎng)景的實(shí)際圖像,并采用圖像處理模型從實(shí)際圖像中提取出三維特征信息,然后,利用實(shí)際圖像的三維特征信息對(duì)虛擬三維場(chǎng)景進(jìn)行創(chuàng)建。
2、其中,在虛擬三維場(chǎng)景中,存在需要?jiǎng)?chuàng)建處于暗光條件如夜晚下的虛擬場(chǎng)景的情況。暗光條件的虛擬場(chǎng)景,一般會(huì)從暗光圖像如夜晚圖像中提取的三維特征信息進(jìn)行創(chuàng)建,但是暗光圖像中的細(xì)節(jié)不夠清晰,會(huì)導(dǎo)致圖像處理模型難以準(zhǔn)確地捕捉到暗光圖像中的細(xì)節(jié)信息,進(jìn)而導(dǎo)致圖像處理模型難以準(zhǔn)確地提取到暗光圖像中的三維特征信息。
3、綜上,目前存在圖像處理模型提取到的三維特征信息的準(zhǔn)確性較低的問(wèn)題。
技術(shù)實(shí)現(xiàn)思路
1、本技術(shù)實(shí)施例提供一種圖像處理方法、裝置、電子設(shè)備、存儲(chǔ)介質(zhì)及程序產(chǎn)品,能夠提高圖像處理模型提取到的三維特征信息的準(zhǔn)確性。
2、一種圖像處理方法,包括:
3、獲取至少一個(gè)圖像樣本對(duì),圖像樣本對(duì)包括在暗光條件下拍攝的暗光圖像樣本和在明亮光照條件下拍攝的明亮圖像樣本;
4、采用預(yù)設(shè)圖像處理模型對(duì)圖像樣本對(duì)進(jìn)行多粒度的特征提取,得到每一特征粒度對(duì)應(yīng)的圖像特征集合,圖像特征集合包括暗光圖像樣本的暗光圖像特征和明亮圖像樣本的明亮圖像特征;
5、在暗光圖像特征中提取出至少一個(gè)頻域的特征,得到暗光頻域特征,并在亮光圖像特征中提取出頻域?qū)?yīng)的特征,得到明亮頻域特征;
6、基于暗光頻域特征和明亮頻域特征,確定圖像樣本對(duì)的目標(biāo)損失,并根據(jù)目標(biāo)損失對(duì)預(yù)設(shè)圖像處理模型進(jìn)行收斂,得到圖像處理模型;
7、采用圖像處理模型在包含目標(biāo)對(duì)象的暗光圖像中識(shí)別出三維特征信息,三維特征信息包括模擬目標(biāo)對(duì)象在明亮光照條件下的深度信息。
8、相應(yīng)地,本技術(shù)實(shí)施例提供一種圖像處理裝置,包括:
9、獲取單元,可以用于獲取至少一個(gè)圖像樣本對(duì),圖像樣本對(duì)包括在暗光條件下拍攝的暗光圖像樣本和在明亮光照條件下拍攝的明亮圖像樣本;
10、第一提取單元,可以用于采用預(yù)設(shè)圖像處理模型對(duì)圖像樣本對(duì)進(jìn)行多粒度的特征提取,得到每一特征粒度對(duì)應(yīng)的圖像特征集合,圖像特征集合包括暗光圖像樣本的暗光圖像特征和明亮圖像樣本的明亮圖像特征;
11、第二提取單元,可以用于在暗光圖像特征中提取出至少一個(gè)頻域的特征,得到暗光頻域特征,并在亮光圖像特征中提取出頻域?qū)?yīng)的特征,得到明亮頻域特征;
12、確定單元,可以用于基于暗光頻域特征和明亮頻域特征,確定圖像樣本對(duì)的目標(biāo)損失,并根據(jù)目標(biāo)損失對(duì)預(yù)設(shè)圖像處理模型進(jìn)行收斂,得到圖像處理模型;
13、識(shí)別單元,可以用于采用圖像處理模型在包含目標(biāo)對(duì)象的暗光圖像中識(shí)別出三維特征信息,三維特征信息包括模擬目標(biāo)對(duì)象在明亮光照條件下的深度信息。
14、可選地,在一些實(shí)施例中,確定單元,具體可以用于在暗光頻域特征中識(shí)別出每一頻域?qū)?yīng)的目標(biāo)頻域特征,并在明亮頻域特征中篩選出每一頻域?qū)?yīng)的候選頻域特征;計(jì)算目標(biāo)頻域特征和候選頻域特征之間的損失,得到圖像樣本對(duì)在每一目標(biāo)頻域下對(duì)應(yīng)的初始損失;對(duì)每一初始損失進(jìn)行融合,得到圖像樣本對(duì)的目標(biāo)損失。
15、可選地,在一些實(shí)施例中,目標(biāo)頻域包括高頻域和低頻域;確定單元,具體可以用于在目標(biāo)頻域特征中提取出暗光圖像樣本在高頻域中對(duì)應(yīng)的目標(biāo)高頻特征和在低頻域中對(duì)應(yīng)的目標(biāo)低頻特征;在候選頻域特征中篩選出明亮圖像樣本在高頻域中對(duì)應(yīng)的候選高頻特征和在低頻域中對(duì)應(yīng)的候選低頻特征;基于目標(biāo)高頻特征和候選高頻特征,計(jì)算圖像樣本對(duì)在高頻域中的初始高頻損失,并根據(jù)目標(biāo)低頻特征和候選低頻特征,計(jì)算目標(biāo)圖像樣本對(duì)在低頻域中的初始低頻損失;基于初始高頻損失和初始低頻損失,確定圖像樣本對(duì)在每一目標(biāo)頻域下對(duì)應(yīng)的初始損失。
16、可選地,在一些實(shí)施例中,目標(biāo)高頻特征包括多個(gè)子目標(biāo)高頻特征,候選高頻特征包括多個(gè)子候選高頻特征;確定單元,具體可以用于將子目標(biāo)高頻特征進(jìn)行融合,得到暗光圖像樣本在高頻域?qū)?yīng)的目標(biāo)融合高頻特征;對(duì)子候選高頻特征進(jìn)行融合,得到明亮圖像樣本在高頻域?qū)?yīng)的候選融合高頻特征;基于目標(biāo)融合高頻特征和候選融合高頻特征,計(jì)算圖像樣本對(duì)在高頻域中的初始高頻損失。
17、可選地,在一些實(shí)施例中,確定單元,具體可以用于獲取高頻域?qū)?yīng)的權(quán)重和低頻域?qū)?yīng)的候選權(quán)重,權(quán)重大于候選權(quán)重;基于權(quán)重和候選權(quán)重,對(duì)初始高頻損失和初始低頻損失進(jìn)行加權(quán),得到圖像樣本對(duì)的目標(biāo)損失。
18、可選地,在一些實(shí)施例中,第一提取單元,具體可以用于當(dāng)特征粒度包括編碼特征粒度時(shí),采用預(yù)設(shè)圖像處理模型的暗光圖像處理子模型,對(duì)暗光圖像樣本進(jìn)行編碼,得到暗光圖像樣本對(duì)應(yīng)的暗光編碼特征;采用預(yù)設(shè)圖像處理模型的明亮圖像處理子模型,對(duì)明亮圖像樣本進(jìn)行編碼,得到明亮圖像樣本對(duì)應(yīng)的明亮編碼特征;基于暗光編碼特征和明亮編碼特征,生成編碼特征粒度對(duì)應(yīng)的編碼特征集合,并基于編碼特征集合,生成每一特征粒度對(duì)應(yīng)的圖像特征集合。
19、可選地,在一些實(shí)施例中,第一提取單元,具體可以用于當(dāng)特征粒度還包括解碼特征粒度時(shí),在暗光編碼特征中篩選出目標(biāo)暗光編碼特征,并采用暗光圖像處理子模型,對(duì)目標(biāo)暗光編碼特征進(jìn)行解碼,得到暗光解碼特征;在明亮編碼特征中提取出目標(biāo)明亮編碼特征,并采用明亮圖像處理子模型,對(duì)目標(biāo)明亮編碼特征進(jìn)行解碼,得到明亮解碼特征;基于暗光解碼特征和明亮解碼特征,生成解碼特征粒度對(duì)應(yīng)的解碼特征集合,并基于編碼特征集合和解碼特征集合,生成每一特征粒度對(duì)應(yīng)的圖像特征集合。
20、可選地,在一些實(shí)施例中,第一提取單元,具體可以用于當(dāng)特征粒度還包括卷積特征粒度時(shí),在暗光解碼特征中獲取目標(biāo)暗光解碼特征,并采用暗光圖像處理子模型,對(duì)目標(biāo)暗光解碼特征進(jìn)行卷積,得到暗光卷積特征;在明亮解碼特征中提取出目標(biāo)明亮解碼特征,并采用明亮圖像處理子模型,對(duì)目標(biāo)明亮解碼特征進(jìn)行卷積,得到明亮卷積特征;基于暗光卷積特征和明亮卷積特征,生成卷積特征粒度對(duì)應(yīng)的卷積特征集合,并根據(jù)卷積特征集合、編碼特征集合和解碼特征集合,生成每一特征粒度對(duì)應(yīng)的圖像特征集合。
21、可選地,在一些實(shí)施例中,編碼特征粒度包括多個(gè)子編碼特征粒度;第一提取單元,具體可以用于采用暗光圖像處理子模型,對(duì)暗光圖像樣本進(jìn)行編碼,得到暗光圖像處理子模型的每一編碼層級(jí)分別對(duì)應(yīng)的初始暗光編碼特征;在初始暗光編碼特征中,篩選出每一子編碼特征粒度對(duì)應(yīng)的候選暗光編碼特征;基于候選暗光編碼特征,生成暗光圖像樣本對(duì)應(yīng)的暗光編碼特征。
22、可選地,在一些實(shí)施例中,第一提取單元,具體可以用于在編碼層級(jí)中,確定每一子編碼特征粒度對(duì)應(yīng)的目標(biāo)編碼層級(jí);在初始暗光編碼特征中,篩選出每一目標(biāo)編碼層級(jí)對(duì)應(yīng)的參考暗光編碼特征;將參考暗光編碼特征作為子編碼特征粒度對(duì)應(yīng)的候選暗光編碼特征。
23、可選地,在一些實(shí)施例中,第二提取單元,具體可以用于對(duì)暗光圖像特征進(jìn)行頻域分解,得到暗光圖像樣本在高頻域?qū)?yīng)的目標(biāo)高頻特征和在低頻域?qū)?yīng)的目標(biāo)低頻特征;基于目標(biāo)高頻特征和目標(biāo)低頻特征,生成暗光頻域特征。
24、可選地,在一些實(shí)施例中,確定單元,具體還可以用于獲取初始明亮圖像樣本,初始明亮圖像樣本包括在明亮光照條件下的候選對(duì)象;采用初始圖像處理模型對(duì)初始明亮圖像樣本進(jìn)行預(yù)測(cè),得到初始明亮圖像樣本對(duì)應(yīng)的初始三維特征信息,初始三維特征信息包括候選對(duì)象在明亮光照條件下的深度信息;基于初始三維特征信息,對(duì)初始圖像處理模型進(jìn)行收斂,得到預(yù)設(shè)圖像處理模型。
25、可選地,在一些實(shí)施例中,確定單元,具體可以用于采用初始圖像處理模型的初始明亮圖像處理子模型對(duì)初始圖像樣本進(jìn)行編碼,得到初始編碼特征;采用初始明亮圖像處理子模型對(duì)初始編碼特征進(jìn)行解碼,得到初始圖像樣本對(duì)應(yīng)的初始三維特征信息;基于初始三維特征信息,對(duì)初始明亮圖像處理子模型進(jìn)行收斂,得到明亮圖像處理子模型,并基于明亮圖像處理子模型,生成預(yù)設(shè)圖像處理模型。
26、此外,本發(fā)明實(shí)施例還提供一種電子設(shè)備,包括處理器和存儲(chǔ)器,存儲(chǔ)器存儲(chǔ)有應(yīng)用程序,處理器用于運(yùn)行存儲(chǔ)器內(nèi)的應(yīng)用程序?qū)崿F(xiàn)本發(fā)明實(shí)施例提供的圖像處理方法。
27、此外,本技術(shù)實(shí)施例還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序,計(jì)算機(jī)程序適于處理器進(jìn)行加載,以執(zhí)行本技術(shù)實(shí)施例提供的任一種圖像處理方法。
28、此外,本技術(shù)實(shí)施例還提供一種計(jì)算機(jī)程序產(chǎn)品,包括計(jì)算機(jī)程序,計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)本技術(shù)實(shí)施例所提供的任一種圖像處理方法。
29、本技術(shù)可以獲取至少一個(gè)圖像樣本對(duì),圖像樣本對(duì)包括在暗光條件下拍攝的暗光圖像樣本和在明亮光照條件下拍攝的明亮圖像樣本;采用預(yù)設(shè)圖像處理模型對(duì)圖像樣本對(duì)進(jìn)行多粒度的特征提取,得到每一特征粒度對(duì)應(yīng)的圖像特征集合,圖像特征集合包括暗光圖像樣本的暗光圖像特征和明亮圖像樣本的明亮圖像特征;在暗光圖像特征中提取出至少一個(gè)頻域的特征,得到暗光頻域特征,并在亮光圖像特征中提取出頻域?qū)?yīng)的特征,得到明亮頻域特征;基于暗光頻域特征和明亮頻域特征,確定圖像樣本對(duì)的目標(biāo)損失,并根據(jù)目標(biāo)損失對(duì)預(yù)設(shè)圖像處理模型進(jìn)行收斂,得到圖像處理模型;采用圖像處理模型在包含目標(biāo)對(duì)象的暗光圖像中識(shí)別出三維特征信息,三維特征信息包括模擬目標(biāo)對(duì)象在明亮光照條件下的深度信息。由于本技術(shù)可以采用預(yù)設(shè)圖像處理模型對(duì)圖像樣本對(duì)進(jìn)行多粒度的特征提取,得到每一特征粒度下暗光圖像樣本的暗光圖像特征和明亮圖像樣本的明亮圖像特征,如此一來(lái),本技術(shù)可以在暗光圖像特征中提取到暗光頻域特征,并在亮光圖像特征中提取到明亮頻域特征,基于此,本技術(shù)可以利用基于暗光頻域特征和明亮頻域特征所得到的目標(biāo)損失,對(duì)預(yù)設(shè)圖像處理模型進(jìn)行收斂,從而可以提高收斂得到的圖像處理模型預(yù)測(cè)的準(zhǔn)確性,基于此,本技術(shù)可以利用收斂所得到的圖像處理模型對(duì)暗光圖像進(jìn)行預(yù)測(cè),得到包括模擬目標(biāo)對(duì)象在明亮光照條件下的深度信息,如此提高圖像處理模型提取到的三維特征信息的準(zhǔn)確性。