本發(fā)明申請屬于玻璃視覺檢測，具體涉及基于可見光和近紅外圖像的夜間玻璃檢測系統(tǒng)、檢測方法。

背景技術(shù)：

1、玻璃，例如玻璃門、墻壁和窗戶，在我們的日常生活中非常常見。然而，由于玻璃的表面缺乏固有的視覺紋理圖案，玻璃的表面通常很難被檢測到，未被檢測到的玻璃表面可能會使現(xiàn)有的視覺場景應(yīng)用失敗，如3d場景理解、重建和機器人與無人機導(dǎo)航。因此，玻璃表面檢測是一項重要的任務(wù)。

2、cn109633661a公開了一種基于rgb-d傳感器與超聲波傳感器融合的玻璃檢測系統(tǒng)和方法，cn116224357a公開了一種結(jié)合二維激光點云與超聲波的玻璃檢測方法都是利用多傳感器融合進行玻璃檢測?，F(xiàn)有的基于深度學(xué)習(xí)的方法提出了幾種不同的先驗信息作為玻璃表面檢測的線索，包括邊界線索、反射線索、語義相關(guān)性線索和重影效應(yīng)線索。然而，這些玻璃表面檢測先驗信息主要針對白天場景提出，它們可能會淹沒在夜間場景的低光照或復(fù)雜的人工照明環(huán)境中。目前，仍未有利用同一場景的rgb和近紅外圖像對來提取玻璃表面的反射線索和玻璃邊緣線索，來指導(dǎo)實際場景中玻璃表面的高效檢測，也未針對夜間場景做出專門的設(shè)計和優(yōu)化。

3、在夜間玻璃檢測中，僅基于單一的可見光圖像對玻璃表面的上述視覺內(nèi)在線索進行建模和提取在可能不可靠，而在可見光圖像和近紅外圖像共同結(jié)合中，玻璃表面通常會呈現(xiàn)不同的光影和邊緣模式，與可見光相比，近紅外光的較長波長，可以使近紅外光的強度隨不同表面材料的變化更為顯著，受人造光源、大氣擾動等影響較小，導(dǎo)致玻璃表面上的反射更少或更弱，在相同材料的區(qū)域內(nèi)強度更均勻，玻璃表面的邊界更清晰。因此，面對玻璃夜間檢測的技術(shù)問題，申請人發(fā)現(xiàn)可以利用玻璃表面的可見光圖像和同一玻璃表面的近紅外圖像結(jié)合，并采用基于可見光圖像和近紅外圖像的深度學(xué)習(xí)方法，以對夜間玻璃表面進行檢測，相應(yīng)地本發(fā)明申請?zhí)岢隽嘶诳梢姽夂徒t外圖像對的夜間玻璃檢測系統(tǒng)、檢測方法。

技術(shù)實現(xiàn)思路

1、本發(fā)明申請?zhí)峁┝嘶诳梢姽夂徒t外圖像對的夜間玻璃檢測系統(tǒng)、檢測方法，旨在部分或全部解決了現(xiàn)有難以對玻璃表明進行夜間檢測的技術(shù)問題，充分利用深度學(xué)習(xí)的方法，提取夜間玻璃的可見光和近紅外特征，獲得到高質(zhì)量夜間玻璃表面檢測結(jié)果。為了實現(xiàn)上述目的，本發(fā)明申請采用如下技術(shù)方案：

2、第一方面，一種基于可見光和近紅外圖像的夜間玻璃檢測系統(tǒng)，包括：圖像獲取模塊，圖像處理模塊，編碼模塊，解碼模塊和輸出模塊；圖像獲取模塊，獲取同一玻璃夜間的玻璃近紅外圖像和玻璃可見光圖像；

3、圖像處理模塊，對玻璃近紅外圖像進行處理以獲得近紅外反射分量和近紅外照射分量，對玻璃可見光圖像進行處理以獲得可見光反射分量和可見光照射分量；近紅外反射分量、可見光反射分量輸入到編碼模塊中，近紅外照射分量、可見光照射分量輸入到解碼模塊中；

4、編碼模塊，接收可見光反射分量并提取玻璃可見光圖像的可見光特征集；接收近紅外反射分量并提取玻璃近紅外圖像的近紅外特征集,至少將可見光特征集中每個可見光特征、對應(yīng)地近紅外特征集中每個近紅外光特征進行匹配和特征增強以獲得近紅外增強特征集；

5、解碼模塊，接收近紅外照射分量、可見光照射分量，根據(jù)近紅外照射分量、可見光照射分量計算融合差異權(quán)重矩陣，至少將近紅外增強特征集中每個近紅外光增強特征特征、對應(yīng)地可見光特征集中每個可見光特征、融合差異權(quán)重矩陣進行匹配和特征融合以獲得同一玻璃夜間的玻璃圖像融合特征；

6、輸出模塊，對玻璃圖像融合特征進行卷積以獲得玻璃掩膜圖像，輸出檢測出的玻璃掩膜圖像。

7、可選地，可見光特征集包括可見光特征1，可見光特征2，...，可見光特征i,...，可見光特征n；近紅外特征集包括近紅外特征1，近紅外特征2，...，近紅外特征i,...，近紅外特征n；近紅外增強特征集包括近紅外增強特征1，近紅外增強特征2，...，近紅外增強特征i,...，近紅外增強特征n，n大于等于2，i為正整數(shù)；至少將可見光特征集中每個可見光特征、對應(yīng)地近紅外特征集中每個近紅外光特征進行匹配和特征增強以獲得近紅外增強特征集包括：將可見光特征i、近紅外特征i、可見光特征n進行匹配和特征增強以獲得近紅外增強特征i。

8、可選地，融合差異權(quán)重矩陣包括融合差異權(quán)重矩陣n，融合差異權(quán)重矩陣n-1,...，融合差異權(quán)重矩陣i，...，融合差異權(quán)重矩陣1；至少將近紅外增強特征集中每個近紅外光增強特征、對應(yīng)地可見光特征集中每個可見光特征、融合差異權(quán)重矩陣進行匹配和特征融合以獲得同一玻璃夜間的玻璃圖像融合特征包括：將近紅外光增強特征n、可見光特征n、融合差異權(quán)重矩陣n進行匹配和特征融合以獲得第n玻璃圖像融合特征；將第n玻璃圖像融合特征、近紅外光增強特征n-1、可見光特征n-1、融合差異權(quán)重矩陣n-1進行匹配和特征融合以獲得第n-1玻璃圖像融合特征，...，將第i+1玻璃圖像融合特征、近紅外光增強特征i、可見光特征i、融合差異權(quán)重矩陣i進行匹配和特征融合以獲得第i玻璃圖像融合特征，...，將第2玻璃圖像融合特征、近紅外光增強特征1、可見光特征1、融合差異權(quán)重矩陣1進行匹配和特征融合以獲得第1玻璃圖像融合特征，第1玻璃圖像融合特征即為同一玻璃夜間的玻璃圖像融合特征。

9、可選地，編碼模塊包括第一骨干網(wǎng)絡(luò)單元、特征引導(dǎo)增強單元和第二骨干網(wǎng)絡(luò)單元，第一骨干網(wǎng)絡(luò)單元接收近紅外反射分量并提取玻璃近紅外圖像的近紅外特征集，第二骨干網(wǎng)絡(luò)單元接收可見光反射分量并提取玻璃可見光圖像的可見光特征集；特征引導(dǎo)增強單元，至少將可見光特征集中每個可見光特征、對應(yīng)地近紅外特征集中每個近紅外光特征進行匹配和特征增強以獲得近紅外增強特征集。

10、可選地，解碼模塊包括光照差異權(quán)重計算單元、特征融合單元，光照差異權(quán)重計算單元根據(jù)近紅外照射分量、可見光照射分量計算照射分量差值，根據(jù)可見光照射分量、照射分量差值計算可見光差異權(quán)重矩陣，根據(jù)近紅外照射分量、照射分量差值計算近紅外差異權(quán)重矩陣；特征融合單元，至少將近紅外增強特征集中每個近紅外光增強特征特征、對應(yīng)地可見光特征集中每個可見光特征、融合差異權(quán)重矩陣進行匹配和特征融合以獲得同一玻璃夜間的玻璃圖像融合特征。

11、第二方面，一種基于可見光和近紅外圖像的夜間玻璃檢測方法，采用上述第一方面中任一所述的一種基于可見光和近紅外圖像的夜間玻璃檢測系統(tǒng)，包括：

12、步驟s100：獲取同一玻璃夜間的玻璃近紅外圖像和玻璃可見光圖像；

13、步驟s200：對玻璃近紅外圖像進行處理以獲得近紅外反射分量和近紅外照射分量，對玻璃可見光圖像進行處理以獲得可見光反射分量和可見光照射分量；

14、步驟s300：接收可見光反射分量并提取玻璃可見光圖像的可見光特征集；接收近紅外反射分量并提取玻璃近紅外圖像的近紅外特征集,至少將可見光特征集中每個可見光特征、對應(yīng)地近紅外特征集中每個近紅外光特征進行匹配和特征增強以獲得近紅外增強特征集；

15、步驟s400：接收近紅外照射分量、可見光照射分量，根據(jù)近紅外照射分量、可見光照射分量計算融合差異權(quán)重矩陣；至少將近紅外增強特征集中每個近紅外光增強特征特征、對應(yīng)地可見光特征集中每個可見光特征、融合差異權(quán)重矩陣進行匹配和特征融合以獲得同一玻璃夜間的玻璃圖像融合特征；

16、步驟s500：對玻璃圖像融合特征進行卷積以獲得玻璃掩膜圖像，輸出檢測出的玻璃掩膜圖像。

17、可選地，在步驟s300中，近紅外增強特征集包括近紅外增強特征1，近紅外增強特征2，...，近紅外增強特征i,...，近紅外增強特征n，n大于等于2，i為正整數(shù)；

18、步驟s300包括：

19、步驟s301：接收可見光反射分量并提取玻璃可見光圖像的可見光特征集；接收近紅外反射分量并提取玻璃近紅外圖像的近紅外特征集；可見光特征集包括可見光特征1，可見光特征2，...，可見光特征i,...，可見光特征n；近紅外特征集包括近紅外特征1，近紅外特征2，...，近紅外特征i,...，近紅外特征n；

20、步驟s302：至少將可見光特征集中每個可見光特征、對應(yīng)地近紅外特征集中每個近紅外光特征進行匹配和特征增強以獲得近紅外增強特征集包括：將可見光特征i、近紅外特征i、近紅外特征n進行匹配和特征增強以獲得近紅外光增強特征i。

21、可選地，步驟s400包括：

22、步驟s401：根據(jù)近紅外照射分量、可見光照射分量計算照射分量差值，根據(jù)可見光照射分量、照射分量差值計算可見光差異權(quán)重矩陣，根據(jù)近紅外照射分量、照射分量差值計算近紅外差異權(quán)重矩陣；融合差異權(quán)重矩陣包括融合差異權(quán)重矩陣n，融合差異權(quán)重矩陣n-1,...，融合差異權(quán)重矩陣i，...，融合差異權(quán)重矩陣1；

23、步驟s402：至少將近紅外增強特征集中每個近紅外光增強特征、對應(yīng)地可見光特征集中每個可見光特征、融合差異權(quán)重矩陣進行匹配和特征融合以獲得同一玻璃夜間的玻璃圖像融合特征包括：將近紅外光增強特征n、可見光特征n、融合差異權(quán)重矩陣n進行匹配和特征融合以獲得第n玻璃圖像融合特征；將第n玻璃圖像融合特征、近紅外光增強特征n-1、可見光特征n-1、融合差異權(quán)重矩陣n-1進行匹配和特征融合以獲得第n-1玻璃圖像融合特征，...，將第i+1玻璃圖像融合特征、近紅外光增強特征i、可見光特征i、融合差異權(quán)重矩陣i進行匹配和特征融合以獲得第i玻璃圖像融合特征，...，將第2玻璃圖像融合特征、近紅外光增強特征1、可見光特征1、融合差異權(quán)重矩陣1進行匹配和特征融合以獲得第1玻璃圖像融合特征，第1玻璃圖像融合特征即為同一玻璃夜間的玻璃圖像融合特征。

24、第三方面，本發(fā)明申請?zhí)峁┝嘶诳梢姽夂徒t外圖像的夜間玻璃檢測處理裝置，包括通信相連的存儲器、處理器，所述存儲器用于存儲計算機程序，所述處理器用于讀取所述計算機程序，執(zhí)行如第二方面任一所述的基于可見光和近紅外圖像的夜間玻璃檢測方法。

25、第四方面，本發(fā)明申請?zhí)峁┝艘环N計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)上存儲有指令，當(dāng)所述指令在計算機上運行時，執(zhí)行如第二方面任一所述的基于可見光和近紅外圖像的夜間玻璃檢測方法。

26、(1)在本發(fā)明申請中，提出了基于可見光和近紅外圖像一一對應(yīng)結(jié)合(在一些情況下，即可見光圖像和近紅外圖像成對，可以稱為可見光和近紅外圖像對)對進行夜間玻璃檢測，充分利用了可見光和近紅外圖像結(jié)合對在玻璃區(qū)域存在的差異作為線索，能夠更準(zhǔn)確地定位玻璃區(qū)域，獲得高質(zhì)量的玻璃區(qū)域預(yù)測圖，具有良好的魯棒性。

27、(2)在本發(fā)明申請中，將可見光圖像的可見光特征來引導(dǎo)近紅外特征，以提取近紅外增強特征，充分利用了可見光圖像的三通道所包含的豐富信息，克服了近紅外圖像單通道特征不夠豐富的缺陷；同時，根據(jù)近紅外照射分量、可見光照射分量計算融合差異權(quán)重矩陣，充分利用玻璃可見光圖像的光照分量、玻璃近紅外圖像的光照分量在不同玻璃表面區(qū)域上的光照差異來構(gòu)建融合差異權(quán)重矩陣，融合差異權(quán)重矩陣可以控制玻璃可見光圖像的多尺度特征、玻璃近紅外圖像的多尺度特征在解碼模塊中的特征融合，極大解決了夜間場景下玻璃可見光圖像和玻璃近紅外圖像多尺度特征融合困難的問題。