本發(fā)明屬于計(jì)算機(jī)視覺與圖像處理，特別涉及應(yīng)用于無人機(jī)平臺(tái)的光伏板表面污垢檢測與分析系統(tǒng)。

背景技術(shù)：

1、為了減少在光伏板維護(hù)和管理的成本，近年來出現(xiàn)了各種自動(dòng)化的檢測技術(shù)，其中，視覺檢測的方式逐漸被普及應(yīng)用。中國發(fā)明專利cn117895899a中公開了一種光伏板清潔度檢測方法及系統(tǒng)，首先將光伏板圖像進(jìn)行灰度化處理，提取圖像中所有像素點(diǎn)對(duì)應(yīng)的灰度值，使用類內(nèi)方差計(jì)算公式求取最優(yōu)像素分割閾值，將像素點(diǎn)灰度值大于像素分割閾值的像素點(diǎn)個(gè)數(shù)占光伏板圖像所有像素點(diǎn)個(gè)數(shù)的比值作為光伏板的污垢比重，作為光伏板清潔特征信息，然后結(jié)合天氣變化數(shù)據(jù)和反射率變化數(shù)據(jù)構(gòu)建預(yù)測回歸模型，實(shí)現(xiàn)多數(shù)據(jù)綜合預(yù)測。中國發(fā)明專利cn118314090a中公開了光伏板清潔度檢測方法、裝置及電子設(shè)備，首先采用視覺檢測模型，基于目標(biāo)檢測識(shí)別出基準(zhǔn)標(biāo)記在目標(biāo)光伏板的表面形成的多個(gè)檢測區(qū)域，并識(shí)別出目標(biāo)光伏板表面的異物，然后按照相應(yīng)異物的數(shù)目及其包圍框面積計(jì)算每個(gè)種類在目標(biāo)光伏板表面的清潔分值，并按照每個(gè)種類預(yù)設(shè)的權(quán)重系數(shù)對(duì)得到的各清潔分值進(jìn)行加權(quán)求和，獲得目標(biāo)光伏板表面的清潔度。

2、在這兩種基于視覺的光伏板清潔度檢測方案中，前者通過引入天氣和反射率因素，有效提升了基于灰度像素檢測污垢這種方法的準(zhǔn)確性和可靠性，但存在模型所需數(shù)據(jù)量較大不宜收集，且對(duì)不同地區(qū)的模型數(shù)據(jù)參數(shù)存在較大差異的問題；后者運(yùn)用基于深度學(xué)習(xí)的目標(biāo)檢測技術(shù)對(duì)光伏板異物進(jìn)行檢測，可以高效獲得光伏板異物的數(shù)目和面積，簡化了光伏板清潔程度的檢測流程，提升了檢測結(jié)果的可靠性，但是通過目標(biāo)檢測框面積得到異物的面積的方式，可能會(huì)由于異物的不規(guī)則性而產(chǎn)生較大誤差，從而造成清潔度估計(jì)存在一定誤差。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是提供應(yīng)用于無人機(jī)平臺(tái)的光伏板表面污垢檢測與分析系統(tǒng)，利用計(jì)算機(jī)視覺與圖像處理技術(shù)，對(duì)光伏板表面的污垢進(jìn)行高效、準(zhǔn)確的檢測，然后用合理的評(píng)價(jià)函數(shù)分析計(jì)算出光伏板清潔程度，最終為光伏板表面清潔工作提供依據(jù)效果，克服現(xiàn)有技術(shù)中利用灰度圖像分割的方法在環(huán)境適應(yīng)性、準(zhǔn)確性和可靠性方面存在不足的缺陷。

2、本發(fā)明的上述技術(shù)目的是通過以下技術(shù)方案得以實(shí)現(xiàn)的：應(yīng)用于無人機(jī)平臺(tái)的光伏板表面污垢檢測與分析系統(tǒng)，其特征在于：包括以下步驟：

3、s1，數(shù)據(jù)準(zhǔn)備，利用無人機(jī)采集不同環(huán)境、不同天氣、不同光照強(qiáng)度下不同清潔度光伏板的圖像數(shù)據(jù)，然后采用限制對(duì)比度自適應(yīng)直方圖均衡化方法完成光照歸一化處理，將處理后的圖像數(shù)據(jù)劃分為訓(xùn)練集和驗(yàn)證集，利用改進(jìn)的deeplabv3+模型完成訓(xùn)練，生成最優(yōu)模型權(quán)重；

4、s2，推理檢測，根據(jù)無人機(jī)的移動(dòng)速度對(duì)光伏板圖像進(jìn)行下采樣，并利用imu傳感器數(shù)據(jù)獲取當(dāng)前時(shí)刻的移動(dòng)距離，其次對(duì)圖像進(jìn)行光照歸一化處理，然后利用改進(jìn)的deeplabv3+模型進(jìn)行實(shí)時(shí)推理分割，輸出分割圖，其中包括光伏板污垢分割區(qū)域和非污垢分割區(qū)域；

5、s3，遍歷分割出來的掩膜圖像，計(jì)算有光伏板污垢分割區(qū)域與整塊光伏板區(qū)域的像素比例，作為當(dāng)前圖像中光伏板的污垢比重；

6、s4，分析，通過上述步驟，得到每幀光伏板圖像序號(hào)對(duì)應(yīng)的污垢比重?cái)?shù)據(jù)，將各污垢比重值按照大小計(jì)算相應(yīng)的清潔指數(shù)。

7、本發(fā)明的進(jìn)一步設(shè)置為：步驟s1中，采用限制對(duì)比度自適應(yīng)直方圖均衡化方法完成光照歸一化處理具體處理過程如下：

8、將圖像分割為n×n的小塊，對(duì)于每個(gè)小區(qū)域，計(jì)算其灰度直方圖h(i)，其中i表示灰度級(jí)，計(jì)算每個(gè)小區(qū)域的累積分布函數(shù)cdf，記為f(x)，它表示小于或等于灰度級(jí)x的像素概率：

9、

10、其中n2是小區(qū)域中的像素總數(shù)。

11、本發(fā)明的進(jìn)一步設(shè)置為：步驟s1中，采用限制對(duì)比度自適應(yīng)直方圖均衡化方法完成光照歸一化處理具體處理過程還包括：為了限制對(duì)比度，使用一個(gè)窗口函數(shù)w(x)來平滑cdf防止在直方圖均衡化過程中過度拉伸低對(duì)比度區(qū)域：

12、

13、其中w(x)是一個(gè)高斯平滑函數(shù)窗口。

14、本發(fā)明的進(jìn)一步設(shè)置為：步驟s1中，采用限制對(duì)比度自適應(yīng)直方圖均衡化方法完成光照歸一化處理具體處理過程還包括：應(yīng)用直方圖均衡化來增強(qiáng)每個(gè)小區(qū)域的對(duì)比度，使用均衡化函數(shù)：

15、

16、其中l(wèi)是灰度級(jí)的數(shù)量；

17、將原始圖像的每個(gè)像素值x映射到新的均衡化值：

18、y＝g(x)×(l-1)

19、為了減少小區(qū)域之間的不連續(xù)性，使用雙線性插值來平滑合并后的圖像邊緣，然后將處理過的小區(qū)域重新拼接成完整的圖像。

20、本發(fā)明的進(jìn)一步設(shè)置為：利用改進(jìn)的deeplabv3+模型進(jìn)行實(shí)時(shí)推理分割的具體實(shí)現(xiàn)步驟如下：

21、輸入預(yù)處理，輸入圖像首先被縮放到改進(jìn)的deeplabv3+模型所需的固定尺寸，然后通過圖像像素歸一化，使其像素值位于模型訓(xùn)練時(shí)使用的相同范圍內(nèi)；

22、特征提取，輸入圖像被送入預(yù)訓(xùn)練的骨干網(wǎng)絡(luò)mobilenetv2，通過mobilenetv2網(wǎng)絡(luò)高效提取特征來捕獲多尺度上下文信息，允許網(wǎng)絡(luò)以不同的采樣率來提取特征，生成具有不同感受野的特征圖；

23、空間金字塔池化(spp)，模型使用spp模塊來處理不同尺寸的輸入圖像，允許模型在不同尺度上進(jìn)行特征提取，spp通過在特征圖上應(yīng)用不同大小的池化窗口來生成固定大小的輸出，這有助于捕捉多尺度信息；

24、引入注意力機(jī)制，加入極化自注意力機(jī)制(psa)，對(duì)spp模塊得到的特征圖進(jìn)行加權(quán)，增強(qiáng)特征圖提取細(xì)節(jié)信息；

25、加入eca-net融合mobilenetv2的淺層特征；

26、解碼器將編碼器的輸出上采樣到原始圖像的尺寸，并進(jìn)行分割，輸出是一個(gè)與輸入圖像尺寸相同的分割圖，其中包括光伏板污垢分割區(qū)域和非污垢分割區(qū)域。

27、本發(fā)明的進(jìn)一步設(shè)置為：特征提取中，這些特征圖包含了豐富的語義信息，實(shí)現(xiàn)輸入圖像的抽象表示，此外，還通過mobilenetv2獲得一個(gè)1×1卷積的低級(jí)特征圖；加入eca-net融合mobilenetv2的淺層特征中，該網(wǎng)絡(luò)利用全局池化將空間矩陣轉(zhuǎn)換為一維向量，可以根據(jù)網(wǎng)絡(luò)通道數(shù)獲得一維卷積核的大小，然后使用自適應(yīng)大小的卷積核進(jìn)行卷積操作，之后通過加權(quán)形式獲得輸入圖像的特征圖，并將輸入圖像乘以卷積計(jì)算后得到的特征圖以提取感興趣的信息，從而提高圖像分割性能。

28、本發(fā)明的進(jìn)一步設(shè)置為：解碼器將編碼器的輸出上采樣到原始圖像的尺寸，并進(jìn)行分割，首先將編碼器的輸出特征圖進(jìn)行雙線性上采樣，然后與經(jīng)過eca-net處理的低層特征圖卷積層進(jìn)行拼接，拼接后，通過幾個(gè)3×3卷積層來細(xì)化特征，最后再次進(jìn)行雙線性上采樣以得到最終的分割結(jié)果，最終的輸出是一個(gè)與輸入圖像尺寸相同的分割圖，其中包括光伏板污垢分割區(qū)域和非污垢分割區(qū)域。

29、本發(fā)明的進(jìn)一步設(shè)置為：極化自注意力機(jī)制可以在通道和空間維度保持高分辨率，極化自注意力機(jī)制的串聯(lián)和并聯(lián)形式正式分為兩個(gè)分支：通道分支和空間分支，通道分支和空間分支各自的通道權(quán)重計(jì)算公式如下：

30、ach(x)＝fsg[wzθ1((σ1(wv(x))×fsm(σ2(wq(x))))]

31、asp(x)＝fsg[σ3(fsm(σ1(fgp(wq(x))))×(x))]

32、其中，x：輸入特征圖；

33、wv和wq分別是用于生成通道注意力的兩個(gè)不同的1x1卷積核；

34、σ1、σ2和σ3：1×1卷積操作，用于生成通道注意力的兩個(gè)特征；

35、fsmsoftmax函數(shù)，用于對(duì)通道進(jìn)行歸一化，使得所有通道的權(quán)重之和為1；

36、wzθ1：1x1卷積核，用于調(diào)整通道權(quán)重的維度，使其與輸入特征圖的通道數(shù)相匹配；

37、fsg：sigmoid函數(shù)，用于將通道權(quán)重壓縮到0和1之間，使得權(quán)重更加穩(wěn)定；

38、fgp：全局池化(global?pooling)，用于將特征圖的空間維度壓縮為一個(gè)值，保留通道維度。

39、本發(fā)明的進(jìn)一步設(shè)置為：步驟s3中污垢比重的計(jì)算公式如下：

40、

41、i為降采樣后的圖像序列號(hào)；

42、s1，s2分別為為第i幀圖像的光伏板有污垢區(qū)域和無污垢區(qū)域的像素?cái)?shù)。

43、本發(fā)明的進(jìn)一步設(shè)置為：步驟s4中，根據(jù)各幀圖像光伏板污垢比重值大小確定相應(yīng)的清潔指數(shù)，具體計(jì)算公式如下：

44、

45、本發(fā)明的有益效果是：

46、1、本發(fā)明提供了一種基于改進(jìn)語義分割網(wǎng)絡(luò)模型的光伏板表面污垢檢測與分析系統(tǒng)，在模型訓(xùn)練階段，需采集不同場景、不同清潔程度的光伏板的圖像數(shù)據(jù)，首先對(duì)數(shù)據(jù)進(jìn)行光照歸一化處理，然后利用改進(jìn)的deeplabv3+網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練和實(shí)時(shí)推理，對(duì)光伏板以及光伏板上的污垢進(jìn)行分割，然后遍歷分割對(duì)象，統(tǒng)計(jì)光伏板有污垢像素面積和無污垢像素面積，最后采用評(píng)價(jià)模型對(duì)污垢進(jìn)行分析，得出光伏板程度數(shù)據(jù)，為清潔工作的提供參考建議。

47、2、為了實(shí)現(xiàn)對(duì)大規(guī)模光伏板的全方位檢測，本發(fā)明提出基于無人機(jī)平臺(tái)，通過路徑規(guī)劃實(shí)現(xiàn)大范圍的巡檢，并利用無人機(jī)搭載的攝像頭采集光伏板的圖像數(shù)據(jù)，節(jié)省了大量的人力物力。

48、3、為了讓檢測系統(tǒng)對(duì)不同的光照條件和天氣狀況魯棒，本發(fā)明提出采用限制對(duì)比度自適應(yīng)直方圖均衡化方法對(duì)圖像進(jìn)行預(yù)處理，實(shí)現(xiàn)光照歸一化，從而減少光照差異對(duì)系統(tǒng)檢測結(jié)果的影響。

49、4、為了實(shí)現(xiàn)對(duì)光伏板污垢區(qū)域和非污垢區(qū)域的視覺檢測，本發(fā)明提出采用基于深度學(xué)習(xí)的語義分割技術(shù)，但是無人機(jī)平臺(tái)由于承載能力和供電能力有限，搭載的計(jì)算平臺(tái)的算力受到限制，為了減少語義分割算法占用的計(jì)算資源，本發(fā)明基于經(jīng)典語義分割的深度學(xué)習(xí)模型deeplabv3+提出一種改進(jìn)的圖像語義分割方法，以輕量級(jí)深度神經(jīng)網(wǎng)絡(luò)架構(gòu)mobilenetv2作為模型的主干網(wǎng)絡(luò)，應(yīng)用高效通道注意力網(wǎng)絡(luò)(ecanet)，使模型更加關(guān)注重要的特征，降低了計(jì)算復(fù)雜度并提高了目標(biāo)邊界的清晰度，在空洞空間金字塔池化模塊(aspp)后引入極化自注意力機(jī)制，以改善特征圖的空間特征表示，從而有效提升算法運(yùn)行的實(shí)時(shí)性以及語義分割的準(zhǔn)確性和精度，讓搭載該改進(jìn)優(yōu)化的無人機(jī)系統(tǒng)可以高效、準(zhǔn)確地對(duì)大范圍區(qū)域光伏板的表面污垢進(jìn)行準(zhǔn)確精細(xì)地分割。