本發(fā)明涉及鋼-木組合梁柱節(jié)點損傷的，尤其涉及應(yīng)用機器視覺的鋼-木組合梁柱節(jié)點損傷識別方法和系統(tǒng)。

背景技術(shù)：

1、隨著建筑工業(yè)化的快速發(fā)展，鋼-木組合結(jié)構(gòu)因其環(huán)保性、高效性和經(jīng)濟性等優(yōu)勢，在建筑工程領(lǐng)域得到廣泛應(yīng)用。特別是在裝配式建筑、綠色建筑和高層木結(jié)構(gòu)建筑等新型建筑形式中，鋼-木組合梁柱節(jié)點作為關(guān)鍵的受力構(gòu)件，其性能直接影響整體結(jié)構(gòu)的安全性、耐久性和使用壽命。鋼-木組合梁柱節(jié)點作為建筑結(jié)構(gòu)中的重要承重構(gòu)件，其損傷狀態(tài)直接影響整體結(jié)構(gòu)的安全性能。目前，結(jié)構(gòu)損傷識別方法主要包括基于振動、應(yīng)變、位移等物理量的傳統(tǒng)方法。

2、傳統(tǒng)的結(jié)構(gòu)損傷識別方法主要依賴于傳感器測量的物理量進行分析。例如，申請?zhí)枮?01910800633.3的發(fā)明專利公開了一種基于支座反力和應(yīng)變的梁結(jié)構(gòu)損傷識別方法，該方法通過測量損傷后結(jié)構(gòu)的應(yīng)變曲線和支座反力，計算各位置剛度并通過剛度突變識別損傷位置和程度。這類方法需要在結(jié)構(gòu)上布置大量傳感器，增加了檢測成本。同時，傳感器安裝位置的選擇對識別結(jié)果影響較大，且僅能獲得離散測點處的損傷信息，難以實現(xiàn)全局損傷的連續(xù)監(jiān)測。

技術(shù)實現(xiàn)思路

1、有鑒于此，本發(fā)明提供應(yīng)用機器視覺的鋼-木組合梁柱節(jié)點損傷識別方法和系統(tǒng)，目的在于提供應(yīng)用機器視覺的鋼-木組合梁柱節(jié)點損傷識別方法和系統(tǒng)，結(jié)合自適應(yīng)濾波去噪、多尺度特征融合和深度學習網(wǎng)絡(luò)，實現(xiàn)對鋼-木組合梁柱節(jié)點損傷的精確識別和定位。

2、實現(xiàn)上述目的，本發(fā)明提供的應(yīng)用機器視覺的鋼-木組合梁柱節(jié)點損傷識別方法，包括以下步驟：

3、s1：獲取鋼-木組合梁柱節(jié)點的可見光、近紅外和熱成像多模態(tài)圖像序列，并通過自適應(yīng)各向異性擴散濾波去噪處理，得到去噪后的多模態(tài)圖像序列，并根據(jù)去噪后的多模態(tài)圖像序列構(gòu)建去噪后的多模態(tài)圖像序列張量；

4、s2：對去噪后的多模態(tài)圖像序列張量進行高斯金字塔分解和拉普拉斯金字塔特征融合，得到融合特征圖；

5、s3：對融合特征圖進行自適應(yīng)閾值分割和形態(tài)學處理，獲得最終二值圖；

6、s4：深度學習網(wǎng)絡(luò)進行訓練，得到訓練完成的深度學習網(wǎng)絡(luò)；

7、s5：采用訓練完成的深度學習網(wǎng)絡(luò)進行損傷識別，獲得分割概率圖并標注分割結(jié)果，實現(xiàn)損傷區(qū)域的可視化，具體包括：

8、使用訓練完成的深度學習網(wǎng)絡(luò)對去噪后的多模態(tài)圖像序列張量進行特征提取，并將提取的特征與最終二值圖進行空間注意力引導，得到引導后的特征；

9、將引導后的特征和最終二值圖在特征維度上拼接后輸入transformer模塊，通過transformer模塊的自注意力機制進行特征融合，得到融合后的特征；

10、將融合后的特征輸入訓練完成的深度學習網(wǎng)絡(luò)中進行損傷像素分割，并輸出分割概率圖；

11、在多模態(tài)圖像序列上標注分割結(jié)果，實現(xiàn)損傷區(qū)域的可視化。

12、可選地，所述s1包括：

13、s11：采用三種不同波段的傳感器陣列獲取多模態(tài)圖像序列itotal，具體為：

14、itotal＝{ivis，inir，ithm}；

15、其中，ivis、inir和ithm分別為可見光波段、近紅外波段和熱成像波段采集的模態(tài)圖像；

16、s12：采用迭代優(yōu)化策略對多模態(tài)圖像序列itotal進行自適應(yīng)各向異性擴散濾波去噪，得到去噪后的多模態(tài)圖像序列iden，具體為：

17、

18、其中，和分別為去噪后的多模態(tài)圖像序列中第m個模態(tài)圖像在第t次和第t+1次迭代時，像素點(x,y)處的去噪后像素值；m＝1,2,3，為模態(tài)序號，且第一個模態(tài)圖像、第二個模態(tài)圖像和第三個模態(tài)圖像分別為ivis、inir和ithm；當t＝0時，為多模態(tài)圖像序列中為第m個模態(tài)圖像在像素點(x,y)處的像素值；η為迭代步長參數(shù)；n為上、下、左、右四個方向的集合；為第m個模態(tài)圖像在像素點(x，y)處沿方向d的梯度值；cd(x，y)為像素點(x,y)處在方向d上的擴散系數(shù)，具體為：

19、

20、其中，k(x，y)為像素點(x，y)處的自適應(yīng)局部閾值：

21、k(x,y)＝μ(x,y)+λ·σ(x,y)；

22、其中，μ(x,y)為以像素點(x,y))為中心的7×7局部窗口內(nèi)梯度幅值的均值；σ(x,y)為以像素點(x,y))為中心的7×7局部窗口內(nèi)梯度幅值的標準差；λ為調(diào)節(jié)參數(shù)；

23、迭代終止條件為：

24、

25、其中，ε為收斂閾值；為去噪后的多模態(tài)圖像序列中第m個模態(tài)圖像第t次迭代結(jié)果的l2范數(shù)；為第m個模態(tài)圖像第t+1次和第t次迭代結(jié)果差值的l2范數(shù)；迭代完成后獲得去噪后的多模態(tài)圖像序列中第m個模態(tài)圖像

26、s13：構(gòu)建去噪后的多模態(tài)圖像序列張量t：

27、

28、可選地，所述s2包括：

29、s21：去噪后的多模態(tài)圖像序列張量進行高斯金字塔分解，具體為：

30、

31、其中，為去噪后的多模態(tài)圖像序列張量中第m個模態(tài)圖像在第layer層高斯金字塔分解結(jié)果圖在像素點(x,y)處的像素值；layer＝1,2,3，為高斯金字塔層數(shù)；gsigma為標準差為1.6的高斯核函數(shù)；*為卷積運算；為去噪后的多模態(tài)圖像序列張量中第m個模態(tài)圖像在第layer-1層高斯金字塔分解結(jié)果圖，當layer＝1時↓2為在水平和垂直方向上進行2倍下采樣操作；

32、s22：構(gòu)建拉普拉斯金字塔，具體為：

33、

34、其中，為去噪后的多模態(tài)圖像序列張量中第m個模態(tài)圖像在第layer-1層拉普拉斯金字塔的結(jié)果圖；up為雙線性插值上采樣操作，將輸入圖像在水平和垂直方向上擴大2倍；為去噪后的多模態(tài)圖像序列張量中第m個模態(tài)圖像在第layer層高斯金字塔分解結(jié)果圖；

35、s23：計算融合權(quán)重，具體為：

36、

37、其中，為第layer-1層，且去噪后的多模態(tài)圖像序列張量中第m個模態(tài)圖像在像素點(x，y)處的融合權(quán)重；為第layer-1層，且去噪后的多模態(tài)圖像序列張量中第k個模態(tài)圖像的顯著性圖在像素點(x,y)處的顯著值，k＝1,2,3；(x,y)為第layer-1層，且去噪后的多模態(tài)圖像序列張量中第m個模態(tài)圖像的顯著性圖在像素點(x,y)處的顯著值，具體為：

38、

39、其中，ω為以像素點(x,y)為中心的7×7鄰域窗口包含的像素點，(i，j)為ω中的元素；為中以像素點(x，y)為中心的7×7局部窗口內(nèi)像素值的均值；

40、s24：拉普拉斯金字塔特征融合與重建，得到融合特征圖。

41、可選地，所述s24包括：

42、s241：對拉普拉斯金字塔進行加權(quán)融合，得到融合后的拉普拉斯金字塔：

43、

44、其中，為第layer-1層在像素點(x，y)處融合后的像素值；為去噪后的多模態(tài)圖像序列張量中第m個模態(tài)圖像在第layer-1層拉普拉斯金字塔的結(jié)果圖在像素點(x，y)處的像素值；

45、s242：將融合后的拉普拉斯金字塔重建，得到融合特征圖f：

46、

47、其中，uplayer-1表示進行l(wèi)ayer-1次2倍上采樣操作；f(x,y)為融合特征圖在像素點(x，y)處的像素值。

48、可選地，所述s3步驟中對融合特征圖進行自適應(yīng)閾值分割和形態(tài)學處理，獲得最終的二值圖，包括：

49、s31：計算融合特征圖的的自適應(yīng)局部閾值，具體為：

50、

51、其中，th(x,y)為像素點(x,y)處的自適應(yīng)局部閾值；為以像素點(x,y)為中心的15×15局部窗口內(nèi)融合特征圖f的均值；為以像素點(x，y)為中心的15×15局部窗口內(nèi)融合特征圖f的標準差；α為閾值調(diào)節(jié)系數(shù)；

52、s32：對融合特征圖進行自適應(yīng)局部閾值分割，比較融合特征圖f與自適應(yīng)閾值th在每個像素點(x，y)處的大小關(guān)系獲得初始二值圖m0，具體為：

53、當f(x,y)>th(x,y)時，m0(x,y)＝1；

54、當f(x,y)≤th(x，y)時，m0(x,y)＝0；

55、其中，m0(x,y)為初始二值圖m0在像素點(x,y)處的像素值；

56、s33：對初始二值圖進行形態(tài)學處理，獲得最終二值圖。

57、可選地，所述s33包括：

58、s331：進行開運算：

59、對初始二值圖m0進行開運算處理，所述開運算處理采用3×3的矩形結(jié)構(gòu)元素對初始二值圖m0先進行腐蝕操作，再進行膨脹操作，得到開運算處理后的圖像m1；

60、s332：進行閉運算：

61、對m1進行閉運算處理，所述閉運算同樣使用3×3的矩形結(jié)構(gòu)元素對m1先進行膨脹操作，再進行腐蝕操作，得到閉運算處理后的圖像m2；

62、s333：進行區(qū)域面積濾波：

63、對m2進行區(qū)域面積濾波處理，所述區(qū)域面積濾波處理為對圖像m2中每個連通區(qū)域計算其像素面積，并將面積小于20的連通區(qū)域內(nèi)包含的像素點的像素值設(shè)置為0，得到最終的二值圖mfinal。

64、可選地，所述s4包括：

65、s41：計算分割損失lossseg和一致性約束損失lossconsist，獲得總損失losstotal：

66、lossseg＝ce(probseg，label)；

67、lossconsist＝mse(probseg，label)；

68、losstotal＝lossseg+lossconsist；

69、其中，ce為交叉熵損失；mse為均方誤差；label為真實分割標簽；probseg為分割概率圖；

70、s42：使用隨機梯度下降算法訓練深度學習網(wǎng)絡(luò)中的參數(shù)使總損失下降；達到設(shè)定的迭代次數(shù)后獲得訓練完成的深度學習網(wǎng)絡(luò)。

71、可選地，所述s5包括：

72、所述訓練完成的深度學習網(wǎng)絡(luò)包括resnet50網(wǎng)絡(luò)和unet網(wǎng)絡(luò)；

73、使用resnet50網(wǎng)絡(luò)對去噪后的多模態(tài)圖像序列張量進行特征提取，得到去噪后的多模態(tài)圖像序列張量特征；

74、將去噪后的多模態(tài)圖像序列張量特征與最終的二值圖mfinal進行空間注意力引導，獲得引導后的多模態(tài)圖像序列張量特征；

75、將引導后的多模態(tài)圖像序列張量特征和最終二值圖mfinal在特征維度上拼接后，輸入到transformer模塊中進行特征融合，獲得融合后的多模態(tài)圖像序列張量特征feafuse；

76、將融合后的多模態(tài)圖像序列張量特征輸入到unet網(wǎng)絡(luò)中進行損傷像素分割，得到分割概率圖，其中，分割概率圖的每個像素值表示該位置屬于損傷區(qū)域的概率；

77、將分割概率圖二值化得到最終分割掩碼，并在多模態(tài)圖像序列上標注分割結(jié)果，實現(xiàn)損傷區(qū)域的可視化。

78、本發(fā)明還公開了應(yīng)用機器視覺的鋼-木組合梁柱節(jié)點損傷識別系統(tǒng)，包括：

79、去噪模塊：獲取鋼-木組合梁柱節(jié)點的可見光、近紅外和熱成像多模態(tài)圖像序列，并通過自適應(yīng)各向異性擴散濾波去噪處理，得到去噪后的多模態(tài)圖像序列，并根據(jù)去噪后的多模態(tài)圖像序列構(gòu)建去噪后的多模態(tài)圖像序列張量；

80、融合模塊：對去噪后的多模態(tài)圖像序列張量進行高斯金字塔分解和拉普拉斯金字塔特征融合，得到融合特征圖；

81、二值化模塊：對融合特征圖進行自適應(yīng)閾值分割和形態(tài)學處理，獲得最終二值圖；

82、識別模型訓練模塊：識別模型訓練模塊：對深度學習網(wǎng)絡(luò)進行訓練，得到訓練完成的深度學習網(wǎng)絡(luò)；

83、識別模型應(yīng)用模塊：使用訓練完成的深度學習網(wǎng)絡(luò)進行損傷識別，獲得分割概率圖并標注分割結(jié)果，實現(xiàn)損傷區(qū)域的可視化。

84、與現(xiàn)有技術(shù)相比，本發(fā)明至少具有以下有益效果：

85、本發(fā)明采用可見光、近紅外和熱成像三種不同波段的圖像序列進行損傷識別，充分利用了不同模態(tài)圖像的互補信息。通過自適應(yīng)各向異性擴散濾波算法對多模態(tài)圖像進行去噪處理，該算法能根據(jù)局部圖像特征自適應(yīng)調(diào)整擴散系數(shù)，在有效抑制噪聲的同時保持邊緣和細節(jié)信息。同時，采用迭代優(yōu)化策略和自適應(yīng)終止條件，確保去噪效果的穩(wěn)定性和可靠性，為后續(xù)的特征提取和融合奠定基礎(chǔ)。

86、本發(fā)明通過高斯金字塔分解將圖像分解為不同尺度的特征，并結(jié)合拉普拉斯金字塔重建實現(xiàn)特征的多尺度表達。創(chuàng)新性地引入基于局部顯著性的自適應(yīng)權(quán)重融合策略，使得不同模態(tài)、不同尺度的特征能夠根據(jù)其重要程度進行優(yōu)化組合。此外，采用自適應(yīng)閾值分割和形態(tài)學處理方法，有效地提取出損傷區(qū)域的初步輪廓，為深度學習網(wǎng)絡(luò)提供有價值的先驗信息。

87、本發(fā)明設(shè)計的深度學習網(wǎng)絡(luò)架構(gòu)具有較強的特征提取和融合能力。通過resnet50進行特征提取，結(jié)合二值圖引導的空間注意力機制，突出損傷相關(guān)區(qū)域的特征表達。創(chuàng)新性地引入transformer模塊實現(xiàn)多模態(tài)特征的深度融合，充分挖掘不同模態(tài)特征之間的關(guān)聯(lián)性。采用unet網(wǎng)絡(luò)進行損傷像素分割，并設(shè)計了結(jié)合交叉熵損失和一致性約束的優(yōu)化目標，提高了損傷識別的準確性和魯棒性。