本發(fā)明屬于信息監(jiān)測(cè)，尤其涉及基于計(jì)算機(jī)視覺(jué)的貨場(chǎng)內(nèi)貨物堆放安全監(jiān)測(cè)方法及系統(tǒng)。

背景技術(shù)：

1、在貨場(chǎng)內(nèi)進(jìn)行貨物堆放時(shí)，貨物的姿態(tài)直接影響到堆放的安全性和穩(wěn)定性。傳統(tǒng)的貨物堆放安全監(jiān)測(cè)主要依賴人工巡檢，存在監(jiān)測(cè)效率低、監(jiān)測(cè)頻次受限、易受主觀因素影響等問(wèn)題?；谟?jì)算機(jī)視覺(jué)的貨物姿態(tài)識(shí)別與監(jiān)測(cè)技術(shù)為解決上述問(wèn)題提供了新的思路，但在實(shí)際應(yīng)用中仍面臨諸多技術(shù)挑戰(zhàn)。

2、首先，貨場(chǎng)環(huán)境復(fù)雜多變，光照條件不穩(wěn)定，貨物種類(lèi)繁多，不同貨物的外觀、尺寸、材質(zhì)、包裝等差異很大，給圖像采集和處理帶來(lái)困難。其次，貨物堆放過(guò)程中姿態(tài)變化多樣，包括平移、旋轉(zhuǎn)、傾斜、變形等，需要視覺(jué)算法能夠準(zhǔn)確捕捉和量化這些姿態(tài)變化。再者，貨物堆放通常密集度高，不同貨物之間存在遮擋和干擾，增加了姿態(tài)識(shí)別的難度。此外，貨物堆放安全監(jiān)測(cè)需要實(shí)時(shí)性，要求視覺(jué)算法能夠快速處理圖像數(shù)據(jù)并給出判斷結(jié)果，對(duì)算法的時(shí)效性提出了較高要求。最后，在實(shí)際應(yīng)用中，還需要將視覺(jué)算法與其他傳感器數(shù)據(jù)進(jìn)行融合，并與貨場(chǎng)管理系統(tǒng)進(jìn)行集成，構(gòu)建完整的貨物堆放安全監(jiān)測(cè)系統(tǒng)，這對(duì)系統(tǒng)的魯棒性、可擴(kuò)展性和易用性都提出了挑戰(zhàn)。

技術(shù)實(shí)現(xiàn)思路

1、為解決上述技術(shù)問(wèn)題，本發(fā)明提出了基于計(jì)算機(jī)視覺(jué)的貨場(chǎng)內(nèi)貨物堆放安全監(jiān)測(cè)方法及系統(tǒng)，能夠提高復(fù)雜貨場(chǎng)環(huán)境下貨物姿態(tài)識(shí)別的精度、魯棒性和實(shí)時(shí)性，實(shí)現(xiàn)了貨物堆放的智能監(jiān)測(cè)和預(yù)警。

2、本發(fā)明提供了基于計(jì)算機(jī)視覺(jué)的貨場(chǎng)內(nèi)貨物堆放安全監(jiān)測(cè)方法，包括：

3、獲取貨物圖像數(shù)據(jù)；

4、基于所述貨物圖像數(shù)據(jù)，獲取貨物的語(yǔ)義特征；

5、基于所述語(yǔ)義特征，獲取貨物的三維姿態(tài)參數(shù)；

6、基于所述三維姿態(tài)參數(shù)，調(diào)整不同貨物區(qū)域的權(quán)重，獲取被遮擋貨物的姿態(tài)信息；

7、基于所述被遮擋貨物的姿態(tài)信息，分析貨物之間的空間關(guān)系和受力情況，預(yù)測(cè)危險(xiǎn)情況。

8、可選的，基于所述貨物圖像數(shù)據(jù)，獲取貨物的語(yǔ)義特征包括：

9、對(duì)所述貨物圖像數(shù)據(jù)進(jìn)行預(yù)處理，獲取高質(zhì)量貨物圖像；

10、根據(jù)所述高質(zhì)量貨物圖像，獲取貨物的語(yǔ)義特征。

11、可選的，對(duì)所述貨物圖像數(shù)據(jù)進(jìn)行預(yù)處理，獲取高質(zhì)量貨物圖像包括：

12、采用自適應(yīng)算法動(dòng)態(tài)調(diào)整所述貨物圖像數(shù)據(jù)的對(duì)比度、亮度和飽和度，獲取調(diào)整后的貨物圖像；

13、利用卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)調(diào)整后的貨物圖像進(jìn)行評(píng)估，判斷圖像質(zhì)量是否達(dá)標(biāo)，根據(jù)判斷結(jié)果，獲取所述高質(zhì)量貨物圖像。

14、可選的，根據(jù)所述高質(zhì)量貨物圖像，獲取貨物的語(yǔ)義特征包括：

15、提取所述高質(zhì)量貨物圖像的顏色特征、紋理特征、形狀特征和尺寸特征，獲取多維特征向量；

16、采用卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)所述多維特征向量進(jìn)行深層次學(xué)習(xí)和提取，獲取貨物的語(yǔ)義特征。

17、可選的，基于所述語(yǔ)義特征，獲取貨物的三維姿態(tài)參數(shù)包括：

18、根據(jù)所述語(yǔ)義特征，建立貨物三維模型，預(yù)定義貨物上的關(guān)鍵點(diǎn)，其中，所述關(guān)鍵點(diǎn)包括：角點(diǎn)和邊緣點(diǎn)；

19、基于預(yù)定義的關(guān)鍵點(diǎn)，檢測(cè)貨物圖像中關(guān)鍵點(diǎn)，獲取關(guān)鍵點(diǎn)的像素坐標(biāo)；

20、將所述像素坐標(biāo)轉(zhuǎn)換為三維坐標(biāo)，根據(jù)所述三維坐標(biāo)計(jì)算關(guān)鍵點(diǎn)之間的空間距離和角度關(guān)系，獲取關(guān)鍵點(diǎn)之間的空間關(guān)系矩陣；

21、基于所述空間關(guān)系矩陣，估計(jì)貨物的三維姿態(tài)參數(shù)。

22、可選的，基于所述三維姿態(tài)參數(shù)，調(diào)整不同貨物區(qū)域的權(quán)重，獲取被遮擋貨物的姿態(tài)信息包括：

23、根據(jù)所述三維姿態(tài)參數(shù)，通過(guò)注意力模塊自適應(yīng)的調(diào)整圖像中不同獲取區(qū)域，獲取目標(biāo)貨物區(qū)域；

24、根據(jù)目標(biāo)貨物區(qū)域，構(gòu)建貨物之間的空間拓?fù)潢P(guān)系圖；

25、采用卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)權(quán)重調(diào)整后的貨物圖像進(jìn)行特征提取，獲取貨物的視覺(jué)特征表示；

26、將所述空間拓?fù)潢P(guān)系圖和視覺(jué)特征相融合，通過(guò)圖卷積網(wǎng)絡(luò)推理被遮擋貨物的姿態(tài)信息。

27、可選的，基于所述被遮擋貨物的姿態(tài)信息，結(jié)合貨物的三維姿態(tài)參數(shù)，分析貨物之間的空間關(guān)系和受力情況，預(yù)測(cè)危險(xiǎn)情況包括：

28、基于所述被遮擋貨物的姿態(tài)信息，結(jié)合貨物的三維姿態(tài)參數(shù)和貨物之間的空間關(guān)系，利用物理仿真引擎模擬貨物受力情況，評(píng)估貨物堆放的穩(wěn)定性。

29、本發(fā)明還提供了基于計(jì)算機(jī)視覺(jué)的貨場(chǎng)內(nèi)貨物堆放安全監(jiān)測(cè)系統(tǒng)，包括：圖像采集模塊、特征提取模塊、姿態(tài)估計(jì)模塊和三維分析模塊：

30、所述圖像采集模塊，用于采集貨物圖像；

31、所述特征提取模塊，用于提取所述貨物圖像的語(yǔ)義特征；

32、所述姿態(tài)估計(jì)模塊，用于估計(jì)貨物的三維姿態(tài)；

33、所述三維分析模塊，用于分析貨物之間的空間關(guān)系和受力情況，預(yù)測(cè)危險(xiǎn)情況。

34、與現(xiàn)有技術(shù)相比，本發(fā)明具有如下優(yōu)點(diǎn)和技術(shù)效果：

35、本發(fā)明采用自適應(yīng)圖像增強(qiáng)算法對(duì)貨物圖像進(jìn)行預(yù)處理，提高圖像質(zhì)量；構(gòu)建多層次貨物特征提取模型，綜合利用顏色、紋理、形狀等特征，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取貨物深層語(yǔ)義特征；引入注意力機(jī)制和上下文信息，突出目標(biāo)貨物，抑制背景干擾，推理被遮擋貨物的姿態(tài)；采用輕量化姿態(tài)識(shí)別模型，提高模型推理速度；結(jié)合貨場(chǎng)環(huán)境深度信息，構(gòu)建貨物堆放三維場(chǎng)景模型，分析貨物空間關(guān)系和受力情況，評(píng)估堆放穩(wěn)定性和安全性，預(yù)測(cè)可能發(fā)生的傾倒、坍塌等危險(xiǎn)情況。本發(fā)明提高了復(fù)雜貨場(chǎng)環(huán)境下貨物姿態(tài)識(shí)別的精度、魯棒性和實(shí)時(shí)性，實(shí)現(xiàn)了貨物堆放的智能監(jiān)測(cè)和預(yù)警。

技術(shù)特征：

1.基于計(jì)算機(jī)視覺(jué)的貨場(chǎng)內(nèi)貨物堆放安全監(jiān)測(cè)方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的基于計(jì)算機(jī)視覺(jué)的貨場(chǎng)內(nèi)貨物堆放安全監(jiān)測(cè)方法，其特征在于，基于所述貨物圖像數(shù)據(jù)，獲取貨物的語(yǔ)義特征包括：

3.根據(jù)權(quán)利要求2所述的基于計(jì)算機(jī)視覺(jué)的貨場(chǎng)內(nèi)貨物堆放安全監(jiān)測(cè)方法，其特征在于，對(duì)所述貨物圖像數(shù)據(jù)進(jìn)行預(yù)處理，獲取高質(zhì)量貨物圖像包括：

4.根據(jù)權(quán)利要求2所述的基于計(jì)算機(jī)視覺(jué)的貨場(chǎng)內(nèi)貨物堆放安全監(jiān)測(cè)方法，其特征在于，根據(jù)所述高質(zhì)量貨物圖像，獲取貨物的語(yǔ)義特征包括：

5.根據(jù)權(quán)利要求1所述的基于計(jì)算機(jī)視覺(jué)的貨場(chǎng)內(nèi)貨物堆放安全監(jiān)測(cè)方法，其特征在于，基于所述語(yǔ)義特征，獲取貨物的三維姿態(tài)參數(shù)包括：

6.根據(jù)權(quán)利要求1所述的基于計(jì)算機(jī)視覺(jué)的貨場(chǎng)內(nèi)貨物堆放安全監(jiān)測(cè)方法，其特征在于，基于所述三維姿態(tài)參數(shù)，調(diào)整不同貨物區(qū)域的權(quán)重，獲取被遮擋貨物的姿態(tài)信息包括：

7.根據(jù)權(quán)利要求1所述的基于計(jì)算機(jī)視覺(jué)的貨場(chǎng)內(nèi)貨物堆放安全監(jiān)測(cè)方法，其特征在于，基于所述被遮擋貨物的姿態(tài)信息，結(jié)合貨物的三維姿態(tài)參數(shù)，分析貨物之間的空間關(guān)系和受力情況，預(yù)測(cè)危險(xiǎn)情況包括：

8.基于計(jì)算機(jī)視覺(jué)的貨場(chǎng)內(nèi)貨物堆放安全監(jiān)測(cè)系統(tǒng)，其特征在于，包括：圖像采集模塊、特征提取模塊、姿態(tài)估計(jì)模塊和三維分析模塊：

技術(shù)總結(jié)
本發(fā)明公開(kāi)了基于計(jì)算機(jī)視覺(jué)的貨場(chǎng)內(nèi)貨物堆放安全監(jiān)測(cè)方法及系統(tǒng)，包括：獲取貨物圖像數(shù)據(jù)；基于所述貨物圖像數(shù)據(jù)，獲取貨物的語(yǔ)義特征；基于所述語(yǔ)義特征，獲取貨物的三維姿態(tài)參數(shù)；基于所述三維姿態(tài)參數(shù)，調(diào)整不同貨物區(qū)域的權(quán)重，獲取被遮擋貨物的姿態(tài)信息；基于所述被遮擋貨物的姿態(tài)信息，分析貨物之間的空間關(guān)系和受力情況，預(yù)測(cè)危險(xiǎn)情況。本發(fā)明提高了復(fù)雜貨場(chǎng)環(huán)境下貨物姿態(tài)識(shí)別的精度、魯棒性和實(shí)時(shí)性，實(shí)現(xiàn)了貨物堆放的智能監(jiān)測(cè)和預(yù)警。

技術(shù)研發(fā)人員：黃浩,汪長(zhǎng)勝
受保護(hù)的技術(shù)使用者：蘇州習(xí)耀智能科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15