本發(fā)明涉及人工智能，尤其涉及一種端到端的破碎作業(yè)點確定方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)：

1、無人挖掘機在無人破碎作業(yè)時，如固定料口的無人破碎作業(yè)或者固定區(qū)域自主行駛無人破碎作業(yè)等，需實時檢測破碎作業(yè)相關(guān)的作業(yè)點，以保證破碎作業(yè)的可靠性。

2、現(xiàn)有技術(shù)中的方案，或是未引入智能化方式進行破碎作業(yè)點檢測，或是在破碎作業(yè)點檢測時采用的技術(shù)智能化程度較低?，F(xiàn)有技術(shù)所提供的技術(shù)方案均非端到端的破碎作業(yè)點確定方式，致使現(xiàn)有技術(shù)方案不具備動態(tài)環(huán)境下的檢測能力、智能化程度低、復(fù)雜場景下魯棒性低、可能檢測失敗，尤其是在極端情況下如因強光、逆光、弱光、相機鏡頭臟污等造成破碎區(qū)域圖像模糊不清時，確定的破碎作業(yè)點不合理。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供了一種端到端的破碎作業(yè)點確定方法、裝置、設(shè)備及介質(zhì)，以提升破碎作業(yè)點確定的智能化程度以及魯棒性。

2、根據(jù)本發(fā)明的一方面，提供了一種端到端的破碎作業(yè)點確定方法，該方法包括：

3、通過相機獲取無人破碎作業(yè)區(qū)域的待破碎圖像，并對所述待破碎圖像進行分割，得到目標物體的分割結(jié)果；

4、通過激光雷達獲取激光雷達點云，并在所述激光雷達點云中抽取與所述目標物體的分割結(jié)果對應(yīng)的目標物體點云；

5、對所述目標物體點云進行點云特征提取，得到多個點云令牌；

6、獲取挖掘機的車輛信息，并對所述車輛信息進行特征提取，得到車輛狀態(tài)令牌；

7、將所述點云令牌和所述車輛狀態(tài)令牌輸入至解碼器中，解碼得到破碎作業(yè)點位置和破碎作業(yè)角度提示值。

8、根據(jù)本發(fā)明的另一方面，提供了一種端到端的破碎作業(yè)點確定裝置，該裝置包括：

9、圖像分割模塊，用于通過相機獲取無人破碎作業(yè)區(qū)域的待破碎圖像，并對所述待破碎圖像進行分割，得到目標物體的分割結(jié)果；

10、點云抽取模塊，用于通過激光雷達獲取激光雷達點云，并在所述激光雷達點云中抽取與所述目標物體的分割結(jié)果對應(yīng)的目標物體點云；

11、點云令牌確定模塊，用于對所述目標物體點云進行點云特征提取，得到多個點云令牌；

12、車輛狀態(tài)令牌確定模塊，用于獲取挖掘機的車輛信息，并對所述車輛信息進行特征提取，得到車輛狀態(tài)令牌；

13、破碎作業(yè)點確定模塊，用于將所述點云令牌和所述車輛狀態(tài)令牌輸入至解碼器中，解碼得到破碎作業(yè)點位置和破碎作業(yè)角度提示值。

14、根據(jù)本發(fā)明的另一方面，提供了一種電子設(shè)備，所述電子設(shè)備包括：

15、至少一個處理器；以及

16、與所述至少一個處理器通信連接的存儲器；其中，

17、所述存儲器存儲有可被所述至少一個處理器執(zhí)行的計算機程序，所述計算機程序被所述至少一個處理器執(zhí)行，以使所述至少一個處理器能夠執(zhí)行本發(fā)明任一實施例所述的端到端的破碎作業(yè)點確定方法。

18、根據(jù)本發(fā)明的另一方面，提供了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有計算機指令，所述計算機指令用于使處理器執(zhí)行時實現(xiàn)本發(fā)明任一實施例所述的端到端的破碎作業(yè)點確定方法。

19、根據(jù)本發(fā)明的另一方面，提供了一種計算機程序產(chǎn)品，包括計算機程序，所述計算機程序在被處理器執(zhí)行時實現(xiàn)本發(fā)明任一實施例所述的端到端的破碎作業(yè)點確定方法。

20、本發(fā)明實施例的技術(shù)方案，通過相機獲取無人破碎作業(yè)區(qū)域的待破碎圖像，并對待破碎圖像進行分割，得到目標物體的分割結(jié)果；通過激光雷達獲取激光雷達點云，并在激光雷達點云中抽取與目標物體的分割結(jié)果對應(yīng)的目標物體點云；對目標物體點云進行點云特征提取，得到多個點云令牌；獲取挖掘機的車輛信息，并對車輛信息進行特征提取，得到車輛狀態(tài)令牌；將點云令牌和車輛狀態(tài)令牌輸入至解碼器中，解碼得到破碎作業(yè)點位置和破碎作業(yè)角度提示值，解決了破碎作業(yè)點確定時智能化程度不足的問題，通過端到端的破碎作業(yè)點確定方式，可提升破碎作業(yè)點確定的智能化程度，通過點云與圖像數(shù)據(jù)的結(jié)合，可避免極端情況下魯棒性不足的問題。

21、應(yīng)當(dāng)理解，本部分所描述的內(nèi)容并非旨在標識本發(fā)明的實施例的關(guān)鍵或重要特征，也不用于限制本發(fā)明的范圍。本發(fā)明的其它特征將通過以下的說明書而變得容易理解。

技術(shù)特征：

1.一種端到端的破碎作業(yè)點確定方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，對所述待破碎圖像進行分割，得到目標物體的分割結(jié)果，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述激光雷達點云中抽取與所述目標物體的分割結(jié)果對應(yīng)的目標物體點云，包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，獲取挖掘機的車輛信息，并對所述車輛信息進行特征提取，得到車輛狀態(tài)令牌，包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，將所述點云令牌和所述車輛狀態(tài)令牌輸入至解碼器中，解碼得到破碎作業(yè)點位置和破碎作業(yè)角度提示值，包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，在得到破碎作業(yè)點位置和破碎作業(yè)角度提示值之后，還包括：

7.一種端到端的破碎作業(yè)點確定裝置，其特征在于，包括：

8.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括：

9.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)存儲有計算機指令，所述計算機指令用于使處理器執(zhí)行時實現(xiàn)權(quán)利要求1-6中任一項所述的端到端的破碎作業(yè)點確定方法。

10.一種計算機程序產(chǎn)品，包括計算機程序，所述計算機程序在被處理器執(zhí)行時實現(xiàn)根據(jù)權(quán)利要求1-6中任一項所述的端到端的破碎作業(yè)點確定方法。

技術(shù)總結(jié)
本發(fā)明實施例公開了一種端到端的破碎作業(yè)點確定方法、裝置、設(shè)備及介質(zhì)。該方法包括：通過相機獲取無人破碎作業(yè)區(qū)域的待破碎圖像，并對待破碎圖像進行分割，得到目標物體的分割結(jié)果；通過激光雷達獲取激光雷達點云，并在激光雷達點云中抽取與目標物體的分割結(jié)果對應(yīng)的目標物體點云；對目標物體點云進行點云特征提取，得到多個點云令牌；獲取挖掘機的車輛信息，并對車輛信息進行特征提取，得到車輛狀態(tài)令牌；將點云令牌和車輛狀態(tài)令牌輸入至解碼器中，解碼得到破碎作業(yè)點位置和破碎作業(yè)角度提示值。該方法通過端到端的破碎作業(yè)點確定方式，可提升破碎作業(yè)點確定的智能化程度，通過點云與圖像數(shù)據(jù)的結(jié)合，可避免極端情況下魯棒性不足的問題。

技術(shù)研發(fā)人員：李佳恒,廖勇,孫金泉,劉平,李逸岳
受保護的技術(shù)使用者：廣西柳工元象科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15