本發(fā)明屬于人形機器人巡視導航領(lǐng)域，具體涉及一種人形機器人巡視任務(wù)興趣點搜索方法。

背景技術(shù)：

1、早先的興趣目標發(fā)現(xiàn)技術(shù)大多基于2d圖像的目標識別，依賴于從攝像頭或其他傳感器獲取的2d圖像數(shù)據(jù)來識別興趣目標。這些方法包括基于模板匹配、特征點提取和匹配、深度學習等技術(shù)。然而，在月面探測任務(wù)中，2d圖像可能受到光照、遮擋和視角等因素的影響，導致目標識別性能下降。為克服基于2d圖像的方法的局限性，研究者開始關(guān)注基于3d數(shù)據(jù)的興趣目標識別技術(shù)。這些方法利用激光雷達、rgbd相機等傳感器獲取的3d點云數(shù)據(jù)，通過比較點云的幾何結(jié)構(gòu)和特征來識別興趣目標。常見的算法包括基于點對特征(ppf)、迭代最近點(icp)、隨機樣本一致性(ransac)和深度學習等技術(shù)。這些方法在處理復雜環(huán)境和遮擋情況下具有更好的魯棒性。

2、隨著深度學習技術(shù)的快速發(fā)展，基于深度學習的興趣目標識別方法在月面探測領(lǐng)域也取得了顯著成果。這些方法通常使用卷積神經(jīng)網(wǎng)絡(luò)(cnn)或其他神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對2d圖像或3d點云數(shù)據(jù)進行分析，以識別興趣目標。相較于傳統(tǒng)方法，深度學習方法可以自動學習從原始數(shù)據(jù)中提取有用特征，并具有更強的泛化能力。然而，深度學習方法通常需要大量的標注數(shù)據(jù)進行訓練，并且在計算和內(nèi)存需求方面較為昂貴，這在月面探測任務(wù)中會受到嚴重的資源限制。

3、而本發(fā)明結(jié)合月面實際工程約束、計算資源限制等因素，采用傳統(tǒng)幾何方法，使用rgb-d相機在3d環(huán)境中實現(xiàn)目標匹配，從而實現(xiàn)基于深度信息和定位信息的興趣目標搜索算法。本發(fā)明興趣目標發(fā)現(xiàn)是基于聚類算法的，所以每一次的興趣目標搜索所需的精度就可以適當放寬，最終使用顏色上下閾值來建立興趣目標發(fā)現(xiàn)的掩模，極大程度降低了算法的時間復雜度和空間復雜度。

4、其中，在圖像搜索興趣點的過程中，由于相機的成像效果受光線條件、傳感器質(zhì)量、地表環(huán)境等因素的影響，因此，在獲取到的圖像中，興趣點可能呈現(xiàn)出不完整或模糊的形態(tài)，需要進一步的處理和分析來確定其準確的位置和范圍。除此之外，相機也可能同時拍到兩個興趣目標。因此，提出一種月面巡視探測興趣點搜索方法以保證系統(tǒng)對興趣點識別的魯棒性是亟待解決的問題。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是提供一種人形機器人巡視任務(wù)興趣點搜索方法，可以保證巡視器運行過程中可能產(chǎn)生的瞬時誤差不會對這一誤差產(chǎn)生前發(fā)現(xiàn)的興趣目標產(chǎn)生影響；并在適當放寬興趣目標搜索所需的精度的同時，還極大程度降低了算法的時間復雜度和空間復雜度。

2、為解決上述技術(shù)問題，本發(fā)明所采用的技術(shù)方案是：一種人形機器人巡視任務(wù)興趣點搜索方法，包括以下步驟：

3、步驟s1：使用相機獲取環(huán)境圖像；

4、步驟s2：檢測環(huán)境圖像中的顏色異常區(qū)域，將所述顏色異常區(qū)域標記為興趣點，并對環(huán)境圖像像素區(qū)域進行平均運算，得到所述興趣點在環(huán)境圖像上的像素中心坐標；

5、步驟s3：利用相機的內(nèi)參矩陣進行數(shù)學運算，將興趣點在二維圖像坐標系中的像素中心坐標轉(zhuǎn)換為相機坐標系中的坐標，并根據(jù)相機的內(nèi)外參數(shù)，對獲取的相機坐標進行相應的矩陣變換和平移變換，從而可得到所述興趣點在巡視器坐標系中的坐標；

6、步驟s4：通過所述興趣點在巡視器坐標系中的坐標獲得興趣點在世界坐標系中的坐標，并將所發(fā)現(xiàn)的所有興趣點在世界坐標系中的坐標按照發(fā)現(xiàn)的時間順序依次存入興趣目標庫中，待巡視器到達目標區(qū)域結(jié)束巡視后，將整個興趣目標庫按時間順序分為m份興趣目標；

7、步驟s5：將分成的m份興趣目標分別使用dbscan算法進行聚類，并挑選出符合條件的n類聚類的中心點坐標為興趣點坐標。

8、進一步地，所述步驟s4中的世界坐標系為東北天坐標系，該坐標系以起始點為原點，x軸指向北方向，y軸指向東方向，z軸指向天空方向所建立的三軸相互正交的坐標系；其中所述巡視器坐標系是指以巡視器質(zhì)心為原點，x軸指向巡視器前進方向，y軸指向巡視器前進方向的左側(cè)方向，z軸指向上方向所建立的三軸相互正交的坐標系；其中所述相機坐標系是指以相機光圈為原點，x軸指向相機攝像方向的左方向，y軸指向下方向，z軸指向前方向所建立的三軸相互正交的坐標系；其中所述二維圖像坐標系是指以像素圖像左上角為原點，y軸指向下方，x軸指向右方所建立的兩軸相互正交的坐標系。

9、進一步地，所述步驟s2中的興趣點存在于所述環(huán)境圖像的某一像素區(qū)域中，所述興趣點的像素中心坐標為該區(qū)域的質(zhì)心像素坐標。

10、進一步地，所述的步驟s3中的巡視器配備了前后各一個rgb-d相機，且相機鏡頭軸線與巡視器的水平方向存在一定的偏轉(zhuǎn)角度，其偏轉(zhuǎn)角度范圍為0～180°。

11、進一步地，在所述步驟s3中，可通過將二維像素圖像坐標系映射到相機坐標系中，從而獲得每個像素點相對于相機坐標系下的坐標；且由于相機到巡視器的位置是固定的，根據(jù)相機在巡視器上的安裝位置得到安裝矩陣，可得到興趣點在巡視器坐標系中的坐標。

12、進一步地，所述巡視器的初始坐標和姿態(tài)在世界坐標系中已知，則通過巡視器累積移動值得知巡視器在世界坐標系中的各軸位移量，再通過逆運算，將所述興趣點相對于巡視器坐標系的坐標轉(zhuǎn)換為興趣點相對于世界坐標系的坐標。

13、進一步地，在所述的步驟s5中，判斷聚類是否符合條件的方法包含以下步驟：

14、步驟s5.1：將每一份興趣目標單獨聚類，取其中數(shù)量最大的t類聚類，則m份興趣目標中取出共計m×t類聚類；

15、步驟s5.2：取出上述m×t類聚類中區(qū)域面積最大的n類聚類，剩余m×t－n類聚類作為備份；

16、步驟s5.3：分別判斷所述步驟s5.2中取出的n類聚類中兩兩興趣點之間的距離是否大于閾值距離；若是，則令這n類聚類的中心點為興趣點坐標；若否，則轉(zhuǎn)步驟s5.4；

17、步驟s5.4：刪除所述n類聚類中不符合距離要求且聚類中類的點數(shù)最少的類，并獲取所述步驟s5.2中剩余m×t－n類聚類中點數(shù)最大的類進行替代；

18、步驟s5.5：返回步驟s5.3繼續(xù)判斷；

19、步驟s5.6：若最終判斷出的聚類中兩兩興趣點之間的距離都小于閾值距離，則輸出面積最大的n類聚類。

20、進一步地，所述t為小于等于3的自然數(shù)，m為小于等于10的自然數(shù)，n為小于等于5的自然數(shù)，閾值距離范圍為1m～10m。

21、綜上所述，由于采用了上述技術(shù)方案，本發(fā)明的有益效果是：

22、(1)本發(fā)明提出方法可以在巡視器到達目標區(qū)域后，將整個興趣目標庫按時間順序分為若干份，以保證巡視器運行過程中可能產(chǎn)生的瞬時誤差不會對這一誤差產(chǎn)生前發(fā)現(xiàn)的興趣目標產(chǎn)生影響。

23、(2)本發(fā)明有關(guān)興趣目標的發(fā)現(xiàn)是基于聚類算法的，因此每一次的興趣目標搜索所需的精度就可以適當放寬，且最終使用顏色上下閾值來建立興趣目標發(fā)現(xiàn)的掩模，極大程度降低了算法的時間復雜度和空間復雜度。

技術(shù)特征：

1.一種人形機器人巡視任務(wù)興趣點搜索方法，其特征在于，包含以下步驟：

2.根據(jù)權(quán)利要求1所述的一種人形機器人巡視任務(wù)興趣點搜索方法，其特征在于：所述步驟s4中的世界坐標系為東北天坐標系，該坐標系以起始點為原點，x軸指向北方向，y軸指向東方向，z軸指向天空方向所建立的三軸相互正交的坐標系；其中所述巡視器坐標系是指以巡視器質(zhì)心為原點，x軸指向巡視器前進方向，y軸指向巡視器前進方向的左側(cè)方向，z軸指向上方向所建立的三軸相互正交的坐標系；其中所述相機坐標系是指以相機光圈為原點，x軸指向相機攝像方向的左方向，y軸指向下方向，z軸指向前方向所建立的三軸相互正交的坐標系；其中所述二維圖像坐標系是指以像素圖像左上角為原點，y軸指向下方，x軸指向右方所建立的兩軸相互正交的坐標系。

3.根據(jù)權(quán)利要求1所述的一種人形機器人巡視任務(wù)興趣點搜索方法，其特征在于，所述步驟s2中的興趣點存在于所述環(huán)境圖像的某一像素區(qū)域中，所述興趣點的像素中心坐標為該區(qū)域的質(zhì)心像素坐標。

4.根據(jù)權(quán)利要求1所述的一種人形機器人巡視任務(wù)興趣點搜索方法，其特征在于：所述的步驟s3中的巡視器配備了前后各一個rgb-d相機，且相機鏡頭軸線與巡視器的水平方向存在一定的偏轉(zhuǎn)角度，其偏轉(zhuǎn)角度范圍為0～180°。

5.根據(jù)權(quán)利要求1所述的一種人形機器人巡視任務(wù)興趣點搜索方法，其特征在于：在所述步驟s3中，可通過將二維像素圖像坐標系映射到相機坐標系中，從而獲得每個像素點相對于相機坐標系下的坐標；且由于相機到巡視器的位置是固定的，根據(jù)相機在巡視器上的安裝位置得到安裝矩陣，可得到興趣點在巡視器坐標系中的坐標。

6.根據(jù)權(quán)利要求5所述的一種人形機器人巡視任務(wù)興趣點搜索方法，其特征在于：所述巡視器的初始坐標和姿態(tài)在世界坐標系中已知，則通過巡視器累積移動值得知巡視器在世界坐標系中的各軸位移量，再通過逆運算，將所述興趣點相對于巡視器坐標系的坐標轉(zhuǎn)換為興趣點相對于世界坐標系的坐標。

7.根據(jù)權(quán)利要求1所述的一種人形機器人巡視任務(wù)興趣點搜索方法，其特征在于：在所述的步驟s5中，判斷聚類是否符合條件的方法包含以下步驟：

技術(shù)總結(jié)
本發(fā)明公開了一種人形機器人巡視任務(wù)興趣點搜索方法，包括使用相機獲取環(huán)境圖像；檢測環(huán)境圖像中的顏色異常區(qū)域，將所述顏色異常區(qū)域標記為興趣點，并對環(huán)境圖像像素區(qū)域進行平均運算，得到所述興趣點在環(huán)境圖像上的像素中心坐標；利用相機的內(nèi)參矩陣進行數(shù)學運算，將興趣點在二維圖像坐標系中的像素中心坐標轉(zhuǎn)換為相機坐標系中的坐標，并根據(jù)相機的內(nèi)外參數(shù)，對獲取的相機坐標進行相應的矩陣變換和平移變換，從而可得到所述興趣點在巡視器坐標系中的坐標，該發(fā)明可以在巡視器到達目標區(qū)域后，將整個興趣目標庫按時間順序分為若干份，以保證巡視器運行過程中可能產(chǎn)生的瞬時誤差不會對這一誤差產(chǎn)生前發(fā)現(xiàn)的興趣目標產(chǎn)生影響。

技術(shù)研發(fā)人員：賀亮,胡濤,馬延,陳建林
受保護的技術(shù)使用者：江蘇云幕智造科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/4/10