本發(fā)明涉及智能機器人相關，尤其涉及聯(lián)合視覺ai與陀螺儀的機器人路徑規(guī)劃方法及裝置。

背景技術：

1、目前機器人在進行路徑規(guī)劃時，往往是通過機器視覺來進行避障的。僅僅依靠機器視覺進行避障，雖然在許多應用中已經(jīng)取得了不錯的成果，但也存在一些顯著的不足之處。機器視覺作為一種感知手段，固然可以提供豐富的環(huán)境信息，但單獨使用時，由于其固有的局限性，可能在動態(tài)環(huán)境、復雜背景或快速運動的情況下無法穩(wěn)定、高效地進行避障。

2、首先，視覺傳感器(如攝像頭)的視野通常是有限的，特別是在前向視角或者特定方向上的感知范圍。機器人如果快速運動，可能會在某些方向上失去對障礙物的檢測，導致未能及時做出避障反應。機器視覺系統(tǒng)對光照的依賴非常強。光線的變化(例如強烈的陽光、低光環(huán)境或光照變化)可能導致圖像質量下降，從而影響視覺算法的準確性和魯棒性。

技術實現(xiàn)思路

1、本發(fā)明的目的是為了至少解決現(xiàn)有技術的不足之一，提供聯(lián)合視覺ai與陀螺儀的機器人路徑規(guī)劃方法及裝置。

2、為了實現(xiàn)上述目的，本發(fā)明采用以下的技術方案：

3、具體的，提出聯(lián)合視覺ai與陀螺儀的機器人路徑規(guī)劃方法，包括以下：

4、獲取機器人當前位置坐標以及目標位置坐標，并加載當前環(huán)境地圖；

5、基于當前位置坐標、目標位置坐標以及當前環(huán)境地圖通過路徑規(guī)劃算法進行路徑規(guī)劃得到規(guī)劃路徑；

6、控制機器人按照所述規(guī)劃路徑進行對應行駛，并在行駛過程中聯(lián)合機器視覺與陀螺儀進行避障以動態(tài)修正機器人的位置。

7、進一步，具體的，基于當前位置坐標、目標位置坐標以及當前環(huán)境地圖通過dijkstra算法進行路徑規(guī)劃得到規(guī)劃路徑。

8、進一步，具體的，在行駛過程中聯(lián)合機器視覺與陀螺儀進行避障以動態(tài)修正機器人的位置，包括，

9、獲取視覺系統(tǒng)所采集的圖片信息，并基于所述圖片信息得到視覺系統(tǒng)所提供的姿態(tài)估計；

10、獲取陀螺儀所采集的數(shù)據(jù)信息，并基于所述數(shù)據(jù)信息得到陀螺儀所提供的姿態(tài)估計；

11、將視覺系統(tǒng)所提供的姿態(tài)估計與陀螺儀所提供的姿態(tài)估計進行融合得到融合姿態(tài)估計；

12、基于所述圖片信息對障礙物進行實時定位，并結合所述融合姿態(tài)估計實時判斷機器人與障礙物之間的實時距離；

13、基于所述實時距離通過障礙物避讓算法對機器人的位置進行動態(tài)修正。

14、進一步，具體的，獲取視覺系統(tǒng)所采集的圖片信息，并基于所述圖片信息得到視覺系統(tǒng)所提供的姿態(tài)估計，包括，

15、獲取視覺系統(tǒng)所采集的深度圖像；

16、對所述深度圖像進行圖像預處理得到去噪、增強對比度以及顏色空間轉換后的處理圖像；

17、基于sift算法提取所述處理圖像的特征點；

18、再通過flann匹配算法得到視覺系統(tǒng)所提供的姿態(tài)估計。

19、進一步，具體的，獲取陀螺儀所采集的數(shù)據(jù)信息，并基于所述數(shù)據(jù)信息得到陀螺儀所提供的姿態(tài)估計，包括，

20、獲取imu傳感器所采集的數(shù)據(jù)信息；

21、對所述數(shù)據(jù)信息進行預處理得到去噪、零偏校正以及尺度因子校正后的校正數(shù)據(jù)；

22、基于四元數(shù)的積分法對所述校正數(shù)據(jù)進行處理得到陀螺儀所提供的姿態(tài)估計。

23、進一步，具體的，將視覺系統(tǒng)所提供的姿態(tài)估計與陀螺儀所提供的姿態(tài)估計進行融合得到融合姿態(tài)估計，包括，

24、將記為陀螺儀所提供的t時刻的姿態(tài)估計，將記為視覺系統(tǒng)所提供的t時刻的姿態(tài)估計；

25、通過如下公式進行融合得到融合姿態(tài)估計

26、

27、其中α為動態(tài)權重，0≤α≤1。

28、進一步，具體的，α的確定方式，包括，

29、基于所述數(shù)據(jù)信息計算實時的加速度向量幅值記為svm，判斷svm是否大于第一尺度，若svm不大于第一尺度，則判斷機器人處于低速狀態(tài)，此時在[0，0.2)隨機選取α的值；

30、若svm大于第一尺度但小于第二尺度，則判斷機器人處于中速狀態(tài)，此時在[0.2，0.8)中隨機選取α的值；

31、若svm大于第二尺度，進一步獲取所述數(shù)據(jù)信息中的偏航角yaw以及俯仰角pitch，若還存在pitch>|45°|以及yaw>|45°|，則判斷機器人處于高速狀態(tài)，此時在[0.8，1]中隨機選取α的值。

32、進一步，具體的，基于所述圖片信息對障礙物進行實時定位，并結合所述融合姿態(tài)估計實時判斷機器人與障礙物之間的實時距離，包括，

33、對所采集的深度圖像進行預處理與校準得到處理后深度圖像，之后對處理后深度圖像進行特征提取，并根據(jù)特征提取結果進行障礙物檢測與分割，最后根據(jù)障礙物檢測與分割結果進行三維重建與定位進而實時判斷機器人與障礙物之間的實時距離。

34、進一步，具體的，基于所述實時距離通過障礙物避讓算法對機器人的位置進行動態(tài)修正，包括，

35、以質心位置作為代表位置分別將機器人位置記為第一坐標，將所有障礙物位置記為第二坐標；

36、將第一坐標、第二坐標均投影至xy平面即z＝0中，投影點分別記為第一坐標投影點以及第二坐標投影點i，其中i表示障礙物編號；

37、獲取第一坐標投影點h與第二坐標投影點i之間的實時距離li；

38、若存在li小于安全閾值，則找尋出機器人當前移動方向上除障礙物投影點i外最近的障礙物投影點記為j；

39、連接h與i得到直線hi，連接h與j得到直線hj，則hi與hj之間存在第一角度，對第一角度進行補償?shù)玫降诙嵌?，第二角度＝第一角?α，α為一個預設的小角度；

40、則控制機器人由hi向hj方向轉動第二角度運行直到li不小于安全閾值；

41、重復上述方式直到機器人抵達目標位置坐標，以此對機器人的位置進行動態(tài)修正。

42、本發(fā)明還提出聯(lián)合視覺ai與陀螺儀的機器人路徑規(guī)劃的裝置，包括以下：

43、數(shù)據(jù)獲取模塊，用于獲取機器人當前位置坐標以及目標位置坐標，并加載當前環(huán)境地圖；

44、路徑規(guī)劃模塊，用于基于當前位置坐標、目標位置坐標以及當前環(huán)境地圖通過路徑規(guī)劃算法進行路徑規(guī)劃得到規(guī)劃路徑；

45、行駛與避障模塊，用于控制機器人按照所述規(guī)劃路徑進行對應行駛，并在行駛過程中聯(lián)合機器視覺與陀螺儀進行避障以動態(tài)修正機器人的位置。

46、本發(fā)明的有益效果為：

47、本發(fā)明提出聯(lián)合視覺ai與陀螺儀的機器人路徑規(guī)劃方法及裝置，首先基于機器人的當前位置坐標、目標位置坐標以及當前環(huán)境地圖通過路徑規(guī)劃算法進行路徑規(guī)劃得到一條距離最優(yōu)的初步路徑，接著控制機器人按照這條初步路徑進行行駛，在行駛過程中通過聯(lián)合機器視覺與陀螺儀實時對機器人于障礙物進行動態(tài)位置評估，并在需要避障時，控制機器人進行智能避障以動態(tài)修正機器人的位置，能夠使機器人在盡可能避障的前提下，最快到達待抓取物料處。本發(fā)明所提出的聯(lián)合視覺ai與陀螺儀的機器人路徑規(guī)劃方法及裝置，通過在路徑上以視覺識別對象并結合陀螺儀數(shù)據(jù)進行位姿修正，能夠準確的進行障礙物定位，再根據(jù)通過障礙物避讓算法對機器人的位置進行動態(tài)修正，確保機器人能夠智能避障并準確到達目標位置。