本發(fā)明涉及水下機(jī)器人遙操作控制領(lǐng)域，特別是一種基于多感官信息融合增強(qiáng)的水下機(jī)械臂遙操作方法。

背景技術(shù)：

1、長(zhǎng)期以來(lái)，機(jī)械臂一直是水下交互任務(wù)的主角，它們被廣泛用于海洋工程、海上油氣開(kāi)發(fā)和海洋研究等領(lǐng)域的水下作業(yè)。目前，大多數(shù)的水下機(jī)械手都是采用主從控制模式，由駕駛員根據(jù)水下平臺(tái)回傳的實(shí)時(shí)視頻逐一調(diào)整主控制器的關(guān)節(jié)，或者利用控制器的比例映射功能，將主控器末端的運(yùn)動(dòng)映射到水下機(jī)械從臂。然而，由于水下視頻缺乏深度信息，駕駛員很難準(zhǔn)確感知環(huán)境并做出正確判斷。

2、為了提高水下機(jī)械手的自動(dòng)化程度和操作體驗(yàn)，許多研究對(duì)水下機(jī)械臂的控制進(jìn)行了運(yùn)動(dòng)學(xué)層面的改進(jìn)。其中的一部分研究專注于改善遙操作方法以提高操作員的操作體驗(yàn)，而另一部分研究則主張通過(guò)半自主和完全自主的控制技術(shù)，將操作者從直接控制環(huán)路中轉(zhuǎn)移到監(jiān)督位置，以減少操作員的工作負(fù)荷。在改善遙操作技術(shù)方面，除了改進(jìn)人機(jī)交互中的輸入設(shè)備外，最重要的方法是通過(guò)機(jī)械臂實(shí)時(shí)運(yùn)動(dòng)模擬和環(huán)境的虛擬化重建來(lái)增強(qiáng)操作員對(duì)于水下三維環(huán)境的感知。早期的水下作業(yè)環(huán)境重建大多是基于預(yù)制的結(jié)構(gòu)化環(huán)境模型，在非結(jié)構(gòu)化場(chǎng)景和變化性場(chǎng)景中的應(yīng)用受到限制。近年來(lái)，基于深度相機(jī)和雙目相機(jī)的實(shí)時(shí)點(diǎn)云構(gòu)建方法日益成熟，被廣泛應(yīng)用于非結(jié)構(gòu)化環(huán)境重建任務(wù)中。這使得機(jī)械臂與水下動(dòng)態(tài)環(huán)境的實(shí)時(shí)交互仿真成為了可能。

3、在水下機(jī)械臂的自動(dòng)化控制方面，一些研究人員通過(guò)在商業(yè)化機(jī)械臂系統(tǒng)的主手與從手之間加入控機(jī)，進(jìn)行指令的修改和轉(zhuǎn)發(fā)，可以在不改變商業(yè)化機(jī)械臂系統(tǒng)的基礎(chǔ)上實(shí)現(xiàn)高級(jí)的自動(dòng)化控制算法，并通過(guò)關(guān)節(jié)運(yùn)動(dòng)控制策略的改進(jìn)，顯著提高了機(jī)械臂的末端定位精度。此外，用于水下機(jī)械手的全自動(dòng)視覺(jué)伺服控制方法也被提出，并在商用作業(yè)級(jí)rov上進(jìn)行了驗(yàn)證。

4、然后，在復(fù)雜的水下環(huán)境中，全自動(dòng)控制對(duì)算法的穩(wěn)健性要求較高，如何有效地識(shí)別和做出正確的決定是一個(gè)需要不斷關(guān)注和修正的過(guò)程。事實(shí)上，遙操作任務(wù)的主要限制是水下相機(jī)有限的視場(chǎng)范圍和固定的觀察角度難以提供充分的環(huán)境信息。操作員通常會(huì)在錯(cuò)誤的嘗試過(guò)程中花費(fèi)大量的時(shí)間。因此，尋找改善駕駛員感知的方法，并為機(jī)械臂的操作建立一個(gè)帶有人類決策的半自動(dòng)控制方法是一個(gè)值得探索的方法，它可以同時(shí)兼顧水下機(jī)械臂的效率并減輕操作人員的作業(yè)負(fù)擔(dān)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)存在的上述缺陷，提出了一種基于多感官信息融合增強(qiáng)的水下機(jī)械臂遙操作方法，其增強(qiáng)了機(jī)械臂操作員對(duì)于水下環(huán)境風(fēng)險(xiǎn)的感知，減少操作過(guò)程的風(fēng)險(xiǎn)，并在此基礎(chǔ)上利用自動(dòng)軌跡優(yōu)化算法實(shí)現(xiàn)機(jī)械臂的半自動(dòng)化操作。

2、本發(fā)明的技術(shù)方案是：一種基于多感官信息融合增強(qiáng)的水下機(jī)械臂遙操作方法，其中，包括以下步驟：

3、s1、水下虛擬環(huán)境的構(gòu)建，構(gòu)建水下環(huán)境點(diǎn)云模型；

4、s2、機(jī)械臂運(yùn)動(dòng)軌跡的定義與優(yōu)化；

5、s3、環(huán)境點(diǎn)云模型和機(jī)械臂模型之間的碰撞檢測(cè)與感知增強(qiáng)；

6、s4、將生成的機(jī)械臂末端無(wú)碰撞軌跡按比例縮放并發(fā)送到力反饋控制器產(chǎn)生引導(dǎo)力，對(duì)應(yīng)生成的關(guān)節(jié)軌跡則發(fā)送到機(jī)械臂進(jìn)行執(zhí)行。

7、本發(fā)明中，步驟s1包括以下具體步驟：

8、s1.1、多視場(chǎng)相機(jī)模塊對(duì)環(huán)境進(jìn)行成像，并將環(huán)境點(diǎn)云傳輸?shù)奖镜赜?jì)算機(jī)進(jìn)行融合，構(gòu)建水下環(huán)境點(diǎn)云模型；

9、s1.2、使用手眼標(biāo)定方法獲取的坐標(biāo)轉(zhuǎn)換關(guān)系將重建的環(huán)境點(diǎn)云和機(jī)械臂預(yù)制的三維模型統(tǒng)一到同一世界坐標(biāo)系。

10、步驟2具體包括以下步驟：

11、s2.1、利用力反饋控制器和鍵盤控制模型工作空間中的機(jī)械手，定義路徑中的關(guān)鍵點(diǎn)；

12、s2.2、使用逆運(yùn)動(dòng)學(xué)公式為每個(gè)關(guān)鍵路徑點(diǎn)生成一組候選機(jī)械臂關(guān)節(jié)配置；

13、s2.3、所有關(guān)鍵路徑點(diǎn)的候選機(jī)械臂關(guān)節(jié)配置形成機(jī)械臂關(guān)節(jié)配置集合，篩選該集合以獲得無(wú)碰撞配置；

14、s2.4、使用篩選過(guò)的關(guān)節(jié)配置構(gòu)建有向圖，在有向圖中只有前節(jié)點(diǎn)指向相鄰后節(jié)點(diǎn)的邊，邊長(zhǎng)為前一節(jié)點(diǎn)到相鄰后節(jié)點(diǎn)的目標(biāo)函數(shù)值，路徑優(yōu)化簡(jiǎn)化為有向圖上起始節(jié)點(diǎn)和結(jié)束節(jié)點(diǎn)之間的最短路徑搜索；

15、s2.5、在關(guān)節(jié)空間中進(jìn)行多項(xiàng)式插值，生成最優(yōu)路徑的平滑機(jī)器人軌跡。

16、步驟s3具體包括以下步驟：

17、s3.1、對(duì)機(jī)械臂模型進(jìn)行重新網(wǎng)格化，生成具有相同邊長(zhǎng)的三角形網(wǎng)格；

18、s3.2、將重新劃分的網(wǎng)格頂點(diǎn)抽取為機(jī)械臂點(diǎn)云，以便與環(huán)境點(diǎn)云進(jìn)行逐點(diǎn)距離計(jì)算，機(jī)械臂點(diǎn)云ai和環(huán)境點(diǎn)云bj之間的距離dij表示為：

19、dij＝distance{(ai,i＝1,2…n),(bj,j＝1,2…m)}；

20、s3.3、比較dij與渲染閾值ts：若dij>ts，則對(duì)應(yīng)的點(diǎn)通過(guò)碰撞檢查；若dij<ts，則需要進(jìn)行關(guān)鍵路徑點(diǎn)的調(diào)整，并進(jìn)行相應(yīng)的感知增強(qiáng)操作：

21、環(huán)境點(diǎn)云中所有距離小于ts的點(diǎn)按照其與機(jī)械臂點(diǎn)云中最小距離點(diǎn)之間的距離進(jìn)行坐標(biāo)加權(quán)，計(jì)算出環(huán)境點(diǎn)云中潛在碰撞區(qū)域的中心；利用碰撞中心與機(jī)械臂點(diǎn)云中的最小距離點(diǎn)之間的距離計(jì)算反饋力和提示音的頻率。

22、步驟s3.3具體包括以下步驟：

23、s3.3.1、根據(jù)環(huán)境點(diǎn)云與機(jī)械臂點(diǎn)云之間的距離最小點(diǎn)dkl，分別找出對(duì)應(yīng)的環(huán)境點(diǎn)云的對(duì)應(yīng)點(diǎn)bl和機(jī)械臂點(diǎn)云的對(duì)應(yīng)點(diǎn)ak，其中，l∈{1,2…m},k∈{1,2,…n}

24、dkl＝minimum(dij)；

25、s3.3.2、在所有dij小于ts的點(diǎn)中，統(tǒng)計(jì)對(duì)應(yīng)的環(huán)境點(diǎn)云的點(diǎn)的數(shù)量f：

26、f＝num(dij<ts)；

27、s3.3.3、環(huán)境點(diǎn)云中所有距離小于ts的點(diǎn)，按照其與機(jī)械臂點(diǎn)云中最小距離點(diǎn)之間的距離進(jìn)行坐標(biāo)加權(quán)，計(jì)算出環(huán)境點(diǎn)云潛在碰撞區(qū)域的中心c：

28、

29、其中，為bj的坐標(biāo)；

30、此時(shí)潛在碰撞的方向?yàn)橛森h(huán)境點(diǎn)云潛在碰撞區(qū)域的中心c指向機(jī)械臂最小距離點(diǎn)ak的向量n：

31、

32、s3.3.4、比較dij與碰撞狀態(tài)的判別閾值tc：若dij>tc，則對(duì)應(yīng)的環(huán)境點(diǎn)云中的點(diǎn){bj}顏色改變?yōu)樘崾绢伾?；若dij<tc，則{bj}顏色改變?yōu)榫绢伾?，并通過(guò)顯示器顯示渲染結(jié)果；

33、同時(shí)，計(jì)算得到反饋力的大小和方向，發(fā)送至力反饋控制器，進(jìn)行觸覺(jué)提示；

34、與此同時(shí)，聲音警示頻率采用距離反比公式計(jì)算，并設(shè)置最高頻率上限，實(shí)現(xiàn)聲音信息的增強(qiáng)。

35、步驟s3.3.4中，反饋力的計(jì)算步驟如下所述：

36、a1、利用彈簧阻尼模型計(jì)算反饋力f：

37、f＝k|n|-bv。

38、其中，k為勁度系數(shù)，b為阻尼系數(shù)，v為力反饋控制器末端速度，|n|為向量n的模；

39、a2、將反饋力的大小和方向發(fā)送至力反饋控制器，進(jìn)行觸覺(jué)提示：

40、其中，反饋力的大小為步驟a1計(jì)算得到的f；反饋力的反向與向量|n|一致；

41、a3、根據(jù)步驟a2的觸覺(jué)提示，通過(guò)力反饋控制器和鍵盤，針對(duì)碰撞路段調(diào)整機(jī)械臂的末端位姿，重新完成機(jī)械臂的路徑規(guī)劃。

42、步驟s3.3.4中，實(shí)現(xiàn)聲音信息的增強(qiáng)的具體步驟如下所述：

43、b1、計(jì)算風(fēng)險(xiǎn)提示音的頻率v：

44、

45、其中，q是音頻增益系數(shù)，用于將音頻反饋調(diào)整到人耳可感知的頻率范圍內(nèi)，vmax是提示音的頻率上限；

46、b2、調(diào)用揚(yáng)聲器設(shè)備，并按照頻率v向揚(yáng)聲器發(fā)送提示音。

47、本發(fā)明的有益效果是：本發(fā)明利用多臺(tái)水下雙目相機(jī)對(duì)復(fù)雜水下環(huán)境進(jìn)行實(shí)時(shí)建模，通過(guò)重建模型中機(jī)械臂與環(huán)境點(diǎn)云位置關(guān)系的實(shí)時(shí)分析，利用視覺(jué)上顯著的色彩變化和觸覺(jué)中反饋力的跳變以及聲音警示對(duì)潛在的碰撞位置、碰撞方向及碰撞距離進(jìn)行提示，以增強(qiáng)操作員在遙操作過(guò)程中對(duì)于水下環(huán)境的感知；同時(shí)，通過(guò)構(gòu)建機(jī)械臂的關(guān)鍵路徑點(diǎn)，利用插值算法和路徑搜索算法對(duì)機(jī)械臂的路徑進(jìn)行優(yōu)化并生成自動(dòng)軌跡。

48、綜上所述，本技術(shù)對(duì)于改善水下機(jī)械臂作業(yè)人員操作體驗(yàn)，提升水下機(jī)械臂操作效率具有重要意義。