本發(fā)明屬于電力技術(shù)領(lǐng)域，具體涉及一種基于多傳感器信息融合的帶電作業(yè)機(jī)器人自主作業(yè)方法。

背景技術(shù)：

隨著國(guó)民經(jīng)濟(jì)的發(fā)展，技術(shù)的進(jìn)步，以及人們對(duì)生活質(zhì)量的要求越來(lái)越高，客戶對(duì)用電質(zhì)量、服務(wù)的要求也越來(lái)越高，停電不但會(huì)給企業(yè)造成巨大經(jīng)濟(jì)損失，也給人們的日常生活帶來(lái)很多不便。為了保持設(shè)備良好的運(yùn)行狀況，常常需要作業(yè)人員進(jìn)行人工帶電維護(hù)檢修作業(yè)，但這種帶電作業(yè)方式需要作業(yè)人員長(zhǎng)時(shí)間處于高強(qiáng)度高危險(xiǎn)的環(huán)境中，不僅給作業(yè)人員人身安全帶來(lái)風(fēng)險(xiǎn)，而且會(huì)使作業(yè)效率低下。將帶電作業(yè)機(jī)器人引入到電力產(chǎn)業(yè)中，代替人工進(jìn)行電力維護(hù)檢修工作，可以有效避免帶電作業(yè)時(shí)人員傷亡事故的發(fā)生，并且能極大提高電力維護(hù)檢修的作業(yè)效率。

采用該方式進(jìn)行帶電作業(yè)，機(jī)器人可以通過(guò)視覺(jué)系統(tǒng)采集并反饋的工作環(huán)境信息，自主完成作業(yè)。然而，在帶電作業(yè)現(xiàn)場(chǎng)，環(huán)境較為復(fù)雜，設(shè)備器具較多，不易與背景環(huán)境區(qū)分，單一采用視覺(jué)方式難以對(duì)作業(yè)環(huán)境和目標(biāo)進(jìn)行全方位高精度的測(cè)量。例如山東電力研究院發(fā)明的專(zhuān)利號(hào)201310033112的“一種用于高壓帶電作業(yè)機(jī)器人的視覺(jué)系統(tǒng)及工作方法”，該發(fā)明采用在左右機(jī)械臂上安裝雙目立體相機(jī)實(shí)現(xiàn)對(duì)目標(biāo)位置和姿態(tài)的識(shí)別和測(cè)量，采用立體攝像機(jī)使圖像具有立體視覺(jué)效果，并在機(jī)械臂前側(cè)和后側(cè)分別安裝CCD相機(jī)以便對(duì)機(jī)器人作業(yè)進(jìn)行監(jiān)控。該發(fā)明雖然能在一定程度上對(duì)工作環(huán)境及目標(biāo)進(jìn)行識(shí)別和測(cè)量，但并不能處理復(fù)雜環(huán)境中的測(cè)量問(wèn)題，也無(wú)法在機(jī)械臂防碰撞保護(hù)方面提供很好的監(jiān)控。由此可見(jiàn)，采用單一視覺(jué)方式雖然能獲得較為完整的環(huán)境信息，但圖像信息量過(guò)大，難以用高效的算法對(duì)圖像去除干擾成分，提取有用信息，這些會(huì)造成帶電作業(yè)機(jī)器人自主作業(yè)的困難。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提出一種基于多傳感器信息融合的帶電作業(yè)機(jī)器人自主作業(yè)方法，不僅能獲得作業(yè)目標(biāo)、機(jī)械臂與作業(yè)目標(biāo)之間關(guān)系的信息，而且能獲取機(jī)械臂之間關(guān)系的信息，從而能更方便對(duì)機(jī)械臂與目標(biāo)之間和機(jī)械臂之間的碰撞進(jìn)行監(jiān)測(cè)和保護(hù)。

為了解決上述技術(shù)問(wèn)題，本發(fā)明提供一種基于多傳感器信息融合的帶電作業(yè)機(jī)器人自主作業(yè)方法，帶電作業(yè)機(jī)器人包括作業(yè)系統(tǒng)和監(jiān)控系統(tǒng)；所述作業(yè)系統(tǒng)包括設(shè)置在帶電作業(yè)機(jī)器人平臺(tái)上的第一機(jī)械臂、第二機(jī)械臂、輔助機(jī)械臂、機(jī)械臂專(zhuān)用工具箱和第一工控機(jī)；所述監(jiān)控系統(tǒng)包括雙目攝像頭、全景攝像頭、深度傳感器和第二工控機(jī)和顯示器；第一機(jī)械臂、第二機(jī)械臂和輔助機(jī)械臂末端均安裝有雙目攝像頭；全景攝像頭用于監(jiān)控作業(yè)場(chǎng)景；深度傳感器為多個(gè)，用于獲取作業(yè)場(chǎng)景深度圖像信息；第二工控機(jī)和顯示器安裝在絕緣斗臂車(chē)上；自主作業(yè)過(guò)程為：

步驟101，全景攝像頭拍攝包括帶電作業(yè)機(jī)器人平臺(tái)的在內(nèi)的全景圖像，通過(guò)第二工控機(jī)送顯示器顯示，操作人員通過(guò)查看全景圖像將帶電作業(yè)機(jī)器人平臺(tái)送入作業(yè)區(qū)域；

步驟102，第一工控機(jī)控制第一機(jī)械臂和第二機(jī)械臂進(jìn)入初始工作姿態(tài)，并確保第一機(jī)械臂和第二機(jī)械臂上的雙目攝像頭能拍攝到包含作業(yè)目標(biāo)的雙目圖像；隨后控制輔助機(jī)械臂進(jìn)入初始工作姿態(tài)，確保輔助機(jī)械臂上的雙目攝像頭能拍攝到包含作業(yè)目標(biāo)、第一機(jī)械臂和第二機(jī)械臂的雙目圖像；

步驟103，三個(gè)雙目攝像頭將拍攝的雙目圖像數(shù)據(jù)傳送給第二工控機(jī)，第二工控機(jī)對(duì)所述雙目圖像進(jìn)行處理，以識(shí)別出作業(yè)目標(biāo)并判斷作業(yè)任務(wù)類(lèi)別；

步驟104，第二工控機(jī)根據(jù)作業(yè)目標(biāo)和作業(yè)類(lèi)別判斷作業(yè)任務(wù)重是否是需要使用專(zhuān)用工具箱中的工具，若果需要獲取工具，則通過(guò)第一工控機(jī)控制第一機(jī)械臂和第二機(jī)械臂分別從專(zhuān)用工具箱中獲取工具，然后進(jìn)行步驟5，如果不需要獲取工具，則直接進(jìn)行步驟105；

步驟105，第二工控機(jī)根據(jù)第一機(jī)械臂和第二機(jī)械臂的位置以及作業(yè)任務(wù)規(guī)劃出機(jī)械臂空間運(yùn)動(dòng)路徑，并發(fā)送給第一工控機(jī)；

步驟106，第一工控機(jī)根據(jù)機(jī)械臂空間運(yùn)動(dòng)路徑控制第一機(jī)械臂和第二機(jī)械臂運(yùn)動(dòng)完成相應(yīng)作業(yè)任務(wù)；在第一機(jī)械臂和第二機(jī)械臂進(jìn)行作業(yè)過(guò)程中，第二工控機(jī)根據(jù)深度傳感器獲得的深度信息判斷判斷各機(jī)械臂之間以及各機(jī)械臂與周?chē)矬w之間是否會(huì)發(fā)生碰撞，若是，則返回步驟5重新進(jìn)行械臂空間運(yùn)動(dòng)路徑規(guī)劃；若否，則繼續(xù)進(jìn)行作業(yè)任務(wù)直至完成作業(yè)任務(wù)。

進(jìn)一步，帶電作業(yè)機(jī)器人包括四個(gè)深度傳感器，分別從帶電作業(yè)機(jī)器人平臺(tái)的上方、前方以及左右兩側(cè)獲取作業(yè)區(qū)域深度圖像；第二工控機(jī)根據(jù)深度傳感器獲得的深度信息判斷判斷各機(jī)械臂之間以及各機(jī)械臂與周?chē)矬w之間是否會(huì)發(fā)生碰撞的方法為：

步驟201，對(duì)全景攝像頭拍攝的作業(yè)場(chǎng)景全景圖像進(jìn)行處理將各機(jī)械臂與作業(yè)環(huán)境分離，即分離背景與機(jī)械臂，獲取各機(jī)械臂像素點(diǎn)位置信息；

步驟202，將作業(yè)場(chǎng)景全景圖像與四只深度傳感器獲得的作業(yè)區(qū)域深度圖像進(jìn)行信息匹配，即將全景圖像中的像素點(diǎn)與深度圖像中的像素點(diǎn)進(jìn)行匹配，獲得空間中實(shí)際該點(diǎn)的三維坐標(biāo)，從而獲取作業(yè)現(xiàn)場(chǎng)三維點(diǎn)云并得到各機(jī)械臂位置的點(diǎn)云，將第一機(jī)械臂、第二機(jī)械臂和輔助機(jī)械臂點(diǎn)云分別記為第一點(diǎn)云區(qū)、第二點(diǎn)云區(qū)和輔助點(diǎn)云區(qū)；

步驟203，計(jì)算各機(jī)械臂點(diǎn)云上各點(diǎn)與作業(yè)環(huán)境點(diǎn)云上各點(diǎn)之間的距離，若該距離小于閾值，則認(rèn)為機(jī)械臂將要與環(huán)境物體碰撞；計(jì)算第一點(diǎn)云區(qū)、第二點(diǎn)云區(qū)和輔助點(diǎn)云區(qū)上相互兩點(diǎn)間的距離，若該距離小于閾值，則認(rèn)為機(jī)械臂之間將要發(fā)生碰撞。

進(jìn)一步，第二工控機(jī)對(duì)雙目圖像進(jìn)行預(yù)處理，剔除干擾和噪聲；然后提取出作業(yè)目標(biāo)，將作業(yè)目標(biāo)與模型庫(kù)中的目標(biāo)模型進(jìn)行匹配，以判斷出作業(yè)任務(wù)類(lèi)別。

本發(fā)明與現(xiàn)有技術(shù)相比，其顯著優(yōu)點(diǎn)在于：

（1）本發(fā)明采用深度傳感器與視覺(jué)系統(tǒng)信息融合的方式，不僅能獲得作業(yè)目標(biāo)、機(jī)械臂與作業(yè)目標(biāo)之間關(guān)系的信息，而且能獲取機(jī)械臂之間關(guān)系的信息，從而能更方便對(duì)機(jī)械臂與目標(biāo)之間和機(jī)械臂之間的碰撞進(jìn)行監(jiān)測(cè)和保護(hù)；

（2）本發(fā)明在輔助機(jī)械臂腕部安裝一組雙目攝像頭，可以通過(guò)靈活的輔助機(jī)械臂伸至目標(biāo)設(shè)備的側(cè)面或背面，對(duì)正面視覺(jué)的死角進(jìn)行觀測(cè)，使得帶電作業(yè)更容易完成。

附圖說(shuō)明

圖1為本發(fā)明基于多傳感器信息融合的帶電作業(yè)機(jī)器人結(jié)構(gòu)示意圖；

圖2為本發(fā)明基于多傳感器信息融合的帶電作業(yè)機(jī)器人自主作業(yè)流程圖。

具體實(shí)施方式

容易理解，依據(jù)本發(fā)明的技術(shù)方案，在不變更本發(fā)明的實(shí)質(zhì)精神的情況下，本領(lǐng)域的一般技術(shù)人員可以想象出本發(fā)明基于多傳感器信息融合的帶電作業(yè)機(jī)器人自主作業(yè)方法的多種實(shí)施方式。因此，以下具體實(shí)施方式和附圖僅是對(duì)本發(fā)明的技術(shù)方案的示例性說(shuō)明，而不應(yīng)當(dāng)視為本發(fā)明的全部或者視為對(duì)本發(fā)明技術(shù)方案的限制或限定。

結(jié)合附圖，基于多傳感器信息融合的帶電作業(yè)機(jī)器人，其硬件組成主要包括作業(yè)系統(tǒng)和監(jiān)控系統(tǒng)。

所述作業(yè)系統(tǒng)包括第一機(jī)械臂43、第二機(jī)械臂44、輔助機(jī)械臂42、機(jī)械臂專(zhuān)用工具箱47和第一工控機(jī)48。第一機(jī)械臂43、第二機(jī)械臂44和輔助機(jī)械臂42均安裝于絕緣斗中，第一機(jī)械臂43和第二機(jī)械臂44安裝于絕緣斗前部，為系統(tǒng)主要操作手；輔助機(jī)械臂42安裝于左、右機(jī)械臂中間，主要用于輔助作業(yè)和輔助監(jiān)控；機(jī)械臂專(zhuān)用工具箱47裝有便于視覺(jué)和傳感器識(shí)別的工具，方便作業(yè)過(guò)程中對(duì)作業(yè)工具進(jìn)行更換；第一工控機(jī)48主要用于控制三個(gè)機(jī)械臂運(yùn)動(dòng)。

所述監(jiān)控系統(tǒng)包括三組雙目攝像頭45、一只全景攝像頭41、四只深度傳感器和第二工控機(jī)。在三只機(jī)械臂的腕部分別安裝一組雙目攝像頭45；在機(jī)械臂專(zhuān)用工具箱47后安裝支架，并在支架末端安裝全景攝像頭41和第二深度傳感器411；在機(jī)械臂專(zhuān)用工具箱47左右兩側(cè)分別安裝第三深度傳感器412和第四深度傳感器413；在機(jī)械臂前方的絕緣斗邊緣安裝支架，并在支架末端安裝第一深度傳感器414 ；第二工控機(jī)安裝有圖像處理器，用于對(duì)各攝像頭圖像和深度傳感器信息進(jìn)行處理和融合。

雙目攝像頭45均采用兩只高清CCD攝像頭組合而成，分別安裝于三個(gè)機(jī)械臂腕部，第一機(jī)械臂43和第二機(jī)械臂44上的雙目攝像頭主要用于作業(yè)目標(biāo)的識(shí)別、跟蹤及定位，輔助機(jī)械臂42上的雙目攝像頭主要用于輔助監(jiān)控。每個(gè)CCD攝像頭均通過(guò)RJ45與第二工控機(jī)相連。

所述全景攝像頭41采用高清全景攝像頭，用于對(duì)整個(gè)作業(yè)區(qū)域進(jìn)行監(jiān)控，其通過(guò)RJ45與第二工控機(jī)相連。

所述深度傳感器采用3D結(jié)構(gòu)光深度傳感器，用來(lái)采集作業(yè)場(chǎng)景深度數(shù)據(jù)，其所獲圖像為帶有深度信息的灰度圖，通過(guò)分析深度信息可以獲得機(jī)械臂姿態(tài)信息和作業(yè)環(huán)境物體相對(duì)位置，從而能實(shí)現(xiàn)機(jī)械臂的協(xié)調(diào)控制。其中，第一深度傳感器410從三只機(jī)械臂前下方拍攝深度圖像；第二深度傳感器411從三只機(jī)械臂后方拍攝深度圖像；第三深度傳感器412、第四深度傳感器413分別從三只機(jī)械臂左后方和右后方拍攝深度圖像。深度傳感器通過(guò)USB與第二工控機(jī)相連。

基于多傳感器信息融合的帶電作業(yè)機(jī)器人自主作業(yè)過(guò)程為：

步驟1，調(diào)節(jié)帶電作業(yè)機(jī)器人平臺(tái)4的位置；

步驟2，通過(guò)全景攝像頭41拍攝包括帶電作業(yè)機(jī)器人平臺(tái)4的全景環(huán)境圖像，將圖像傳入第二工控機(jī)中進(jìn)行處理，判斷機(jī)器人平臺(tái)是否進(jìn)入合適的作業(yè)區(qū)域，若是，則執(zhí)行步驟3；若否，返回步驟1；

所述判斷機(jī)器人平臺(tái)是否進(jìn)入合適的作業(yè)區(qū)域的方法是通過(guò)分析全景攝像頭41拍攝圖像，得到作業(yè)區(qū)域與機(jī)械臂區(qū)域的相對(duì)高度差，當(dāng)高度差小于一定閾值，則機(jī)器人平臺(tái)已進(jìn)入合適區(qū)域，否則繼續(xù)調(diào)節(jié)帶電作業(yè)機(jī)器人平臺(tái)位置；

步驟3，通過(guò)第一工控機(jī)48控制三只機(jī)械臂，初始化三只機(jī)械臂位置；

所述初始化三只機(jī)械臂位置是指分別用第一工控機(jī)48控制第一機(jī)械臂43和第二機(jī)械臂44使兩只機(jī)械臂進(jìn)入初始工作姿態(tài)，并確保兩只機(jī)械臂上的雙目攝像頭45能拍攝到包含工作目標(biāo)的圖像；接著控制輔助機(jī)械臂42進(jìn)入初始工作姿態(tài)，確保該機(jī)械臂上的雙目攝像頭45能拍攝到包含工作目標(biāo)、第一機(jī)械臂43和第二機(jī)械臂44的圖像，并能夠在后續(xù)動(dòng)作中方便輔助帶電作業(yè)；

步驟4，通過(guò)機(jī)械臂上的雙目攝像頭45拍攝作業(yè)目標(biāo)圖像，將圖像傳入第二工控機(jī)中進(jìn)行處理，識(shí)別設(shè)備并判斷作業(yè)種類(lèi)；其具體步驟為：

步驟4-1，獲取包含作業(yè)目標(biāo)的圖像，傳入第二工控機(jī)；

步驟4-2，對(duì)圖像進(jìn)行預(yù)處理，剔除干擾和噪聲；

步驟4-3，對(duì)作業(yè)目標(biāo)進(jìn)行提取，自動(dòng)與模型庫(kù)中的設(shè)備模型進(jìn)行匹配，判斷作業(yè)目標(biāo)的設(shè)備類(lèi)型，并判斷作業(yè)種類(lèi)；

步驟4-4，將得到的作業(yè)種類(lèi)信息通過(guò)光纖通信傳輸給第一工控機(jī)48；

步驟5，判斷是否獲要取工具，若是，則第一工控機(jī)48控制第一機(jī)械臂43和第二機(jī)械臂44分別從機(jī)械臂專(zhuān)用工具箱47獲取工具，若否，則執(zhí)行步驟6；所述自動(dòng)獲取工具步驟如下：

步驟5-1，第一工控機(jī)48控制第一機(jī)械臂43和第二機(jī)械臂44轉(zhuǎn)至后方工具抓取區(qū)域；

步驟5-2，第一工控機(jī)48根據(jù)步驟4-4獲取的作業(yè)種類(lèi)信息判斷需要使用的工具種類(lèi)；

步驟5-3，通過(guò)兩只機(jī)械臂上的雙目攝像頭45獲取工具圖像，判斷工具種類(lèi)和位置；

步驟5-4，攝像頭跟蹤工具的位置并引導(dǎo)機(jī)械臂獲取工具；

步驟6，對(duì)機(jī)械臂空間路徑進(jìn)行規(guī)劃；

步驟7，第一工控機(jī)48控制第一機(jī)械臂43和第二機(jī)械臂44進(jìn)行自主作業(yè)動(dòng)作，輔助機(jī)械臂42輔助作業(yè)并通過(guò)安裝于其上的雙目攝像頭45輔助監(jiān)控；

步驟8，通過(guò)四只深度傳感器從四個(gè)方向獲取整個(gè)作業(yè)區(qū)域深度信息，將圖像傳入第二工控機(jī)中進(jìn)行處理和融合，判斷機(jī)械臂之間是否會(huì)發(fā)生碰撞以及機(jī)械臂與環(huán)境物體之間是否會(huì)發(fā)生碰撞，若是，則返回步驟6；若否，則執(zhí)行步驟9；

所述判斷碰撞采用的方法步驟如下：

步驟8-1，由全景攝像頭41獲取包括帶電作業(yè)機(jī)器人平臺(tái)4的全景環(huán)境圖像，對(duì)圖像進(jìn)行預(yù)處理；

步驟8-2，將機(jī)械臂與背景分離，獲取機(jī)械臂像素點(diǎn)位置；

步驟8-3，將全景攝像頭41圖像與四只深度傳感器獲得的深度圖像信息匹配，即全景攝像頭41圖像中的一個(gè)像素點(diǎn)與深度圖像中一個(gè)像素點(diǎn)匹配，得到空間中實(shí)際該點(diǎn)的三維坐標(biāo)，從而獲取作業(yè)現(xiàn)場(chǎng)三維點(diǎn)云并得到機(jī)械臂位置的點(diǎn)云，第一機(jī)械臂43、第二機(jī)械臂44和輔助機(jī)械臂42點(diǎn)云分別記為第一點(diǎn)云區(qū)、第二點(diǎn)云區(qū)、輔助點(diǎn)云區(qū)；

步驟8-4，計(jì)算機(jī)械臂點(diǎn)云上各點(diǎn)與作業(yè)環(huán)境點(diǎn)云上（除了作業(yè)目標(biāo)點(diǎn)云）各點(diǎn)距離，若小于閾值，則認(rèn)為機(jī)械臂將要與環(huán)境物體碰撞，返回步驟6對(duì)機(jī)械臂路徑重新規(guī)劃；

步驟8-5，計(jì)算第一點(diǎn)云區(qū)、第二點(diǎn)云區(qū)和輔助點(diǎn)云區(qū)上相互兩點(diǎn)間的距離，若小于閾值，則認(rèn)為機(jī)械臂之間將要發(fā)生碰撞，返回步驟6對(duì)機(jī)械臂路徑重新規(guī)劃；

步驟8-6，若步驟8-4、步驟8-5計(jì)算距離均大于閾值，則認(rèn)為不會(huì)發(fā)生碰撞，機(jī)械臂繼續(xù)工作；

步驟9，判斷是否完成作業(yè)，若是，則進(jìn)入結(jié)束流程；若否，則返回步驟5。