1.一種基于多傳感器信息融合的帶電作業(yè)機(jī)器人自主作業(yè)方法,其特征在于,帶電作業(yè)機(jī)器人包括作業(yè)系統(tǒng)和監(jiān)控系統(tǒng);
所述作業(yè)系統(tǒng)包括設(shè)置在帶電作業(yè)機(jī)器人平臺上的第一機(jī)械臂、第二機(jī)械臂、輔助機(jī)械臂、機(jī)械臂專用工具箱和第一工控機(jī);所述監(jiān)控系統(tǒng)包括雙目攝像頭、全景攝像頭、深度傳感器和第二工控機(jī)和顯示器;第一機(jī)械臂、第二機(jī)械臂和輔助機(jī)械臂末端均安裝有雙目攝像頭;全景攝像頭用于監(jiān)控作業(yè)場景;深度傳感器為多個(gè),用于獲取作業(yè)場景深度圖像信息;第二工控機(jī)和顯示器安裝在絕緣斗臂車上;
自主作業(yè)過程為:
步驟101,全景攝像頭拍攝包括帶電作業(yè)機(jī)器人平臺的在內(nèi)的全景圖像,通過第二工控機(jī)送顯示器顯示,操作人員通過查看全景圖像將帶電作業(yè)機(jī)器人平臺送入作業(yè)區(qū)域;
步驟102,第一工控機(jī)控制第一機(jī)械臂和第二機(jī)械臂進(jìn)入初始工作姿態(tài),并確保第一機(jī)械臂和第二機(jī)械臂上的雙目攝像頭能拍攝到包含作業(yè)目標(biāo)的雙目圖像;隨后控制輔助機(jī)械臂進(jìn)入初始工作姿態(tài),確保輔助機(jī)械臂上的雙目攝像頭能拍攝到包含作業(yè)目標(biāo)、第一機(jī)械臂和第二機(jī)械臂的雙目圖像;
步驟103,三個(gè)雙目攝像頭將拍攝的雙目圖像數(shù)據(jù)傳送給第二工控機(jī),第二工控機(jī)對所述雙目圖像進(jìn)行處理,以識別出作業(yè)目標(biāo)并判斷作業(yè)任務(wù)類別;
步驟104,第二工控機(jī)根據(jù)作業(yè)目標(biāo)和作業(yè)類別判斷作業(yè)任務(wù)重是否是需要使用專用工具箱中的工具,若果需要獲取工具,則通過第一工控機(jī)控制第一機(jī)械臂和第二機(jī)械臂分別從專用工具箱中獲取工具,然后進(jìn)行步驟5,如果不需要獲取工具,則直接進(jìn)行步驟105;
步驟105,第二工控機(jī)根據(jù)第一機(jī)械臂和第二機(jī)械臂的位置以及作業(yè)任務(wù)規(guī)劃出機(jī)械臂空間運(yùn)動(dòng)路徑,并發(fā)送給第一工控機(jī);
步驟106,第一工控機(jī)根據(jù)機(jī)械臂空間運(yùn)動(dòng)路徑控制第一機(jī)械臂和第二機(jī)械臂運(yùn)動(dòng)完成相應(yīng)作業(yè)任務(wù);在第一機(jī)械臂和第二機(jī)械臂進(jìn)行作業(yè)過程中,第二工控機(jī)根據(jù)深度傳感器獲得的深度信息判斷判斷各機(jī)械臂之間以及各機(jī)械臂與周圍物體之間是否會(huì)發(fā)生碰撞,若是,則返回步驟5重新進(jìn)行械臂空間運(yùn)動(dòng)路徑規(guī)劃;若否,則繼續(xù)進(jìn)行作業(yè)任務(wù)直至完成作業(yè)任務(wù)。
2.如權(quán)利要求1所述帶電作業(yè)機(jī)器人自主作業(yè)方法,其特征在于,包括四個(gè)深度傳感器,分別從帶電作業(yè)機(jī)器人平臺的上方、前方以及左右兩側(cè)獲取作業(yè)區(qū)域深度圖像;第二工控機(jī)根據(jù)深度傳感器獲得的深度信息判斷判斷各機(jī)械臂之間以及各機(jī)械臂與周圍物體之間是否會(huì)發(fā)生碰撞的方法為:
步驟201,對全景攝像頭拍攝的作業(yè)場景全景圖像進(jìn)行處理將各機(jī)械臂與作業(yè)環(huán)境分離,獲取各機(jī)械臂像素點(diǎn)位置信息;
步驟202,將作業(yè)場景全景圖像與四只深度傳感器獲得的作業(yè)區(qū)域深度圖像進(jìn)行信息匹配,即將全景圖像中的像素點(diǎn)與深度圖像中的像素點(diǎn)進(jìn)行匹配,獲得空間中實(shí)際該點(diǎn)的三維坐標(biāo),從而獲取作業(yè)現(xiàn)場三維點(diǎn)云并得到各機(jī)械臂位置的點(diǎn)云,將第一機(jī)械臂、第二機(jī)械臂和輔助機(jī)械臂點(diǎn)云分別記為第一點(diǎn)云區(qū)、第二點(diǎn)云區(qū)和輔助點(diǎn)云區(qū);
步驟203,計(jì)算各機(jī)械臂點(diǎn)云上各點(diǎn)與作業(yè)環(huán)境點(diǎn)云上各點(diǎn)之間的距離,若該距離小于閾值,則認(rèn)為機(jī)械臂將要與環(huán)境物體碰撞;計(jì)算第一點(diǎn)云區(qū)、第二點(diǎn)云區(qū)和輔助點(diǎn)云區(qū)上相互兩點(diǎn)間的距離,若該距離小于閾值,則認(rèn)為機(jī)械臂之間將要發(fā)生碰撞。
3.如權(quán)利要求1所述帶電作業(yè)機(jī)器人自主作業(yè)方法,其特征在于,第二工控機(jī)對雙目圖像進(jìn)行預(yù)處理,剔除干擾和噪聲;然后提取出作業(yè)目標(biāo),將作業(yè)目標(biāo)與模型庫中的目標(biāo)模型進(jìn)行匹配,以判斷出作業(yè)任務(wù)類別。