本發(fā)明涉及門機(jī)抓斗控制，具體涉及一種基于多傳感器融合的門機(jī)抓斗控制系統(tǒng)和方法。
背景技術(shù)：
：：1、基于多傳感器融合的門機(jī)抓斗控制是指在門式起重機(jī)（門機(jī)）抓斗的控制系統(tǒng)中，通過融合多種類型的傳感器（如位置傳感器、力傳感器、圖像傳感器、加速度傳感器等）采集的數(shù)據(jù)，對抓斗的運行狀態(tài)、物料位置及環(huán)境信息進(jìn)行綜合分析與處理，從而實現(xiàn)對抓斗動作的精確控制與優(yōu)化。該方法可提高抓取精度、作業(yè)效率及系統(tǒng)的智能化水平，尤其適用于復(fù)雜或動態(tài)變化的作業(yè)場景，如港口裝卸或散料搬運等。2、現(xiàn)有技術(shù)存在以下不足之處：3、在基于改進(jìn)yolov3-tiny網(wǎng)絡(luò)的抓斗檢測中，引入空洞卷積雖可增強高層語義信息，但易引發(fā)特征對齊誤差問題。由于yolov3-tiny本身特征圖較淺，空洞卷積擴(kuò)大感受野的同時，使得高層特征與低層細(xì)節(jié)在多尺度融合過程中出現(xiàn)空間坐標(biāo)偏差，導(dǎo)致抓斗邊緣定位不準(zhǔn)確，尤其在處理小尺寸或特殊姿態(tài)（如張開狀態(tài)）的抓斗時識別率顯著下降，且在多目標(biāo)場景中可能引起邊界重疊與定位偏移，影響檢測精度與系統(tǒng)穩(wěn)定性。技術(shù)實現(xiàn)思路1、本發(fā)明的目的是提供一種基于多傳感器融合的門機(jī)抓斗控制系統(tǒng)和方法，以解決
背景技術(shù)：
：中不足。2、為了實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種基于多傳感器融合的門機(jī)抓斗控制方法，包括：3、在門機(jī)作業(yè)區(qū)域布設(shè)圖像采集設(shè)備和多類型傳感器，實時獲取抓斗的視頻圖像、姿態(tài)信息、位置坐標(biāo)和旋轉(zhuǎn)角度數(shù)據(jù)；4、對獲取的視頻圖像進(jìn)行增強、歸一化處理，并與傳感器數(shù)據(jù)在統(tǒng)一時間戳下進(jìn)行同步融合，構(gòu)建多維輸入數(shù)據(jù)集；5、在原yolov3-tiny結(jié)構(gòu)中引入空洞卷積層，在高低層特征融合前，基于特征金字塔對齊機(jī)制，實現(xiàn)不同尺度特征之間的空間對齊，并對融合特征圖進(jìn)行卷積處理，生成抓斗位置與邊界框信息；6、基于圖像檢測結(jié)果與多源傳感器位置數(shù)據(jù)，使用注意力機(jī)制實現(xiàn)對抓斗狀態(tài)的持續(xù)跟蹤與異常判斷；7、將檢測和跟蹤結(jié)果輸入至抓斗控制系統(tǒng)，自動生成精確的抓取路徑及姿態(tài)調(diào)整指令，實時控制抓斗動作；8、根據(jù)抓取結(jié)果及傳感器回傳的位姿偏差，動態(tài)調(diào)整控制模型參數(shù)，持續(xù)優(yōu)化檢測精度與控制策略。9、優(yōu)選的，所述多類型傳感器包括姿態(tài)傳感器、位置坐標(biāo)傳感器、旋轉(zhuǎn)角度傳感器和激光測距與避障傳感器。10、優(yōu)選的，所述對獲取的視頻圖像進(jìn)行增強、歸一化處理，并與傳感器數(shù)據(jù)在統(tǒng)一時間戳下進(jìn)行同步融合包括：11、對圖像進(jìn)行直方圖均衡化、gamma校正、濾波降噪和銳化增強；12、將圖像像素值歸一化至[0,1]范圍，并統(tǒng)一圖像尺寸為yolov3-tiny網(wǎng)絡(luò)輸入要求；13、對所有傳感器數(shù)據(jù)進(jìn)行歸一化與量綱統(tǒng)一處理，封裝為標(biāo)準(zhǔn)化張量格式；14、基于統(tǒng)一時鐘系統(tǒng)對圖像幀和傳感器數(shù)據(jù)進(jìn)行時間戳對齊；15、通過拼接或網(wǎng)絡(luò)融合方式構(gòu)建圖像-傳感器聯(lián)合輸入的多模態(tài)數(shù)據(jù)集。16、優(yōu)選的，在原yolov3-tiny結(jié)構(gòu)中引入空洞卷積層并基于特征金字塔對齊機(jī)制進(jìn)行空間對齊，包括：17、在深層特征提取后引入空洞卷積；18、使用上采樣操作將高層特征圖上采樣至與淺層特征圖相同的空間分辨率；19、對淺層特征圖進(jìn)行1×1卷積以匹配通道數(shù)；20、在特征融合前引入可變形卷積或空間變換網(wǎng)絡(luò)模塊，對特征圖進(jìn)行空間對齊；21、使用3×3標(biāo)準(zhǔn)卷積對融合特征圖進(jìn)行卷積處理，輸出統(tǒng)一尺度的特征圖供邊界框檢測使用。22、優(yōu)選的，所述使用注意力機(jī)制實現(xiàn)對抓斗狀態(tài)的持續(xù)跟蹤與異常判斷，包括：構(gòu)建融合特征向量，輸入通道注意力機(jī)制，同時引入空間注意力機(jī)制，使用lstm結(jié)合self-attention機(jī)制構(gòu)建狀態(tài)時間序列模型，判斷抓斗動態(tài)穩(wěn)定趨勢；根據(jù)預(yù)設(shè)的異常判斷規(guī)則，識別異常狀態(tài)。23、優(yōu)選的，所述自動生成精確的抓取路徑及姿態(tài)調(diào)整指令，包括：24、基于抓斗當(dāng)前位置、目標(biāo)位置和作業(yè)區(qū)域障礙物分布，采用路徑規(guī)劃算法生成最優(yōu)下落軌跡；25、在路徑中設(shè)置關(guān)鍵控制點，包括抓取點、閉合點和轉(zhuǎn)運點；26、結(jié)合imu姿態(tài)與視覺檢測結(jié)果，計算所需姿態(tài)調(diào)整角度；27、輸出電機(jī)控制電壓或液壓閥門開度指令，實現(xiàn)抓斗姿態(tài)實時調(diào)整；28、控制周期設(shè)定為不大于100毫秒，滿足高頻實時控制需求。29、優(yōu)選的，對抓斗在執(zhí)行從起始點向目標(biāo)位置移動過程中，在水平方向上發(fā)生的軌跡偏移幅度與趨勢進(jìn)行分析后生成抓斗運動軌跡的橫向漂移率，獲取方法為：30、構(gòu)建理想運動軌跡與實際運動軌跡的點序列，分別表示為按照時間順序采樣得到的二維坐標(biāo)點集，其中理想軌跡點序列為，n為理想軌跡點總數(shù)，實際軌跡點序列為，m為實際軌跡點總數(shù)，其中每個點包含x軸和y軸的坐標(biāo)值；針對每一對軌跡點，計算其在y軸方向上的絕對距離差值，即構(gòu)建一個二維距離矩陣，用于表示任意一對理想點與實際點之間的橫向偏移量，每個元素表示某兩個點在y方向上的距離誤差；31、采用dtw算法中的最小累積代價路徑算法，通過動態(tài)規(guī)劃的方式，從起始點開始，遞歸計算從起點到任意點對的最小代價累積值，累積代價以前一狀態(tài)為基礎(chǔ)，選取相鄰點的最小代價路徑疊加當(dāng)前y向偏差，直至遍歷所有點對，形成完整的代價矩陣；32、完成代價矩陣計算后，從代價矩陣的終點向前回溯，提取最優(yōu)對齊路徑，即將實際軌跡點與理想軌跡點進(jìn)行最優(yōu)時間配對，通過路徑提取出整個軌跡過程中各點對在y方向上的偏移量，將所有匹配點對的y向偏差進(jìn)行平均，得到抓斗運動的橫向漂移率。33、優(yōu)選的，對抓斗在下降并閉合前，其姿態(tài)從偏擺狀態(tài)收斂至可容差范圍所用時間進(jìn)行分析后生成末端姿態(tài)穩(wěn)定時間，獲取方法為：34、從imu或姿態(tài)解算系統(tǒng)中采集抓斗的連續(xù)姿態(tài)數(shù)據(jù)：俯仰角序列：，橫滾角序列：；設(shè)定一個滑動時間窗口長度，對應(yīng)于若干幀數(shù)據(jù)，在任意時刻t，計算過去一個時間窗口內(nèi)的姿態(tài)絕對誤差平均值；當(dāng)前窗口內(nèi)姿態(tài)絕對誤差平均值當(dāng)滿足：<且<，即判斷抓斗姿態(tài)進(jìn)入穩(wěn)定狀態(tài)，為角度誤差范圍，記錄從下降開始到首次滿足條件的時間點ts，則有：；其中：t0為抓斗開始下降或開始擺動的時間點；tstable為末端姿態(tài)穩(wěn)定時間。35、優(yōu)選的，將橫向漂移率與姿態(tài)穩(wěn)定時間作為模糊邏輯系統(tǒng)的輸入；將控制誤差等級作為模糊邏輯系統(tǒng)輸出，并根據(jù)誤差等級進(jìn)行分級參數(shù)調(diào)整：低誤差保持當(dāng)前控制參數(shù)；中誤差階段上調(diào)比例控制增益kp并增加等待穩(wěn)定時間；高誤差階段觸發(fā)自適應(yīng)補償機(jī)制，提高pid控制器響應(yīng)速率或激活軌跡修正策略。36、本發(fā)明還提供了一種基于多傳感器融合的門機(jī)抓斗控制系統(tǒng)，包括圖像采集模塊、圖像預(yù)處理模塊，抓斗視覺檢測模塊、抓斗狀態(tài)跟蹤模塊、路徑規(guī)劃與動作控制模塊以及自適應(yīng)控制優(yōu)化模塊；37、圖像采集模塊：在門機(jī)作業(yè)區(qū)域布設(shè)圖像采集設(shè)備和多類型傳感器，實時獲取抓斗的視頻圖像、姿態(tài)信息、位置坐標(biāo)和旋轉(zhuǎn)角度數(shù)據(jù)；38、圖像預(yù)處理模塊：對獲取的視頻圖像進(jìn)行增強、歸一化處理，并與傳感器數(shù)據(jù)在統(tǒng)一時間戳下進(jìn)行同步融合，構(gòu)建多維輸入數(shù)據(jù)集；39、抓斗視覺檢測模塊：在原yolov3-tiny結(jié)構(gòu)中引入空洞卷積層，在高低層特征融合前，基于特征金字塔對齊機(jī)制，實現(xiàn)不同尺度特征之間的空間對齊，并對融合特征圖進(jìn)行卷積處理，生成抓斗位置與邊界框信息；40、抓斗狀態(tài)跟蹤模塊：基于圖像檢測結(jié)果與多源傳感器位置數(shù)據(jù)，使用注意力機(jī)制實現(xiàn)對抓斗狀態(tài)的持續(xù)跟蹤與異常判斷；41、路徑規(guī)劃與動作控制模塊：將檢測和跟蹤結(jié)果輸入至抓斗控制系統(tǒng)，自動生成精確的抓取路徑及姿態(tài)調(diào)整指令，實時控制抓斗動作；42、自適應(yīng)控制優(yōu)化模塊：根據(jù)抓取結(jié)果及傳感器回傳的位姿偏差，動態(tài)調(diào)整控制模型參數(shù)，持續(xù)優(yōu)化檢測精度與控制策略。43、在上述技術(shù)方案中，本發(fā)明提供的技術(shù)效果和優(yōu)點：44、1、本發(fā)明突破了傳統(tǒng)基于單一視覺信息進(jìn)行抓斗識別和控制的局限性，融合視頻圖像與多種傳感器數(shù)據(jù)，在圖像預(yù)處理、時間同步、數(shù)據(jù)歸一化等方面構(gòu)建統(tǒng)一的多維輸入模型，并通過改進(jìn)yolov3-tiny結(jié)構(gòu)引入空洞卷積和特征對齊機(jī)制，實現(xiàn)了對不同尺度抓斗的精準(zhǔn)檢測與邊界框回歸。通過融合注意力機(jī)制與時序網(wǎng)絡(luò)，系統(tǒng)能夠持續(xù)跟蹤抓斗狀態(tài)，并對作業(yè)過程中的異常情況進(jìn)行智能判斷，如偏擺、卡滯、碰撞風(fēng)險等，有效提升了抓斗識別的準(zhǔn)確率和系統(tǒng)運行的穩(wěn)定性。45、2、本發(fā)明通過對橫向漂移率和末端姿態(tài)穩(wěn)定時間等關(guān)鍵控制反饋量進(jìn)行模糊邏輯分析，實現(xiàn)了對控制誤差等級的實時評估，并基于誤差等級動態(tài)調(diào)整控制模型參數(shù)，包括調(diào)整pid增益、自適應(yīng)補償策略與抓取等待時間，從而實現(xiàn)了控制系統(tǒng)的閉環(huán)優(yōu)化與自適應(yīng)增強。該系統(tǒng)特別適用于港口、礦區(qū)等大型物料搬運場景，在小尺寸抓斗、多目標(biāo)干擾或復(fù)雜動態(tài)作業(yè)條件下，仍可保持較高的抓取精度與系統(tǒng)魯棒性，顯著提升門機(jī)作業(yè)的智能化水平和作業(yè)效率。當(dāng)前第1頁12當(dāng)前第1頁12