一種全自動的結構光手眼三維測量系統(tǒng)標定方法
【技術領域】
[0001] 本發(fā)明涉及一種結構光手眼三維測量系統(tǒng)及其標定方法，具體是指由線結構光、 攝像機和機器人構成的結構光手眼三維測量系統(tǒng)的全自動標定方法。 技術背景
[0002] 隨著計算機技術和機器視覺的興起和發(fā)展，以及工業(yè)自動化程度的不斷提高，傳 統(tǒng)的測量技術已遠遠不能滿足現(xiàn)代化的生產(chǎn)需求，視覺測量以其速度快、精度高、非接觸、 自動化程度高等優(yōu)勢，在非接觸測量領域發(fā)揮越來越大的作用。視覺測量技術應用的關鍵 是在工業(yè)現(xiàn)場建立簡單有效的視覺測量系統(tǒng)，目前集機械、電子、光學和計算機技術于一體 的結構光三維測量與目標重建系統(tǒng)在工業(yè)現(xiàn)場正得到越來越廣泛的應用，如模具外形檢 測、風輪葉片檢測、軍事測量以及軍事制導跟蹤、文物保護、汽車輪廓、以及機器人手眼定位 系統(tǒng)。在結構光中，激光以其單色性、單向性的優(yōu)點而成為應用的主流。
[0003] 激光結構光三維視覺測量是一種利用圖像和可控光源的測量技術，其主要原理是 采集系統(tǒng)采集可控光源照射在被測物體上的圖像，并根據(jù)該圖像恢復物體幾何信息。根據(jù) 可控光源投射出的光束模式的區(qū)別，結構光視覺測量可分為點結構光測量、單線結構光測 量、多線結構光測量和網(wǎng)格結構光測量。其中單線結構光法，由光源投射出一條條形的光 紋，通過圖像處理手段提取到該光條紋，根據(jù)光條紋的形狀來恢復該物體光截面上的空間 物理幾何尺寸，可以完成對物體表面三維信息的全部掃描。因其掃描效率高，是目前運用的 最成熟的結構光視覺測量技術。將單線結構光和攝像機構成的視覺傳感器安裝在機械手末 端可構成線結構光手眼三維測量系統(tǒng)，以其測量精度高，機械手工業(yè)執(zhí)行性好，廣泛應用于 焊接，裝配，高精度搬運等工業(yè)測量領域。結構光手眼測量系統(tǒng)在制造業(yè)技術改造、提高產(chǎn) 品質量、減少工人勞動強度、改善工人勞動條件、等方面有明顯的優(yōu)越性。
[0004] 實現(xiàn)該測量系統(tǒng)自動化工作的前提是系統(tǒng)的標定問題，標定參數(shù)包括結構光光平 面參數(shù)、攝像機參數(shù)和手眼矩陣參數(shù)。現(xiàn)有的標定方法大多基于高精度靶標的標定，標定過 程復雜且標定板易磨損，在一些無法使用標定板的環(huán)境無法完成系統(tǒng)標定任務。本發(fā)明給 出一種基于環(huán)境特征點的全自動標定方法，給定機器人2個位姿，控制機器人進行五次平 移運動即可實現(xiàn)結構光手眼三維測量系統(tǒng)的標定，提高結構光手眼三維測量系統(tǒng)使用的自 動化程度。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明針對現(xiàn)有標定結構光手眼測量系統(tǒng)方法中存在的標定精度對靶標精度依 賴度高，標定過程復雜，提出一種基于三個環(huán)境特征點的全自動標定方法。該標定方法無需 使用特制高精度靶標，可使用工業(yè)現(xiàn)場常見的非等腰直角三角形工件，以工件的角點作為 標定特征點。
[0006] 按照本發(fā)明提供的技術方案，所述結構光手眼三維測量系統(tǒng)全自動標定方法如 下：
[0007] 第一步：給定機器人一個初始位姿
【主權項】
1. 一種全自動的結構光手眼三維測量系統(tǒng)標定方法，其特征是，該標定方法只需給定 機器人2個位姿7；，使用場景中的3個特征點，并控制機器人在4位姿進行5次平移運 動，即可實現(xiàn)結構光手眼三維測量系統(tǒng)的攝像機內(nèi)參數(shù)尤手眼矩陣兄（和線結構光平面方 程的標定；整個方法包括以下幾個模塊 ： 給定機器人一個初始位姿
將標定工件放置在攝像機視野區(qū)域1〇中，采 集一幅圖像，提取三角形工件的三個角點作為標定特征像點碼i(i=l，2, 3)，而后精確控制機 器人進行5次平移運動，分別為并在每次運動后拍攝包含標定特征點的圖像，提取 圖像特征像點; 根據(jù)結構光手眼測量系統(tǒng)中特征像點運動前后關系，建立每個特征點關于攝像機內(nèi)參 數(shù)辟P手眼矩陣旋轉部分礎勺最小二程方程，標定出攝像機內(nèi)參數(shù)辟P手眼矩陣旋轉部分 兄同時得到三個特征點在攝像機坐標系的三維坐標xe(li，進一步求解三個點構成的平面方 程曷； 給定位I
7；位姿為在^位姿下的純旋轉運動，旋轉矩陣為氣= ，可求解平面，旋轉后的方程，；對場景中標定特征點取像，像點為％i，根據(jù)內(nèi)參數(shù)矩陣求 解像點在攝像機坐標系下深度信息未知的Xai，將其帶入方程* ,得到各點三維坐標，依據(jù) 結構光手眼關系方程構建手眼矩陣平移部分（和三個標定點在機器人末端坐標系坐標信 息的線性方程，通過最小二程法求解； 打開激光器分別在位姿7；處拍攝帶激光條圖像提取激光條直線，擬合光條直線方 程，兩條直線即為光平面與特征點構成平面的交線，取直線上點并將其轉換到攝像機坐標 系，通過系列點在攝像機坐標系的坐標擬合光平面方程。
2. 如權利要求1所述線性無關的平移運動自動選取，具有如下特征： 設攝像機CCD尺寸為M*N，區(qū)域10范圍為：
將標 定工件放置在區(qū)域10中，< ￡根據(jù)三角標定工件在圖像視野中所處的位置確定；確定方 法如下：
若編號1點在區(qū)則預給定'在機 器人末端坐標系或攝像機坐標系的方向向量為：4=(1，〇, 〇)，4=(1，1，〇)，4=(〇, 1，〇)， 辦4=(1，1，1)，4=(〇，M)，機器人沿上述方向4運動距離Zca，根據(jù)特征點像素坐標 的變化與實際距離4的比例關系確定運動向量距離大?。辉O特征點1沿&方向運 動前后坐標為（ul,vl)和丨iV丨，則A方向運動距離為
由此<..I^為
同理，若編號1點在區(qū)域
W預給定- 4的方 向向量為：4=(_1，〇, 〇)，4=(_1，1，〇)，《=(〇, 1，〇)，4=(_1，1，1)，4=(〇, 1，1)，^A:為
若編號1點在區(qū)_
則預給定的方向 向量為：A=(i，〇, 〇)，4=(1，-1，〇)，4=(〇, _1，〇)，4=(1，-1，1)，4=(〇, _1，1)，氛為
若編號1點在區(qū)域
，則預給定￡的方向向 量為：4=(_1，〇,
〇)，4=(_1，-1，〇)，《=(〇, _1，〇)，4=(_1，-1，1)，4=(〇, _1，1),氨 '' 4 為
3. 如權利要求1所述標定攝像機內(nèi)參數(shù)辟P手眼矩陣旋轉部分兄具有如下特征： 根據(jù)Zijffiij- (I, 1, 2, 3;j=l, 2,…，5)，建立5次運動前后特征像點》n~?5i 關于內(nèi)參數(shù)辟P手眼矩陣旋轉部分礎勺最小二程方程，分別求解出攝像機的內(nèi)參數(shù)辟P手眼 矩陣的旋轉部分后取均值。
4. 如權利要求1所述求解三個點構成的平面方程& ,具有如下特征： 求解內(nèi)參數(shù)辟P手眼矩陣的旋轉部分礎勺同時可得三個特征點在攝像機坐標系坐標 二&if1%,三個特征點構成的平面方程為￥分7_7允，+7=6?,將三個點坐標帶入方程式求 解，=(:斗
5. 如權利要求1所述標定手眼矩陣平移部分（，具有如下特征： 乃位姿為在4位姿下的純旋轉運動，旋轉矩陣為' ,可求解平面露,旋轉后 的方程=麗; 求解特征像點帶參數(shù)的攝像機坐標系坐標為石4f1%/，同時點在光平面％上， 將其帶入&方程，可求解深度信息進而得到各點在攝像機坐標系的三維坐標； 根據(jù)攝像機坐標系和機器人末端坐標系坐標關系：不=7?不+ (，可得
，又石i=疋石U，寫成矩陣形3
通過最小二乘求解手眼矩陣平移 部分（和每個位姿下每個標足特祉點在機器人禾爾坐稱糸坐標，并將該坐標轉換到機器人 基坐標系，關系為
進而得到三個特征點構成平面在機器人基坐標系 平面方程*J。
6. 如權利要求1所述擬合光條直線方程，具有如下特征： 在位姿7；處拍攝帶激光條圖像，如圖4所示，在2位姿下，結構光平面與特征點構 成的平面相交于2條直線，2條直線反映在結構光平面上即為2條相交直線，通過2條直線 上點的坐標擬合光平面方程；首先對采集到的光條直線進行處理，擬合直線方程，具體流程 為：（1)對采集到的焊縫圖像進行中值濾波；（2)大津法進行二值化；（3)取光條重心的方 法對光條進行細化；(4)Hough變換擬合光條直線方程；以擬合的光條直線上點代替原特征 點，減少誤差。
7. 如權利要求1所述取光條直線上點，并將其轉換到攝像機坐標系，具有如下特征： 取光條直線上在10區(qū)域中的點，分別為/^b)，其中（i=l，2, 3)表示機器人三 個位姿，（j=l，2,…，10)表示每個位姿下在光條上處于10區(qū)域中的部分均勻選取10點， 將各點坐標代入機器人手眼關〕
得到深度信息\未知的 Iwij，并將其代入三個標定特征點構成平面的方程％中，可求解各點深度信息進而求解 各點I」后，代入手眼關系得到該點在攝像機坐標系的坐標石,7。
8. 如權利要求1所述擬合光平面方程，具有如下特征： 光平面方程為ar分將20個點的坐標帶入，通過最小二乘法擬合光平面方 程，得到 c, 1)。
【專利摘要】本發(fā)明通過深入分析線結構光手眼三維測量系統(tǒng)工作原理，設計了一種基于3個環(huán)境特征點和2個給定位姿的全自動標定方法。該標定方法對場景中三個特征點取像，通過精確控制機器人進行5次平移運動，標定攝像機內(nèi)參數(shù)和手眼矩陣旋轉部分；通過給定機器人2個不同位姿，結合特征點構成平面在不同坐標系的參數(shù)方程信息，標定手眼矩陣平移部分和結構光平面在攝像機坐標系下平面方程。該標定方法簡單，特征選取容易，對結構光手眼三維測量系統(tǒng)在實際工業(yè)現(xiàn)場使用有重要意義。
【IPC分類】G01B11-25
【公開號】CN104613899
【申請?zhí)枴緾N201510067011
【發(fā)明人】郭新年, 白瑞林, 周紅標
【申請人】淮陰工學院
【公開日】2015年5月13日
【申請日】2015年2月9日