本發(fā)明涉及計(jì)算機(jī)視覺(jué)，具體涉及一種基于三維機(jī)器視覺(jué)相機(jī)標(biāo)定的方法。

背景技術(shù)：

1、在工業(yè)自動(dòng)化、機(jī)器人導(dǎo)航及三維重建等領(lǐng)域，準(zhǔn)確的相機(jī)標(biāo)定是至關(guān)重要的。傳統(tǒng)的相機(jī)標(biāo)定方法往往依賴(lài)于二維圖像處理技術(shù)，這限制了標(biāo)定的精度和適應(yīng)性。隨著三維成像技術(shù)的發(fā)展，利用三維數(shù)據(jù)進(jìn)行相機(jī)標(biāo)定可極大提高標(biāo)定的準(zhǔn)確性和穩(wěn)定性。

2、其中，相機(jī)標(biāo)定是計(jì)算機(jī)視覺(jué)領(lǐng)域中一個(gè)基礎(chǔ)而關(guān)鍵的步驟，它的目的是從圖像數(shù)據(jù)中恢復(fù)出真實(shí)世界的幾何信息。無(wú)論是在工業(yè)自動(dòng)化、機(jī)器人導(dǎo)航、虛擬現(xiàn)實(shí)、三維重建等應(yīng)用領(lǐng)域，相機(jī)標(biāo)定的準(zhǔn)確性都直接影響到系統(tǒng)整體的性能。通過(guò)標(biāo)定，可以確定相機(jī)的內(nèi)參（如焦距、主點(diǎn)、畸變系數(shù)等）和外參（相機(jī)相對(duì)于某一參照物體的位置和姿態(tài)）。但是，傳統(tǒng)相機(jī)標(biāo)定存在以下局限性：

3、1.二維圖像依賴(lài)：傳統(tǒng)標(biāo)定方法通常依賴(lài)于二維圖像，通過(guò)識(shí)別圖像中的特定圖案（如棋盤(pán)格）來(lái)估算相機(jī)參數(shù)。這種方法在處理深度信息和復(fù)雜場(chǎng)景時(shí)可能不夠精確。

4、2.環(huán)境適應(yīng)性差：在多變的操作環(huán)境中，如光照、視角等變化，傳統(tǒng)的二維圖像標(biāo)定方法的魯棒性較差。

5、3.操作復(fù)雜性：需要多次調(diào)整相機(jī)與標(biāo)定板之間的相對(duì)位置以收集足夠的數(shù)據(jù)，操作繁瑣，耗時(shí)長(zhǎng)。

6、而隨著技術(shù)的進(jìn)步，三維機(jī)器視覺(jué)技術(shù)逐漸興起，為相機(jī)標(biāo)定提供了新的方向。三維機(jī)器視覺(jué)技術(shù)利用深度攝像機(jī)、激光掃描等方法獲取空間中的三維點(diǎn)云數(shù)據(jù)，可以更全面地捕捉場(chǎng)景的空間信息。因此，基于三維機(jī)器視覺(jué)技術(shù)如何對(duì)相機(jī)標(biāo)定，以便能夠?qū)崿F(xiàn)深度信息的整合，自動(dòng)化進(jìn)行數(shù)據(jù)采集和處理，顯著提高效率和減少人工操作錯(cuò)誤成為目前亟需解決的技術(shù)問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，為了提高機(jī)器視覺(jué)系統(tǒng)的精度和可靠性，本發(fā)明提出了一種基于三維機(jī)器視覺(jué)相機(jī)標(biāo)定的方法，旨在解決傳統(tǒng)二維圖像標(biāo)定方法在精度、效率及環(huán)境適應(yīng)性上的局限，通過(guò)整合機(jī)器人與三維成像技術(shù)，提升了標(biāo)定的精度，簡(jiǎn)化了三維相機(jī)與機(jī)器人系統(tǒng)的標(biāo)定過(guò)程，可廣泛應(yīng)用于工業(yè)檢測(cè)、機(jī)器人導(dǎo)航和三維重建等多個(gè)領(lǐng)域。

2、本發(fā)明采用以下技術(shù)方案實(shí)現(xiàn)：

3、第一方面，本發(fā)明提供了一種基于三維機(jī)器視覺(jué)相機(jī)標(biāo)定的方法，該方法包括以下步驟：

4、配置一臺(tái)機(jī)械手上安裝有深度傳感器和相機(jī)的機(jī)器人，并配置一個(gè)固定的標(biāo)定板，標(biāo)定板上設(shè)置有進(jìn)行相機(jī)標(biāo)定和手眼標(biāo)定存在固定空間位置的一個(gè)標(biāo)定塊以及一塊標(biāo)定球；

5、保持標(biāo)定板固定不動(dòng)，控制機(jī)器人在至少三個(gè)不同的空間位置拍攝標(biāo)定板，以收集圖像和深度數(shù)據(jù)；

6、由機(jī)器人控制器提供的末端位置姿態(tài)通過(guò)變換獲取每個(gè)拍攝位置的機(jī)器人姿態(tài)矩陣，計(jì)算從初始位置到其他位置的機(jī)器人變換矩陣；

7、利用相機(jī)標(biāo)定從圖像數(shù)據(jù)中確定相機(jī)的外參矩陣，計(jì)算相機(jī)從初始位置到其他位置的外參變換矩陣；

8、對(duì)深度傳感器獲取與每個(gè)拍攝位置相對(duì)應(yīng)的三維點(diǎn)云數(shù)據(jù)進(jìn)行標(biāo)定，使用相機(jī)標(biāo)定估計(jì)相機(jī)的內(nèi)參矩陣，通過(guò)求解pnp計(jì)算相機(jī)的外參，相機(jī)的外參包括旋轉(zhuǎn)矩陣和平移向量；

9、使用非線性?xún)?yōu)化內(nèi)外參以最小化所有圖像中特征點(diǎn)的重投影誤差，通過(guò)計(jì)算重投影誤差、畸變校正后的圖像質(zhì)量驗(yàn)證標(biāo)定的準(zhǔn)確性，將擬合得到的內(nèi)參和外參應(yīng)用于圖像處理和計(jì)算機(jī)視覺(jué)任務(wù)中。

10、作為本發(fā)明的進(jìn)一步方案，所述深度傳感器為設(shè)置于機(jī)械手末端的測(cè)高傳感器，所述相機(jī)為固定安裝在機(jī)器人的機(jī)械手末端的高分辨率相機(jī)。

11、作為本發(fā)明的進(jìn)一步方案，所述標(biāo)定板上帶有容易識(shí)別的圖案，圖案為棋盤(pán)格，用于精確捕捉圖像數(shù)據(jù)和空間位置信息。

12、作為本發(fā)明的進(jìn)一步方案，控制機(jī)器人在至少三個(gè)不同的空間位置拍攝標(biāo)定板時(shí)，包括一個(gè)初始位置和至少兩個(gè)不同角度的位置對(duì)標(biāo)定板進(jìn)行拍攝，拍攝的空間位置分別命名為：初始位置、位置1、位置2。

13、作為本發(fā)明的進(jìn)一步方案，控制機(jī)器人在不同的空間位置拍攝標(biāo)定板時(shí)，通過(guò)深度傳感器獲取與每個(gè)拍攝位置相對(duì)應(yīng)的三維點(diǎn)云數(shù)據(jù)。

14、作為本發(fā)明的進(jìn)一步方案，獲取每個(gè)拍攝位置的機(jī)器人姿態(tài)矩陣時(shí)，使用機(jī)器人控制器提供的末端位置姿態(tài)數(shù)據(jù)計(jì)算出每個(gè)位置的機(jī)器人姿態(tài)矩陣h0,h1,h2，基于姿態(tài)矩陣計(jì)算機(jī)器人從初始位置到兩個(gè)不同角度的位置對(duì)應(yīng)的變換矩陣a1,a2；其中：

15、

16、。

17、作為本發(fā)明的進(jìn)一步方案，所述外參矩陣獲取時(shí)，從不同的空間位置獲取的圖像數(shù)據(jù)中，使用相機(jī)標(biāo)定確定初始位置、位置1、位置2分別對(duì)應(yīng)的外參矩陣m0,m1,m2；計(jì)算外參變換矩陣時(shí)，基于外參矩陣計(jì)算相機(jī)從初始位置分別到位置1、位置2的變換矩陣b1,b2；其中：

18、

19、。

20、作為本發(fā)明的進(jìn)一步方案，對(duì)深度傳感器獲取與每個(gè)拍攝位置相對(duì)應(yīng)的三維點(diǎn)云數(shù)據(jù)進(jìn)行標(biāo)定時(shí)，包括：

21、（1）把旋轉(zhuǎn)矩陣變?yōu)樾D(zhuǎn)向量：

22、

23、（2）旋轉(zhuǎn)向量歸一化：

24、

25、（3）計(jì)算修正的羅德里格斯向量：

26、

27、（4）計(jì)算初始旋轉(zhuǎn)向量：

28、

29、（5）計(jì)算旋轉(zhuǎn)向量：

30、

31、（6）計(jì)算旋轉(zhuǎn)矩陣：

32、

33、（7）計(jì)算平移矩陣：

34、

35、式中，和分別是兩個(gè)旋轉(zhuǎn)矩陣；和分別是由旋轉(zhuǎn)矩陣和轉(zhuǎn)換得到的旋轉(zhuǎn)向量；為羅德里格斯旋轉(zhuǎn)公式，用于將旋轉(zhuǎn)矩陣轉(zhuǎn)換為旋轉(zhuǎn)向量；和分別是旋轉(zhuǎn)向量和對(duì)應(yīng)的旋轉(zhuǎn)角度；和分別是旋轉(zhuǎn)向量和的模長(zhǎng)度；和分別是旋轉(zhuǎn)向量和歸一化后的單位向量；和分別是修正后的羅德里格斯向量；和分別是旋轉(zhuǎn)角度和一半的正弦值；：將向量轉(zhuǎn)換為反對(duì)稱(chēng)矩陣的函數(shù)；為初始旋轉(zhuǎn)向量；：是兩個(gè)修正的羅德里格斯向量的和；為最終的旋轉(zhuǎn)向量；為初始旋轉(zhuǎn)向量；為由旋轉(zhuǎn)向量計(jì)算得到的旋轉(zhuǎn)矩陣。

36、作為本發(fā)明的進(jìn)一步方案，使用相機(jī)標(biāo)定估計(jì)相機(jī)的內(nèi)參矩陣，通過(guò)求解pnp計(jì)算相機(jī)的外參時(shí)，使用張氏校正法來(lái)估計(jì)相機(jī)的內(nèi)參，使用pnp來(lái)估計(jì)相機(jī)的外參，采用levenberg-marquardt對(duì)內(nèi)參和外參進(jìn)行精細(xì)調(diào)整，最小化重投影誤差。

37、通過(guò)上述步驟，本發(fā)明的方法能夠?qū)崿F(xiàn)高精度的相機(jī)標(biāo)定，提高視覺(jué)系統(tǒng)的整體性能和可靠性，適用于高要求的工業(yè)應(yīng)用和研究領(lǐng)域。

38、本發(fā)明還包括一種計(jì)算機(jī)設(shè)備，包括：至少一個(gè)處理器，以及與所述至少一個(gè)處理器通信連接的存儲(chǔ)器，其中，所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器執(zhí)行所述的基于三維機(jī)器視覺(jué)相機(jī)標(biāo)定的方法。

39、本發(fā)明還包括一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)指令，所述計(jì)算機(jī)指令用于使所述計(jì)算機(jī)執(zhí)行所述的基于三維機(jī)器視覺(jué)相機(jī)標(biāo)定的方法。

40、與現(xiàn)有技術(shù)相比，本發(fā)明提供的基于三維機(jī)器視覺(jué)相機(jī)標(biāo)定的方法，具有以下有益效果：

41、1.提高了標(biāo)定精度。通過(guò)結(jié)合深度傳感器和高分辨率相機(jī)的數(shù)據(jù)，本發(fā)明的方法能夠更準(zhǔn)確地獲取和處理三維空間中的信息，綜合利用圖像和深度數(shù)據(jù)的方式，使得相機(jī)標(biāo)定的精度得到顯著提高，尤其是在處理三維物體和復(fù)雜場(chǎng)景時(shí)的優(yōu)勢(shì)更為明顯。

42、2.增強(qiáng)了系統(tǒng)的魯棒性。本發(fā)明的方法不僅在理想實(shí)驗(yàn)室環(huán)境中表現(xiàn)出色，也能在變化的外部環(huán)境（如不同光照條件和動(dòng)態(tài)場(chǎng)景）中保持高性能，這得益于深度傳感器的使用，減少了對(duì)外部環(huán)境變化的敏感性，從而增強(qiáng)了系統(tǒng)的魯棒性。

43、3.操作簡(jiǎn)化和實(shí)現(xiàn)了自動(dòng)化標(biāo)定。通過(guò)使用機(jī)器人自動(dòng)化標(biāo)定過(guò)程，本發(fā)明的方法大大簡(jiǎn)化了數(shù)據(jù)采集和處理的操作，降低了人力成本和出錯(cuò)率。機(jī)器人可以精確控制相機(jī)從多個(gè)角度和位置捕獲數(shù)據(jù)，確保了數(shù)據(jù)的全面性和一致性。而且，自動(dòng)化流程減少了傳統(tǒng)手動(dòng)標(biāo)定所需的時(shí)間和勞動(dòng)力，實(shí)現(xiàn)了高效率的數(shù)據(jù)采集和處理，對(duì)于需要在短時(shí)間內(nèi)完成大量設(shè)備標(biāo)定的工業(yè)應(yīng)用尤為重要，如生產(chǎn)線上的質(zhì)量檢測(cè)設(shè)備。

44、4.具有較好的擴(kuò)展性和適應(yīng)性。本發(fā)明的方法適用于多種類(lèi)型的相機(jī)和多樣的應(yīng)用場(chǎng)景，包括但不限于工業(yè)自動(dòng)化、機(jī)器人導(dǎo)航、虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)等。這種方法的通用性和適應(yīng)性使其可以輕易地被整合到不同的技術(shù)和產(chǎn)品中。也能夠優(yōu)化后續(xù)計(jì)算機(jī)視覺(jué)任務(wù)的性能，精確的相機(jī)標(biāo)定是進(jìn)行高質(zhì)量圖像處理、三維重建和物體識(shí)別等計(jì)算機(jī)視覺(jué)任務(wù)的基礎(chǔ)。通過(guò)本發(fā)明的方法優(yōu)化的相機(jī)參數(shù)能夠提高這些任務(wù)的準(zhǔn)確性和效率，從而增強(qiáng)整個(gè)視覺(jué)系統(tǒng)的功能性。

45、綜上所述，本發(fā)明的基于三維機(jī)器視覺(jué)的相機(jī)標(biāo)定方法通過(guò)整合機(jī)器人和深度感測(cè)，不僅提高了標(biāo)定的精度和效率，還帶來(lái)了操作的簡(jiǎn)化和成本的優(yōu)化。

46、本發(fā)明的這些方面或其他方面在以下實(shí)施例的描述中會(huì)更加簡(jiǎn)明易懂。應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本發(fā)明。