一種高精度的投影儀-攝像機(jī)標(biāo)定系統(tǒng)及標(biāo)定方法
【專利摘要】本發(fā)明公開一種高精度的投影儀-攝像機(jī)標(biāo)定系統(tǒng)及方法，該方法包括：用攝像機(jī)標(biāo)定方法標(biāo)定攝像機(jī)，得到攝像機(jī)內(nèi)參數(shù)；向標(biāo)定板投影純白圖案并與標(biāo)定板的圖案疊加，捕獲標(biāo)定區(qū)域圖像；利用攝像機(jī)內(nèi)參數(shù)對圖像畸變校正后提取標(biāo)定區(qū)域圖像中的角點坐標(biāo)；根據(jù)角點的對應(yīng)關(guān)系估計攝像機(jī)像平面和標(biāo)定板平面之間的單應(yīng)性矩陣；依序向標(biāo)定板投影不同特定棋盤圖案并分別與標(biāo)定板的圖案疊加，分別捕獲標(biāo)定區(qū)域圖像；對標(biāo)定區(qū)域圖像差分、濾波處理后提取標(biāo)定板平面上的角點坐標(biāo)；取角點坐標(biāo)平均值后應(yīng)用單應(yīng)性矩陣映射角點至標(biāo)定板平面；按角點的獲取情況重復(fù)上述步驟。利用攝像機(jī)標(biāo)定方法標(biāo)定投影儀。本發(fā)明提高了光三維測量系統(tǒng)的精度。
【專利說明】一種高精度的投影儀-攝像機(jī)標(biāo)定系統(tǒng)及標(biāo)定方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種投影儀-攝像機(jī)標(biāo)定系統(tǒng)及標(biāo)定方法，特別涉及一種高精度的投影儀-攝像機(jī)標(biāo)定系統(tǒng)及標(biāo)定方法，屬于圖像處理和計算機(jī)視覺檢測【技術(shù)領(lǐng)域】。
【背景技術(shù)】
[0002]投影儀-攝相機(jī)系統(tǒng)在三維測量、增強(qiáng)現(xiàn)實及人機(jī)交互等領(lǐng)域有著廣泛的應(yīng)用，隨著時代的發(fā)展人們對三維測量及人機(jī)交互的精度要求越來越高，而精確的標(biāo)定是該系統(tǒng)實現(xiàn)高精度的最大前提，但現(xiàn)有方案一直未達(dá)到理想的效果。一方面，現(xiàn)有的一些方法雖然取得了較精確的標(biāo)定結(jié)果(重投影誤差的均方根為0.11像素)，卻使用了昂貴的高精度設(shè)備，對用戶的要求也很高，不便于日常使用。另一方面，其他的一些方法雖然操作簡便但卻不夠精確(重投影誤差的均方根為0.20像素)，難以滿足日益增長的計算機(jī)視覺應(yīng)用的需要，可以說是用犧牲精度的方法換取了步驟的簡便。
[0003]另外，現(xiàn)有的大部分標(biāo)定方法對角點提取的處理都不夠好，一方面是沒有對角點提取誤差的方向性進(jìn)行補(bǔ)償，另一方面是沒有對圖像拍攝過程中的噪聲進(jìn)行合適的濾波。而角點提取的誤差顯然對整個系統(tǒng)標(biāo)定的精確度有不容忽視的影響，如果連用于標(biāo)定的數(shù)據(jù)本身誤差都很大的話，無論標(biāo)定的其他階段如何改進(jìn)，操作如何復(fù)雜都難以獲得理想的效果，更不用說在保證精度的同時降低操作的復(fù)雜度或改用廉價的標(biāo)定設(shè)備了。而且，現(xiàn)有的方法在處理投影圖案與打印圖案間相互干擾的問題時也不夠簡便，如通過攝相機(jī)的顏色特性來避免干擾，但這也意味著還要進(jìn)行色彩校正。
[0004]綜上所述，現(xiàn)有的標(biāo)定方法具有下述缺陷:
[0005]1.高精度的標(biāo)定成本高，而操作簡便儀器簡單的標(biāo)定方法又無法取得令人滿意的精度；
[0006]2.對角點提取的處理不夠好，未對誤差進(jìn)行補(bǔ)償或?qū)υ肼曔M(jìn)行濾波，難以獲得精確的對應(yīng)關(guān)系；
[0007]3.在打印圖像與投影圖像相互干擾的處理上不夠簡便，要求用戶進(jìn)行額外的操作。

【發(fā)明內(nèi)容】

[0008](一 )要解決的技術(shù)問題
[0009]本發(fā)明要解決的技術(shù)問題是:提出一種投影儀-攝像機(jī)系統(tǒng)標(biāo)定方法，向標(biāo)定板輪流投影多幅特定圖案，進(jìn)行高精度標(biāo)定，同時又靈活便于操作。
[0010](二)技術(shù)方案
[0011]為解決上述技術(shù)問題，
[0012]一方面，本發(fā)明提供了一種高精度的投影儀-攝像機(jī)標(biāo)定系統(tǒng)，包括:
[0013]用于綜合調(diào)度各模塊之間工作的控制模塊、用于產(chǎn)生投影用圖案的圖案生成模塊、用于展示投影圖像的標(biāo)定板、用于將圖案向標(biāo)定板上投影的投影模塊、用于向攝像機(jī)標(biāo)定模塊或圖像處理模塊輸出圖像數(shù)據(jù)的圖像傳感及校正模塊、用于估計攝像機(jī)參數(shù)的攝像機(jī)標(biāo)定模塊、用于對標(biāo)定區(qū)域圖像處理的圖像處理模塊、用于對投影儀進(jìn)行標(biāo)定的投影儀標(biāo)定|吳塊；
[0014]所述圖案生成模塊、所述投影模塊、所述圖像傳感及校正模塊、所述攝像機(jī)標(biāo)定模塊、所述圖像處理模塊、所述投影儀標(biāo)定模塊分別與所述控制模塊雙向通信連接，所述攝像機(jī)標(biāo)定模塊與所述圖像傳感及校正模塊雙向通信連接，所述圖案生成模塊分別與所述投影模塊和所述投影儀標(biāo)定模塊通信連接，所述圖像傳感及校正模塊與所述圖像處理模塊通信連接，所述圖像處理模塊與所述投影儀標(biāo)定模塊通信連接；
[0015]所述控制模塊控制所述攝像機(jī)標(biāo)定模塊按照相應(yīng)的攝像機(jī)標(biāo)定方法對圖像傳感及校正模塊標(biāo)定并存儲相應(yīng)攝像機(jī)內(nèi)參數(shù)；
[0016]所述控制模塊控制所述圖案生成模塊和所述投影模塊輪流在所述標(biāo)定板上投影特定的不同圖案，所述控制模塊控制所述攝像機(jī)標(biāo)定模塊所述攝像機(jī)內(nèi)參數(shù)傳遞至所述圖像傳感及校正模塊，所述圖像傳感及校正模塊分別采集所述標(biāo)定區(qū)域圖像并利用攝像機(jī)內(nèi)參數(shù)進(jìn)行圖像畸變校正后傳送至所述圖像處理模塊，所述圖像處理模塊分別對圖像差分、反相運算、濾波映射處理后得到角點信息，所述控制模塊控制所述投影儀標(biāo)定模塊利用所述角點信息建立對應(yīng)關(guān)系對投影儀標(biāo)定得到投影儀內(nèi)參數(shù)和投影儀與攝像機(jī)之間的外參數(shù)。
[0017]其中較優(yōu)地，所述圖像處理模塊包括:
[0018]對圖像進(jìn)行差分及反相運算的圖像運算模塊、對圖像濾波消除噪聲的圖像濾波模塊、對圖像進(jìn)行角點提取得到角點坐標(biāo)的角點提取模塊、估計攝像機(jī)像平面和標(biāo)定板平面間單應(yīng)性矩陣的單應(yīng)性矩陣模塊、將角點坐標(biāo)從攝像機(jī)像平面映射到標(biāo)定板平面上的角點映射模塊；
[0019]所述圖像運算模塊與所述圖像濾波模塊連接，所述圖像濾波模塊與所述角點提取模塊連接，所述角點提取模塊及所述單應(yīng)性矩陣模塊分別與所述角點映射模塊連接，所述角點提取模塊與所述單應(yīng)性矩陣模塊連接；所述角點提取模塊與所述圖像傳感及校正模塊連接，所述角點映射模塊、所述角點提取模塊分別與所述投影儀標(biāo)定模塊連接；
[0020]所述圖像傳感及校正模塊采集并校正的標(biāo)定區(qū)域圖像傳輸至所述圖像運算模塊及所述角點提取模塊；所述角點提取模塊對接收到圖像角點提取得到攝像機(jī)像平面坐標(biāo)系上打印棋盤圖案的角點坐標(biāo)；所述單應(yīng)性矩陣模塊以攝像機(jī)像平面坐標(biāo)系上打印棋盤圖案的角點坐標(biāo)作為輸入，和標(biāo)定板平面坐標(biāo)系上打印棋盤圖案的角點坐標(biāo)建立對應(yīng)關(guān)系，用最優(yōu)化方法估計得攝像機(jī)像平面與標(biāo)定板平面間的單應(yīng)性矩陣并輸出給所述角點映射模塊；所述圖像運算模塊對接收的圖像差分運算、反相處理得到標(biāo)定區(qū)域圖像，輸出至所述圖像濾波模塊；所述圖像濾波模塊對圖像濾波、消除噪聲處理后傳送至角點提取模塊；所述角點提取模塊采用相應(yīng)角點提取方法提取角點坐標(biāo)并輸出至所述投影儀標(biāo)定模塊；所述角點映射模塊以所述角點提取模塊傳輸?shù)臄z像機(jī)像平面角點坐標(biāo)及從所述單應(yīng)性矩陣模塊獲取的單應(yīng)性矩陣為輸入，應(yīng)用單應(yīng)性關(guān)系將攝像機(jī)像平面角點坐標(biāo)映射到標(biāo)定板平面上，并輸出至所述投影儀標(biāo)定模塊。
[0021]其中較優(yōu)地，所述圖像濾波模塊對接收的圖像濾波處理時，首先計算圖像的梯度，再對梯度圖像進(jìn)行閾值分割得到二值化圖像，以將圖像分類為棋盤格內(nèi)部類及棋盤格邊緣類。
[0022]再使圖像濾波模塊接收的圖像通過所選取的濾波函數(shù):
【權(quán)利要求】
1.一種高精度的投影儀-攝像機(jī)標(biāo)定系統(tǒng)，其特征在于，包括: 用于綜合調(diào)度各模塊之間工作的控制模塊、用于產(chǎn)生投影用圖案的圖案生成模塊、用于展示投影圖像的標(biāo)定板、用于將圖案向標(biāo)定板上投影的投影模塊、用于向攝像機(jī)標(biāo)定模塊或圖像處理模塊輸出圖像數(shù)據(jù)的圖像傳感及校正模塊、用于估計攝像機(jī)參數(shù)的攝像機(jī)標(biāo)定模塊、用于對標(biāo)定區(qū)域圖像處理的圖像處理模塊、用于對投影儀進(jìn)行標(biāo)定的投影儀標(biāo)定模塊； 所述圖案生成模塊、所述投影模塊、所述圖像傳感及校正模塊、所述攝像機(jī)標(biāo)定模塊、所述圖像處理模塊、所述投影儀標(biāo)定模塊分別與所述控制模塊雙向通信連接，所述攝像機(jī)標(biāo)定模塊與所述圖像傳感及校正模塊雙向通信連接，所述圖案生成模塊分別與所述投影模塊和所述投影儀標(biāo)定模塊通信連接，所述圖像傳感及校正模塊與所述圖像處理模塊通信連接，所述圖像處理模塊與所述投影儀標(biāo)定模塊通信連接； 所述控制模塊控制所述攝像機(jī)標(biāo)定模塊按照相應(yīng)的攝像機(jī)標(biāo)定方法對圖像傳感及校正模塊標(biāo)定并存儲相應(yīng)攝像機(jī)內(nèi)參數(shù)； 所述控制模塊控制所述圖案生成模塊和所述投影模塊輪流在所述標(biāo)定板上投影特定的不同圖案，所述控制模塊控制所述攝像機(jī)標(biāo)定模塊所述攝像機(jī)內(nèi)參數(shù)傳遞至所述圖像傳感及校正模塊，所述圖像傳感及校正模塊分別采集所述標(biāo)定區(qū)域圖像并利用攝像機(jī)內(nèi)參數(shù)進(jìn)行圖像畸變校正后傳送至所述圖像處理模塊，所述圖像處理模塊分別對圖像差分、反相運算、濾波映射處理 后得到角點信息，所述控制模塊控制所述投影儀標(biāo)定模塊利用所述角點信息建立對應(yīng)關(guān)系對投影儀標(biāo)定得到投影儀內(nèi)參數(shù)和投影儀與攝像機(jī)之間的外參數(shù)。
2.如權(quán)利要求1所述的投影儀-攝像機(jī)標(biāo)定系統(tǒng)，其特征在于，所述圖像處理模塊包括: 對圖像進(jìn)行差分及反相運算的圖像運算模塊、對圖像濾波消除噪聲的圖像濾波模塊、對圖像進(jìn)行角點提取得到角點坐標(biāo)的角點提取模塊、估計攝像機(jī)像平面和標(biāo)定板平面間單應(yīng)性矩陣的單應(yīng)性矩陣模塊、將角點坐標(biāo)從攝像機(jī)像平面映射到標(biāo)定板平面上的角點映射模塊； 所述圖像運算模塊與所述圖像濾波模塊連接，所述圖像濾波模塊與所述角點提取模塊連接，所述角點提取模塊及所述單應(yīng)性矩陣模塊分別與所述角點映射模塊連接，所述角點提取模塊與所述單應(yīng)性矩陣模塊連接；所述角點提取模塊與所述圖像傳感及校正模塊連接，所述角點映射模塊、所述角點提取模塊分別與所述投影儀標(biāo)定模塊連接； 所述圖像傳感及校正模塊采集并校正的標(biāo)定區(qū)域圖像傳輸至所述圖像運算模塊及所述角點提取模塊； 所述角點提取模塊對接收到圖像角點提取得到攝像機(jī)像平面坐標(biāo)系上打印棋盤圖案的角點坐標(biāo)； 所述單應(yīng)性矩陣模塊以攝像機(jī)像平面坐標(biāo)系上打印棋盤圖案的角點坐標(biāo)作為輸入，和標(biāo)定板平面坐標(biāo)系上打印棋盤圖案的角點坐標(biāo)建立對應(yīng)關(guān)系，用最優(yōu)化方法估計得攝像機(jī)像平面與標(biāo)定板平面間的單應(yīng)性矩陣并輸出給所述角點映射模塊； 所述圖像運算模塊對接收的圖像差分運算、反相處理得到標(biāo)定區(qū)域圖像，輸出至所述圖像濾波模塊； 所述圖像濾波模塊對圖像濾波、消除噪聲處理后傳送至角點提取模塊；所述角點提取模塊采用相應(yīng)角點提取方法提取角點坐標(biāo)并輸出至所述投影儀標(biāo)定模塊； 所述角點映射模塊以所述角點提取模塊傳輸?shù)臄z像機(jī)像平面角點坐標(biāo)及從所述單應(yīng)性矩陣模塊獲取的單應(yīng)性矩陣為輸入，應(yīng)用單應(yīng)性關(guān)系將攝像機(jī)像平面角點坐標(biāo)映射到標(biāo)定板平面上，并輸出至所述投影儀標(biāo)定模塊。
3.如權(quán)利要求2所述的投影儀-攝像機(jī)標(biāo)定系統(tǒng)，其特征在于， 所述圖像濾波模塊對接收的圖像濾波處理時，首先計算圖像的梯度，再對梯度圖像進(jìn)行閾值分割得到二值化圖像，以將圖像分類為棋盤格內(nèi)部類及棋盤格邊緣類。 再使圖像濾波模塊接收的圖像通過所選取的濾波函數(shù):

4.如權(quán)利要求3所述的投影儀-攝像機(jī)標(biāo)定系統(tǒng)，其特征在于，所述閾值是通過貝葉斯決策理論來確定的，具體如下: 通過式 P(g/E) ?P (E) = P (g/C).P(C),可以得到兩解 g = tjg = t2。其中 ^t1SgSt2為棋盤格邊緣的灰度值上下范圍，E表示棋盤格邊緣，C表示棋盤格內(nèi)部，P(g/E)為屬于棋盤格邊緣類的像素點中，像素點灰度值為g的概率，P (g/C)為屬于棋盤格方格內(nèi)部的像素點中，像素點灰度值為g的概率，P(E)為像素點位于棋盤格邊緣的概率，P(C)為像素點位于棋盤格內(nèi)部的概率； 針對圖像濾波模塊接收的圖像Ipi，對棋盤格邊緣與棋盤格內(nèi)部的像素數(shù)量確定P(E)及P(C)，根據(jù)歸一化直方圖獲得概率P (g/C)及P (g/E)，代入上式，其中求得像素灰度值較低的解A即為閾值。
5.如權(quán)利要求2所述的投影儀-攝像機(jī)標(biāo)定系統(tǒng)，其特征在于，所述角點提取模塊提取角點坐標(biāo)時， 所述角點提取模塊對圖像傳感及校正模塊輸出的純白圖案與打印棋盤圖案疊加的標(biāo)定區(qū)域圖像進(jìn)行四邊形擬合，獲得粗略的角點位置，然后在包含粗略角點位置的附近區(qū)域，利用單馬鞍角點提取方法獲得精確角點坐標(biāo)，進(jìn)而將該攝像機(jī)像平面坐標(biāo)系上角點坐標(biāo)輸出給所述單應(yīng)性矩陣模塊進(jìn)行單應(yīng)性矩陣的估計； 所述角點提取模塊對圖像濾波模塊輸出的投影棋盤圖案與打印棋盤圖案疊加的標(biāo)定區(qū)域圖像進(jìn)行四邊形擬合，獲得粗略的角點位置，然后在包含粗略角點位置的附近區(qū)域，利用四馬鞍角點提取方法獲取精確角點坐標(biāo)，進(jìn)而將該攝像機(jī)像平面坐標(biāo)系上角點坐標(biāo)輸出至角點映射模塊及投影儀標(biāo)定模塊； 所述四馬鞍角點提取方法是分別用單馬鞍角點提取方法提取出四種投影棋盤圖案的角點，再對四個角點坐標(biāo)取平均，得到最終角點坐標(biāo)。
6.如權(quán)利要求1所述的投影儀-攝像機(jī)標(biāo)定系統(tǒng)，其特征在于， 所述特定的不同圖案是方形棋盤格圖案、反相的方形棋盤格圖案，將方形棋盤格圖案旋轉(zhuǎn)45 °得到的棱形棋盤格圖案或反相棱形棋盤格圖案。
7.一種應(yīng)用權(quán)利要求1至6任意一項所述投影儀-攝像機(jī)標(biāo)定系統(tǒng)的標(biāo)定方法，其特征在于，包括如下步驟: 51:用攝像機(jī)標(biāo)定方法對攝像機(jī)標(biāo)定,得到攝像機(jī)內(nèi)參數(shù)； 52:投影儀向標(biāo)定板投影純白圖案并與標(biāo)定板的圖案疊加，攝像機(jī)捕獲第一標(biāo)定區(qū)域圖像，利用攝像機(jī)內(nèi)參數(shù)對第一標(biāo)定區(qū)域圖像畸變校正； 53:提取校正后第一標(biāo)定區(qū)域圖像中的角點坐標(biāo)； S4:根據(jù)校正后第一標(biāo)定區(qū)域圖像中的角點與打印棋盤格中已知角點的對應(yīng)關(guān)系估計攝像機(jī)像平面和標(biāo)定板平面之間的單應(yīng)性矩陣； 55:投影儀向標(biāo)定板投影預(yù)設(shè)棋盤圖案，攝像機(jī)捕獲第二標(biāo)定區(qū)域圖像并利用攝像機(jī)內(nèi)參數(shù)進(jìn)行畸變校正； 56:對校正后第二標(biāo)定區(qū)域圖像與校正后第一標(biāo)定區(qū)域圖像進(jìn)行差分與反相運算并濾波處理； 57:提取濾波后第二標(biāo)定區(qū)域圖像的角點坐標(biāo)，并判斷預(yù)設(shè)棋盤圖案是否已投影完畢，如果預(yù)設(shè)棋盤圖案投影完畢，則進(jìn)入步驟S8，如果未投影完畢則更換預(yù)設(shè)棋盤圖案重新執(zhí)行S5 ； 58:對投影不同棋盤圖案時得到的角點坐標(biāo)取平均值，然后應(yīng)用單應(yīng)性關(guān)系將角點坐標(biāo)從攝像機(jī)像平面映射至標(biāo)定板平面； S9:判斷角點數(shù)量是否大于閾值，若不足，則調(diào)整標(biāo)定板的姿態(tài)后，回到步驟S2，若滿足則進(jìn)入步驟SlO ； S10:根據(jù)投影儀像平面與標(biāo)定板平面上角點坐標(biāo)的對應(yīng)關(guān)系，根據(jù)投影儀像平面、攝像機(jī)像平面上、標(biāo)定板平面上角點坐標(biāo)的對應(yīng)關(guān)系，計算獲取投影儀與攝像機(jī)之間的外參數(shù)。
8.如權(quán)利要求7所述的標(biāo)定方法，其特征在于，所述濾波處理的步驟進(jìn)一步包括: 提取差分后第二標(biāo)定區(qū) 域圖像的梯度圖像，對所述梯度圖像進(jìn)行閾值分割得到二值化圖像； 再使差分后第二標(biāo)定區(qū)域圖像通過所選取的濾波函數(shù)濾波處理:
9.如權(quán)利要求7所述的標(biāo)定方法，其特征在于，所述閾值是通過貝葉斯決策理論來確定的，具體如下: 通過式P(g/E) ?P(E) = P(g/C).P(C),可以得到兩解g = = t2。其中t2為棋盤格邊緣的灰度值上下范圍，E表示棋盤格邊緣，C表示棋盤格內(nèi)部，P(g/E)為屬于棋盤格邊緣類的像素點中，像素點灰度值為g的概率，P (g/C)為屬于棋盤格方格內(nèi)部的像素點中，像素點灰度值為g的概率，P(E)為像素點位于棋盤格邊緣的概率，P(C)為像素點位于棋盤格內(nèi)部的概率； 針對圖像濾波模塊接收的圖像中圖像棋盤格邊緣與棋盤格內(nèi)部的像素數(shù)量確定P(E)及P(C)，根據(jù)歸一化直方圖獲得概率P (g/C)及P (g/E)，代入上式，其中求得像素灰度值較低的解tl即為閾值。
10.如權(quán)利要求7所述的標(biāo)定方法，其特征在于，所述提取濾波后第二標(biāo)定區(qū)域圖像的角點坐標(biāo)的 步驟進(jìn)一步還包括: 對濾波后第二標(biāo)定區(qū)域圖像四邊形擬合，獲得粗略的角點位置，然后在包含粗略角點位置的附近區(qū)域，利用四馬鞍角點提取方法獲取精確角點坐標(biāo)； 所述四馬鞍角點提取方法是分別用單馬鞍角點提取方法提取出四種投影棋盤圖案的角點，再對四個角點坐標(biāo)取平均，得到最終角點坐標(biāo)。
【文檔編號】G06T7/00GK103942796SQ201410164584
【公開日】2014年7月23日 申請日期:2014年4月23日 優(yōu)先權(quán)日:2014年4月23日
【發(fā)明者】廖一橋, 宋瑋, 謝翔, 李國林, 鄭毅, 王志華 申請人:清華大學(xué)