專利名稱：手、眼關(guān)系引導(dǎo)的非接觸式位置輸入系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種三維視覺測量系統(tǒng)和方法，特別是一種手、眼關(guān)系引導(dǎo)的非接觸式位置輸入系統(tǒng)和方法。
背景技術(shù)：
位置輸入系統(tǒng)是計(jì)算機(jī)輸入設(shè)備的一種，從理論上講，任何需要與計(jì)算機(jī)進(jìn)行交互式操作的場合都需要位置信息的輸入。目前，最常用的位置輸入設(shè)備是鼠標(biāo)器和觸摸屏，這類設(shè)備在使用時(shí)要求使用者與設(shè)備保持接觸，因此束縛了使用者的活動(dòng)空間。在不便于約束使用者活動(dòng)的場合下，比如展覽會(huì)和某些工業(yè)場合，使用接觸式位置輸入系統(tǒng)是不方便甚至不可能的。
以非接觸式位置輸入方式取代現(xiàn)有的接觸式輸入方式將為使用者提供無約束的輸入體驗(yàn)，增強(qiáng)系統(tǒng)的易用性、互動(dòng)性和使用的樂趣，是提升數(shù)字產(chǎn)品附加值的有效手段。然而目前這類技術(shù)的應(yīng)用還比較少，僅有的一些嘗試主要集中于兩類一類是對(duì)現(xiàn)有的鼠標(biāo)器進(jìn)行改造，將鼠標(biāo)器與主機(jī)的連接電纜用紅外或射頻信號(hào)取代，做成手持式的位置輸入裝置。這類技術(shù)擺脫了電纜對(duì)使用者的束縛，但由于位置信息的輸入需要通過滾動(dòng)鼠標(biāo)球來實(shí)現(xiàn)，對(duì)于距離指示目標(biāo)較遠(yuǎn)的使用者(如展會(huì)上的參觀者，他們往往被要求在一定的距離之外觀看展示)來說，這種輸入方式是不直觀且不精確的；另一類技術(shù)使用貼片式位置傳感器，將若干枚傳感器放置于使用者身體的某些部位(如手指)上，通過感應(yīng)人體的特定運(yùn)動(dòng)來實(shí)現(xiàn)位置信息的輸入。這種方法可以實(shí)現(xiàn)直觀的位置輸入，但由于需要使用者佩戴傳感器，應(yīng)用的靈活性受到了影響。這兩類技術(shù)實(shí)際仍然要求使用者接觸輸入設(shè)備，因此從嚴(yán)格意義上來講，并不是真正的非接觸式位置輸入系統(tǒng)。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種手、眼關(guān)系引導(dǎo)的位置輸入系統(tǒng)和方法，利用雙目視覺技術(shù)實(shí)現(xiàn)對(duì)使用者手指與眼睛的實(shí)時(shí)跟蹤與精確定位，并判斷其手指指示的目標(biāo)位置，從而實(shí)現(xiàn)非接觸的、直觀的位置輸入。
為達(dá)到上述目的，本發(fā)明的構(gòu)思是
手、眼關(guān)系引導(dǎo)的非接觸式位置輸入系統(tǒng)，由兩臺(tái)CCD攝像機(jī)(1)，一臺(tái)顯示終端(2)，一臺(tái)裝配有多通道圖像采集卡的計(jì)算機(jī)(3)組成，平面標(biāo)定模板(4)用于標(biāo)定攝像機(jī)參數(shù)。其中，計(jì)算機(jī)(3)通過圖像采集卡與攝像機(jī)(1)連接并通過顯示卡與顯示終端(2)連接，計(jì)算機(jī)(3)內(nèi)設(shè)有一套攝像機(jī)自動(dòng)標(biāo)定程序和一套指示位置分析程序。本發(fā)明的系統(tǒng)特點(diǎn)是兩臺(tái)CCD攝像機(jī)(1)使用會(huì)聚配置構(gòu)成雙目視覺系統(tǒng)，平面標(biāo)定模板(4)由一塊平板上精確繪制出的兩個(gè)同心圓和四條通過圓心且等分圓周的直線圖形構(gòu)成，攝像機(jī)自動(dòng)標(biāo)定程序可實(shí)現(xiàn)全自動(dòng)、高精度的攝像機(jī)參數(shù)標(biāo)定，指示位置分析程序可實(shí)時(shí)輸出指示點(diǎn)的位置坐標(biāo)，顯示終端可以是大屏幕投影儀、展示沙盤或立體模型以及任意形狀的空間物體等。
本發(fā)明的手、眼關(guān)系引導(dǎo)的非接觸式位置輸入方法采用上述系統(tǒng)實(shí)現(xiàn)，具有如下特點(diǎn)①雙目視覺系統(tǒng)在設(shè)備安裝完成后標(biāo)定一次即可；②利用雙目視覺原理計(jì)算物體點(diǎn)的空間坐標(biāo)，實(shí)現(xiàn)非接觸的、實(shí)時(shí)的位置測量；③運(yùn)用人臉檢測、人眼定位與手指定位算法及目標(biāo)跟蹤算法，對(duì)圖像序列中的人體特定部位進(jìn)行跟蹤；④從人的生理特征出發(fā)，將連接兩眼間中心點(diǎn)與手指尖的直線作為人的瞄準(zhǔn)線，判定手指指示的目標(biāo)位置；⑤將不同的使用環(huán)境抽象為一組環(huán)境參數(shù)，通過修改環(huán)境參數(shù)可適應(yīng)不同的應(yīng)用。
根據(jù)上述的發(fā)明構(gòu)思，本發(fā)明采用下述技術(shù)方案一種手、眼關(guān)系引導(dǎo)的非接觸式位置輸入系統(tǒng)，由兩臺(tái)CCD攝像機(jī)，一臺(tái)大型顯示終端，一臺(tái)裝置有多通道圖像采集卡的計(jì)算機(jī)組成，計(jì)算機(jī)通過圖像采集卡與攝像機(jī)連接并通過顯示卡與大型顯示終端連接。其特征在于所述兩臺(tái)CCD攝像機(jī)以會(huì)聚配置方式固定于使用者的正前方，安裝位置需保證左右CCD攝像機(jī)視場均覆蓋使用者身體上半部的正面；有一塊平面標(biāo)定模板標(biāo)定時(shí)置于兩臺(tái)CCD攝像機(jī)的視場中；所述的計(jì)算機(jī)根據(jù)兩臺(tái)CCD攝像機(jī)對(duì)標(biāo)定模板所采集的圖像，進(jìn)行攝像機(jī)參數(shù)標(biāo)定；系統(tǒng)測量時(shí)撤去標(biāo)定模板，計(jì)算機(jī)根據(jù)預(yù)設(shè)的環(huán)境參數(shù)、標(biāo)定的攝像機(jī)參數(shù)和攝像機(jī)采集的含有使用者手、眼的圖像，求解并輸出目標(biāo)點(diǎn)坐標(biāo)，即非接觸式輸入指示位置坐標(biāo)。
上述的平面標(biāo)定模板由一塊平整的平板上精確繪制出的兩個(gè)同心圓和四條通過圓心且等分圓周的直線圖形構(gòu)成。
上述的大型顯示終端為大屏幕投影儀或展示沙盤或立體模型或空間物體。
一種手、眼關(guān)系引導(dǎo)的非接觸式位置輸入方法，采用手、眼關(guān)系引導(dǎo)的非接觸式位置輸入系統(tǒng)，其特征在于具體工作步驟為兩臺(tái)CCD攝像機(jī)和一塊平面標(biāo)定模板定位安裝后，計(jì)算機(jī)啟動(dòng)一套攝像機(jī)自動(dòng)標(biāo)定程序，根據(jù)采集的平面標(biāo)定模板的圖像，進(jìn)行攝像機(jī)參數(shù)標(biāo)定；預(yù)設(shè)環(huán)境參數(shù)，建立顯示終端所在平面方程；系統(tǒng)工作時(shí)，撤去標(biāo)定模板，計(jì)算機(jī)啟動(dòng)一套指示位置分析程序，根據(jù)預(yù)設(shè)環(huán)境參數(shù)、攝像機(jī)標(biāo)定參數(shù)和讀入攝像機(jī)采集的第一幀含有使用者手、眼的圖像，求解并輸出指示位置點(diǎn)坐標(biāo)；接著讀入下一幀含有使用者手、眼的圖像，求解并輸出指示位置點(diǎn)坐標(biāo)，如此循環(huán)，實(shí)現(xiàn)指示位置的跟蹤。
上述的攝像機(jī)自動(dòng)標(biāo)定程序具有如下步驟標(biāo)定特征點(diǎn)的提取，以平面標(biāo)定模板上繪制的徑向直線與圓周的交點(diǎn)作為標(biāo)定特征點(diǎn)讀入平面標(biāo)定模板的圖像，分別提取圓和直線在攝像機(jī)成像面上的投影曲線的樣本點(diǎn)，圓的投影曲線為橢圓，直線的投影仍為直線，分別使用橢圓方程和直線方程以最小二乘法擬合提取的樣本點(diǎn)，聯(lián)立擬合的兩組方程，求解出橢圓與直線的交點(diǎn)坐標(biāo)；攝像機(jī)參數(shù)標(biāo)定計(jì)算根據(jù)求得的交點(diǎn)坐標(biāo)，計(jì)算攝像機(jī)外部參數(shù)——旋轉(zhuǎn)矩陣R和位移向量T，繼而求得攝像機(jī)內(nèi)部參數(shù)——焦距f和鏡頭畸變系數(shù)k。
上述的指示位置分析程序具有如下步驟讀入一幀含有使用者手、眼的攝像機(jī)采集的圖像；分別定位雙眼中點(diǎn)坐標(biāo)Pe和食指指尖坐標(biāo)Pf；將連接雙眼中點(diǎn)和手指尖的直線作為人的瞄準(zhǔn)線，判定手指指示的目標(biāo)位置利用標(biāo)定好的攝像機(jī)參數(shù)，對(duì)雙眼連線的中點(diǎn)及指尖點(diǎn)分別聯(lián)立四個(gè)方程組，解出各自的三維坐標(biāo)Pe(X，Y，Z)及Pf(X，X，Z)，建立連接Pe、Pf的空間直線方程，根據(jù)預(yù)輸入的環(huán)境參數(shù)，建立顯示終端所在平面的空間平面方程，將連接Pe、Pf的空間直線方程與顯示終端所在的空間平面方程聯(lián)立，求解并輸出指示位置目標(biāo)點(diǎn)坐標(biāo)；讀入下一幀圖像，重復(fù)上兩步，實(shí)現(xiàn)指示位置跟蹤。
本發(fā)明與現(xiàn)有技術(shù)相比，具有如下顯而易見的突出實(shí)質(zhì)性特點(diǎn)和顯著優(yōu)點(diǎn)1.使用攝像機(jī)作為傳感器，實(shí)現(xiàn)了真正的非接觸式位置輸入。
2.考慮了人的生理特性，以手、眼位置關(guān)系引導(dǎo)系統(tǒng)識(shí)別人的指示目標(biāo)，使位置輸入的方式符合人的習(xí)慣，因而無需對(duì)使用者進(jìn)行特殊訓(xùn)練，達(dá)到了直觀、準(zhǔn)確的目的。
3.對(duì)使用環(huán)境具有較強(qiáng)的適應(yīng)性。人體特定部位的檢測及跟蹤算法保證了系統(tǒng)在復(fù)雜背景下的穩(wěn)定工作，因此對(duì)使用區(qū)的背景布置沒有特殊要求；參數(shù)化的環(huán)境設(shè)置功能，使系統(tǒng)可方便地應(yīng)用于多種不同的環(huán)境之中。
4.攝像機(jī)標(biāo)定簡便、精確。本系統(tǒng)只需在安裝時(shí)標(biāo)定一次攝像機(jī)即可，標(biāo)定模板使用的是成本較低且便于攜帶的平面型模板，環(huán)形對(duì)稱分布的特征點(diǎn)有助于減少徑向成像畸變對(duì)計(jì)算的影響，計(jì)算機(jī)內(nèi)的標(biāo)定程序可自動(dòng)完成模板特征點(diǎn)的高精度提取、匹配、及參數(shù)求解等全部計(jì)算工作，無需人工介入。
本發(fā)明可實(shí)現(xiàn)直觀、準(zhǔn)確、實(shí)時(shí)的非接觸式位置輸入。


圖1是本發(fā)明一個(gè)實(shí)施例的結(jié)構(gòu)示意圖。
圖2是圖1示例使用的攝像機(jī)標(biāo)定模板及標(biāo)定方法示意圖。
圖3是圖1示例的雙攝像機(jī)的光學(xué)原理圖。
圖4是圖1示例的攝像機(jī)標(biāo)自動(dòng)定程序的流程圖，其中圖(a)是特征點(diǎn)提取流程圖，圖(b)是參數(shù)計(jì)算流程圖。
圖5是圖1示例的指示位置分析程序的流程圖。
具體實(shí)施例方式
本發(fā)明的一個(gè)優(yōu)選實(shí)例結(jié)合

如下參見圖1、圖2，本手、眼關(guān)系引導(dǎo)的非接觸式位置輸入系統(tǒng)，由兩臺(tái)CCD攝像機(jī)(1)，一臺(tái)顯示終端(2)，一臺(tái)裝配有多通道圖像采集卡的計(jì)算機(jī)(3)組成，平面標(biāo)定模板(4)用于標(biāo)定攝像機(jī)參數(shù)。其中，計(jì)算機(jī)(3)通過圖像采集卡與攝像機(jī)(1)連接并通過顯示卡與顯示終端(2)連接，計(jì)算機(jī)(3)內(nèi)設(shè)有一套攝像機(jī)自動(dòng)標(biāo)定程序和一套指示位置分析程序。
本發(fā)明非接觸式位置輸入方法通過上述手、眼關(guān)系引導(dǎo)的非接觸式位置輸入系統(tǒng)實(shí)施，其步驟如下
使用前，將兩部攝像機(jī)以會(huì)聚配置的方式固定于使用者的正前方，安裝位置需保證左右攝像機(jī)視場均覆蓋使用者身體上半部的正面，參見圖1。
在安裝完成后，進(jìn)行攝像機(jī)參數(shù)標(biāo)定工作，參見圖2。將標(biāo)定模板(4)置于攝像機(jī)(1)的視場之中，通過計(jì)算機(jī)(3)采集圖像并使用其內(nèi)置的攝像機(jī)自動(dòng)標(biāo)定程序進(jìn)行標(biāo)定。
雙攝像機(jī)的光學(xué)原理如圖3所示，其中，兩部會(huì)聚配置的攝像機(jī)的鏡頭焦距和畸變系數(shù)分別為f1，k1與f2，k2；O1，o1與O2，o2分別為它們的鏡頭光心和焦點(diǎn)；XYZ是世界坐標(biāo)系，x1y1z1與x2y2z2是攝像機(jī)坐標(biāo)系；(Xw，Yw，Zw)是物體點(diǎn)P在世界坐標(biāo)系下的坐標(biāo)，(x1i，y1i)與(x2i，y2i)分別是P點(diǎn)在兩個(gè)攝像機(jī)平面上的投影點(diǎn)坐標(biāo)。攝像機(jī)標(biāo)定的目的就是分別確定兩部攝像機(jī)的內(nèi)部參數(shù)f(焦距)、k(鏡頭畸變系數(shù))和外部參數(shù)R=r1r2r3r4r5r6r7r8r9]]>(旋轉(zhuǎn)矩陣)、T=TxTyTz]]>(位移向量)。自動(dòng)標(biāo)定程序的算法分為兩部分第一部分是標(biāo)定特征點(diǎn)的提取，參見圖4(a)。如圖2所示，本發(fā)明使用模板表面繪制的徑向直線段與圓周的交點(diǎn)作為標(biāo)定特征點(diǎn)，為實(shí)現(xiàn)高精度的特征點(diǎn)提取，這里使用了圖像處理與特征曲線擬合相結(jié)合的方法。
首先分別提取圓和直線在攝像機(jī)成像平面上的投影曲線的樣本點(diǎn)，由于圓的投影曲線為橢圓而直線的投影曲線仍為直線，因此分別使用橢圓方程(1)和直線方程(2)以最小二乘法擬合提取的樣本點(diǎn)Ax2+Bxy+Cy2+Dx+Ey+1＝0 (1)y＝mx+b (2)聯(lián)立擬合出的兩組方程，求解出的交點(diǎn)坐標(biāo)(Xfi，Yfi)即是亞像素精度的特征點(diǎn)圖像坐標(biāo)。
第二部分是參數(shù)計(jì)算，參見圖4(b)。參數(shù)計(jì)算利用前面求出的特征點(diǎn)坐標(biāo)分兩步完成。
第一步1、設(shè)特征點(diǎn)(Xfi，Yfi)相應(yīng)的世界坐標(biāo)為(Xwi，Ywi)，(Xc，Yc)是圖像中心坐標(biāo)，(Nx，Ny)是攝像機(jī)像平面單位距離上的像素點(diǎn)數(shù)。計(jì)算
Xdi＝(Xfi-Xc)/Nx(3)Ydi＝(Yfi-Yc)/Ny2、對(duì)每個(gè)特征點(diǎn)點(diǎn)Pi，列出一個(gè)方程，聯(lián)立這N個(gè)方程xwiYdiywiYdiYdi-xwiXdi-ywiXdi·r1/Tyr2/TyTx/Tyr4/Tyr5/Ty=Xdi---(4)]]>式中i＝1，2，...，N，利用最小二乘法求解這個(gè)超定方程組(N＞5)，可得如下變量r1′＝r1/Tyr2′＝r2/TyTx′＝Tx/Tyr4′＝r4/Tyr5′＝r5/Ty3、利用R的正交性計(jì)算Ty和r1～r9，可以得到Ty2=Sr-[Sr2-4(r1′r5′-r4′r2′)2]1/22(r1′r5′-r4′r2′)2---(5)]]>其中Sr＝r1′2+r2′2+r4′2+r5′2，Ty的符號(hào)可利用成像幾何關(guān)系確定。
利用正交性和右手系特性(相應(yīng)于世界坐標(biāo)為右手系)可計(jì)算RR=r1r2(1-r12-r22)1/2r4r5S(1-r42-r52)1/2r7r8r9]]>或R=r1r2-(1-r12-r22)1/2r4r5-S(1-r42-r52)1/2-r7-r8r9]]>式中S＝-sgn[r1r4+r2r5]，r7、r8、r9可由矩陣的前兩行的叉乘得到。具體選取哪一個(gè)R，可由試探法確定。
第二步，對(duì)每個(gè)特征點(diǎn)Pi計(jì)算yi＝r4xwi+r5ywi+Tyzi＝r1xwi+r2ywi+Tz設(shè)wi＝r7xwi+r8ywi，先不考慮透鏡畸變，則yi-(Yf-Yc)/Ny·fTz=(Yf-Yc)wi/Ny---(6)]]>
解此方程(i＝1，2，...，N)可分別求出有效焦距f和平移矢量T的Tz分量，并假設(shè)k＝0，以這些值作初始試探，利用優(yōu)化算法求解下列非線性方程組Y(1+kr2)=fr4xwi+r5ywi+Tyr7xwi+r8ywi+Tz---(7)]]>X(1+kr2)=fr1xwi+r2ywi+Txr7xwi+r8ywi+Tz]]>可解得f、Tz、k的精確值。
攝像機(jī)標(biāo)定好后，啟動(dòng)計(jì)算機(jī)(3)上的指示位置分析程序并設(shè)置環(huán)境參數(shù)，系統(tǒng)即開始工作。參照?qǐng)D5，指示位置分析程序的工作過程如下1、計(jì)算圖像(大小為M×N)中的紅色分量In(x，y)的垂直灰度投影PV(x)=Σy=1NI(x,y),]]>取曲線PV凸峰的左右邊界作為人臉的左右邊界；使用邊緣分組算法，在人臉區(qū)域內(nèi)精確定位雙眼的位置并計(jì)算雙眼連線中點(diǎn)的圖像坐標(biāo)Pe(x，y)；2、根據(jù)人的生理結(jié)構(gòu)判斷手指的大致區(qū)域，在此區(qū)域中使用膚色提取算法分離出二值化的手指模板，對(duì)此模板中的白色像素點(diǎn)進(jìn)行直線擬合并求出最前端的坐標(biāo)Pf(x，y)作為指尖點(diǎn)坐標(biāo)；3、根據(jù)成像原理，空間點(diǎn)(X，Y，Z)在左右攝像機(jī)像平面上的投影(x1，y1)與(x2，y2)分別滿足(x1r17-f1r11)X+(x1r18-f1r12)Y+(x1r19-f1r13)Z＝f1T1x-x1T1z(x1r17-f1r14)X+(x1r18-f1r15)Y+(x1r19-f1r16)Z＝f1T1y-y1T1z與(x2r27-f2r21)X+(x2r28-f2r22)Y+(x2r29-f2r23)Z＝f2T2x-x2T2z(x2r27-f2r24)X+(x2r28-f2r25)Y+(x2r29-f2r26)Z＝f2T2y-y2T2z利用標(biāo)定好的攝像機(jī)參數(shù)，對(duì)雙眼連線的中點(diǎn)及指尖點(diǎn)分別聯(lián)立上述四個(gè)方程組，解出各自的三維坐標(biāo)Pe(X，Y，Z)及Pf(X，Y，Z)。根據(jù)預(yù)輸入的環(huán)境參數(shù)，建立顯示終端(2)所在平面的空間平面方程，并與連接Pe、Pf的空間直線方程聯(lián)立，解出交點(diǎn)Pt(X，Y，Z)，就是人所指示的目標(biāo)點(diǎn)坐標(biāo)；4、使用塊匹配算法跟蹤下一幀圖像In+1(x，y)中Pe，Pf的匹配點(diǎn)，循環(huán)執(zhí)行步驟3、4，從而不間斷地輸出目標(biāo)點(diǎn)坐標(biāo)Pt(X，Y，Z)。
權(quán)利要求
1.一種手、眼關(guān)系引導(dǎo)的非接觸式位置輸入系統(tǒng)，由兩臺(tái)CCD攝像機(jī)(1)，一臺(tái)大型顯示終端(2)，一臺(tái)裝置有多通道圖像采集卡的計(jì)算機(jī)(3)組成，計(jì)算機(jī)(3)通過圖像采集卡與攝像機(jī)(1)連接并通過顯示卡與大型顯示終端(2)連接；其特征在于1)所述兩臺(tái)CCD攝像機(jī)(1)以會(huì)聚配置方式固定于使用者的正前方，安裝位置需保證左右CCD攝像機(jī)(1)視場均覆蓋使用者身體上半部的正面；2)在使用前標(biāo)定中有一塊平面標(biāo)定模板(4)置于兩臺(tái)CCD攝像機(jī)(1)的視場中；所述的計(jì)算機(jī)(3)根據(jù)兩臺(tái)CCD攝像機(jī)(1)對(duì)標(biāo)定模板(4)所采集的圖像，進(jìn)行攝像機(jī)參數(shù)標(biāo)定；系統(tǒng)測量時(shí)，撤去標(biāo)定模板(4)，計(jì)算機(jī)(3)根據(jù)預(yù)設(shè)的環(huán)境參數(shù)、標(biāo)定的攝像機(jī)參數(shù)和攝像機(jī)采集的含有使用者手、眼的圖像，求解并輸出目標(biāo)點(diǎn)坐標(biāo)，即非接觸式輸入指示位置坐標(biāo)。
2.根據(jù)權(quán)利要求1所述的手、眼關(guān)系引導(dǎo)的非接觸式位置輸入系統(tǒng)，其特征在于所述的平面標(biāo)定模板(4)由一塊平整的平板上精確繪制出的兩個(gè)同心圓和四條通過圓心且等分圓周的直線圖形構(gòu)成。
3.根據(jù)權(quán)利要求1所述的手、眼關(guān)系引導(dǎo)的非接觸式位置輸入系統(tǒng)，其特征在于所述的大型顯示終端(2)為大屏幕投影儀或展示沙盤或立體模型或空間物體。
4.一種手、眼關(guān)系引導(dǎo)的非接觸式位置輸入方法，采用權(quán)利要求1所述的手、眼關(guān)系引導(dǎo)的非接觸式位置輸入系統(tǒng)，其特征在于具體工作步驟為①兩臺(tái)CCD攝像機(jī)(1)和一塊平面標(biāo)定模板定位安裝后，計(jì)算機(jī)(3)啟動(dòng)一套攝像機(jī)自動(dòng)標(biāo)定程序，根據(jù)采集的平面標(biāo)定模板(4)的圖像，進(jìn)行攝像機(jī)參數(shù)標(biāo)定；②預(yù)設(shè)環(huán)境參數(shù)，建立顯示終端(2)所在平面方程；③系統(tǒng)測量時(shí)，撤去標(biāo)定模板(4)，計(jì)算機(jī)(3)啟動(dòng)一套指示位置分析程序，根據(jù)預(yù)設(shè)環(huán)境參數(shù)、攝像機(jī)標(biāo)定參數(shù)和讀入攝像機(jī)(1)采集的第一幀含有使用者手、眼的圖像，求解并輸出指示位置點(diǎn)坐標(biāo)；接著讀入下一幀含有使用者手、眼的圖像，求解并輸出指示位置點(diǎn)坐標(biāo)，如此循環(huán)，實(shí)現(xiàn)指示位置的跟蹤。
5.根據(jù)權(quán)利要求4所述的手、眼關(guān)系引導(dǎo)的非接觸式位置輸入方法，其特征在于所述的攝像機(jī)自動(dòng)標(biāo)定程序具有如下步驟①標(biāo)定特征點(diǎn)的提取，以平面標(biāo)定模板(4)上繪制的徑向直線與圓周的交點(diǎn)作為標(biāo)定特征點(diǎn)a)讀入平面標(biāo)定模板(4)的圖像，b)分別提取圓和直線在攝像機(jī)成像面上的投影曲線的樣本點(diǎn)，圓的投影曲線為橢圓，直線的投影仍為直線，c)分別使用橢圓方程和直線方程以最小二乘法擬合提取的樣本點(diǎn)，聯(lián)立擬合的兩組方程，求解出橢圓與直線的交點(diǎn)坐標(biāo)；②攝像機(jī)參數(shù)標(biāo)定計(jì)算a)根據(jù)求得的交點(diǎn)坐標(biāo)，計(jì)算攝像機(jī)外部參數(shù)——旋轉(zhuǎn)矩陣R和位移向量T，b)繼而求得攝像機(jī)內(nèi)部參數(shù)——焦距f和鏡頭畸變系數(shù)k。
6.根據(jù)權(quán)利要求4所述的手、眼關(guān)系引導(dǎo)的非接觸式位置輸入方法，其特征在于所述的指示位置分析程序具有如下步驟①讀入一幀含有使用者手、眼的攝像機(jī)(1)采集的圖像；②分別定位雙眼中點(diǎn)坐標(biāo)Pe和食指指尖坐標(biāo)Pf；③將連接雙眼中點(diǎn)和手指尖的直線作為人的瞄準(zhǔn)線，判定手指指示的目標(biāo)位置a)利用標(biāo)定好的攝像機(jī)參數(shù)，對(duì)雙眼連線的中點(diǎn)及指尖點(diǎn)分別聯(lián)立四個(gè)方程組，解出各自的三維坐標(biāo)Pe(X，Y，Z)及Pf(X，Y，Z)，b)建立連接Pe、Pf的空間直線方程，c)根據(jù)預(yù)輸入的環(huán)境參數(shù)，建立顯示終端(2)所在平面的空間平面方程，d)將連接Pe、Pf的空間直線方程與顯示終端所在的空間平面方程聯(lián)立，求解并輸出指示位置目標(biāo)點(diǎn)坐標(biāo)；④讀入下一幀圖像，重復(fù)步驟②～③，實(shí)現(xiàn)指示位置跟蹤。
全文摘要
本發(fā)明涉及一種手、眼關(guān)系引導(dǎo)的非接觸式位置輸入系統(tǒng)和方法。本非接觸式位置輸入系統(tǒng)由兩臺(tái)CCD攝像機(jī)，一臺(tái)大型顯示終端，一臺(tái)裝配有多通道圖像采集卡的計(jì)算機(jī)組成，系統(tǒng)使用平面標(biāo)定模板標(biāo)定攝像機(jī)參數(shù)。其中，計(jì)算機(jī)通過圖像采集卡與攝像機(jī)連接并通過顯示卡與大型顯示終端連接。位置輸入方法包括全自動(dòng)攝像機(jī)標(biāo)定、手眼位置獲取、指示目標(biāo)點(diǎn)求解等步驟。本發(fā)明的位置輸入系統(tǒng)基于計(jì)算機(jī)視覺技術(shù)，位置輸入方法以人的生理特性為依據(jù)，可實(shí)現(xiàn)直觀、準(zhǔn)確、實(shí)時(shí)的非接觸式位置輸入。
文檔編號(hào)G06F3/01GK1904806SQ20061002948
公開日2007年1月31日 申請(qǐng)日期2006年7月28日 優(yōu)先權(quán)日2006年7月28日
發(fā)明者張之江, 董志華, 于瀛潔, 李純燦, 潘志浩, 許麗, 周文靜, 馬赫 申請(qǐng)人:上海大學(xué)