本發(fā)明屬于眼動控制領(lǐng)域，尤其涉及一種免定標(biāo)的視線追蹤裝置及方法。

背景技術(shù)：

視線追蹤技術(shù)的應(yīng)用范圍非常廣泛，例如計(jì)算機(jī)領(lǐng)域、心理學(xué)與生理檢測領(lǐng)域、市場營銷與廣告等多個(gè)領(lǐng)域。視線追蹤技術(shù)還可以用來收集用戶對展示在貨架上的物品的興趣程度。

現(xiàn)有技術(shù)中的視線追蹤技術(shù)主要采用如下的技術(shù)方案：使用眼動儀(一般包含一個(gè)或兩個(gè)攝像機(jī)和若干個(gè)紅外光源)中的攝像機(jī)拍攝用戶眼睛圖像，根據(jù)眼睛圖像中紅外光源的角膜反光點(diǎn)和瞳孔中心的相對位置關(guān)系確定用戶眼睛所看的位置。

現(xiàn)有技術(shù)存在的主要問題在于，使用一個(gè)眼動儀對裝置使用者進(jìn)行視線追蹤，每次使用前需要定標(biāo)或校準(zhǔn)(一般采取眼睛依次注視若干特定位置的標(biāo)定點(diǎn)的方法)，否則眼動儀無法準(zhǔn)確判定用戶眼睛注視位置，使用不方便且浪費(fèi)時(shí)間。

技術(shù)實(shí)現(xiàn)要素：

為解決上述技術(shù)問題，發(fā)明人提出了以下技術(shù)方案：

一種免定標(biāo)的視線追蹤裝置，包含若干視線追蹤模塊，每個(gè)視線追蹤模塊在目標(biāo)區(qū)域內(nèi)具有不同的空間坐標(biāo)；每個(gè)視線追蹤模塊包含至少一個(gè)光源，用于在使用者的眼角膜上形成角膜反光點(diǎn)(第一普爾欽斑)；每個(gè)視線追蹤模塊包含至少一個(gè)圖像獲取單元，用于捕獲使用者的角膜反光點(diǎn)圖像及瞳孔圖像；免定標(biāo)的視線追蹤裝置還包含數(shù)據(jù)處理模塊，用于進(jìn)行數(shù)字圖像處理，獲取瞳孔中心與角膜反光點(diǎn)，根據(jù)角膜反光點(diǎn)及瞳孔中心確定使用者眼睛注視的位置或位置區(qū)域，并存儲使用者注視該位置或位置區(qū)域的數(shù)據(jù)。采用此視線追蹤裝置，無需定標(biāo)或校準(zhǔn)，就能夠方便的追蹤裝置使用者的視線，確定使用者的注視位置和注視區(qū)域。

優(yōu)選的，視線追蹤模塊中還包含一帶通濾光片，帶通濾光片的波長與其所在的視線追蹤模塊中的光源發(fā)出的光的波長匹配，角膜反光點(diǎn)的反射光路經(jīng)過帶通濾光片入射至圖像獲取單元，從而使所述的圖像獲取單元捕獲到所述的角膜反光點(diǎn)圖像。加入帶通濾光片后，視線追蹤模塊中的圖像獲取單元只能接收特定波長的光線，過濾非特定波長的光線可以有效降低雜光對圖像獲取單元的干擾，提高視線追蹤模塊的識別效率。

優(yōu)選的，視線追蹤模塊中還包含一帶通濾光片，帶通濾光片的波長與其所在的視線追蹤模塊中的光源發(fā)出的光的波長匹配，角膜反光點(diǎn)的反射光路經(jīng)過帶通濾光片入射至圖像獲取單元，從而使所述的圖像獲取單元捕獲到所述的角膜反光點(diǎn)圖像。由于相鄰兩個(gè)視線追蹤模塊中的光源發(fā)出的光的波長不同，所以視線追蹤模塊的帶通濾光片的波長和相鄰視線追蹤模塊的光源波長不能相互匹配。此時(shí)，視線追蹤模塊中的圖像獲取單元不能獲取相鄰視線追蹤模塊中光源所發(fā)出的光線，消除了相鄰視線追蹤模塊光源對圖像獲取單元的干擾。

優(yōu)選的，視線追蹤模塊中還包含一帶通濾光片，帶通濾光片的波長與其所在的視線追蹤模塊中的光源發(fā)出的光的波長匹配，角膜反光點(diǎn)的反射光路經(jīng)過帶通濾光片入射至圖像獲取單元，從而使所述的圖像獲取單元捕獲到所述的角膜反光點(diǎn)圖像。由于所有視線追蹤模塊中的光源發(fā)出的光的波長各不相同，所以每個(gè)視線追蹤模塊的帶通濾光片只能通過其所在的視線追蹤模塊中的光源發(fā)出的光，消除了除其所在的視線追蹤模塊自身光源外其他視線追蹤模塊光源對圖像獲取單元的干擾，提高了視線追蹤裝置的效率。

優(yōu)選的，若干視線追蹤模塊按照設(shè)定的時(shí)間周期依次開啟或關(guān)閉。在設(shè)定時(shí)間周期內(nèi)，所有視線追蹤模塊順序開啟或關(guān)閉，可以實(shí)現(xiàn)在此時(shí)間周期內(nèi)，每個(gè)圖像獲取單元只獲得一個(gè)角膜反光點(diǎn)圖像，大大提高視線追蹤裝置的效率。

優(yōu)選的，視線追蹤裝置還包括控制單元和若干受控設(shè)備?？刂茊卧邮找暰€追蹤裝置中數(shù)據(jù)處理單元傳送的數(shù)據(jù)，并根據(jù)數(shù)據(jù)發(fā)出指令控制受控設(shè)備。裝置使用者可以在無需定標(biāo)的情況下控制受控設(shè)備，使用者應(yīng)用視線追蹤裝置控制受控設(shè)備時(shí)會覺得更加方便，獲得更佳體驗(yàn)。

優(yōu)選的，視線追蹤模塊中的光源為紅外光源，可以避免可見光對圖像獲取單元的干擾。

本發(fā)明還公開了一種應(yīng)用視線追蹤裝置的方法，包含以下步驟：

(1)將視線追蹤模塊放置在目標(biāo)區(qū)域內(nèi)的不同空間坐標(biāo)；

(2)視線追蹤裝置的使用者注視目標(biāo)區(qū)域內(nèi)的任一空間坐標(biāo)；

(3)光源在使用者的眼角膜上形成角膜反光點(diǎn)；

(4)圖像獲取單元捕獲使用者的角膜反光點(diǎn)圖像及瞳孔圖像；

(5)通過運(yùn)行在圖像處理單元的算法，計(jì)算出每個(gè)角膜反光點(diǎn)與瞳孔中心間的瞳孔角膜矢量；

(6)比較所有瞳孔角膜矢量長度，矢量長度最短的圖像所對應(yīng)的視線追蹤模塊所在的空間坐標(biāo)即為使用者注視的空間坐標(biāo)。

本發(fā)明披露的視線追蹤裝置及方法，無需定標(biāo)或校準(zhǔn)，就能夠方便的追蹤裝置使用者的視線，確定使用者的注視位置和注視區(qū)域。

附圖說明

圖1為本發(fā)明一種免定標(biāo)的視線追蹤裝置的結(jié)構(gòu)框圖；

圖2為本發(fā)明技術(shù)原理示意圖；

圖3為本發(fā)明實(shí)施例一的示意圖；

圖4為本發(fā)明實(shí)施例二的示意圖；

圖5為實(shí)施例二中獲取的角膜反光點(diǎn)的示意圖；

圖6為本發(fā)明實(shí)施例三的示意圖。

具體實(shí)施方式

為詳細(xì)說明本發(fā)明的技術(shù)方案，現(xiàn)結(jié)合附圖說明本發(fā)明優(yōu)選的實(shí)施例。

如圖1所示，本發(fā)明公開了一種免定標(biāo)的視線追蹤裝置10，該視線追蹤裝置10中設(shè)置若干視線追蹤模塊100；所述的視線追蹤模塊100包含：至少一個(gè)光源101，用于在使用者的眼角膜上形成角膜反光點(diǎn)；至少一個(gè)圖像獲取單元102(攝像頭)，用于捕獲使用者的角膜反光點(diǎn)圖像及瞳孔圖像；視線追蹤裝置10還包含數(shù)據(jù)處理模塊200，用于根據(jù)角膜反光點(diǎn)圖像及瞳孔圖像確定使用者眼睛注視的位置或位置區(qū)域。

本發(fā)明采用的技術(shù)原理為，當(dāng)使用者眼睛注視某點(diǎn)時(shí)，從位于該點(diǎn)的攝像頭及光源所拍攝到的用戶眼睛圖像中的瞳孔中心和角膜反光點(diǎn)中心基本重合。本發(fā)明基于這樣的假設(shè)：當(dāng)某一圖像獲取單元采集到使用者眼睛40的角膜反光點(diǎn)圖像及瞳孔圖像，其角膜反光點(diǎn)50位于瞳孔401的中心位置或中心位置附近時(shí)，則認(rèn)為使用者正在觀察該視線追蹤模塊所在的位置(如圖2所示)。

實(shí)施例一：根據(jù)上述技術(shù)原理，在本發(fā)明中的視線追蹤裝置10可以用于商家評估顧客感興趣的商品以及感興趣的展示位置或者位置區(qū)域。在實(shí)施例一中，將視線追蹤裝置10用于商品在商店櫥窗內(nèi)進(jìn)行廣告宣傳或展示時(shí)，采集使用者對陳列物品的興趣程度。如圖3所示，在櫥窗中展示了9件商品(圖中用a、b、c、d、e、f、g、h、i來分別代替各商品，商品的種類為可以在櫥窗中展示的物品，例如玩具、電器等)，每一件商品對應(yīng)一個(gè)視線追蹤模塊100，視線追蹤模塊安裝在商品的正下方，且兩者間的距離較小，在本實(shí)施例中，兩者之間的距離可以忽略不計(jì)。為了獲得使用者眼睛的視線位置或位置區(qū)域，使用者眼睛注視某位置時(shí)，圖像獲取單元捕獲使用者的角膜反光點(diǎn)圖像及瞳孔圖像，通過運(yùn)行在圖像處理單元的算法，計(jì)算出每個(gè)角膜反光點(diǎn)與瞳孔中心間的瞳孔角膜矢量，比較所有瞳孔角膜矢量長度，矢量長度最短的圖像所對應(yīng)的視線追蹤模塊所在的空間坐標(biāo)即為使用者注視的空間坐標(biāo)，由此即可以判斷出使用者在注視9件商品中的哪一件商品。

這樣，對一定樣本數(shù)量的使用者分別進(jìn)行采集，把使用者感興趣的位置或位置區(qū)域形成熱點(diǎn)圖或眼動數(shù)據(jù)統(tǒng)計(jì)報(bào)表，可以判斷出使用者對商品的感興趣的程度，統(tǒng)計(jì)結(jié)果可以供商家對櫥窗展示位置進(jìn)行評估研究。

在本實(shí)施例中，為了提高效率，將瞳孔的二維圖像假設(shè)為一個(gè)以瞳孔中心為圓心的圓，如圖2所示，可以僅對某一閾值范圍60(閾值范圍為半徑小于瞳孔半徑的圓)內(nèi)的角膜反光點(diǎn)進(jìn)行分析，處于該閾值范圍60以外的角膜反光點(diǎn)圖像不參與計(jì)算，減少對比的數(shù)量。

實(shí)施例二：在本實(shí)施例中，若干視線追蹤模塊按照設(shè)定的時(shí)間周期依次開啟或關(guān)閉。在設(shè)定時(shí)間周期內(nèi)，所有視線追蹤模塊順序開啟或關(guān)閉，可以實(shí)現(xiàn)在此時(shí)間周期內(nèi)，每個(gè)圖像獲取單元只獲得一個(gè)角膜反光點(diǎn)圖像，大大提高視線追蹤裝置的效率。如圖4所示，在墻面上并排設(shè)置三個(gè)開關(guān)面板(1、2、3)，其中，開關(guān)面板1代表電燈開關(guān)，開關(guān)面板2代表中央空調(diào)開關(guān)，開關(guān)面板3代表地暖系統(tǒng)開關(guān)，將3個(gè)視線追蹤模塊100集成到面板的中央位置，而將開關(guān)裝置嵌入到墻體中。將3個(gè)視線追蹤模塊的依次開啟周期設(shè)置為0.1秒，當(dāng)人眼注視到墻面的開關(guān)安裝區(qū)域時(shí)，0.1秒內(nèi)3個(gè)視線追蹤模塊依次開啟，圖像獲取單元獲取角膜反光點(diǎn)圖像，如圖5a～5c所示，分別為開關(guān)面板1、開關(guān)面板2、開關(guān)面板3所對應(yīng)的圖像獲取單元102拍攝的角膜反光點(diǎn)的圖像和瞳孔圖像，對應(yīng)的角膜反光點(diǎn)矢量分別為11、21、31，通過比較三個(gè)角膜反光點(diǎn)矢量的長度判斷使用者正在注視開關(guān)面板2，即使用者想要控制開關(guān)面板2所對應(yīng)的開關(guān)裝置。

實(shí)施例三：在本實(shí)施例中，視線追蹤裝置包含控制單元和若干受控設(shè)備(201-205)，控制單元接收視線追蹤裝置中數(shù)據(jù)處理單元傳送的數(shù)據(jù)，并根據(jù)數(shù)據(jù)發(fā)出指令控制受控設(shè)備。將視線追蹤裝置10用于控制家庭中設(shè)置在墻壁上的各式各樣的開關(guān)裝置，如圖6所示，包含依次排列的電燈開關(guān)201、中央空調(diào)開關(guān)202、地暖系統(tǒng)開關(guān)203、新風(fēng)系統(tǒng)開關(guān)204及智能家居中央控制器開關(guān)205，并且每一個(gè)開關(guān)裝置對應(yīng)設(shè)置一個(gè)視線追蹤模塊100，每一個(gè)視線追蹤模塊包含一個(gè)光源101和一個(gè)圖像獲取單元102。

在本實(shí)施例中，為了便于實(shí)施，視線追蹤模塊100是設(shè)置在開關(guān)裝置的下方，可以用于對已有開關(guān)裝置進(jìn)行改造，以實(shí)現(xiàn)眼控功能，如圖6所示。同樣地，將視線追蹤模塊100也可設(shè)置在開關(guān)裝置的上方、左側(cè)及右側(cè)，對于本領(lǐng)域的技術(shù)人員而言是顯而易見的。

在本實(shí)施例中，開關(guān)裝置與視線追蹤裝置10中的數(shù)據(jù)處理模塊200通信，接收數(shù)據(jù)處理模塊200發(fā)送的控制指令，并且接收開關(guān)裝置所處的狀態(tài)信息；例如，控制電燈開關(guān)，當(dāng)電燈開關(guān)處于常開狀態(tài)時(shí)，數(shù)據(jù)處理模塊根據(jù)角膜反光點(diǎn)圖像及瞳孔圖像確定使用者眼睛正在注視電燈開關(guān)，此時(shí)數(shù)據(jù)處理模塊200向電燈開關(guān)發(fā)送關(guān)閉的指令；若電燈開關(guān)處于常閉狀態(tài)時(shí)，數(shù)據(jù)處理模塊根據(jù)角膜反光點(diǎn)圖像及瞳孔圖像確定使用者眼睛正在注視電燈開關(guān)，此時(shí)數(shù)據(jù)處理模塊200向電燈開關(guān)發(fā)送開啟的指令。

同樣地，在本發(fā)明中的視線追蹤裝置10還可以用于駕駛員與車輛上的功能按鈕進(jìn)行交互，確定駕駛員注視的功能按鈕，相應(yīng)的功能按鈕進(jìn)行響應(yīng)。例如，對汽車上的音響系統(tǒng)、空調(diào)系統(tǒng)等進(jìn)行控制，每一個(gè)系統(tǒng)對應(yīng)的開關(guān)裝置位置處設(shè)置一個(gè)視線追蹤模塊，當(dāng)采集到用戶的視線落在該開關(guān)位置時(shí)，對應(yīng)的功能開啟或關(guān)閉。

在本發(fā)明的另一個(gè)實(shí)施例中，視線追蹤模塊中還包含一帶通濾光片，帶通濾光片的波長與其所在的視線追蹤模塊中的光源發(fā)出的光的波長匹配，角膜反光點(diǎn)的反射光路經(jīng)過帶通濾光片入射至圖像獲取單元，從而使所述的圖像獲取單元捕獲到所述的角膜反光點(diǎn)圖像。由于相鄰兩個(gè)視線追蹤模塊中的光源發(fā)出的光的波長不同，所以視線追蹤模塊的帶通濾光片的波長和相鄰視線追蹤模塊的光源波長不能相互匹配。此時(shí)，視線追蹤模塊中的圖像獲取單元不能獲取相鄰視線追蹤模塊中光源所發(fā)出的光線，消除了相鄰視線追蹤模塊光源對圖像獲取單元的干擾。

在本發(fā)明的另一個(gè)實(shí)施例中，視線追蹤模塊中還包含一帶通濾光片，帶通濾光片的波長與其所在的視線追蹤模塊中的光源發(fā)出的光的波長匹配，角膜反光點(diǎn)的反射光路經(jīng)過帶通濾光片入射至圖像獲取單元，從而使所述的圖像獲取單元捕獲到所述的角膜反光點(diǎn)圖像。由于所有視線追蹤模塊中的光源發(fā)出的光的波長各不相同，所以每個(gè)視線追蹤模塊的帶通濾光片只能通過其所在的視線追蹤模塊中的光源發(fā)出的光，消除了除其所在的視線追蹤模塊自身光源外其他視線追蹤模塊光源對圖像獲取單元的干擾，提高了視線追蹤裝置的效率。

在本發(fā)明中還公開了一種應(yīng)用視線追蹤裝置的方法，包含以下步驟：

(1)將視線追蹤模塊放置在目標(biāo)區(qū)域內(nèi)的不同空間坐標(biāo)；

(2)視線追蹤裝置的使用者注視目標(biāo)區(qū)域內(nèi)的任一空間坐標(biāo)；

(3)光源在使用者的眼角膜上形成角膜反光點(diǎn)；

(4)圖像獲取單元捕獲使用者的角膜反光點(diǎn)圖像及瞳孔圖像；

(5)通過運(yùn)行在圖像處理單元的算法，計(jì)算出每個(gè)角膜反光點(diǎn)與瞳孔中心間的瞳孔角膜矢量；

(6)比較所有瞳孔角膜矢量長度，矢量長度最短的圖像所對應(yīng)的視線追蹤模塊所在的空間坐標(biāo)即為使用者注視的空間坐標(biāo)。

盡管本發(fā)明的內(nèi)容已經(jīng)通過上述優(yōu)選實(shí)施例作了詳細(xì)介紹，但應(yīng)當(dāng)認(rèn)識到上述的描述不應(yīng)被認(rèn)為是對本發(fā)明的限制。在本領(lǐng)域技術(shù)人員閱讀了上述內(nèi)容后，對于本發(fā)明的多種修改和替代都將是顯而易見的。因此，本發(fā)明的保護(hù)范圍應(yīng)由所附的權(quán)利要求來限定。