本發(fā)明的實(shí)施方式涉及便攜式電子設(shè)備，并且涉及控制便攜式電子設(shè)備的方法。本發(fā)明的實(shí)施方式具體來說涉及包括可操作以跟蹤便攜式電子設(shè)備的用戶的眼睛注視方向的注視跟蹤裝置的便攜式電子設(shè)備、以及操作這樣的便攜式電子設(shè)備的方法。

背景技術(shù)：

基于注視的控制繼續(xù)證明了多種多樣的電子裝置的日益流行。在專用的特殊應(yīng)用裝置中，諸如在飛機(jī)或監(jiān)視應(yīng)用中的基于注視的控制，專用的注視跟蹤裝置可以可操作以高精確度確定眼睛注視方向。

對(duì)于很多便攜式電子裝置，諸如手持型蜂窩通信終端或頭戴式裝置，注視跟蹤會(huì)是不太精確的。其原因是高度精確的、專用的注視跟蹤裝置可以由于與這樣的裝置相關(guān)聯(lián)的成本和安裝空間要求而對(duì)于便攜式電子設(shè)備來說沒有吸引力。便攜式電子設(shè)備中的注視跟蹤的當(dāng)前的低成本解決方案可以實(shí)現(xiàn)的注視跟蹤的空間分辨率會(huì)容易導(dǎo)致對(duì)用戶實(shí)際上感關(guān)注的對(duì)象的錯(cuò)誤標(biāo)識(shí)。

盡管如此，存在顯著數(shù)量的潛在有用應(yīng)用用于便攜式電子設(shè)備中的基于注視的控制，所述便攜式電子設(shè)備包括手持型通信終端或頭戴式顯示器。示例包括當(dāng)使用便攜式電子設(shè)備作為攝像頭時(shí)對(duì)象的優(yōu)先化，或在圖形用戶界面上向用戶顯示的菜單項(xiàng)目中的優(yōu)先化。傳統(tǒng)的、便宜的注視跟蹤裝置的低分辨率會(huì)降低用戶體驗(yàn)，因?yàn)樵跈z測關(guān)注點(diǎn)時(shí)容易導(dǎo)致錯(cuò)誤，而較精確的專用注視跟蹤裝置會(huì)以使它們對(duì)于很多用戶來說較沒有吸引力的方式增加設(shè)備成本。

技術(shù)實(shí)現(xiàn)要素：

本領(lǐng)域存在對(duì)于減少這些缺點(diǎn)中的至少一些的便攜式電子設(shè)備和控制便攜式電子設(shè)備的方法的需求。具體來說，本領(lǐng)域存在對(duì)于即使當(dāng)注視跟蹤裝置具有小分辨率時(shí)也可以較可靠地確定用戶的關(guān)注點(diǎn)的便攜式電子設(shè)備和控制便攜式電子設(shè)備的方法的需求。

根據(jù)本發(fā)明的實(shí)施方式，提供了便攜式電子設(shè)備和控制便攜式電子設(shè)備的方法。便攜式電子設(shè)備包括注視跟蹤裝置。注視跟蹤裝置捕捉到的數(shù)據(jù)被處理并且與針對(duì)用戶的視場的顯著圖數(shù)據(jù)結(jié)合。通過生成顯著圖數(shù)據(jù)并且結(jié)合地使用顯著圖數(shù)據(jù)和關(guān)于眼睛注視方向的信息，即使當(dāng)注視跟蹤裝置具有低分辨率時(shí)，也可以較可靠地確定用戶注視的關(guān)注點(diǎn)。

注視跟蹤裝置可以包括被布置成當(dāng)便攜式電子設(shè)備在使用時(shí)朝向用戶的視頻攝像頭。這樣的視頻攝像頭的示例是便攜式電話的低分辨率視頻攝像頭。通過將視頻攝像頭用于注視跟蹤，不必須提供獨(dú)立的、專用的注視跟蹤器。

便攜式電子設(shè)備可以包括圖像捕捉裝置。圖像捕捉裝置和視頻攝像頭可以被布置以從不相交的立體角區(qū)段中捕捉圖像數(shù)據(jù)。圖像捕捉裝置的設(shè)置可以基于通過將顯著圖數(shù)據(jù)與被注視跟蹤裝置捕捉的數(shù)據(jù)結(jié)合所確定的關(guān)注點(diǎn)被控制。

根據(jù)實(shí)施方式的便攜式電子設(shè)備包括被構(gòu)造成在時(shí)間區(qū)間內(nèi)跟蹤用戶的眼睛注視方向的注視跟蹤裝置。便攜式電子設(shè)備包括耦接到注視跟蹤裝置的處理裝置。處理裝置被構(gòu)造成生成眼睛注視方向的熱點(diǎn)圖。處理裝置被構(gòu)造成生成用戶視場的顯著圖數(shù)據(jù)。處理裝置構(gòu)造成基于熱點(diǎn)圖數(shù)據(jù)和顯著圖數(shù)據(jù)兩者來標(biāo)識(shí)視場中的至少一個(gè)關(guān)注點(diǎn)。

熱點(diǎn)圖數(shù)據(jù)可以提供關(guān)于注視點(diǎn)指向點(diǎn)或區(qū)域的時(shí)間區(qū)間片段的空間分辨信息，點(diǎn)或區(qū)域例如在便攜式電子設(shè)備的顯示器上。

顯著圖數(shù)據(jù)不需要對(duì)于用戶的全視場來生成，而是可以對(duì)于視場的指定部分來生成。為了例示，當(dāng)便攜式電子設(shè)備將顯示器定位在用戶的視場中時(shí)，可以針對(duì)在顯示器上輸出的圖像計(jì)算顯著圖。顯著圖數(shù)據(jù)可以以依賴于空間的方式來定義圖像區(qū)域的顯著性。

處理裝置可以被構(gòu)造成通過分析顏色、指向、邊緣存在或其他標(biāo)準(zhǔn)中的一項(xiàng)或多項(xiàng)來計(jì)算顯著圖，其被應(yīng)用以確定隨著位置變化的顯著性的變化。另選地或附加地，處理裝置可以被構(gòu)造成根據(jù)用戶視場中的圖形元素的已知位置確定顯著圖，例如從在便攜式電子設(shè)備的顯示器上顯示的圖形用戶界面元素、增強(qiáng)現(xiàn)實(shí)元素、或游戲圖形的已知位置。

便攜式電子設(shè)備可以包括被構(gòu)造成捕捉用戶視場的至少一個(gè)圖像的圖像捕捉裝置。該圖像捕捉裝置可以具有布置在便攜式電子設(shè)備的外殼的與用戶相對(duì)面上的孔徑的主攝像頭。該圖像捕捉裝置可以具有布置在便攜式電子設(shè)備的外殼的一面上的孔徑的主攝像頭，所述外殼的一面與布置顯示器的一面相反。

處理裝置可以被構(gòu)造成處理視場的至少一個(gè)圖像以生成顯著圖數(shù)據(jù)。

處理裝置可以被構(gòu)造成基于所標(biāo)識(shí)的至少一個(gè)關(guān)注點(diǎn)來控制圖像捕捉裝置。這允許便攜式電子設(shè)備的攝像頭或視頻攝像頭應(yīng)用由注視方向控制。

處理裝置可以被構(gòu)造成基于所標(biāo)識(shí)的至少一個(gè)關(guān)注點(diǎn)設(shè)置圖像捕捉裝置的焦點(diǎn)。處理裝置可以被構(gòu)造成控制圖像捕捉裝置的至少一個(gè)光學(xué)組件以基于所標(biāo)識(shí)的至少一個(gè)關(guān)注點(diǎn)來設(shè)置焦距。處理裝置可以被構(gòu)造成設(shè)置圖像捕捉裝置的參數(shù)，該參數(shù)從包含焦距、圖像捕捉裝置的圖像傳感器的積分時(shí)間、ISO敏感度的組中選擇。

注視跟蹤裝置可以包括具有比圖像捕捉裝置低的分辨率的圖像傳感器。注視跟蹤裝置可以是或可以包括視頻攝像頭，所述視頻攝像頭布置在便攜式電子設(shè)備上以當(dāng)便攜式電子設(shè)備使用時(shí)朝向用戶。注視跟蹤裝置的圖像傳感器和圖像捕捉裝置可以朝向不相交的立體角區(qū)段。注視跟蹤裝置的圖像傳感器和圖像捕捉裝置可以朝向相反方向。

便攜式電子設(shè)備可以包括被構(gòu)造成輸出圖像捕捉裝置捕捉的至少一個(gè)圖像的光學(xué)輸出裝置。處理裝置可以被構(gòu)造成生成在顯示器上的注視點(diǎn)的熱點(diǎn)圖數(shù)據(jù)。這允許用戶通過注視在光學(xué)輸出裝置上顯示的至少一個(gè)圖像來選擇真實(shí)世界的對(duì)象。光學(xué)輸出裝置可以是顯示器。

處理裝置可以被構(gòu)造成控制光學(xué)輸出裝置以在用戶視場中輸出圖形元素，并且在圖形元素被光學(xué)裝置輸出的坐標(biāo)上生成基于顯著圖的數(shù)據(jù)。

處理裝置可以被構(gòu)造成基于熱點(diǎn)圖數(shù)據(jù)和顯著圖數(shù)據(jù)確定圖形元素中的作為至少一個(gè)關(guān)注點(diǎn)的圖形元素。處理裝置可以被構(gòu)造成響應(yīng)于作為至少一個(gè)關(guān)注點(diǎn)的圖形元素來控制由便攜式電子設(shè)備執(zhí)行的至少一個(gè)應(yīng)用。

圖形元素可以是增強(qiáng)現(xiàn)實(shí)元素。另選地或附加地，圖形元素可以是用戶界面元素。另選地或附加地，圖形元素可以是游戲圖形。

處理裝置可以被構(gòu)造成處理注視跟蹤裝置的輸出以確定注視軌跡并且從注視軌跡生成熱點(diǎn)圖數(shù)據(jù)。處理裝置可以被構(gòu)造成計(jì)算注視軌跡與非常數(shù)函數(shù)的卷積以生成熱點(diǎn)圖數(shù)據(jù)。該非常數(shù)函數(shù)可以是二維高斯函數(shù)或另外的在空域具有與通過注視跟蹤裝置的注視方向確定中的不確定性相對(duì)應(yīng)的寬度的二維函數(shù)。

處理系統(tǒng)可以被構(gòu)造成標(biāo)識(shí)由熱點(diǎn)圖數(shù)據(jù)定義的熱點(diǎn)圖與由顯著圖數(shù)據(jù)定義的顯著圖之間的交疊。處理裝置可以被構(gòu)造成將熱點(diǎn)圖數(shù)據(jù)和顯著圖數(shù)據(jù)相互配準(zhǔn)。處理裝置可以被構(gòu)造成執(zhí)行k近鄰技術(shù)、邏輯回歸技術(shù)、樸素貝葉斯技術(shù)、或另外的技術(shù)中的一項(xiàng)或多項(xiàng)以將熱點(diǎn)圖數(shù)據(jù)與顯著圖數(shù)據(jù)相互配準(zhǔn)。

處理裝置可以被構(gòu)造成通過將熱點(diǎn)圖數(shù)據(jù)與顯著圖數(shù)據(jù)結(jié)合來標(biāo)識(shí)最可能的注視點(diǎn)，并且/或者通過將熱點(diǎn)圖數(shù)據(jù)與顯著圖數(shù)據(jù)結(jié)合來對(duì)多個(gè)關(guān)注點(diǎn)劃定優(yōu)先級(jí)。

便攜式電子設(shè)備可以是手持型通信終端。便攜式電子設(shè)備可以包括被配置用于與蜂窩通信網(wǎng)絡(luò)的通信的無線接口。便攜式電子設(shè)備可以是蜂窩電話、個(gè)人數(shù)字助理、或手持型計(jì)算機(jī)。

便攜式電子設(shè)備可以是頭戴式裝置。便攜式電子設(shè)備可以是頭戴式顯示器。

根據(jù)另一實(shí)施方式，提供了包括根據(jù)實(shí)施方式的便攜式電子設(shè)備和蜂窩通信網(wǎng)絡(luò)的系統(tǒng)，該便攜式電子設(shè)備連接到蜂窩通信網(wǎng)絡(luò)的至少一個(gè)基站。

控制便攜式電子設(shè)備的方法包括在時(shí)間區(qū)間內(nèi)監(jiān)測用戶的眼睛注視方向。生成針對(duì)眼睛注視方向的熱點(diǎn)圖數(shù)據(jù)。生成針對(duì)用戶的視場的顯著圖數(shù)據(jù)?；跓狳c(diǎn)圖數(shù)據(jù)和顯著圖數(shù)據(jù)兩者在視場中標(biāo)識(shí)至少一個(gè)關(guān)注點(diǎn)。依賴于所標(biāo)識(shí)的至少一個(gè)關(guān)注點(diǎn)控制便攜式電子設(shè)備。

便攜式電子設(shè)備可以包括圖像捕捉裝置。可以基于所標(biāo)識(shí)的至少一個(gè)關(guān)注點(diǎn)來控制該圖像捕捉裝置的設(shè)置。

根據(jù)實(shí)施方式的方法的另外的特征和因此分別實(shí)現(xiàn)的效果對(duì)應(yīng)于根據(jù)實(shí)施方式的便攜式電子設(shè)備的特征和效果。

方法可以自動(dòng)地由根據(jù)實(shí)施方式的便攜式電子設(shè)備執(zhí)行。

根據(jù)示例性實(shí)施方式的便攜式電子設(shè)備和控制便攜式電子設(shè)備的方法可以用于控制攝像頭或由通信終端或頭戴式裝置執(zhí)行的視頻攝像頭應(yīng)用，而不限于此。

應(yīng)該理解在不背離本發(fā)明的范圍的情況下，上面提到的特征以及在下面有待說明的特征不僅可以用在所指示的相應(yīng)的組合中，而且可以用在其他組合中或單獨(dú)使用。上面提到的方面和實(shí)施方式的特征可以在其他實(shí)施方式中彼此組合。

附圖說明

本發(fā)明的前述的和額外的特征和優(yōu)點(diǎn)在結(jié)合附圖閱讀時(shí)將從以下的具體實(shí)施方式中顯而易見，其中相同的參考數(shù)字指的是相同的元件。

[圖1]圖1是根據(jù)實(shí)施方式的便攜式電子設(shè)備的正視圖。

[圖2]圖2是圖1的便攜式電子設(shè)備的后視圖。

[圖3]圖3是圖1和圖2的便攜式電子設(shè)備的示意性框圖。

[圖4]圖4是根據(jù)實(shí)施方式的方法的流程圖。

[圖5]圖5是例示了根據(jù)實(shí)施方式的便攜式電子設(shè)備的操作的視圖。

[圖6]圖6例示了由便攜式電子設(shè)備確定的熱點(diǎn)圖。

[圖7]圖7例示了由便攜式電子設(shè)備確定的顯著圖。

[圖8]圖8例示了由便攜式電子設(shè)備確定的眼睛注視方向，熱點(diǎn)圖根據(jù)所述眼睛注視方向計(jì)算。

[圖9]圖9是根據(jù)另一實(shí)施方式的便攜式電子設(shè)備的示意性側(cè)視圖。

[圖10]圖10是例示了當(dāng)圖形元素被生成和輸出時(shí)便攜式電子設(shè)備的用戶的視場的圖。

[圖11]圖11是例示了當(dāng)圖形元素被生成和輸出時(shí)便攜式電子設(shè)備的用戶的視場的圖。

[圖12]圖12是根據(jù)實(shí)施方式的便攜式電子設(shè)備的處理裝置的功能性框圖表示。

具體實(shí)施方式

在下文中將參考附圖詳細(xì)地描述本發(fā)明的實(shí)施方式。應(yīng)該理解下文對(duì)實(shí)施方式的描述并不采取限制性意義。本發(fā)明的范圍不意圖受以下描述的實(shí)施方式或者限于附圖，所述附圖被認(rèn)為只是例示性的。

附圖將被認(rèn)為是示意性表示，并且附圖中例示的元件不一定按比例示出。相反，各種元件被示出從而它們的功能和一般性用途對(duì)于本領(lǐng)域的技術(shù)人員顯而易見。附圖中示出的或在此描述的功能塊、裝置、組件、或者其他物理性或功能性單元之間的任何連接或耦接還可以通過非直接連接或耦接被實(shí)施。功能塊可以被在硬件、固件、軟件或其組合實(shí)現(xiàn)。

除非另外特別注明，否則各種實(shí)施方式的特征可以彼此組合。

便攜式電子設(shè)備和控制便攜式電子設(shè)備的方法將被描述。便攜式電子設(shè)備包括跟蹤便攜式電子設(shè)備的用戶的眼睛注視的注視跟蹤裝置。該注視跟蹤裝置可以是包括圖像傳感器的視頻攝像頭。注視跟蹤裝置可以另選地或附加地包括在紅外光譜范圍內(nèi)敏感的傳感器以使用紅外探測波束來檢測眼睛注視方向。注視跟蹤裝置可以在時(shí)間區(qū)間內(nèi)捕捉多個(gè)時(shí)間順序的圖像幀，其表示用戶的至少一只眼睛的移動(dòng)。例如，便攜式電子設(shè)備可以被構(gòu)造成通過確定在便攜式電子設(shè)備的顯示器上的注視點(diǎn)來確定眼睛注視方向。

便攜式電子設(shè)備被構(gòu)造成將由注視跟蹤裝置捕捉的數(shù)據(jù)與顯著圖數(shù)據(jù)結(jié)合以確定用戶的關(guān)注點(diǎn)。便攜式電子設(shè)備可以通過分析由便攜式電子設(shè)備的圖像捕捉裝置捕捉的圖像和/或從由處理裝置或由另一計(jì)算機(jī)生成的圖形元素的已知位置來計(jì)算顯著圖數(shù)據(jù)。

便攜式電子設(shè)備被構(gòu)造成結(jié)合使用被注視跟蹤裝置捕捉的數(shù)據(jù)和顯著圖數(shù)據(jù)以確定在便攜式電子設(shè)備的顯示器上示出的圖像的哪個(gè)區(qū)域可以是例如用戶的關(guān)注點(diǎn)。便攜式電子設(shè)備可以被構(gòu)造成將熱點(diǎn)圖數(shù)據(jù)與顯著圖數(shù)據(jù)在空域上同步以標(biāo)識(shí)熱點(diǎn)圖數(shù)據(jù)與顯著圖數(shù)據(jù)之間的交疊。便攜式電子設(shè)備可以被構(gòu)造成基于熱點(diǎn)圖數(shù)據(jù)和顯著圖數(shù)據(jù)兩者標(biāo)識(shí)最可能的注視點(diǎn)，和/或基于熱點(diǎn)圖數(shù)據(jù)和顯著圖數(shù)據(jù)兩者對(duì)多個(gè)關(guān)注點(diǎn)劃定優(yōu)先級(jí)。

如將更詳細(xì)地說明的，實(shí)施方式的便攜式電子設(shè)備和方法允許減少對(duì)最可能的注視點(diǎn)的不正確標(biāo)識(shí)的風(fēng)險(xiǎn)，即使當(dāng)注視跟蹤裝置具有低分辨率時(shí)，就如可以是使用指向用戶的視頻攝像頭以檢測注視方向的注視跟蹤裝置的情況。

圖1是便攜式電子設(shè)備1的正視圖，圖2是便攜式電子設(shè)備1的后視圖，并且圖3是便攜式電子設(shè)備1的示意性框圖表示。

便攜式電子設(shè)備1包括被構(gòu)造成朝向用戶的視頻攝像頭的注視跟蹤裝置2、主攝像頭3、以及耦接到注視跟蹤裝置2和主攝像頭3的處理裝置4。該處理裝置4可以是一個(gè)處理器或者可以包括多個(gè)處理器，諸如主處理器15和圖形處理單元16。處理裝置4可以具有其他構(gòu)造并且可以由一個(gè)或幾個(gè)集成電路形成，所述集成電路諸如微處理器、微控制器、處理器、控制器、或?qū)Ｓ眉呻娐贰?/p>

處理裝置4可以執(zhí)行處理和控制操作。處理裝置4可以被構(gòu)造成處理多個(gè)在時(shí)間區(qū)間內(nèi)由注視跟蹤裝置2的圖像傳感器捕捉的圖像。處理裝置4可以從幾個(gè)圖像中計(jì)算熱點(diǎn)圖數(shù)據(jù)。處理裝置4可以計(jì)算熱點(diǎn)圖數(shù)據(jù)從而熱點(diǎn)圖數(shù)據(jù)針對(duì)多個(gè)注視點(diǎn)中的每一個(gè)提供關(guān)于在時(shí)間區(qū)間內(nèi)用戶向該注視點(diǎn)或者向該注視點(diǎn)周圍注視的時(shí)間片段的信息。處理裝置4可以被構(gòu)造成在時(shí)間區(qū)間內(nèi)從用戶的一只眼睛的移動(dòng)中或者從用戶的兩只眼睛的移動(dòng)中確定熱點(diǎn)圖數(shù)據(jù)。

處理裝置4還可以計(jì)算針對(duì)用戶的視場的顯著圖數(shù)據(jù)。可以針對(duì)視場的圖像來計(jì)算顯著圖數(shù)據(jù)，該圖像可以由主攝像頭3捕捉。主攝像頭3和注視跟蹤裝置2可以指向相反方向，從而主攝像頭3可以捕捉與用戶的視場交疊或一致的視場，并且注視跟蹤裝置2可以監(jiān)測用戶的至少一只眼睛的眼睛移動(dòng)。處理裝置4可以控制便攜式電子設(shè)備1的顯示器5以向用戶顯示圖像，針對(duì)所述圖像計(jì)算顯著圖。處理裝置4可以分析由主攝像頭3捕捉的圖像以確定顯著性的空間變化。在圖像處理領(lǐng)域已知的各種處理技術(shù)可以用來確定顯著圖數(shù)據(jù)。為了例示，顯著圖數(shù)據(jù)可以從對(duì)象指向、對(duì)象邊緣指向、顏色、紋理等的空間變化中確定。為了例示，顯著圖數(shù)據(jù)可以基于多尺度對(duì)比度、中心-環(huán)繞直方圖、顏色顯著性檢測、景深等級(jí)、頻譜殘留方法、基于全局對(duì)比度的技術(shù)、情景感知的顯著圖計(jì)算或其他技術(shù)中的任一個(gè)或任何組合由處理裝置4確定。

熱點(diǎn)圖數(shù)據(jù)是針對(duì)用戶花在注視視場中的各種區(qū)域上的時(shí)間片段的表示，所述區(qū)域例如在顯示器5上的不同區(qū)域。顯著圖數(shù)據(jù)提供隨著視場中的位置變化、關(guān)于預(yù)期會(huì)吸引用戶注意的特征位于何處的信息。通過將熱點(diǎn)圖數(shù)據(jù)與顯著圖數(shù)據(jù)結(jié)合，處理裝置4可以標(biāo)識(shí)最可能的注視方向或注視點(diǎn)。另選地或附加地，處理裝置4可以向作為候選關(guān)注點(diǎn)的視場中的多個(gè)區(qū)域中的每一個(gè)分配概率。處理裝置4可以根據(jù)被分配的概率對(duì)候選關(guān)注點(diǎn)劃定優(yōu)先級(jí)。另選地或附加地，通過將熱點(diǎn)圖數(shù)據(jù)和顯著圖數(shù)據(jù)兩者都考慮在內(nèi)，處理裝置4可以標(biāo)識(shí)n個(gè)最可能的用戶注視的關(guān)注點(diǎn)，其中n是大于一的整數(shù)。

處理裝置4可以將顯著圖數(shù)據(jù)和熱點(diǎn)圖數(shù)據(jù)彼此配準(zhǔn)，以使在熱點(diǎn)圖數(shù)據(jù)和顯著圖數(shù)據(jù)的交疊區(qū)域中的顯著圖數(shù)據(jù)的像素與熱點(diǎn)圖數(shù)據(jù)的像素之間具有唯一的對(duì)應(yīng)性。處理裝置4可以使用k近鄰技術(shù)，諸如邏輯回歸的回歸技術(shù)、樸素貝葉斯技術(shù)或其他技術(shù)以將顯著圖數(shù)據(jù)與熱點(diǎn)圖數(shù)據(jù)結(jié)合。

處理裝置4可以使用關(guān)于由便攜式電子設(shè)備1執(zhí)行的應(yīng)用的關(guān)注點(diǎn)的信息。為了例示，可以啟動(dòng)應(yīng)用，該應(yīng)用基于基于熱點(diǎn)圖數(shù)據(jù)和顯著圖數(shù)據(jù)而確立的所標(biāo)識(shí)的關(guān)注點(diǎn)而選擇。另選地或附加地，可以基于根據(jù)熱點(diǎn)圖數(shù)據(jù)和顯著圖數(shù)據(jù)而確立所標(biāo)識(shí)的關(guān)注點(diǎn)來控制在便攜式電子設(shè)備1上執(zhí)行的至少一個(gè)應(yīng)用的設(shè)置。

便攜式電子設(shè)備1可以被配置用于對(duì)攝像頭功能或視頻攝像頭功能的基于注視的控制。便攜式電子設(shè)備1的圖像捕捉裝置3可以包括數(shù)字?jǐn)z像頭的各種組件。圖像捕捉裝置3可以包括光電子元件以將光學(xué)圖像轉(zhuǎn)換為圖像數(shù)據(jù)，例如執(zhí)行圖像采樣的CCD傳感器或CMOS傳感器14。圖像捕捉裝置3可以包括聚焦光學(xué)器件13。聚焦光學(xué)器件13可以是可調(diào)節(jié)的。圖像捕捉裝置3可以包括額外的組件，諸如閃光單元、照明傳感器等。

處理裝置4可以控制圖像捕捉裝置3以捕捉一個(gè)圖像幀或形成視頻的一系列圖像幀。處理裝置4可以基于所標(biāo)識(shí)的關(guān)注點(diǎn)來調(diào)節(jié)圖像捕捉裝置3的設(shè)置，所述關(guān)注點(diǎn)通過將熱點(diǎn)圖數(shù)據(jù)與顯著圖數(shù)據(jù)結(jié)合而確立。處理裝置4可以基于所標(biāo)識(shí)的最可能的用戶注視點(diǎn)來設(shè)置圖像捕捉裝置3的焦距、和/或傳感器14的積分時(shí)間、和/或ISO敏感度設(shè)置。

便攜式電子設(shè)備1可以包括非易失性存儲(chǔ)器6或其他存儲(chǔ)裝置，設(shè)置被存儲(chǔ)在其中用于用戶注視點(diǎn)的不同參數(shù)。為了例示，在標(biāo)識(shí)了最可能的注視點(diǎn)基于熱點(diǎn)圖數(shù)據(jù)和顯著圖數(shù)據(jù)時(shí)，處理裝置4就可以控制測距儀17以確定用戶注視的對(duì)象的距離。處理裝置4可以從存儲(chǔ)在非易失性存儲(chǔ)器6中的數(shù)據(jù)中讀取適當(dāng)?shù)挠糜诳刂茍D像捕捉裝置3的設(shè)置，例如焦距和/或傳感器14的積分時(shí)間。

便攜式電子設(shè)備1可以用作便攜式通信裝置，例如蜂窩式電話、個(gè)人數(shù)字助理等。便攜式電子設(shè)備1可以包括用于語音通信的組件，該組件可以包括麥克風(fēng)21、揚(yáng)聲器22、和用于與無線通信網(wǎng)絡(luò)的通信的無線通信接口7。便攜式電子設(shè)備1可以具有可人工操作的用戶界面。用戶界面可以包括在便攜式電子設(shè)備的外殼10上設(shè)置的功能和控制鍵、和/或顯示器5的觸摸或接近敏感的輸入部分18。

另選地或除了控制由便攜式電子設(shè)備1執(zhí)行的攝像頭或視頻攝像頭應(yīng)用外，處理裝置4還可以被構(gòu)造成基于所標(biāo)識(shí)的用戶的注視方向執(zhí)行任務(wù)。該任務(wù)可以是與在無線通信接口7上的通信相關(guān)聯(lián)的通信有關(guān)的任務(wù)。處理裝置4可以在基于所標(biāo)識(shí)的關(guān)注點(diǎn)執(zhí)行聯(lián)系人列表中的導(dǎo)航任務(wù)。處理裝置4作為所標(biāo)識(shí)的關(guān)注點(diǎn)的功能可以開始呼叫、并且/或者可以調(diào)節(jié)音量、并且/或者可以終止無線通信接口7上的呼叫?？梢砸虼藢?shí)施對(duì)呼叫功能的基于注視的控制。

便攜式電子設(shè)備1的各種組件可以集成在外殼10中。外殼10可以定尺寸為允許便攜式電子設(shè)備1是手持型裝置。

便攜式電子設(shè)備1的操作將參照?qǐng)D4-8和圖10到12更詳細(xì)地描述。

圖4是根據(jù)實(shí)施方式的方法30的流程圖。方法30可以由便攜式電子設(shè)備1執(zhí)行。

在31，注視跟蹤被執(zhí)行以跟蹤用戶的一只眼睛或兩只眼睛的眼睛注視方向。兩只眼睛的眼睛注視方向的匯集點(diǎn)可以被確定。眼睛注視方向可以在時(shí)間區(qū)間內(nèi)被跟蹤，以獲得關(guān)于用戶比其他注視方向頻繁地看的優(yōu)選注視方向的統(tǒng)計(jì)信息。眼睛注視方向可以對(duì)于時(shí)間區(qū)間內(nèi)的被多次記錄。眼睛注視方向可以被注視跟蹤裝置記錄，所述注視跟蹤裝置可以完成便攜式電子設(shè)備中的其他功能。為了例示，注視跟蹤裝置可以是布置在外殼10的同一側(cè)的視頻攝像頭，以在便攜式電子設(shè)備1的操作中指向用戶，如可以是視頻呼叫所期望的。

在32，根據(jù)被注視跟蹤裝置采集到的信息計(jì)算熱點(diǎn)圖數(shù)據(jù)。熱點(diǎn)圖數(shù)據(jù)可以對(duì)于幾個(gè)點(diǎn)或幾個(gè)區(qū)域定義在時(shí)間區(qū)間內(nèi)用戶注視相應(yīng)的點(diǎn)或區(qū)域的時(shí)間片段?？梢杂?jì)算在眼睛注視軌跡上的點(diǎn)和非常數(shù)擴(kuò)散函數(shù)f(x,y)之間的卷積以確定熱點(diǎn)數(shù)據(jù)，其中f(x,y)可以是高斯曲線、洛倫茲函數(shù)、或另外的將注視跟蹤裝置具有有限的分辨率考慮在內(nèi)的非常數(shù)函數(shù)。例如，當(dāng)將由注視跟蹤裝置的分辨率導(dǎo)致的概率擴(kuò)散考慮在內(nèi)時(shí)，可以另選地通過對(duì)于顯示器5上的幾個(gè)像素中的每一個(gè)計(jì)算用戶注視相應(yīng)的像素的時(shí)間片段來計(jì)算熱點(diǎn)圖數(shù)據(jù)。注視跟蹤領(lǐng)域中的各種其他技術(shù)可以用來計(jì)算熱點(diǎn)圖數(shù)據(jù)。

在33，可以確定用戶視場中的特征的顯著性。為了確定顯著性，可以捕捉和分析與用戶視場交疊的圖像。

在34，可以計(jì)算顯著圖數(shù)據(jù)。在注視跟蹤裝置同時(shí)監(jiān)測用戶的注視方向時(shí)，可以針對(duì)由圖像捕捉裝置3捕捉的一個(gè)圖像計(jì)算顯著圖數(shù)據(jù)。顯著圖數(shù)據(jù)可以例如通過多尺度對(duì)比度、中心-環(huán)繞直方圖、顏色顯著性檢測、景深等級(jí)、頻譜殘留方法、基于全局對(duì)比度的技術(shù)、情景感知的顯著圖計(jì)算、或其他技術(shù)中的任一個(gè)或任意組合來計(jì)算。

在35，將熱點(diǎn)圖數(shù)據(jù)和顯著圖數(shù)據(jù)結(jié)合?？梢詷?biāo)識(shí)對(duì)應(yīng)于用戶的注視的最可能的一個(gè)或最可能的幾個(gè)關(guān)注點(diǎn)的一個(gè)或幾個(gè)關(guān)注點(diǎn)。熱點(diǎn)圖數(shù)據(jù)和顯著圖數(shù)據(jù)可以被彼此配準(zhǔn)，以在空域上將它們同步。熱點(diǎn)圖數(shù)據(jù)和顯著圖數(shù)據(jù)可以以多種方式中的任何一種來結(jié)合。為了例示，像素方面的近鄰技術(shù)、回歸分析、樸素貝葉斯、或者其他技術(shù)可以用來確定最可能的注視方向。

在36，可以基于所標(biāo)識(shí)的最可能的注視點(diǎn)或n個(gè)最可能的注視點(diǎn)來控制便攜式電子設(shè)備的至少一個(gè)功能，其中n是整數(shù)。圖像捕捉裝置3的參數(shù)可以基于最可能的注視點(diǎn)自動(dòng)地設(shè)置。另選地或附加地，可以允許用戶選擇n個(gè)最可能的注視點(diǎn)中的一個(gè)?？梢栽诒銛y式電子設(shè)備的輸入裝置18上做出選擇。

圖5示出了當(dāng)攝像頭功能或視頻攝像頭功能被激活時(shí)根據(jù)實(shí)施方式的便攜式電子設(shè)備1。由圖像捕捉裝置3捕捉的圖像可以在顯示器5上被顯示。當(dāng)用戶的注視被引導(dǎo)到顯示器5上和/或用戶的注視被引導(dǎo)到真實(shí)世界場景40上時(shí)，注視跟蹤裝置2可以監(jiān)測用戶的眼睛注視方向，所述真實(shí)世界場景40同樣在顯示器5中被示出。

通過在時(shí)間區(qū)間內(nèi)多次監(jiān)測用戶的注視方向，可以獲得定義了時(shí)間片段的統(tǒng)計(jì)信息，在所述時(shí)間片段內(nèi)用戶注視多個(gè)對(duì)象41-43中的每一個(gè)?？梢砸虼舜_定熱點(diǎn)圖數(shù)據(jù)。

通過分析由圖像捕捉裝置3捕捉并且在顯示器5上示出的圖像，顯著圖數(shù)據(jù)可以被確定。顯著圖數(shù)據(jù)可以表示與它們的周圍事物清楚區(qū)分的表示對(duì)象41-43的區(qū)域。

通過將顯著圖數(shù)據(jù)與熱點(diǎn)圖數(shù)據(jù)結(jié)合，可以提高在確定作為用戶的最可能的注視點(diǎn)的例如對(duì)象41這樣的對(duì)象時(shí)的可靠性。

在標(biāo)識(shí)了最可能的注視點(diǎn)時(shí)，處理裝置4可以控制圖像捕捉裝置3以拍攝圖像，所述圖像將進(jìn)一步地在便攜式電子設(shè)備1中被存儲(chǔ)和/或處理，并且/或者所述圖像將在便攜式電子設(shè)備1的無線通信接口上傳輸。

圖6示出了示例性熱點(diǎn)圖50。熱點(diǎn)圖50可以包括多個(gè)像素，并且熱點(diǎn)圖數(shù)據(jù)可以包括熱點(diǎn)圖50的多個(gè)像素的像素值。例如，由于注視跟蹤裝置的較低的分辨率，熱點(diǎn)圖50的像素?cái)?shù)量可以比被圖像捕捉裝置3捕捉的圖像的像素?cái)?shù)量小。

熱點(diǎn)圖數(shù)據(jù)提供了關(guān)于用戶注視的區(qū)域51-54的信息。在圖6中，用戶在相應(yīng)的區(qū)域中注視的時(shí)間片段通過陰影線之間的間隔來表示。用戶向環(huán)繞對(duì)象41、42并且對(duì)應(yīng)于對(duì)象43的區(qū)域51、52中注視的時(shí)間片段比用戶注視對(duì)應(yīng)于對(duì)象41、42的區(qū)域53、54的時(shí)間片段少。

具體來說當(dāng)注視跟蹤裝置的空間分辨率低時(shí)，單獨(dú)基于熱點(diǎn)圖數(shù)據(jù)的對(duì)關(guān)注點(diǎn)的標(biāo)識(shí)會(huì)具有限制。根據(jù)實(shí)施方式的便攜式電子設(shè)備通過將熱點(diǎn)圖數(shù)據(jù)與顯著圖數(shù)據(jù)結(jié)合解決了這些缺點(diǎn)。

圖7示出了示例性顯著圖60。顯著圖60可以包括多個(gè)像素，并且顯著圖數(shù)據(jù)可以包括顯著圖60的多個(gè)像素的像素值。顯著圖60的像素?cái)?shù)量可以比熱點(diǎn)圖50的像素?cái)?shù)量大。顯著圖60可以具有比熱點(diǎn)圖50高的空間分辨率。

顯著圖數(shù)據(jù)可以提供關(guān)于可能吸引用戶注意的對(duì)象所位于的區(qū)域61-64的信息?？梢酝ㄟ^將被圖像捕捉裝置3捕捉的圖像中示出的特征的對(duì)比度、顏色、景深、和/或邊緣指向中的一個(gè)或幾個(gè)考慮在內(nèi)來標(biāo)識(shí)區(qū)域61-64。為了例示，可以基于多尺度對(duì)比度、中心-環(huán)繞直方圖、顏色顯著性檢測、景深等級(jí)、頻譜殘留方法、基于全局對(duì)比度的技術(shù)、情景感知的顯著圖計(jì)算或其他技術(shù)中的任一個(gè)或任何組合來確定顯著圖數(shù)據(jù)和關(guān)于區(qū)域61-64的信息。

在圖7中，通過陰影線的間隔來表示顯著性，即顯著圖60的像素值。區(qū)域64是顯著圖中具有最高像素值的區(qū)域。

通過將熱點(diǎn)圖數(shù)據(jù)與顯著圖數(shù)據(jù)結(jié)合，較可靠地確定對(duì)應(yīng)于最可能的關(guān)注點(diǎn)的區(qū)域成為可能。還可以可選地提高確定眼睛注視方向的空間分辨率。為了例示，通過使用顯著圖數(shù)據(jù)，標(biāo)識(shí)作為最可能的關(guān)注點(diǎn)的區(qū)域64為可能，即使當(dāng)區(qū)域64具有比注視跟蹤裝置的分辨率小的尺寸時(shí)。

可以以各種方式確定注視方向的熱點(diǎn)圖數(shù)據(jù)。在一些實(shí)現(xiàn)方式中，注視跟蹤裝置可以監(jiān)測注視方向的軌跡。

圖8例示了示例性注視軌跡70。注視軌跡70可以由注視跟蹤裝置2確定?？梢詮淖⒁曑壽E中獲得關(guān)于被引導(dǎo)到顯示器5的中心區(qū)域上的注視方向的可能性的統(tǒng)計(jì)信息。因此，處理裝置可以標(biāo)識(shí)熱點(diǎn)圖數(shù)據(jù)具有比在周圍區(qū)域大的值的區(qū)域71-73。

根據(jù)實(shí)施方式的便攜式電子設(shè)備可以是手持型裝置。如將參照?qǐng)D9說明的，其他實(shí)現(xiàn)方式可以被使用。為了例示，根據(jù)實(shí)施方式的便攜式電子設(shè)備可以是諸如頭戴式顯示器的頭戴式裝置或另外的身穿式裝置。

圖9示出了根據(jù)另一實(shí)施方式的便攜式電子設(shè)備81。便攜式電子設(shè)備81是頭戴式裝置。便攜式電子設(shè)備81包括注視跟蹤裝置2，所述注視跟蹤裝置2可以包括視頻攝像頭。便攜式電子設(shè)備81可以可選地包括圖像捕捉裝置3。圖像捕捉裝置3可以用于捕捉用戶的視場的圖像。例如，處理裝置4可以分析視場的圖像用于將增強(qiáng)現(xiàn)實(shí)對(duì)象覆蓋到真實(shí)視圖上。

便攜式電子設(shè)備81可以包括被構(gòu)造成在表面85上顯示圖形元素的光學(xué)輸出裝置84。表面85可以被構(gòu)造成允許用戶通過表面85觀看真實(shí)世界環(huán)境。另選地或附加地，表面85可以包括被處理裝置4控制的顯示器。

在操作中，處理裝置4可以被構(gòu)造成基于注視跟蹤裝置2的輸出來確定熱點(diǎn)圖數(shù)據(jù)。處理裝置4可以被構(gòu)造成確定顯著圖數(shù)據(jù)。該顯著圖數(shù)據(jù)可以通過處理被圖像捕捉裝置3捕捉的圖像來確定。另選地或附加地，并且如將參照?qǐng)D10和圖11更詳細(xì)地說明的，顯著圖數(shù)據(jù)還可以基于圖形元素向用戶輸出的位置知識(shí)來計(jì)算。

圖10是位于用戶的視場中的、根據(jù)實(shí)施方式的便攜式電子設(shè)備1的顯示器5的、或者根據(jù)實(shí)施方式的便攜式電子設(shè)備81的表面85的圖90。

真實(shí)世界視圖的對(duì)象41-43可以被顯示在用戶的視場中?？梢陨捎脩艚缑嬖?1、92作為所計(jì)算的生成的圖形，并且可以顯示在用戶的視場中。例如，用戶界面元素91、92可以被處理裝置4生成。用戶界面元素91、92的位置對(duì)于處理裝置4是已知的，甚至無需任何圖像分析。處理設(shè)備4可以基于用戶界面元素91、92的位置知識(shí)來計(jì)算顯著圖數(shù)據(jù)。位置可以通過用戶界面元素91、92的坐標(biāo)94-96定義。另選地或附加地，處理裝置4可以基于一個(gè)或幾個(gè)覆蓋到真實(shí)世界圖像上的增強(qiáng)現(xiàn)實(shí)元素93的位置知識(shí)來計(jì)算顯著圖數(shù)據(jù)。處理裝置4可以基于增強(qiáng)現(xiàn)實(shí)元素93的位置知識(shí)來計(jì)算顯著圖數(shù)據(jù)。

對(duì)于控制攝像頭另外地或另選地，處理裝置4可以響應(yīng)于基于熱點(diǎn)圖數(shù)據(jù)和顯著圖數(shù)據(jù)檢測用戶的可能的關(guān)注點(diǎn)來激活其他功能。為了例示，處理裝置4可以響應(yīng)于檢測到用戶注視與基于呼叫的控制功能相關(guān)聯(lián)的用戶界面元素91來執(zhí)行基于呼叫的控制功能。

圖11是位于用戶的視場中的、根據(jù)實(shí)施方式的便攜式電子設(shè)備1的顯示器5的、或者根據(jù)實(shí)施方式的便攜式電子設(shè)備81的表面85的圖100。

如圖11中所示出的，用戶的視場中的圖形元素101、102可以是計(jì)算機(jī)生成的圖形元素，例如游戲圖形。處理裝置4可以根據(jù)圖形元素101、102的已知位置計(jì)算顯著圖數(shù)據(jù)。每個(gè)位置可以分別由坐標(biāo)對(duì)103、104或105、106定義。不需要捕捉用戶視場的真實(shí)世界的圖像以確定顯著圖。位置對(duì)于生成游戲圖形的處理裝置4是已知的。

圖12是根據(jù)實(shí)施方式的處理裝置4的框圖表示110，其示出了處理裝置的功能模塊。功能模塊可以在硬件、軟件、固件或其組合實(shí)現(xiàn)。

處理裝置4可以具有用于評(píng)估注視跟蹤裝置的輸出的注視跟蹤模塊111。注視跟蹤模塊111可以在時(shí)間區(qū)間內(nèi)的多個(gè)次數(shù)計(jì)算和記錄例如在便攜式電子設(shè)備的顯示器上的注視點(diǎn)。

處理裝置4可以具有用于計(jì)算熱點(diǎn)圖數(shù)據(jù)的計(jì)算模塊112。該計(jì)算模塊112可以被構(gòu)造成計(jì)算由注視跟蹤模塊111采集的數(shù)據(jù)的統(tǒng)計(jì)信息。該計(jì)算模塊112可以對(duì)于幾個(gè)注視方向中的每個(gè)分別計(jì)算熱點(diǎn)圖數(shù)據(jù)，該熱點(diǎn)圖數(shù)據(jù)定義用戶看向某一方向或某一點(diǎn)的概率。

處理裝置4可以具有用于分析用戶的視場的圖像的圖像分析模塊113。該圖像分析模塊113可以標(biāo)識(shí)圖像中的一個(gè)或多個(gè)特征。圖像分析模塊113可以執(zhí)行邊緣檢測以檢測例如圖像中的對(duì)象邊緣的指向。

處理裝置4可以具有用于計(jì)算顯著圖數(shù)據(jù)的計(jì)算模塊114。該計(jì)算模塊114可以計(jì)算顯著圖的像素值。

處理裝置4可以具有用于將熱點(diǎn)圖數(shù)據(jù)與顯著圖數(shù)據(jù)結(jié)合的結(jié)合模塊115。結(jié)合模塊115可以被構(gòu)造成基于熱點(diǎn)圖數(shù)據(jù)和顯著圖數(shù)據(jù)確定用戶的最可能的注視點(diǎn)或多個(gè)最可能的注視點(diǎn)。結(jié)合模塊115可以被構(gòu)造成通過利用顯著圖數(shù)據(jù)的空間分辨率以比熱點(diǎn)圖數(shù)據(jù)高的空間分辨率確定最可能的注視點(diǎn)。結(jié)合模塊115可以被構(gòu)造成將熱點(diǎn)圖數(shù)據(jù)與顯著圖數(shù)據(jù)在空域和時(shí)域上同步。

處理裝置4可以具有依賴于關(guān)注點(diǎn)控制便攜式電子設(shè)備1的功能的執(zhí)行或者依賴于關(guān)注點(diǎn)調(diào)節(jié)便攜式電子設(shè)備1的設(shè)置的控制模塊116，所述關(guān)注點(diǎn)是用戶最可能的注視點(diǎn)。

雖然參照附圖描述了便攜式電子設(shè)備和控制便攜式電子設(shè)備的方法，修改和變更可以在其他實(shí)施方式中實(shí)現(xiàn)。為了例示而不是限制，雖然描述了注視跟蹤裝置的示例性實(shí)現(xiàn)方式，其他或額外的傳感器組件也可以被使用。為了例示，可以提供專用傳感器來用于跟蹤眼睛注視方向。專用傳感器可以是檢測紅外光反射以建立眼睛注視方向的紅外傳感器。注視跟蹤裝置可以但并不必須是在可見光譜范圍內(nèi)敏感的傳感器。

為了進(jìn)一步的例示，雖然便攜式電子設(shè)備可以是手持型裝置或頭戴式裝置，便攜式電子設(shè)備也可以具有其他配置。

還是為了進(jìn)一步的例示，便攜式電子設(shè)備的處理裝置的各種配置可以被實(shí)現(xiàn)。處理裝置可以包括多個(gè)處理器，同時(shí)處理器中的一個(gè)是控制光學(xué)輸出單元并且另外執(zhí)行實(shí)施方式的方法的步驟的專用的圖形單元處理器。在其他實(shí)施方式中，處理裝置可以只包含一個(gè)處理器。

便攜式電子設(shè)備的示例可以如在此描述的被配置包括但不限于移動(dòng)電話、無繩電話、個(gè)人數(shù)字助理(PDA)、頭戴式顯示器等。