有形對(duì)象與擴(kuò)增實(shí)境對(duì)象的交互的制作方法
【專利摘要】本發(fā)明揭示用于提供有形對(duì)象與擴(kuò)增實(shí)境對(duì)象的交互的方法、計(jì)算機(jī)程序產(chǎn)品及設(shè)備。在一個(gè)實(shí)施例中，一種適用于具有擴(kuò)增實(shí)境功能的裝置ARD的方法包括：至少部分基于一或多個(gè)對(duì)象的所俘獲圖像執(zhí)行對(duì)所述一或多個(gè)對(duì)象的3維跟蹤；至少部分基于所述所俘獲圖像檢測(cè)所述一或多個(gè)對(duì)象中的至少一個(gè)對(duì)象的狀態(tài)改變；以及響應(yīng)于所述至少一個(gè)對(duì)象的所述狀態(tài)改變而致使擴(kuò)增顯現(xiàn)，其中所述擴(kuò)增的類型至少部分基于所述至少一個(gè)對(duì)象的所述狀態(tài)改變。
【專利說(shuō)明】有形對(duì)象與擴(kuò)増實(shí)境對(duì)象的交互
[0001]相關(guān)申請(qǐng)案的交叉參考
[0002]本申請(qǐng)案主張以下申請(qǐng)案的權(quán)益:2013年3月15日申請(qǐng)且標(biāo)題為“有形對(duì)象與擴(kuò)增實(shí)境對(duì)象的交互0？811(1 八 11 職16111:6(1 1？68111:7 01^6(31:8)，，的第13/844，589號(hào)美國(guó)申請(qǐng)案；2012年7月26日申請(qǐng)且標(biāo)題為“有形對(duì)象與擴(kuò)增實(shí)境對(duì)象的交互0？ 811(1 ^11^1116111:6(1 1？68111:7 01^0(:1^)0^^ 61/676,246號(hào)美國(guó)臨時(shí)申請(qǐng)案；2012年7月26日申請(qǐng)且標(biāo)題為“維持?jǐn)U增的連續(xù)性(14II611111180011^111111^7 0？ ^11^611^^10118) ” 的第 61/676，249 號(hào)美國(guó)臨時(shí)申請(qǐng)案；2012 年 7 月 26 日申請(qǐng)且標(biāo)題為“用于控制擴(kuò)增實(shí)境的方法及設(shè)備(161:110(1 811(1 ￠181-81:118 00111: 1~011111?八11職1611七6(1 ^11^) ”的第61/676，278號(hào)美國(guó)臨時(shí)申請(qǐng)案；2012年7月26日申請(qǐng)且標(biāo)題為“有形對(duì)象與擴(kuò)增實(shí)境對(duì)象的交互0？811(1八11卿6111:6(1 1^6^111:7046(^8) ”的第61/676，255號(hào)美國(guó)臨時(shí)申請(qǐng)案；以及2012年7月26日申請(qǐng)且標(biāo)題為“有形項(xiàng)目對(duì)虛擬空間中的粒子系統(tǒng)擴(kuò)增的影響(1811101316 11:61118 1 ￡^^601: 011 ？81~1:1016878^6111八11職011 111 乂11~1:皿1 3^068) ”的第61/676，274號(hào)美國(guó)臨時(shí)申請(qǐng)案。前述美國(guó)申請(qǐng)案的全文特此以引用的方式并入。

【技術(shù)領(lǐng)域】
[0003]本發(fā)明涉及擴(kuò)增實(shí)境的領(lǐng)域。明確地說(shuō)，本發(fā)明涉及有形對(duì)象與擴(kuò)增實(shí)境對(duì)象的交互。

【背景技術(shù)】
[0004]常規(guī)擴(kuò)增實(shí)境應(yīng)用提供對(duì)現(xiàn)實(shí)世界環(huán)境的實(shí)況觀看，其元素可被計(jì)算機(jī)產(chǎn)生的感覺(jué)輸入(例如視頻、聲音、圖形或⑶3數(shù)據(jù))加以擴(kuò)增。對(duì)于此類應(yīng)用，對(duì)現(xiàn)實(shí)的觀看可通過(guò)計(jì)算裝置修改，且所述應(yīng)用可增強(qiáng)用戶對(duì)現(xiàn)實(shí)的感知且提供關(guān)于用戶環(huán)境的更多信息。舉例來(lái)說(shuō)，經(jīng)擴(kuò)增內(nèi)容可實(shí)時(shí)地且在環(huán)境元素的語(yǔ)義上下文(例如在比賽期間的賽事統(tǒng)計(jì)及概述)中應(yīng)用。隨著例如智能電話等移動(dòng)裝置的激增，關(guān)于用戶的周圍現(xiàn)實(shí)世界的信息可在具有額外擴(kuò)增內(nèi)容的情況下顯示在移動(dòng)裝置上，所述信息例如是關(guān)于具有重疊在現(xiàn)實(shí)世界對(duì)象上的虛擬對(duì)象的環(huán)境的人為信息。
[0005]可通過(guò)識(shí)別有形現(xiàn)實(shí)世界對(duì)象及擴(kuò)增實(shí)境對(duì)象且在其間提供交互而改進(jìn)常規(guī)擴(kuò)增實(shí)境應(yīng)用，此可進(jìn)一步促使用戶參與到其環(huán)境中。此外，可通過(guò)使得用戶能夠通過(guò)用戶定義的接口與有形及虛擬環(huán)境交互而改進(jìn)常規(guī)擴(kuò)增實(shí)境應(yīng)用。因此，需要可改進(jìn)常規(guī)擴(kuò)增實(shí)境應(yīng)用的方法、計(jì)算機(jī)程序產(chǎn)品及具有擴(kuò)增實(shí)境功能的裝置。


【發(fā)明內(nèi)容】

[0006]本發(fā)明涉及有形對(duì)象與擴(kuò)增實(shí)境對(duì)象的交互。根據(jù)本發(fā)明的實(shí)施例，一種適用于具有擴(kuò)增實(shí)境功能的裝置(八即)的方法包括:至少部分基于一或多個(gè)對(duì)象的所俘獲圖像執(zhí)行對(duì)所述一或多個(gè)對(duì)象的3維跟蹤；至少部分基于所述所俘獲圖像檢測(cè)所述一或多個(gè)對(duì)象中的至少一個(gè)對(duì)象的狀態(tài)改變；以及響應(yīng)于所述至少一個(gè)對(duì)象的所述狀態(tài)改變而致使擴(kuò)增顯現(xiàn)，其中所述擴(kuò)增的類型至少部分基于所述至少一個(gè)對(duì)象的所述狀態(tài)改變。所述一或多個(gè)對(duì)象包括多個(gè)對(duì)象。
[0007]執(zhí)行3維跟蹤的方法包括:確定所述多個(gè)對(duì)象相對(duì)于所述八即的相對(duì)姿勢(shì)；以及使用所述多個(gè)對(duì)象的所述相對(duì)姿勢(shì)更新所述多個(gè)對(duì)象的狀態(tài)，其中所述多個(gè)對(duì)象的所述狀態(tài)包含所述多個(gè)對(duì)象的關(guān)系信息。確定相對(duì)姿勢(shì)的方法包括檢測(cè)所述多個(gè)對(duì)象相對(duì)于所述多個(gè)對(duì)象的先前所俘獲圖像的姿勢(shì)。確定相對(duì)姿勢(shì)的方法包括:檢測(cè)圖像中的新對(duì)象；以及更新所述多個(gè)對(duì)象以包含所述新對(duì)象。所述關(guān)系信息包括以下各者中的至少一者:多個(gè)對(duì)象之間在游戲中的關(guān)系、多個(gè)對(duì)象之間在故事中的關(guān)系，及所述多個(gè)對(duì)象之間相對(duì)于背景的關(guān)系。
[0008]檢測(cè)至少一個(gè)對(duì)象的狀態(tài)改變的方法包括以下各者中的至少一者:檢測(cè)所述至少一個(gè)對(duì)象相對(duì)于所述八00的位置改變；檢測(cè)所述至少一個(gè)對(duì)象相對(duì)于所述八00的定向改變；檢測(cè)至少兩個(gè)對(duì)象之間的位置改變；以及檢測(cè)多個(gè)對(duì)象的群集的改變。
[0009]檢測(cè)所述至少一個(gè)對(duì)象相對(duì)于所述八即的所述位置改變的方法包括以下各者中的至少一者:檢測(cè)所述至少一個(gè)對(duì)象已相對(duì)于所述八即平移；檢測(cè)所述至少一個(gè)對(duì)象已到達(dá)距所述八即的第一預(yù)定距離；以及檢測(cè)所述至少一個(gè)對(duì)象已經(jīng)歷相對(duì)于所述八即的第一預(yù)定義示意動(dòng)作運(yùn)動(dòng)。檢測(cè)所述至少一個(gè)對(duì)象相對(duì)于所述八即的所述定向改變的方法包括檢測(cè)所述至少一個(gè)對(duì)象已相對(duì)于所述八即旋轉(zhuǎn)。檢測(cè)至少兩個(gè)對(duì)象之間的所述位置改變的方法包括以下各者中的至少一者:檢測(cè)所述至少兩個(gè)對(duì)象已相對(duì)于彼此移動(dòng)；檢測(cè)所述至少兩個(gè)對(duì)象已到達(dá)距彼此的第二預(yù)定距離；以及檢測(cè)所述至少兩個(gè)對(duì)象中的一者已經(jīng)歷相對(duì)于另一者的第二預(yù)定義示意動(dòng)作運(yùn)動(dòng)。
[0010]根據(jù)本發(fā)明的方面，所述擴(kuò)增的類型包括多個(gè)對(duì)象之間在所述八即的顯示器中的交互。所述擴(kuò)增的類型包括所述至少一個(gè)對(duì)象與所述八即之間在所述八即的顯示器中的交互。所述擴(kuò)增的類型包括對(duì)具有焦點(diǎn)的一或多個(gè)元素的描述，所述焦點(diǎn)至少部分基于所述至少一個(gè)對(duì)象的所述狀態(tài)改變。所述至少一個(gè)對(duì)象的所述狀態(tài)改變包括以下各者中的至少一者:所述八即與所述至少一個(gè)對(duì)象之間的幾何布置關(guān)系的改變，及所述至少一個(gè)對(duì)象與發(fā)射所述所俘獲圖像的相機(jī)的視野中的另一對(duì)象之間的幾何布置關(guān)系的改變。所述狀態(tài)改變包括所述至少一個(gè)對(duì)象的特征的改變。所述至少一個(gè)對(duì)象包括聯(lián)系在一起的多個(gè)子對(duì)象，且其中所述狀態(tài)改變包括所述多個(gè)子對(duì)象中的至少一個(gè)子對(duì)象的改變。
[0011]根據(jù)本發(fā)明的方面，所述擴(kuò)增包括以下各者中的至少一者:至少部分基于來(lái)自所述八即的所述至少一個(gè)對(duì)象的視圖的交互；至少部分基于所述至少一個(gè)對(duì)象與所述八即之間的相對(duì)運(yùn)動(dòng)的交互；至少部分基于所述至少一個(gè)對(duì)象與所述八即之間的距離的交互；至少部分基于來(lái)自所述至少一個(gè)對(duì)象的提示的交互；以及至少部分基于來(lái)自所述至少一個(gè)對(duì)象的示意動(dòng)作的交互。所述擴(kuò)增進(jìn)一步包括以下各者中的至少一者:至少部分基于多個(gè)對(duì)象中的疊加對(duì)象的交互；至少部分基于所述多個(gè)對(duì)象中的并排對(duì)象(0)^6(31:-13681(168-01^6(31:)的交互；至少部分基于所述多個(gè)對(duì)象中的上下對(duì)象(0)^6(31:-21130^6-01^6(31:)的交互；至少部分基于所述多個(gè)對(duì)象中的套疊對(duì)象的交互；以及至少部分基于所述多個(gè)對(duì)象中的前后對(duì)象(0)3^601:-13611111(1-013^601:)的交互。
[0012]檢測(cè)至少一個(gè)對(duì)象的狀態(tài)改變的方法包括以下各者中的至少一者:檢測(cè)所述至少一個(gè)對(duì)象相對(duì)于所述八即的放大；以及檢測(cè)所述至少一個(gè)對(duì)象相對(duì)于所述八即的縮小。所述狀態(tài)改變包括所述至少一個(gè)對(duì)象到所述八即的距離的改變，且其中所述擴(kuò)增包括與所述至少一個(gè)對(duì)象相關(guān)聯(lián)的角色說(shuō)出指示所述距離的詞語(yǔ)；或所述狀態(tài)改變包括所述至少一個(gè)對(duì)象旋轉(zhuǎn)以面向另一對(duì)象，其中所述擴(kuò)增包括與所述至少一個(gè)對(duì)象相關(guān)聯(lián)的角色響應(yīng)于所述至少一個(gè)對(duì)象旋轉(zhuǎn)以面向另一對(duì)象而向與所述另一對(duì)象相關(guān)聯(lián)的角色說(shuō)話。
[0013]根據(jù)本發(fā)明的另一實(shí)施例，一種適用于具有擴(kuò)增實(shí)境功能的裝置(艦))的方法包括:至少部分基于所俘獲圖像執(zhí)行對(duì)一或多個(gè)主要對(duì)象的3維跟蹤，其中所述一或多個(gè)主要對(duì)象中的至少一個(gè)主要對(duì)象包含聯(lián)系在一起以形成所述至少一個(gè)主要對(duì)象的一或多個(gè)子對(duì)象；檢測(cè)所述一或多個(gè)子對(duì)象中的至少一個(gè)子對(duì)象的狀態(tài)改變；以及響應(yīng)于所述至少一個(gè)子對(duì)象的所述狀態(tài)改變而產(chǎn)生用于顯現(xiàn)擴(kuò)增的信息。
[0014]執(zhí)行3維跟蹤的方法包括:確定所述至少一個(gè)子對(duì)象相對(duì)于其對(duì)應(yīng)主要對(duì)象或相對(duì)于所述八即的相對(duì)姿勢(shì)；以及使用所述至少一個(gè)子對(duì)象的所述相對(duì)姿勢(shì)更新所述對(duì)應(yīng)主要對(duì)象的狀態(tài)，其中所述對(duì)應(yīng)主要對(duì)象的所述狀態(tài)包含所述對(duì)應(yīng)主要對(duì)象的關(guān)系信息。
[0015]確定所述至少一個(gè)子對(duì)象的所述相對(duì)姿勢(shì)的方法包括檢測(cè)所俘獲圖像中的所述對(duì)應(yīng)主要對(duì)象相對(duì)于所述對(duì)應(yīng)主要對(duì)象的先前所俘獲圖像的姿勢(shì)。確定所述至少一個(gè)子對(duì)象的所述相對(duì)姿勢(shì)的方法包括檢測(cè)圖像中的新對(duì)象，及更新所述一或多個(gè)主要對(duì)象以包含所述新對(duì)象。所述關(guān)系信息包括以下各者中的至少一者:一或多個(gè)對(duì)象之間在游戲中的關(guān)系、一或多個(gè)主要對(duì)象之間在故事中的關(guān)系，及所述一或多個(gè)主要對(duì)象之間相對(duì)于背景的關(guān)系。
[0016]檢測(cè)所述至少一個(gè)子對(duì)象的狀態(tài)改變的方法包括以下各者中的至少一者:檢測(cè)所述至少一個(gè)子對(duì)象相對(duì)于其對(duì)應(yīng)主要對(duì)象的位置改變，及檢測(cè)所述至少一個(gè)子對(duì)象相對(duì)于其對(duì)應(yīng)主要對(duì)象的定向改變。檢測(cè)所述至少一個(gè)子對(duì)象相對(duì)于其對(duì)應(yīng)主要對(duì)象的位置改變的方法包括以下各者中的至少一者:檢測(cè)所述至少一個(gè)子對(duì)象已相對(duì)于其對(duì)應(yīng)主要對(duì)象平移；檢測(cè)所述至少一個(gè)子對(duì)象已到達(dá)相對(duì)于其對(duì)應(yīng)主要對(duì)象的第一預(yù)定位置；以及檢測(cè)所述至少一個(gè)子對(duì)象已經(jīng)歷相對(duì)于其對(duì)應(yīng)主要對(duì)象的第一預(yù)定義示意動(dòng)作運(yùn)動(dòng)。檢測(cè)所述至少一個(gè)子對(duì)象相對(duì)于其對(duì)應(yīng)主要對(duì)象的定向改變的方法包括檢測(cè)所述至少一個(gè)子對(duì)象已相對(duì)于其對(duì)應(yīng)主要對(duì)象旋轉(zhuǎn)。
[0017]根據(jù)本發(fā)明的方面，所述至少一個(gè)子對(duì)象的所述狀態(tài)改變包括以下各者中的至少一者:所述至少一個(gè)子對(duì)象已移動(dòng)至少一個(gè)自由度；以及所述一或多個(gè)子對(duì)象已獨(dú)立于彼此而移動(dòng)。顯現(xiàn)擴(kuò)增的方法包括在所述八即的顯示器中呈現(xiàn)多個(gè)主要對(duì)象及其對(duì)應(yīng)子對(duì)象之間的交互。顯現(xiàn)擴(kuò)增的方法進(jìn)一步包括在所述八即的顯示器中呈現(xiàn)多個(gè)主要對(duì)象、其對(duì)應(yīng)子對(duì)象與所述八即之間的交互。所述狀態(tài)改變包括將所述至少一個(gè)子對(duì)象添加到其對(duì)應(yīng)主要對(duì)象。所述狀態(tài)改變包括從所述至少一個(gè)子對(duì)象的對(duì)應(yīng)主要對(duì)象移除所述至少一個(gè)子對(duì)象。所述信息是基于所述至少一個(gè)子對(duì)象相對(duì)于其對(duì)應(yīng)主要對(duì)象及不同于所述對(duì)應(yīng)主要對(duì)象的主要對(duì)象的姿勢(shì)而產(chǎn)生。
[0018]所述方法進(jìn)一步包括以下各者中的至少一者:在檢測(cè)到汽車的門(mén)打開(kāi)之后，即刻呈現(xiàn)與進(jìn)入所述汽車有關(guān)的擴(kuò)增；在檢測(cè)到所述汽車的發(fā)動(dòng)機(jī)蓋打開(kāi)之后，即刻呈現(xiàn)與檢查所述汽車的發(fā)動(dòng)機(jī)有關(guān)的擴(kuò)增；在檢測(cè)到所述汽車的發(fā)動(dòng)機(jī)蓋打開(kāi)之后，即刻呈現(xiàn)與修理所述汽車的發(fā)動(dòng)機(jī)有關(guān)的擴(kuò)增；以及在檢測(cè)到所述汽車的行李箱打開(kāi)之后，即刻呈現(xiàn)與裝載所述汽車有關(guān)的擴(kuò)增。
[0019]根據(jù)本發(fā)明的又一實(shí)施例，一種具有擴(kuò)增實(shí)境功能的裝置(艦))包括包含處理邏輯的控制單元；所述處理邏輯包括:經(jīng)配置以至少部分基于一或多個(gè)對(duì)象的所俘獲圖像執(zhí)行對(duì)所述一或多個(gè)對(duì)象的3維跟蹤的邏輯；經(jīng)配置以至少部分基于所述所俘獲圖像檢測(cè)所述一或多個(gè)對(duì)象中的至少一個(gè)對(duì)象的狀態(tài)改變的邏輯；以及經(jīng)配置以響應(yīng)于所述至少一個(gè)對(duì)象的所述狀態(tài)改變而致使擴(kuò)增顯現(xiàn)的邏輯，其中所述擴(kuò)增的類型至少部分基于所述至少一個(gè)對(duì)象的所述狀態(tài)改變。
[0020]根據(jù)本發(fā)明的又一實(shí)施例，一種計(jì)算機(jī)程序產(chǎn)品包括存儲(chǔ)用于由一或多個(gè)計(jì)算機(jī)系統(tǒng)執(zhí)行的指令的非暫時(shí)性媒體；所述指令包括:用于至少部分基于所俘獲圖像執(zhí)行對(duì)一或多個(gè)主要對(duì)象的3維跟蹤的指令，其中所述一或多個(gè)主要對(duì)象中的至少一個(gè)主要對(duì)象包含聯(lián)系在一起以形成所述至少一個(gè)主要對(duì)象的一或多個(gè)子對(duì)象；用于檢測(cè)所述一或多個(gè)子對(duì)象中的至少一個(gè)子對(duì)象的狀態(tài)改變的指令；以及用于響應(yīng)于所述至少一個(gè)子對(duì)象的所述狀態(tài)改變而產(chǎn)生用于顯現(xiàn)擴(kuò)增的信息的指令。
[0021]根據(jù)本發(fā)明的又一實(shí)施例，一種設(shè)備包括:用于至少部分基于一或多個(gè)對(duì)象的所俘獲圖像執(zhí)行對(duì)所述一或多個(gè)對(duì)象的3維跟蹤的裝置；用于至少部分基于所述所俘獲圖像檢測(cè)所述一或多個(gè)對(duì)象中的至少一個(gè)對(duì)象的狀態(tài)改變的裝置；以及用于響應(yīng)于所述至少一個(gè)對(duì)象的所述狀態(tài)改變而致使擴(kuò)增顯現(xiàn)的裝置，其中所述擴(kuò)增的類型至少部分基于所述至少一個(gè)對(duì)象的所述狀態(tài)改變。

【專利附圖】

【附圖說(shuō)明】
[0022]在配合以下圖式閱讀本發(fā)明的實(shí)施例的詳細(xì)描述之后，將可更加清楚地理解本發(fā)明的前述特征和優(yōu)點(diǎn)及其額外特征和優(yōu)點(diǎn)。
[0023]圖1說(shuō)明根據(jù)本發(fā)明的一些方面的具有擴(kuò)增實(shí)境功能的裝置。
[0024]圖2說(shuō)明根據(jù)本發(fā)明的一些方面的示范性具有擴(kuò)增實(shí)境功能的裝置的框圖。
[0025]圖3說(shuō)明根據(jù)本發(fā)明的一些方面的至少部分基于對(duì)象與八即之間的相對(duì)位置而提供交互的方法。
[0026]圖4說(shuō)明根據(jù)本發(fā)明的一些方面的使虛擬角色在交互中采用主焦點(diǎn)的方法。
[0027]圖5說(shuō)明根據(jù)本發(fā)明的一些方面的至少部分基于對(duì)象與八即之間的移動(dòng)而提供交互的又一方法。
[0028]圖6說(shuō)明根據(jù)本發(fā)明的一些方面的至少部分基于事件觸發(fā)擴(kuò)增的方法。
[0029]圖7說(shuō)明根據(jù)本發(fā)明的一些方面的至少部分基于對(duì)象不在焦點(diǎn)中而繼續(xù)提供擴(kuò)增的方法。
[0030]圖8說(shuō)明根據(jù)本發(fā)明的一些方面的至少部分基于從八即對(duì)對(duì)象的觀看而控制交互事件的方法。
[0031]圖9說(shuō)明根據(jù)本發(fā)明的一些方面的至少部分基于另一對(duì)象的添加而提供交互的又一方法。
[0032]圖10說(shuō)明根據(jù)本發(fā)明的一些方面的至少部分基于另一角色的添加而提供交互的又一方法。
[0033]圖11說(shuō)明根據(jù)本發(fā)明的一些方面的至少部分基于恢復(fù)的場(chǎng)景而提供交互的又一方法。
[0034]圖12說(shuō)明根據(jù)本發(fā)明的一些方面的至少部分基于對(duì)象與ARD之間的距離而觸發(fā)交互的方法。
[0035]圖13說(shuō)明根據(jù)本發(fā)明的一些方面的至少部分基于對(duì)象及ARD的移動(dòng)而觸發(fā)交互的方法。
[0036]圖14說(shuō)明根據(jù)本發(fā)明的一些方面的至少部分基于疊加對(duì)象而提供交互的方法。
[0037]圖15說(shuō)明根據(jù)本發(fā)明的一些方面的至少部分基于套疊對(duì)象的相對(duì)定向而提供交互的又一方法。
[0038]圖16說(shuō)明根據(jù)本發(fā)明的一些方面的至少部分基于另一對(duì)象的定向而提供對(duì)象的擴(kuò)增的方法。
[0039]圖17說(shuō)明在一些實(shí)施例中提供有形對(duì)象與擴(kuò)增實(shí)境對(duì)象的交互的流程圖。
[0040]圖18說(shuō)明在一些實(shí)施例中提供有形對(duì)象與擴(kuò)增實(shí)境對(duì)象的交互的另一流程圖。
[0041]圖19A、19B、19C及19D說(shuō)明根據(jù)本發(fā)明的一些方面的用作自動(dòng)家庭控制裝置的ARD的實(shí)例。
[0042]圖20說(shuō)明在一些實(shí)施例中提供有形對(duì)象與擴(kuò)增實(shí)境對(duì)象的交互的又一流程圖。
[0043]貫穿各圖使用相同數(shù)字。

【具體實(shí)施方式】
[0044]揭示有形對(duì)象與擴(kuò)增實(shí)境對(duì)象的交互的實(shí)施例。呈現(xiàn)以下描述以便使得所屬領(lǐng)域的技術(shù)人員能夠制作和使用本發(fā)明。特定實(shí)施例及應(yīng)用的描述是僅作為實(shí)例而提供。所屬領(lǐng)域的技術(shù)人員將容易明白本文所述的實(shí)例的各種修改及組合，且在不脫離本發(fā)明的精神和范圍的情況下，本文中所界定的一般原理可以應(yīng)用于其它實(shí)例和應(yīng)用。因此，本發(fā)明并不希望限于所描述及展示的實(shí)例，而應(yīng)被賦予符合本文揭示的原理和特征的最寬范圍。詞語(yǔ)“示范性”或“實(shí)例”在本文中用于意味著“充當(dāng)實(shí)例、例子或說(shuō)明”。本文中描述為“示范性”或描述為“實(shí)例”的任何方面或?qū)嵤├幢貞?yīng)被解釋為比其它方面或?qū)嵤├齼?yōu)選或有利。
[0045]圖1說(shuō)明根據(jù)本發(fā)明的一些方面的具有擴(kuò)增實(shí)境功能的裝置。如圖1所示，具有擴(kuò)增實(shí)境功能的裝置(ARD) 14包含外殼101、顯示器112、一或多個(gè)揚(yáng)聲器118，及麥克風(fēng)116?？蔀橛|摸屏顯示器的顯示器112可說(shuō)明由相機(jī)108俘獲的圖像或任何其它所要用戶接口信息。當(dāng)然，ARD 14可包含未必與本發(fā)明有關(guān)的額外組件。
[0046]如本文中所使用，ARD裝置指代任何便攜式電子裝置，例如蜂窩式或其它無(wú)線通信裝置、個(gè)人通信系統(tǒng)(PCS)裝置、個(gè)人導(dǎo)航裝置(PND)、個(gè)人信息管理器(PM)、個(gè)人數(shù)字助理(PDA)、膝上型計(jì)算機(jī)或其它合適的移動(dòng)平臺(tái)。移動(dòng)平臺(tái)可能夠接收無(wú)線通信及/或?qū)Ш叫盘?hào)，例如導(dǎo)航定位信號(hào)。術(shù)語(yǔ)ARD還意欲包含例如通過(guò)短程無(wú)線、紅外線、有線連接或其它連接而與個(gè)人導(dǎo)航裝置(PND)通信的裝置，而不管是在所述裝置處還是在PND處發(fā)生衛(wèi)星信號(hào)接收、輔助數(shù)據(jù)接收及/或定位相關(guān)處理。而且，ARD意欲包含所有電子裝置，包含能夠俘獲用于姿勢(shì)跟蹤的圖像以及能夠執(zhí)行擴(kuò)增實(shí)境用戶接口功能的無(wú)線通信裝置、計(jì)算機(jī)、膝上型計(jì)算機(jī)平板計(jì)算機(jī)、智能電話、數(shù)碼相機(jī)等。
[0047]圖2說(shuō)明根據(jù)本發(fā)明的一些方面的示范性具有擴(kuò)增實(shí)境功能的裝置的框圖。ARD14的移動(dòng)平臺(tái)包含用于俘獲環(huán)境的圖像的相機(jī)108，所述圖像可為個(gè)別照片或視頻幀。ARD14的移動(dòng)平臺(tái)還可包含傳感器109，傳感器109可用以提供ARD 14的移動(dòng)平臺(tái)可借以確定其位置及定向(即，姿勢(shì))的數(shù)據(jù)?？膳cARD 14的移動(dòng)平臺(tái)一起使用的傳感器的實(shí)例包含加速度計(jì)、石英傳感器、陀螺儀、用作線性加速度計(jì)的微機(jī)電系統(tǒng)(MEMS)傳感器，以及磁力計(jì)。
[0048]ARD 14的移動(dòng)平臺(tái)還可包含用戶接口 110，所述用戶接口 110包含能夠顯示圖像的顯示器112。用戶接口 110還可包含用戶可借以將信息輸入到ARD 14的移動(dòng)平臺(tái)的小鍵盤(pán)114或其它輸入裝置。如果需要，則可通過(guò)將虛擬小鍵盤(pán)集成到具有觸摸傳感器的顯示器112中而消除小鍵盤(pán)114。用戶接口 110還可包含麥克風(fēng)116及一或多個(gè)揚(yáng)聲器118 (例如，如果移動(dòng)平臺(tái)為蜂窩式電話)。當(dāng)然，ARD 14的移動(dòng)平臺(tái)可包含與本發(fā)明不相關(guān)的其他組件。
[0049]ARD 14的移動(dòng)平臺(tái)進(jìn)一步包含控制單元120，控制單元120可連接到相機(jī)108及傳感器109以及用戶接口 110連同任何其它所要特征且與之通信。控制單元120可由一或多個(gè)處理器122及相關(guān)聯(lián)的存儲(chǔ)器/存儲(chǔ)裝置124提供。控制單元120還可包含軟件126以及硬件128及固件130?？刂茊卧?20包含跟蹤單元132，所述跟蹤單元132經(jīng)配置以跟蹤ARD 14的位置并且跟蹤由ARD 14監(jiān)視的一或多個(gè)對(duì)象的位置。控制單元120可進(jìn)一步包含擴(kuò)增實(shí)境用戶接口單元134，所述擴(kuò)增實(shí)境用戶接口單元134經(jīng)配置以在ARD 14的顯示器112上呈現(xiàn)擴(kuò)增實(shí)境交互。跟蹤單元132及擴(kuò)增實(shí)境用戶接口單元134為了清楚起見(jiàn)而說(shuō)明為與處理器122及/或硬件128分開(kāi)，但可基于軟件126及固件130中的指令而組合及/或?qū)嵤┯谔幚砥?22及/或硬件128中。
[0050]根據(jù)本發(fā)明的方面，可結(jié)合一或多個(gè)有形接口項(xiàng)目來(lái)使用ARD 14。在本文所述的實(shí)例中的許多者中，有形接口項(xiàng)目稱為“對(duì)象”或“玩偶”。然而，還可使用其它類型的有形對(duì)象，且本文所揭示的技術(shù)不限于玩偶。舉例來(lái)說(shuō)，有形接口項(xiàng)目可包含用戶的環(huán)境中的一或多個(gè)項(xiàng)目，例如可在ARD 14的相機(jī)的視野內(nèi)的可樂(lè)罐、咖啡杯、雜志或其它有形項(xiàng)目。
[0051]由ARD 14提供的擴(kuò)增可形成連續(xù)故事路徑。此類連續(xù)故事路徑在本文中可被稱作“場(chǎng)景”。ARD 14的擴(kuò)增邏輯可經(jīng)配置以監(jiān)視用戶的注意力，且如果用戶看起來(lái)對(duì)特定場(chǎng)景失去興趣，則改變場(chǎng)景。下文更詳細(xì)地描述用于與用戶交互及用于定制由ARD 14提供的擴(kuò)增內(nèi)容的技術(shù)。
[0052]根據(jù)本發(fā)明的實(shí)施例，存在通過(guò)將ARD 14及/或?qū)ο笠苿?dòng)到不同相對(duì)位置來(lái)觸發(fā)不同擴(kuò)增的眾多方式。在圖3中所示的實(shí)例中，可通過(guò)朝向有形對(duì)象21(也稱為伯尼(Bernie) 21)移動(dòng)ARD 14來(lái)觸發(fā)擴(kuò)增。經(jīng)擴(kuò)增虛擬角色31 (也稱為經(jīng)擴(kuò)增伯尼31)可響應(yīng)于ARD14移動(dòng)地較接近于有形對(duì)象21而說(shuō)出“接近”(用音頻20表示)。類似地，在另一示范性情境中，可通過(guò)將ARD 14移動(dòng)地遠(yuǎn)離對(duì)象21而觸發(fā)擴(kuò)增。經(jīng)擴(kuò)增虛擬角色31可響應(yīng)于ARD 14從對(duì)象21移遠(yuǎn)而說(shuō)出“遠(yuǎn)”。對(duì)于另一實(shí)例，可通過(guò)將ARD 14從一個(gè)對(duì)象附近移動(dòng)到另一對(duì)象附近而觸發(fā)擴(kuò)增，而無(wú)需縮小且接著放大(或移遠(yuǎn)且接著移近)。經(jīng)擴(kuò)增虛擬角色31可響應(yīng)于ARD 14將對(duì)象置于其顯示器的視野中而揮動(dòng)其手。
[0053]對(duì)于又一實(shí)例，可通過(guò)從先前場(chǎng)景首先移遠(yuǎn)且接著朝向?qū)ο笠苿?dòng)而觸發(fā)擴(kuò)增。類似地，經(jīng)擴(kuò)增虛擬角色31可響應(yīng)于ARD 14朝向?qū)ο?1移動(dòng)而揮動(dòng)其手。在其它方法中，可通過(guò)改變ARD 14與例如對(duì)象21等對(duì)象之間的幾何布置關(guān)系而觸發(fā)各種擴(kuò)增。在又其它方法中，可基于因素的組合來(lái)觸發(fā)各種擴(kuò)增，所述因素例如ARD 14與對(duì)象之間的距離以及ARD 14與對(duì)象21保持相對(duì)于彼此實(shí)質(zhì)上靜止的時(shí)間量。
[0054]在上文展示的實(shí)例中，可促進(jìn)使用ARD的探索?？舍槍?duì)移近對(duì)象或從對(duì)象移遠(yuǎn)而向用戶獎(jiǎng)勵(lì)不同擴(kuò)增。用戶可通過(guò)用單手握持裝置來(lái)執(zhí)行此動(dòng)作，因此使第二只手空閑出來(lái)以保持參與到有形游戲中。
[0055]根據(jù)本發(fā)明的實(shí)施例，擴(kuò)增可響應(yīng)于ARD 14放大對(duì)象21而改變。所述縮放功能可通過(guò)將ARD 14移近對(duì)象21而實(shí)現(xiàn)。所述縮放功能還可通過(guò)將對(duì)象21移近ARD 14而實(shí)現(xiàn)?；蛘撸隹s放功能可通過(guò)對(duì)ARD 14的顯示器中的對(duì)象21的視圖執(zhí)行軟件及/或硬件調(diào)整而實(shí)現(xiàn)。
[0056]在各種實(shí)施方案中，觸發(fā)擴(kuò)增可表示為ARD 14屏幕上的對(duì)象21采用主焦點(diǎn)的擴(kuò)增，例如虛擬角色31旋轉(zhuǎn)以看向ARD 14的方向，如圖4中所示。在另一方法中，擴(kuò)增可改變?yōu)槭固摂M角色31向用戶揮手。在又一方法中，擴(kuò)增可改變?yōu)槭固摂M角色31說(shuō)出“嘿，你好！ ”
[0057]在又其它實(shí)施方案中，可根據(jù)ARD 14與對(duì)象21之間的幾何布置關(guān)系的改變而觸發(fā)事件。舉例來(lái)說(shuō)，當(dāng)ARD 14放大TV時(shí)，視頻可開(kāi)始播放；或當(dāng)ARD 14放大馬桶時(shí)，可彈出鮮花。如圖6的實(shí)例中所示，響應(yīng)于ARD 14放大浴缸，充滿氣泡的經(jīng)擴(kuò)增浴缸32可展示在ARD 14的顯示器上。
[0058]場(chǎng)景可改變，其中未聚焦的對(duì)象的元素受對(duì)象的焦點(diǎn)影響。舉例來(lái)說(shuō)，如果ARD 14在伯尼正與布雷特(Brett)討論的同時(shí)放大伯尼，則可通過(guò)布雷特說(shuō)出“嘿，伯尼，你那里都有誰(shuí)？ ”來(lái)產(chǎn)生與用戶的交互。對(duì)于另一實(shí)例，如果ARD 14放大正在浴缸22中嬉戲的伯尼21，浴缸冒泡的聲音變得較安靜，或來(lái)自經(jīng)擴(kuò)增浴缸32的氣泡33可在經(jīng)擴(kuò)增伯尼31四周浮起，如圖7中所說(shuō)明。對(duì)于又一實(shí)例，可展示背景12的擴(kuò)增(例如地板)。在一些實(shí)施例中，可調(diào)整一或多個(gè)對(duì)象的分辨率。舉例來(lái)說(shuō)，可基于ARD 14相對(duì)于圖畫(huà)的縮放或“位置”來(lái)調(diào)整虛擬圖畫(huà)的分辨率。
[0059]場(chǎng)景可基于交互的若干方面而起始動(dòng)作。舉例來(lái)說(shuō)，經(jīng)擴(kuò)增伯尼31可能說(shuō)出“接近”且用戶可能以移近作為響應(yīng)，則ARD 14可經(jīng)配置以通過(guò)觸發(fā)以下新擴(kuò)增而獎(jiǎng)勵(lì)用戶:使伯尼說(shuō)出“好！”及/或使伯尼響應(yīng)于用戶遵從指令而跳一段舞蹈。
[0060]根據(jù)本發(fā)明的實(shí)施例，擴(kuò)增可響應(yīng)于ARD 14縮小對(duì)象21而改變。還可通過(guò)將ARD14從對(duì)象21移遠(yuǎn)來(lái)實(shí)現(xiàn)縮放功能?；蛘撸赏ㄟ^(guò)在ARD 14上使用縮小功能或通過(guò)將對(duì)象21從ARD 14移遠(yuǎn)來(lái)實(shí)現(xiàn)縮放功能。
[0061]在一個(gè)方法中，所觸發(fā)事件可在ARD 14縮小觸發(fā)對(duì)象(例如如圖8中所示的TV24)之后繼續(xù)。在其它實(shí)施方案中，所觸發(fā)事件可在ARD 14縮小之后不繼續(xù)。舉例來(lái)說(shuō)，TV 24可隨著ARD 14縮小而變暗。在又一方法中，縮小可結(jié)束場(chǎng)景、改變場(chǎng)景或恢復(fù)先前場(chǎng)景。舉例來(lái)說(shuō)，經(jīng)擴(kuò)增伯尼31可停止看向用戶且返回到看電視。在又一方法中，場(chǎng)景可基于交互的若干方面而繼續(xù)。舉例來(lái)說(shuō)，經(jīng)擴(kuò)增伯尼21可說(shuō)出“遠(yuǎn)”，且場(chǎng)景可經(jīng)調(diào)整以展示經(jīng)擴(kuò)增伯尼距ARD 14較遠(yuǎn)。
[0062]在其它實(shí)施方案中，當(dāng)ARD 14從對(duì)一個(gè)對(duì)象的縮放狀態(tài)移動(dòng)到對(duì)另一對(duì)象的縮放狀態(tài)而不首先縮小時(shí)，不同或組合擴(kuò)增可出現(xiàn)。所述移動(dòng)可包含但不限于:I)ARD 14的側(cè)向或旋轉(zhuǎn)移動(dòng)；2) —個(gè)對(duì)象移出緊密接近ARD 14的幀且新對(duì)象移入所述幀中；以及3)新對(duì)象緊密接近ARD 14而引入，而先前對(duì)象仍可在所述幀中。
[0063]不同擴(kuò)增可為場(chǎng)景從先前對(duì)象縮放狀態(tài)的延續(xù)。在如圖9中所示的一個(gè)方法中，在放大TV 24(視頻正在虛擬TV 34中播放)時(shí)，接著將伯尼21引入到幀中(TV 21仍在所述幀中或不在所述幀中)致使虛擬伯尼31通過(guò)說(shuō)出“哦，你在看電視??！我可以與你一起看嗎？ ”而與用戶交互。在如圖10中所示的另一方法中，當(dāng)從放大伯尼21 (其致使虛擬伯尼說(shuō)出“哦，是你啊”)水平移動(dòng)到放大狗25時(shí)，虛擬狗35說(shuō)出“伯尼是對(duì)的，就是你！ ”(20)。
[0064]在又其它實(shí)施方案中，在先前縮小結(jié)束場(chǎng)景而不首先縮放另一對(duì)象的情況下，在縮小之后，ARD 14可回到放大相同對(duì)象。場(chǎng)景可以與第一次不同的擴(kuò)增而恢復(fù)，例如，伯尼可以說(shuō)出“嘿，你又來(lái)了！ ”
[0065]在又其它實(shí)施方案中，場(chǎng)景可不恢復(fù)，而替代地可在以下情形中開(kāi)始新場(chǎng)景，所述情形包含但不限于:1)如果時(shí)間t已過(guò)去(例如，2到5分鐘)；2)如果ARD 14檢測(cè)到新用戶(例如，經(jīng)由皮膚電響應(yīng)簽名)；3)如果ARD 14以某一方式(例如，屏幕向下)放下；或4)如果ARD 14經(jīng)配置以臨時(shí)以縮小模式探索不同地板或不同對(duì)象。注意，新場(chǎng)景可為第一縮放狀態(tài)場(chǎng)景的重復(fù)。對(duì)于又一實(shí)例，新場(chǎng)景可為虛擬角色的新表示，其可向用戶提供新的體驗(yàn)。
[0066]在縮放到另一對(duì)象上或探索不同區(qū)域或?qū)ο笾?，?chǎng)景可恢復(fù)，其中從先前體驗(yàn)添加了故事主線元素。在圖11中所示的實(shí)例中，場(chǎng)景從伯尼21移動(dòng)到在不同房間中的狗25，接著可返回到伯尼21，且虛擬伯尼31可與用戶交互，例如通過(guò)說(shuō)出“哦，你好！我還在洗澡呢。你想與狗一起看電視節(jié)目嗎？”
[0067]在其它實(shí)施方案中，如圖12中所示，擴(kuò)增16可取決于對(duì)象距ARD 14有多近(對(duì)象的相對(duì)大小)而不同。因素可包含但不限于:1)在一定距離處，浴缸的水打漩；2)隨著ARD 14變近，氣泡開(kāi)始出現(xiàn)；以及3)隨著ARD 14變得更近，經(jīng)擴(kuò)增橡膠鴨可彈出。
[0068]根據(jù)本發(fā)明的實(shí)施例，ARD 14可經(jīng)配置以使用目標(biāo)位置狀態(tài)作為擴(kuò)增的觸發(fā)。舉例來(lái)說(shuō)，ARD 14可經(jīng)配置以支持裝置與3D標(biāo)記的2X6度的相對(duì)位置交互。ARD 14可相對(duì)于對(duì)象移動(dòng)到任何位置，且對(duì)象可相對(duì)于ARD 14移動(dòng)到任何地點(diǎn)，或其兩者可相對(duì)于彼此一起移動(dòng)。為促進(jìn)且獎(jiǎng)勵(lì)全范圍的探索及擴(kuò)增，每一位置及/或移動(dòng)可觸發(fā)帶不同擴(kuò)增的交互。注意，可相對(duì)于例如地板等參考背景12對(duì)位置及/或運(yùn)動(dòng)進(jìn)行分類。
[0069]如圖13中所說(shuō)明，ARD 14可相對(duì)于可放置在參考背景12上的對(duì)象移動(dòng)。經(jīng)擴(kuò)增圖像可改變，而被跟蹤的對(duì)象相對(duì)于地板12的相對(duì)位置可不變。地板12可用以確定哪一項(xiàng)目可能正在移動(dòng)，例如ARD 14、對(duì)象或ARD 14與對(duì)象兩者的組合可能在運(yùn)動(dòng)中。舉例來(lái)說(shuō)，對(duì)象可相對(duì)于ARD 14移動(dòng)。對(duì)于另一實(shí)例，對(duì)象可放置在參考地板12上，且在被跟蹤的對(duì)象相對(duì)于地板12的相對(duì)位置改變的同時(shí)，經(jīng)擴(kuò)增圖像可在ARD 14的視圖中改變。
[0070]對(duì)于又一實(shí)例，ARD 14與對(duì)象兩者可相對(duì)于彼此移動(dòng)。在此實(shí)例中，對(duì)象可放置在參考地板12上，且在被跟蹤的對(duì)象相對(duì)于參考地板的相對(duì)位置具有某一改變(可能小于ARD 14所觀測(cè)到的改變)的同時(shí)，經(jīng)擴(kuò)增圖像可在ARD 14的視圖中改變。
[0071]對(duì)于又一實(shí)例，ARD 14與對(duì)象可維持相對(duì)于彼此的位置，但其位置可相對(duì)于地板12改變。舉例來(lái)說(shuō)，對(duì)象及ARD 14可升高，且一起移出玩耍的地板區(qū)域，因此對(duì)象的經(jīng)擴(kuò)增圖像在ARD 14的視圖中可不改變，而被跟蹤的對(duì)象相對(duì)于地板12的相對(duì)位置已改變。注意，可通過(guò)監(jiān)視ARD 14與對(duì)象之間的距離的改變而不跟蹤ARD 14或?qū)ο笫欠褚岩苿?dòng)來(lái)對(duì)其間的相對(duì)位置及/或相對(duì)運(yùn)動(dòng)進(jìn)行分類。根據(jù)本發(fā)明的方面，所述分類中的每一者可觸發(fā)不同擴(kuò)增。
[0072]在一些實(shí)施方案中，如圖14中所示，ARD 14可經(jīng)配置以支持疊加對(duì)象交互。如果對(duì)象放置在另一對(duì)象上，則此動(dòng)作或所得狀態(tài)可觸發(fā)擴(kuò)增。舉例來(lái)說(shuō)，如果ARD 14觀測(cè)到伯尼21放置在馬桶27上，經(jīng)擴(kuò)增伯尼31可說(shuō)出“我休息一下，現(xiàn)在我需要去小便”。此外，將多個(gè)對(duì)象堆疊可觸發(fā)產(chǎn)生新的經(jīng)擴(kuò)增對(duì)象。舉例來(lái)說(shuō)，將伯尼21堆疊在馬桶27上可引起經(jīng)擴(kuò)增伯尼31坐在經(jīng)擴(kuò)增馬桶37上的新組合擴(kuò)增100。對(duì)于另一實(shí)例，堆疊積木以形成汽車的形狀可觸發(fā)汽車的擴(kuò)增。在所述積木可用以產(chǎn)生新形式的情況下，用戶甚至在所述積木可不再處于視圖中之后仍可保持已產(chǎn)生的擴(kuò)增。
[0073]在另一方法中，ARD 14可經(jīng)配置以支持并排對(duì)象交互。緊挨著彼此放置的對(duì)象可觸發(fā)產(chǎn)生新的經(jīng)擴(kuò)增對(duì)象。舉例來(lái)說(shuō)，將積木放置在彼此旁側(cè)可觸發(fā)重疊在其上的經(jīng)擴(kuò)增視頻屏幕。而且，可添加更多積木以使屏幕更大。對(duì)象的相對(duì)定向可觸發(fā)不同擴(kuò)增。舉例來(lái)說(shuō)，使伯尼面向布雷特可觸發(fā)角色向彼此打招呼的擴(kuò)增；而使伯尼在布雷特后面可觸發(fā)在伯尼講話說(shuō)布雷特吃驚的擴(kuò)增。
[0074]在又一方法中，ARD 14可經(jīng)配置以支持上下對(duì)象(object-above-object或object-below-object)交互。當(dāng)對(duì)象放置在另一對(duì)象上方時(shí)，此動(dòng)作可觸發(fā)擴(kuò)增。舉例來(lái)說(shuō)，如果將澆水壺保持在花盆上，其可觸發(fā)花從花盆長(zhǎng)出的擴(kuò)增。對(duì)于另一實(shí)例，如果以在鋼琴上彈奏的曲調(diào)擴(kuò)增所述鋼琴，則用戶可將鋼琴保持在吉他上方以觸發(fā)包含來(lái)自鋼琴及吉他兩者的聲音的歌曲擴(kuò)增。
[0075]在其它實(shí)施方案中，ARD 14可經(jīng)配置以引起通過(guò)動(dòng)作或定向連同位置觸發(fā)的擴(kuò)增。舉例來(lái)說(shuō)，如果以“澆注”運(yùn)動(dòng)將鋼琴傾倒在吉他上，則擴(kuò)增可將曲調(diào)從鋼琴“澆注”到吉他中，使得鋼琴可停止彈奏，而吉他可接過(guò)所述曲調(diào)。注意，可以不同量完成“澆注”。舉例來(lái)說(shuō)，當(dāng)鍵盤(pán)將一拍傾倒在吉他上，且接著傾倒在大號(hào)上時(shí)，這些動(dòng)作可觸發(fā)曲調(diào)中的一些傳遞到每一樂(lè)器的擴(kuò)增。
[0076]在一種方法中，如果所觸發(fā)的擴(kuò)增持續(xù)存在，則可展示以下場(chǎng)景，包含但不限于:I)吉他“傾倒”在共鳴板上，從而觸發(fā)從共鳴板彈奏吉他曲調(diào)的擴(kuò)增；2)用戶接著將ARD的視圖移動(dòng)到鋼琴，且執(zhí)行致使鋼琴演奏新曲調(diào)的動(dòng)作；3)用戶接著將鋼琴移動(dòng)到共鳴板上(移動(dòng)視圖以看到鋼琴及共鳴板)，共鳴板可仍彈奏吉他曲調(diào)；4)鋼琴“傾倒”在共鳴板上，從而觸發(fā)將鋼琴曲調(diào)添加到從共鳴板演奏的吉他曲調(diào)的擴(kuò)增；或5)可用例如鼓、吉他等其它樂(lè)器重復(fù)以上操作，從而在共鳴板上形成復(fù)雜歌曲。
[0077]在另一方法中，擴(kuò)增可持續(xù)存在，從而致使從共鳴板連續(xù)地演奏復(fù)雜曲調(diào)，直到可檢測(cè)以下各者中的一或多者:1)用戶執(zhí)行動(dòng)作以停止所述曲調(diào)，例如搖動(dòng)共鳴板以清除曲調(diào)，或?qū)⒏枨皟A倒”到垃圾箱中，或用戶選擇保存歌曲；2)所有樂(lè)器可能已在ARD14的視圖之外達(dá)預(yù)定時(shí)間周期；或3)應(yīng)用程序被關(guān)閉或ARD 14可能被關(guān)掉。
[0078]在又其它實(shí)施方案中，ARD 14可經(jīng)配置以支持套疊對(duì)象交互。在此實(shí)例中，對(duì)象可部分或完全含于另一對(duì)象中，此可產(chǎn)生可觸發(fā)特定交互的新?tīng)顟B(tài)。在一種情形中，在僅部分套疊狀態(tài)對(duì)象上的部分套疊狀態(tài)可觸發(fā)擴(kuò)增。舉例來(lái)說(shuō)，當(dāng)將伯尼放入浴缸中時(shí)，可觸發(fā)擴(kuò)增以展示伯尼正在洗澡。
[0079]在另一情形中，在多重套疊狀態(tài)對(duì)象上的部分套疊狀態(tài)可觸發(fā)擴(kuò)增。舉例來(lái)說(shuō)，汽車可能足夠大以使伯尼完全處于內(nèi)部，例如經(jīng)由一或多個(gè)車門(mén)進(jìn)入。伯尼進(jìn)入汽車的每一不同階段可表示可觸發(fā)擴(kuò)增的狀態(tài)。對(duì)于另一實(shí)例，伯尼在相對(duì)于汽車側(cè)踏的范圍處(如通過(guò)ARD所觀測(cè))關(guān)閉汽車的打開(kāi)的乘客側(cè)車門(mén)(或開(kāi)口)，因此指示伯尼接近或處于汽車的平面圖中，經(jīng)擴(kuò)增伯尼可說(shuō)出“我要上車了”。對(duì)于又一實(shí)例，伯尼可占據(jù)地板上可鄰近于駕駛員側(cè)車門(mén)(或開(kāi)口)的地板上的位置或與所述位置相同的位置(如由ARD14所觀測(cè))，在所述情形中，經(jīng)擴(kuò)增伯尼可說(shuō)出“我要開(kāi)車了”。
[0080]在又一情形中，在單一或多重進(jìn)入狀態(tài)對(duì)象上的完全進(jìn)入狀態(tài)可觸發(fā)擴(kuò)增。當(dāng)部分關(guān)閉時(shí)，例如當(dāng)伯尼在汽車內(nèi)部時(shí)，可經(jīng)由汽車的車窗看到伯尼，此可觸發(fā)聲音以及汽車發(fā)動(dòng)機(jī)發(fā)動(dòng)的擴(kuò)增，且可通過(guò)虛擬伯尼說(shuō)出“耶，我出發(fā)了 ！”來(lái)執(zhí)行與用戶的交互。當(dāng)完全遮擋時(shí)，例如當(dāng)ARD 14可看到伯尼大半處于汽車中，接著汽車車門(mén)關(guān)閉且看不見(jiàn)伯尼時(shí)，場(chǎng)景流程以伯尼在汽車內(nèi)部的狀態(tài)而繼續(xù)。此可觸發(fā)汽車發(fā)動(dòng)機(jī)發(fā)動(dòng)的聲音，且虛擬伯尼可說(shuō)出“耶，我出發(fā)了 ！”
[0081]在又一情形中，里外對(duì)象狀態(tài)可影響外部對(duì)象的擴(kuò)增。如果已知伯尼處于“車內(nèi)”(汽車內(nèi)部)狀態(tài)，則可觸發(fā)擴(kuò)增以使伯尼駕駛汽車，而能夠或不能夠在現(xiàn)實(shí)世界中觀測(cè)到伯尼在汽車中。在又一情形中，外部對(duì)象可影響里外對(duì)象狀態(tài)的擴(kuò)增。如果已知伯尼處于“車內(nèi)”狀態(tài)，則可觸發(fā)擴(kuò)增以使伯尼戴著鴨舌帽及駕駛手套。當(dāng)伯尼退出車內(nèi)狀態(tài)時(shí)，擴(kuò)增結(jié)束，例如其不再佩戴其帽子。在其它情形中，在車內(nèi)狀態(tài)結(jié)束之后，擴(kuò)增可持續(xù)存在。
[0082]在又一情形中，當(dāng)看到第一對(duì)象在第二對(duì)象中時(shí)，具有遮擋的場(chǎng)景可持續(xù)存在。舉例來(lái)說(shuō)，如果經(jīng)由汽車的車窗看到伯尼，則伯尼被遮擋。如果ARD 14移動(dòng)到汽車上方且無(wú)法經(jīng)由車頂看到伯尼，則場(chǎng)景可以假定伯尼處于汽車中(第一對(duì)象仍在第二對(duì)象中)的狀態(tài)而繼續(xù)，直到I)從某角度觀測(cè)汽車，可觀測(cè)伯尼但伯尼不再在那里；2)看到伯尼退出汽車；3)在其它地方看到伯尼；4)汽車不在ARD 14的視圖中已過(guò)去一定量的時(shí)間；5)已放下ARD 14達(dá)一定量的時(shí)間t2(例如I分鐘)；或6) ARD 14已被放下且已被另一用戶拾起，其可通過(guò)檢查距地板的最大高度偏差或經(jīng)由例如生物識(shí)別檢查因子(例如GSR)、心律、面部辨識(shí)、指紋或其任何組合等方法來(lái)檢測(cè)。注意，當(dāng)看到第一對(duì)象處于進(jìn)入第二對(duì)象中的狀態(tài)時(shí)，具有遮擋的場(chǎng)景可持續(xù)存在，其中第二對(duì)象可完全遮擋第一對(duì)象，例如，伯尼可處于沒(méi)有車窗的汽車中。在又一情形中，可通過(guò)將對(duì)象放置在另一對(duì)象之上而實(shí)現(xiàn)對(duì)象在上狀態(tài)。此狀態(tài)可觸發(fā)與對(duì)象進(jìn)入狀態(tài)相同或不同的擴(kuò)增。舉例來(lái)說(shuō)，對(duì)象可能夠物理地覆蓋另一對(duì)象，例如玩具角色可被置于電話亭中，從而部分或完全地覆蓋所述玩具角色。
[0083]如圖15中所示，對(duì)象之間的相對(duì)定向可觸發(fā)不同擴(kuò)增。在此實(shí)例中，兩個(gè)或兩個(gè)以上對(duì)象可具有相對(duì)于彼此的多個(gè)定向或?qū)?zhǔn)狀態(tài)，且不同定向可觸發(fā)不同擴(kuò)增。舉例來(lái)說(shuō)，當(dāng)伯尼21放置于浴缸22中時(shí)，可展示經(jīng)擴(kuò)增伯尼31正潑濺水且制造氣泡。對(duì)于另一實(shí)例，當(dāng)伯尼21躺在浴缸22中時(shí)，可展示經(jīng)擴(kuò)增伯尼31正在重復(fù)地唱一首歌。
[0084]如圖16中所示，對(duì)象的定向可影響另一對(duì)象的狀態(tài)。在其中對(duì)象影響另一對(duì)象的擴(kuò)增的情況下，第一對(duì)象的定向可確定第二對(duì)象的擴(kuò)增。舉例來(lái)說(shuō)，狗25可放置于電話亭28中，其中狗25可被電話亭28完全遮擋，或其中可經(jīng)由電話亭28的窗口看見(jiàn)狗25。電話亭28可接著在任何方向上轉(zhuǎn)動(dòng)，例如I)電話亭28可相對(duì)于地板12移動(dòng)；2)電話亭28可相對(duì)于ARD 14移動(dòng)；或3) ARD 14可相對(duì)于電話亭28移動(dòng)。
[0085]在另一方法中，電話亭28的定向可影響狗25的擴(kuò)增，使得經(jīng)擴(kuò)增狗35變?yōu)槌?jí)狗、外賣狗或小狗。注意，可經(jīng)由經(jīng)擴(kuò)增電話亭38或其部分看到擴(kuò)增；還可在狗25退出電話亭28之后看到擴(kuò)增；或可在狗25可在電話亭28之內(nèi)及之外兩者時(shí)看到擴(kuò)增。
[0086]在又一方法中，擴(kuò)增可在以下情境中的一或多者中持續(xù)存在，所述情境包含但不限于:a)在狗25處于電話亭28中時(shí)；b)在狗25退出電話亭28時(shí)；c)在狗25處于距電話亭28預(yù)定義距離之內(nèi)時(shí)；d) —時(shí)間周期，其中所述時(shí)間周期是在離開(kāi)電話亭28之后；e)直到狗25重新進(jìn)入電話亭28或去駕駛汽車；f)在擴(kuò)增與額外擴(kuò)增配合的情況下，例如，如果經(jīng)擴(kuò)增超級(jí)狗38可進(jìn)入汽車，則經(jīng)擴(kuò)增超級(jí)狗38還可佩戴駕駛員的帽子及手套；以及g)貫穿整個(gè)擴(kuò)展場(chǎng)景，直到I)狗25不在ARD 14的視圖中已過(guò)去一定量的時(shí)間tl (例如2分鐘);2)已放下ARD 14達(dá)一定量的時(shí)間t2 (例如I分鐘);或3) ARD 14已被放下且已被另一用戶拾起，其可通過(guò)檢查距地板的最大高度偏差或經(jīng)由例如生物識(shí)別檢查因子(例如GSR)、心律、面部辨識(shí)、指紋或其任何組合等方法來(lái)檢測(cè)。
[0087]根據(jù)本發(fā)明的方面，前后對(duì)象(遮擋)交互可觸發(fā)不同擴(kuò)增。一對(duì)象部分地遮擋另一對(duì)象可觸發(fā)動(dòng)作。舉例來(lái)說(shuō)，伯尼21在TV 24后方的場(chǎng)景(S卩，伯尼21可部分地被TV24遮擋)可觸發(fā)經(jīng)擴(kuò)增伯尼31修理TV 34 (未展示)。注意，在一些情況下，可能對(duì)兩個(gè)對(duì)象中的僅一者的擴(kuò)增或?qū)蓚€(gè)對(duì)象兩者的擴(kuò)增或?qū)蓚€(gè)對(duì)象的組合擴(kuò)增存在影響。
[0088]在又一方法中，如在以下實(shí)例中，ARD 14相對(duì)于一或多個(gè)對(duì)象的移動(dòng)可觸發(fā)擴(kuò)增。在機(jī)器人之間的經(jīng)擴(kuò)增搏斗游戲中，如果機(jī)器人中的一者被擊中且損壞，則ARD 14可經(jīng)配置以放大所述機(jī)器人，且接著ARD 14可經(jīng)配置以如同扳手般旋擰以修理所述機(jī)器人?；蛘撸墒褂昧硪粍?dòng)作來(lái)抓住所述機(jī)器人，例如可在觸摸屏上觸摸所述機(jī)器人，接著ARD 14可經(jīng)配置以如同扳手般旋擰以修理所述機(jī)器人。此外，ARD 14可里外平移以為所述機(jī)器人加油；或可將搖動(dòng)運(yùn)動(dòng)應(yīng)用到ARD 14以撤銷一動(dòng)作。
[0089]根據(jù)本發(fā)明的實(shí)施例，對(duì)象可用作對(duì)擴(kuò)增的有形調(diào)整。擴(kuò)增可具有可調(diào)整的若干方面，例如音量、亮度、內(nèi)容，等。在一些實(shí)施方案中，對(duì)象的移動(dòng)可用以如下改變狀態(tài)。在一種方法中，對(duì)象可改變其自身狀態(tài)的一個(gè)方面。舉例來(lái)說(shuō)，ARD的視圖中的收音機(jī)可觸發(fā)播放歌曲的擴(kuò)增；旋轉(zhuǎn)所述收音機(jī)可致使收音機(jī)的音量增大或減小。
[0090]在另一方法中，對(duì)象可改變另一對(duì)象的狀態(tài)的一個(gè)方面，例如旋擰電話亭28可改變狗25的擴(kuò)增，如圖16中所說(shuō)明。舉例來(lái)說(shuō)，將伯尼21放置在TV 24附近可觸發(fā)在經(jīng)擴(kuò)增TV 34上播放視頻的擴(kuò)增；旋轉(zhuǎn)伯尼25可致使TV 24上的頻道被改變。
[0091]在又一方法中，多個(gè)對(duì)象可影響自身的擴(kuò)增或其它對(duì)象的擴(kuò)增。舉例來(lái)說(shuō)，轉(zhuǎn)動(dòng)經(jīng)擴(kuò)增TV 34可致使TV 24的頻道在擴(kuò)增中改變。在其它實(shí)施方案中，轉(zhuǎn)動(dòng)伯尼21可致使音量被調(diào)整，且轉(zhuǎn)動(dòng)另一對(duì)象可致使TV 24的亮度被調(diào)整。
[0092]在又其它實(shí)施方案中，對(duì)象的位置可影響自身的擴(kuò)增或其它對(duì)象的擴(kuò)增。舉例來(lái)說(shuō)，可通過(guò)上下移動(dòng)經(jīng)擴(kuò)增收音機(jī)、向前拉動(dòng)經(jīng)擴(kuò)增收音機(jī)及/或向后推動(dòng)經(jīng)擴(kuò)增收音機(jī)來(lái)控制經(jīng)擴(kuò)增收音機(jī)的音量。可相對(duì)于地板、ARD 14或另一對(duì)象來(lái)觀測(cè)收音機(jī)的位置。
[0093]根據(jù)本發(fā)明的實(shí)施例，對(duì)象的示意動(dòng)作可用作擴(kuò)增的觸發(fā)。對(duì)象可以自然表現(xiàn)的示意動(dòng)作移動(dòng)以觸發(fā)相關(guān)聯(lián)的擴(kuò)增。舉例來(lái)說(shuō)，在花盆上傾斜噴壺可觸發(fā)為花澆水的擴(kuò)增。
[0094]根據(jù)本發(fā)明的一些方面，可實(shí)施以下示范性交互，所述交互包含但不限于:1)經(jīng)擴(kuò)增布雷特可詢問(wèn)伯尼問(wèn)題，其中用戶可使伯尼點(diǎn)頭或搖頭以作為響應(yīng)，從而相應(yīng)地提供經(jīng)擴(kuò)增肯定或否定響應(yīng)；2)在棋盤(pán)上移動(dòng)棋子可觸發(fā)所移動(dòng)棋子與待俘獲的棋子之間的經(jīng)擴(kuò)增巫師搏斗，其中所移動(dòng)的棋子贏得搏斗；3)快速向左或向右移動(dòng)書(shū)本可翻動(dòng)所述書(shū)本的虛擬頁(yè)；以及4)輕觸吉他可設(shè)定經(jīng)擴(kuò)增歌曲的旋律。
[0095]根據(jù)本發(fā)明的實(shí)施例，對(duì)象的示意動(dòng)作可用作場(chǎng)景產(chǎn)生?？纱龠M(jìn)用戶在現(xiàn)實(shí)世界中表現(xiàn)。舉例來(lái)說(shuō)，用戶可以自然表現(xiàn)的示意動(dòng)作移動(dòng)對(duì)象以如下觸發(fā)自動(dòng)產(chǎn)生的場(chǎng)景進(jìn)展，包含但不限于:1)如果用戶使角色點(diǎn)頭，則經(jīng)擴(kuò)增場(chǎng)景反映角色同意；且如果用戶使角色搖頭，則經(jīng)擴(kuò)增場(chǎng)景反映角色可能不同意；2)如果用戶使伯尼向布雷特鞠躬，則經(jīng)擴(kuò)增場(chǎng)景可反映伯尼正向布雷特打招呼；3)如果用戶使狗25上下跳動(dòng)，則經(jīng)擴(kuò)增狗35可變得興奮且保持興奮預(yù)定持續(xù)時(shí)間，從而相應(yīng)地影響場(chǎng)景；以及4)如果用戶使狗25躺下，經(jīng)擴(kuò)增狗35可顯得疲勞；且如果留在那里，則其入睡。其它經(jīng)擴(kuò)增角色可對(duì)狗的動(dòng)作做出響應(yīng)，例如向彼此說(shuō)噓聲。
[0096]根據(jù)本發(fā)明的實(shí)施例，ARD可經(jīng)配置以執(zhí)行環(huán)境狀態(tài)交互。對(duì)象可駐留在由背景(例如地板)建立的經(jīng)擴(kuò)增環(huán)境中。可促進(jìn)用戶探索環(huán)境且與環(huán)境中的元素交互。在以下實(shí)例中，可假定墻壁、門(mén)及窗戶是虛擬的，而非有形元素。在一些實(shí)施方案中，可由用戶操作經(jīng)擴(kuò)增環(huán)境中的虛擬元素，例如可通過(guò)以下操作打開(kāi)關(guān)閉的窗戶:1)將角色移動(dòng)到窗戶附近，2)移動(dòng)角色以面向窗戶，或3)經(jīng)角色提示，例如經(jīng)擴(kuò)增伯尼說(shuō)出“哼，這里好熱。我應(yīng)該打開(kāi)窗戶嗎？ ”此擴(kuò)增可繼之以來(lái)自用戶的輸入，例如使伯尼點(diǎn)頭或搖頭。此外，可根據(jù)ARD 14相對(duì)于窗戶的定向來(lái)操作經(jīng)擴(kuò)增環(huán)境中的虛擬元素。在一個(gè)實(shí)施方案中，向上看向窗戶可觸發(fā)窗戶打開(kāi)，且向下看向繞線器可觸發(fā)窗戶關(guān)閉。
[0097]在一些實(shí)施方案中，將ARD 14移動(dòng)得極接近于虛擬窗戶可觸發(fā)環(huán)境狀態(tài)交互。此夕卜，推動(dòng)ARD 14穿過(guò)虛擬窗戶可致使窗戶打開(kāi)，從而允許ARD 14通過(guò)。此外，可通過(guò)在屏幕上輕觸及/或發(fā)出例如“打開(kāi)窗戶”等話音命令而操作經(jīng)擴(kuò)增環(huán)境中的虛擬元素。
[0098]根據(jù)本發(fā)明的一些方面，圖17、圖18及圖20中描述的功能可由圖2的控制單元120實(shí)施。在一些實(shí)施方案中，所述功能可由處理器122、軟件126、硬件128及固件130或這些框的組合來(lái)執(zhí)行以執(zhí)行上文所描述的ARD的各種功能，包含由跟蹤單元132及擴(kuò)增實(shí)境用戶接口單元134執(zhí)行的功能。圖17說(shuō)明根據(jù)本發(fā)明的一些方面的提供有形對(duì)象與擴(kuò)增實(shí)境對(duì)象的交互的流程圖。在框1702中，控制單元120可經(jīng)配置以至少部分基于一或多個(gè)對(duì)象的所俘獲圖像執(zhí)行一或多個(gè)對(duì)象的3維跟蹤。在框1704中，控制單元120可經(jīng)配置以至少部分基于所俘獲圖像檢測(cè)所述一或多個(gè)對(duì)象中的至少一個(gè)對(duì)象的狀態(tài)改變。在框1706中，控制單元120可經(jīng)配置以響應(yīng)于所述至少一個(gè)對(duì)象的狀態(tài)改變而致使擴(kuò)增顯現(xiàn)，其中擴(kuò)增的類型是至少部分基于所述至少一個(gè)對(duì)象的狀態(tài)改變。注意，所述一或多個(gè)對(duì)象可包含多個(gè)對(duì)象。
[0099]根據(jù)本發(fā)明的實(shí)施例，在框1702中執(zhí)行的方法可進(jìn)一步包含在框1710到1712中執(zhí)行的方法。舉例來(lái)說(shuō)，在框1710中，控制單元120可經(jīng)配置以確定所述多個(gè)對(duì)象相對(duì)于ARD的相對(duì)姿勢(shì)，且使用所述多個(gè)對(duì)象的相對(duì)姿勢(shì)更新所述多個(gè)對(duì)象的狀態(tài)，其中所述多個(gè)對(duì)象的狀態(tài)包含所述多個(gè)對(duì)象的關(guān)系信息。在框1710中執(zhí)行的方法可進(jìn)一步包含在框1730到1732中執(zhí)行的方法。在框1730中，控制單元120檢測(cè)所述多個(gè)對(duì)象相對(duì)于所述多個(gè)對(duì)象的先前所俘獲圖像的姿勢(shì)。在框1732中，控制單元120檢測(cè)圖像中的新對(duì)象，且更新所述多個(gè)對(duì)象以包含所述新對(duì)象。所述關(guān)系信息包括以下各者中的至少一者:多個(gè)對(duì)象之間在游戲中的關(guān)系、多個(gè)對(duì)象之間在故事中的關(guān)系，及所述多個(gè)對(duì)象之間相對(duì)于背景的關(guān)系O
[0100]在框1704中執(zhí)行的方法可進(jìn)一步包含在框1714到1720中執(zhí)行的方法。在框1714中，控制單元120檢測(cè)所述至少一個(gè)對(duì)象相對(duì)于ARD的位置改變。在框1716中，控制單元120檢測(cè)所述至少一個(gè)對(duì)象相對(duì)于ARD的定向改變。在框1718中，控制單元120檢測(cè)至少兩個(gè)對(duì)象之間的位置改變。在框1720中，控制單元120檢測(cè)多個(gè)對(duì)象的群集的改變。
[0101]在框1714中執(zhí)行的方法可進(jìn)一步包含在框1734中執(zhí)行的方法，其中控制單元120:1)檢測(cè)所述至少一個(gè)對(duì)象已相對(duì)于所述ARD平移，2)檢測(cè)所述至少一個(gè)對(duì)象已到達(dá)距所述ARD的第一預(yù)定距離，或3)檢測(cè)所述至少一個(gè)對(duì)象已經(jīng)歷相對(duì)于所述ARD的第一預(yù)定義示意動(dòng)作運(yùn)動(dòng)。在框1716中執(zhí)行的方法可進(jìn)一步包含在框1736中執(zhí)行的方法，其中控制單元120檢測(cè)所述至少一個(gè)對(duì)象已相對(duì)于所述ARD旋轉(zhuǎn)。
[0102]類似地，在框1718中執(zhí)行的方法可進(jìn)一步包含在框1738中執(zhí)行的方法，其中控制單元120:1)檢測(cè)所述至少兩個(gè)對(duì)象已相對(duì)于彼此移動(dòng)，2)檢測(cè)所述至少兩個(gè)對(duì)象已到達(dá)距彼此的第二預(yù)定距離，及3)檢測(cè)所述至少兩個(gè)對(duì)象中的一者已經(jīng)歷相對(duì)于其它者的第二預(yù)定義示意動(dòng)作運(yùn)動(dòng)。
[0103]在框1706中執(zhí)行的方法可進(jìn)一步包含在框1722到1724中執(zhí)行的方法。擴(kuò)增的類型可包括，包含但不限于:1)如框1722中所描述的多個(gè)對(duì)象之間在所述ARD的顯示器中的交互，2)如框1724中所描述的所述至少一個(gè)對(duì)象與所述ARD之間在所述ARD的顯示器中的交互，及3)對(duì)具有焦點(diǎn)的一或多個(gè)元素的描述，所述焦點(diǎn)至少部分基于所述至少一個(gè)對(duì)象的所述狀態(tài)改變。
[0104]所述至少一個(gè)對(duì)象的所述狀態(tài)改變可包括以下各者中的至少一者:所述ARD與所述至少一個(gè)對(duì)象之間的幾何布置關(guān)系的改變，所述至少一個(gè)對(duì)象與發(fā)射所俘獲圖像的相機(jī)的視野中的另一對(duì)象之間的幾何布置關(guān)系的改變，及所述至少一個(gè)對(duì)象的特征的改變。
[0105]根據(jù)本發(fā)明的方面，所述擴(kuò)增包括以下各者中的至少一者:至少部分基于來(lái)自所述ARD的所述至少一個(gè)對(duì)象的視圖的交互；至少部分基于所述框1706中的擴(kuò)增可括以下各者中的至少一者:至少部分基于來(lái)自ARD的所述至少一個(gè)對(duì)象的視圖的交互；至少部分基于所述至少一個(gè)對(duì)象與所述ARD之間的相對(duì)運(yùn)動(dòng)的交互；至少部分基于所述至少一個(gè)對(duì)象與所述ARD之間的距離的交互；至少部分基于來(lái)自所述至少一個(gè)對(duì)象的提示的交互；以及至少部分基于來(lái)自所述至少一個(gè)對(duì)象的示意動(dòng)作的交互。
[0106]框1706中的擴(kuò)增進(jìn)一步包括以下各者中的至少一者:至少部分基于多個(gè)對(duì)象中的疊加對(duì)象的交互；至少部分基于所述多個(gè)對(duì)象中的并排對(duì)象的交互；至少部分基于所述多個(gè)對(duì)象中的上下對(duì)象的交互；至少部分基于所述多個(gè)對(duì)象中的里外對(duì)象的交互；以及至少部分基于所述多個(gè)對(duì)象中的前后對(duì)象的交互。
[0107]檢測(cè)至少一個(gè)對(duì)象的狀態(tài)改變的方法可包括以下各者中的至少一者:檢測(cè)所述至少一個(gè)對(duì)象相對(duì)于所述ARD的放大；以及檢測(cè)所述至少一個(gè)對(duì)象相對(duì)于所述ARD的縮小。
[0108]圖18說(shuō)明根據(jù)本發(fā)明的一些方面的提供有形對(duì)象與擴(kuò)增實(shí)境對(duì)象的交互的另一流程圖。在框1802中，控制單元120可經(jīng)配置以至少部分基于所俘獲圖像執(zhí)行一或多個(gè)主要對(duì)象的3維跟蹤，其中所述一或多個(gè)主要對(duì)象中的至少一個(gè)主要對(duì)象包含聯(lián)系在一起以形成所述至少一個(gè)主要對(duì)象的一或多個(gè)子對(duì)象。在框1804中，控制單元120可經(jīng)配置以檢測(cè)所述一或多個(gè)子對(duì)象中的至少一個(gè)子對(duì)象的狀態(tài)改變。在框1806中，控制單元120可經(jīng)配置以響應(yīng)于所述至少一個(gè)子對(duì)象的所述狀態(tài)改變而產(chǎn)生用于顯現(xiàn)擴(kuò)增的信息。
[0109]根據(jù)本發(fā)明的實(shí)施例，在框1802中執(zhí)行的方法可進(jìn)一步包含在框1810到1812中執(zhí)行的方法。舉例來(lái)說(shuō)，在框1810中，控制單元120確定至少一個(gè)子對(duì)象相對(duì)于其對(duì)應(yīng)主要對(duì)象的相對(duì)姿勢(shì)。在框1812中，控制單元120使用所述至少一個(gè)子對(duì)象的相對(duì)姿勢(shì)更新所述對(duì)應(yīng)主要對(duì)象的狀態(tài)，其中所述對(duì)應(yīng)主要對(duì)象的狀態(tài)包含所述對(duì)應(yīng)主要對(duì)象的關(guān)系信息。在框1810中執(zhí)行的方法可進(jìn)一步包含在框1830到1832中執(zhí)行的方法。在框1830中，控制單元120檢測(cè)所俘獲圖像中的對(duì)應(yīng)主要對(duì)象相對(duì)于所述對(duì)應(yīng)主要對(duì)象的先前所俘獲圖像的姿勢(shì)。在框1832中，控制單元120檢測(cè)圖像中的新對(duì)象，且更新所述一或多個(gè)主要對(duì)象以包含所述新對(duì)象。注意，所述關(guān)系信息包括以下各者中的至少一者，包含但不限于:I) 一或多個(gè)對(duì)象之間在游戲中的關(guān)系，2) —或多個(gè)主要對(duì)象之間在故事中的關(guān)系，及3)所述一或多個(gè)主要對(duì)象之間相對(duì)于背景的關(guān)系。
[0110]在框1804中執(zhí)行的方法可進(jìn)一步包含在框1814到1818中執(zhí)行的方法。在框1814中，控制單元120檢測(cè)所述至少一個(gè)子對(duì)象相對(duì)于其對(duì)應(yīng)主要對(duì)象的位置改變。在框1816中，控制單元120檢測(cè)所述至少一個(gè)子對(duì)象相對(duì)于其對(duì)應(yīng)主要對(duì)象的定向改變。在框1814中執(zhí)行的方法可進(jìn)一步包含在框1834中執(zhí)行的方法。在框1834中，控制單元120檢測(cè)所述至少一個(gè)子對(duì)象已相對(duì)于其對(duì)應(yīng)主要對(duì)象平移，檢測(cè)所述至少一個(gè)子對(duì)象已到達(dá)相對(duì)于其對(duì)應(yīng)主要對(duì)象的第一預(yù)定位置，或檢測(cè)所述至少一個(gè)子對(duì)象已經(jīng)歷相對(duì)于其對(duì)應(yīng)主要對(duì)象的第一預(yù)定義示意動(dòng)作運(yùn)動(dòng)。在框1816中執(zhí)行的方法可進(jìn)一步包含在框1836中執(zhí)行的方法。在框1836中，控制單元120檢測(cè)所述至少一個(gè)子對(duì)象已相對(duì)于其對(duì)應(yīng)主要對(duì)象旋轉(zhuǎn)。
[0111]在框1818中，控制單元120檢測(cè)所述至少一個(gè)子對(duì)象已移動(dòng)至少一個(gè)自由度，或檢測(cè)所述一或多個(gè)子對(duì)象已獨(dú)立于彼此而移動(dòng)。在框1806中執(zhí)行的方法可進(jìn)一步包含在框1820到1822中執(zhí)行的方法。在框1820中，控制單元120在ARD的顯示器中呈現(xiàn)在多個(gè)主要對(duì)象及其對(duì)應(yīng)子對(duì)象之間的交互。在框1820中，控制單元120在ARD的顯示器中呈現(xiàn)多個(gè)主要對(duì)象、其對(duì)應(yīng)子對(duì)象與ARD之間的交互。
[0112]根據(jù)本發(fā)明的一些方面，狀態(tài)改變可包括將所述至少一個(gè)子對(duì)象添加到其對(duì)應(yīng)主要對(duì)象；且所述狀態(tài)改變可進(jìn)一步包括從其對(duì)應(yīng)主要對(duì)象移除所述至少一個(gè)子對(duì)象。可基于至少一個(gè)子對(duì)象相對(duì)于其對(duì)應(yīng)主要對(duì)象的姿勢(shì)以及不同于所述對(duì)應(yīng)主要對(duì)象的主要對(duì)象來(lái)產(chǎn)生框1806的信息。所述方法進(jìn)一步包括以下各者中的至少一者:在檢測(cè)到汽車的門(mén)打開(kāi)之后，即刻呈現(xiàn)與進(jìn)入所述汽車有關(guān)的擴(kuò)增；在檢測(cè)到所述汽車的在框1806中執(zhí)行的方法可進(jìn)一步包含但不限于:1)在檢測(cè)到汽車的車門(mén)打開(kāi)之后，即刻呈現(xiàn)與進(jìn)入所述汽車有關(guān)的擴(kuò)增；2)在檢測(cè)到所述汽車的發(fā)動(dòng)機(jī)蓋打開(kāi)之后，即刻呈現(xiàn)與檢查所述汽車的發(fā)動(dòng)機(jī)有關(guān)的擴(kuò)增；3)在檢測(cè)到所述汽車的發(fā)動(dòng)機(jī)蓋打開(kāi)之后，即刻呈現(xiàn)與修理所述汽車的發(fā)動(dòng)機(jī)有關(guān)的擴(kuò)增；以及4)在檢測(cè)到所述汽車的行李箱打開(kāi)之后，即刻呈現(xiàn)與裝載所述汽車有關(guān)的擴(kuò)增。
[0113]圖20說(shuō)明根據(jù)本發(fā)明的一些方面的提供有形對(duì)象與擴(kuò)增實(shí)境對(duì)象的交互的又一流程圖。在框2002中，控制單元120可經(jīng)配置以接收至少一個(gè)對(duì)象的選擇。在框2004中，控制單元120可經(jīng)配置以在由相機(jī)俘獲的多個(gè)圖像中跟蹤至少一個(gè)對(duì)象。在框2006中，控制單元120可經(jīng)配置以至少部分基于所述跟蹤而致使控制信號(hào)經(jīng)由機(jī)器接口從裝置發(fā)射到現(xiàn)實(shí)對(duì)象。
[0114]在框2004中執(zhí)行的方法可進(jìn)一步包含在框2010到2014中執(zhí)行的方法。在框2010中，控制單元120確定所述至少一個(gè)對(duì)象相對(duì)于裝置的相對(duì)姿勢(shì)。在框2012中，控制單元120使用所述相對(duì)姿勢(shì)更新所述至少一個(gè)對(duì)象的狀態(tài)?？刂茊卧?20在框2014中放大以獲得所述至少一個(gè)對(duì)象的特寫(xiě)圖，且在框2032中將所述至少一個(gè)對(duì)象置于所述裝置的中心屏幕。在框2010中執(zhí)行的方法可進(jìn)一步包含在框2030中執(zhí)行的方法。在框2030中，控制單元120檢測(cè)所述至少一個(gè)對(duì)象相對(duì)于所述至少一個(gè)對(duì)象的先前所俘獲圖像的相對(duì)姿勢(shì)。
[0115]在框2006中執(zhí)行的方法可進(jìn)一步包含在框2016到2020中執(zhí)行的方法。在框2016中，控制單元120顯現(xiàn)用于所述至少一個(gè)對(duì)象的控制機(jī)構(gòu)的擴(kuò)增；且在框2018中，控制單元120在裝置的顯示器上提供用戶定義的控制機(jī)構(gòu)。在框2020中，控制單元120使用裝置的動(dòng)作來(lái)模擬控制機(jī)構(gòu)的操作。
[0116]注意，框2006的機(jī)器接口可包含但不限于藍(lán)牙、W1-Fi及IR。所述多個(gè)圖像中的至少一個(gè)圖像顯示在裝置的觸摸屏上，且其中接收至少一個(gè)對(duì)象的選擇可包括接收關(guān)于觸摸屏上的用戶輸入的信息。
[0117]在一個(gè)示范性應(yīng)用中，控制單元120可經(jīng)配置以在裝置的視圖中跟蹤收音機(jī)，提供由收音機(jī)播放歌曲的擴(kuò)增，且基于確定收音機(jī)已旋轉(zhuǎn)而調(diào)整歌曲的音量。在另一示范性應(yīng)用中，控制單元120可經(jīng)配置以在裝置的視圖中跟蹤電視，確定對(duì)象已被放置在電視附近，且基于所放置的對(duì)象觸發(fā)在電視上播放視頻的擴(kuò)增。在又一示范性應(yīng)用中，控制單元120可經(jīng)配置以跟蹤便利貼，所述便利貼展示剩余電視節(jié)目，且引起數(shù)字錄像機(jī)的記錄設(shè)定的改變以記錄所述電視節(jié)目。
[0118]圖19A、19B、19C及19D說(shuō)明用作自動(dòng)家庭控制裝置的具有擴(kuò)增實(shí)境功能的裝置的實(shí)例。在圖19A、19B、19C及19D中所說(shuō)明的實(shí)例中，說(shuō)明家用項(xiàng)目29(可樂(lè)罐)及家用項(xiàng)目12 (雜志)，且在ARD 14上提供用于家用項(xiàng)目29及12的經(jīng)擴(kuò)增對(duì)象34。還可使用其它類型的家用對(duì)象或其它類型的對(duì)象。
[0119]在一些實(shí)施方案中，經(jīng)擴(kuò)增對(duì)象34可完全覆蓋與經(jīng)擴(kuò)增對(duì)象34相關(guān)聯(lián)的有形對(duì)象(也可被稱作現(xiàn)實(shí)世界對(duì)象或現(xiàn)實(shí)對(duì)象)。在其它實(shí)施方案中，經(jīng)擴(kuò)增對(duì)象34可僅覆蓋有形項(xiàng)目的部分。舉例來(lái)說(shuō)，可看到有形項(xiàng)目被經(jīng)擴(kuò)增對(duì)象34的一部分覆蓋，或可對(duì)有形項(xiàng)目進(jìn)行濾波以提供更微妙的外觀。可應(yīng)用的濾波器類型的一些實(shí)例為用以相對(duì)于場(chǎng)景的其余項(xiàng)目減小有形項(xiàng)目的亮度、對(duì)比度及/或飽和度的濾波器。在一些實(shí)施方案中，環(huán)境擴(kuò)增可用以覆蓋所有或一些有形項(xiàng)目，即使擴(kuò)增內(nèi)容可能小于項(xiàng)目的圖像。舉例來(lái)說(shuō)，在圖19A中所說(shuō)明的實(shí)例中，擴(kuò)增內(nèi)容16覆蓋有形項(xiàng)目:雜志12。擴(kuò)增內(nèi)容16可能小于可樂(lè)罐29，但環(huán)境擴(kuò)增已在ARD 14所顯示的擴(kuò)增內(nèi)容中減小可樂(lè)罐的對(duì)比度及飽和度。
[0120]在一些實(shí)施方案中，例如在圖19A、19B、19C及19D中所說(shuō)明的實(shí)例中，針對(duì)有形項(xiàng)目提供的擴(kuò)增內(nèi)容可為與有形項(xiàng)目類型不同的對(duì)象。舉例來(lái)說(shuō)，圖19A、19B、19C及19D中的可樂(lè)罐29已被看起來(lái)像電視機(jī)的經(jīng)擴(kuò)增對(duì)象34替換?？墒褂闷渌愋偷谋硎?。擴(kuò)增內(nèi)容與有形項(xiàng)目的關(guān)聯(lián)可為:(I)持久性的——持續(xù)跨越多個(gè)AR會(huì)話，直到有形項(xiàng)目與擴(kuò)增內(nèi)容之間的關(guān)聯(lián)被重新指派；(2)粘性的一一持續(xù)使用會(huì)話的持續(xù)時(shí)間(例如，只要應(yīng)用程序接通)；或(3)寬松的，僅持續(xù)“場(chǎng)景”的持續(xù)時(shí)間。
[0121]根據(jù)本發(fā)明的方面，可與ARD 14結(jié)合使用的某些對(duì)象可具有與其相關(guān)聯(lián)的擬人化方面，例如一或多個(gè)面部特征(例如，眼睛、口部或耳朵)或其它特征(例如，動(dòng)畫(huà)式移動(dòng))。ARD 14的擴(kuò)增邏輯可經(jīng)配置以提供與使用這些擬人化方面來(lái)與裝置的用戶通信相關(guān)聯(lián)的擴(kuò)增內(nèi)容。舉例來(lái)說(shuō)，玩具的經(jīng)擴(kuò)增表示可制作成動(dòng)畫(huà)以展現(xiàn)感情，在場(chǎng)景中四處移動(dòng)，唱歌，講話，且展示對(duì)用戶的關(guān)注(或“聽(tīng)取”)。
[0122]對(duì)象可駐留在目標(biāo)參考背景上。舉例來(lái)說(shuō)，玩具可駐留在地板、桌面、游戲墊或其它表面上。ARD 14可經(jīng)配置以跟蹤參考地板與一或多個(gè)玩偶。ARD 14可視情況在ARD14所提供的AR視圖中將背景擴(kuò)增上覆在現(xiàn)實(shí)世界的地板及其它部分上。圖19A、19B、19C及19D說(shuō)明一實(shí)例，其中項(xiàng)目可樂(lè)罐29駐留在例如雜志等目標(biāo)參考背景12上，目標(biāo)參考背景12可充當(dāng)用于顯示在ARD 14上的經(jīng)擴(kuò)增內(nèi)容的參考平面。例如桌面、書(shū)本、紙張、墻壁或其它項(xiàng)目等其它目標(biāo)參考背景也可充當(dāng)參考平面。在ARD 14所提供的擴(kuò)增內(nèi)容中包含參考平面可為任選的。
[0123]圖20說(shuō)明根據(jù)本發(fā)明的一些方面的提供有形對(duì)象與擴(kuò)增實(shí)境對(duì)象的交互的又一流程圖。在框2002中，控制單元120可經(jīng)配置以接收至少一個(gè)對(duì)象的選擇。在框2004中，控制單元120可經(jīng)配置以在由相機(jī)俘獲的多個(gè)圖像中跟蹤至少一個(gè)對(duì)象。在框2006中，控制單元120可經(jīng)配置以至少部分基于所述跟蹤而致使控制信號(hào)經(jīng)由機(jī)器接口從裝置發(fā)射到現(xiàn)實(shí)對(duì)象。
[0124]在框2004中執(zhí)行的方法可進(jìn)一步包含在框2010到2014中執(zhí)行的方法。在框2010中，控制單元120確定所述至少一個(gè)對(duì)象相對(duì)于裝置的相對(duì)姿勢(shì)。在框2012中，控制單元120使用所述相對(duì)姿勢(shì)更新所述至少一個(gè)對(duì)象的狀態(tài)?？刂茊卧?20在框2014中放大以獲得所述至少一個(gè)對(duì)象的特寫(xiě)圖，且在框2032中將所述至少一個(gè)對(duì)象置于所述裝置的中心屏幕。在框2010中執(zhí)行的方法可進(jìn)一步包含在框2030中執(zhí)行的方法。在框2030中，控制單元120檢測(cè)所述至少一個(gè)對(duì)象相對(duì)于所述至少一個(gè)對(duì)象的先前所俘獲圖像的相對(duì)姿勢(shì)。
[0125]在框2006中執(zhí)行的方法可進(jìn)一步包含在框2016到2020中執(zhí)行的方法。在框2016中，控制單元120顯現(xiàn)用于所述至少一個(gè)對(duì)象的控制機(jī)構(gòu)的擴(kuò)增；且在框2018中，控制單元120在裝置的顯示器上提供用戶定義的控制機(jī)構(gòu)。在框2020中，控制單元120使用裝置的動(dòng)作來(lái)模擬控制機(jī)構(gòu)的操作。
[0126]注意，框2006的機(jī)器接口可包含但不限于藍(lán)牙、W1-Fi及IR。所述多個(gè)圖像中的至少一個(gè)圖像顯示在裝置的觸摸屏上，且其中接收至少一個(gè)對(duì)象的選擇可包括接收關(guān)于觸摸屏上的用戶輸入的信息。
[0127]根據(jù)本發(fā)明的方面，可使用數(shù)種技術(shù)執(zhí)行識(shí)別及跟蹤圖像幀中的特征。在一種方法中，可通過(guò)檢查每一 2乘2梯度矩陣的最小特征值來(lái)執(zhí)行識(shí)別特征的方法。接著，使用最小化兩個(gè)窗之間的差異的牛頓-拉普森方法(Newton-Raphson method)來(lái)跟蹤特征。多分辨率跟蹤方法允許圖像之間的相對(duì)較大位移。注意，在從一個(gè)幀到下一幀跟蹤特征期間，錯(cuò)誤可能累積。為檢測(cè)潛在不良的特征，移動(dòng)裝置可經(jīng)配置以監(jiān)視在當(dāng)前幀中圍繞所述特征的窗中的圖像信號(hào)是否仍類似于在前一幀中圍繞所述特征的圖像信號(hào)。因?yàn)榭稍谠S多幀上跟蹤特征，因此圖像內(nèi)容可能變形。為解決此問(wèn)題，可用相似度或仿射映射來(lái)執(zhí)行一致性檢查。
[0128]根據(jù)本發(fā)明的方面，為識(shí)別圖像中的對(duì)象，可提取所述對(duì)象上的若干點(diǎn)以提供所述對(duì)象的特征描述(也稱為關(guān)鍵點(diǎn)、特征點(diǎn)或簡(jiǎn)稱為特征)。當(dāng)嘗試在含有許多其它對(duì)象的測(cè)試圖像中定位所述對(duì)象時(shí)，可接著使用從訓(xùn)練圖像提取的此描述來(lái)識(shí)別所述對(duì)象。為執(zhí)行可靠辨識(shí)，甚至在圖像縮放、噪聲及照明改變下仍可檢測(cè)從訓(xùn)練圖像提取的特征。此類點(diǎn)通常位于圖像的高對(duì)比度區(qū)域，例如對(duì)象邊緣上。
[0129]這些特征的另一特性為其間的在原始場(chǎng)景中的相對(duì)位置可不從一個(gè)圖像到另一圖像而改變。舉例來(lái)說(shuō)，如果僅將車門(mén)的四個(gè)拐角用作特征，則其可有效而不管車門(mén)的位置如何；但如果使用幀中的若干點(diǎn)，則如果車門(mén)打開(kāi)或關(guān)閉，辨識(shí)可能失敗。類似地，如果在所處理的組中的兩個(gè)圖像之間發(fā)生其內(nèi)部幾何布置的任何改變，則位于鉸接或柔性對(duì)象中的特征通?？赡軣o(wú)效。在一些實(shí)施方案中，SIFT檢測(cè)且使用來(lái)自圖像的大量特征，其可減少由所有特征匹配錯(cuò)誤的平均錯(cuò)誤的局部變化引起的錯(cuò)誤的貢獻(xiàn)。因此，所揭示方法可識(shí)別甚至處于雜物中且部分被遮擋的對(duì)象；因?yàn)镾IFT特征描述符對(duì)于均勻縮放、定向可不變，且對(duì)于仿射失真及照明改變部分地不變。
[0130]舉例來(lái)說(shuō)，可首先從一組參考圖像提取對(duì)象的關(guān)鍵點(diǎn)且將其存儲(chǔ)于數(shù)據(jù)庫(kù)中。通過(guò)比較來(lái)自新圖像的每一特征與此數(shù)據(jù)庫(kù)且基于其特征向量的歐幾里得距離找出候選匹配特征來(lái)在新圖像中辨識(shí)對(duì)象。從整組匹配，可識(shí)別在對(duì)象及其在新圖像中的地點(diǎn)、縮放及定向上一致的關(guān)鍵點(diǎn)的子組以濾出良好匹配?？赏ㄟ^(guò)使用一般化的霍夫(Hough)變換的雜湊表實(shí)施方案來(lái)執(zhí)行一致群集的確定。在對(duì)象及其姿勢(shì)上一致的3個(gè)或3個(gè)以上特征的每一群集可接著經(jīng)受進(jìn)一步詳述的模型驗(yàn)證，且隨后可舍棄離群值?？山又跀M合準(zhǔn)確度及可能的錯(cuò)誤匹配的數(shù)目來(lái)計(jì)算一組特定特征指示存在對(duì)象的概率。通過(guò)測(cè)試的對(duì)象匹配可以高置信度識(shí)別為正確的。
[0131]根據(jù)本發(fā)明的方面，圖像特征產(chǎn)生將圖像變換成大的特征向量集合，所述特征向量中的每一者對(duì)于圖像平移、縮放及旋轉(zhuǎn)可為不變的，且對(duì)于照明改變?yōu)椴蛔兊牟⑶覍?duì)于局部幾何失真是穩(wěn)健的。這些特征與靈長(zhǎng)類動(dòng)物視覺(jué)中用于對(duì)象辨識(shí)的下顳葉皮層中的神經(jīng)元具有類似特性。關(guān)鍵地點(diǎn)可被定義為在尺度空間(scale space)中應(yīng)用于一系列經(jīng)平滑化且重新取樣的圖像的高斯功能的差異結(jié)果的最大值及最小值?？缮釛壍蛯?duì)比度候選點(diǎn)及沿著邊緣的邊緣響應(yīng)點(diǎn)。優(yōu)勢(shì)定向指派給局部化的關(guān)鍵點(diǎn)。此方法確保關(guān)鍵點(diǎn)對(duì)于匹配及辨識(shí)更為穩(wěn)定。可接著通過(guò)考慮圍繞所述關(guān)鍵地點(diǎn)的半徑的像素、模糊化且重新取樣局部圖像定向平面來(lái)獲得對(duì)局部仿射失真穩(wěn)健的SIFT描述符。
[0132]特征匹配及編索引可包含存儲(chǔ)SIFT關(guān)鍵點(diǎn)及從新圖像識(shí)別匹配的關(guān)鍵點(diǎn)。在一種方法中，也稱為最佳區(qū)間優(yōu)先搜索方法(best-bin-first search method)的k_d樹(shù)算法的修改可用以使用有限量的計(jì)算來(lái)以高概率識(shí)別最接近的相鄰者。最佳區(qū)間優(yōu)先算法使用k-d樹(shù)算法的經(jīng)修改搜索次序以使得可按距查詢地點(diǎn)最近的距離的次序搜索特征空間中的區(qū)間。此搜索次序需要使用基于堆棧的優(yōu)先級(jí)隊(duì)列來(lái)有效地確定搜索次序。可通過(guò)從訓(xùn)練圖像識(shí)別每一關(guān)鍵點(diǎn)在關(guān)鍵點(diǎn)數(shù)據(jù)庫(kù)中的最接近的相鄰者來(lái)找出每一關(guān)鍵點(diǎn)的最佳候選匹配。最接近的相鄰者可被定義為距給定描述符向量具有最小歐幾里得距離的關(guān)鍵點(diǎn)?？赏ㄟ^(guò)取距最近相鄰者的距離與次近者的距離的比率來(lái)確定匹配是正確的概率。
[0133]在一個(gè)示范性實(shí)施方案中，可拒絕距離比率大于0.8的匹配，此舉消除90%的錯(cuò)誤匹配，同時(shí)舍棄小于5%的正確匹配。為進(jìn)一步改進(jìn)最佳區(qū)間優(yōu)先算法的效率，可在檢查預(yù)定數(shù)目個(gè)(例如100個(gè))最接近的相鄰候選者之后停止搜索。對(duì)于具有100，000個(gè)關(guān)鍵點(diǎn)的數(shù)據(jù)庫(kù)，此可提供較之確切的最接近相鄰者搜索加速約2個(gè)數(shù)量級(jí)，而又導(dǎo)致正確匹配數(shù)目的小于5%的損失。
[0134]注意，對(duì)于所述示范性實(shí)施方案，可使用霍夫變換來(lái)將可靠模型假設(shè)集群以搜索在特定模型姿勢(shì)上一致的關(guān)鍵點(diǎn)?？墒褂没舴蜃儞Q來(lái)通過(guò)使用每一特征選出可與所述特征一致的對(duì)象姿勢(shì)而識(shí)別具有一致解釋的特征群集。當(dāng)發(fā)現(xiàn)特征群集選出對(duì)象的相同姿勢(shì)時(shí)，解釋正確的概率可高于任何單個(gè)特征?？僧a(chǎn)生雜湊表中的條目以依據(jù)匹配假設(shè)預(yù)測(cè)模型地點(diǎn)、定向及縮放。可搜索雜湊表以識(shí)別在區(qū)間中具有至少3個(gè)條目的群集，且可將區(qū)間排序成大小的降序。
[0135]根據(jù)本發(fā)明的方面，SIFT關(guān)鍵點(diǎn)中的每一者可指定2D地點(diǎn)、縮放及定向。此外，數(shù)據(jù)庫(kù)中的每一匹配關(guān)鍵點(diǎn)可具有與訓(xùn)練圖像(在其中發(fā)現(xiàn)所述關(guān)鍵點(diǎn))有關(guān)的其參數(shù)的記錄。由這4個(gè)參數(shù)暗示的相似度變換可近似等于3D對(duì)象的6自由度姿勢(shì)空間，并且也不考量任何非硬質(zhì)變形。因此，示范性實(shí)施方案可對(duì)于定向使用30度的寬區(qū)間大小，對(duì)于縮放使用因數(shù)2，且對(duì)于地點(diǎn)使用0.25倍的最大投影訓(xùn)練圖像維度(使用預(yù)測(cè)縮放)?？上蛞暂^大縮放產(chǎn)生的SIFT關(guān)鍵樣本給出兩倍于以較小縮放產(chǎn)生的樣本的權(quán)重。對(duì)于此方法，較大縮放可實(shí)際上能夠?yàn)V出用于以較小縮放進(jìn)行檢查的最可能相鄰者。此方法還通過(guò)向噪聲最小的縮放給出較大權(quán)重而改進(jìn)辨識(shí)性能。根據(jù)本發(fā)明的方面，為避免區(qū)間指派中的邊界效應(yīng)問(wèn)題，每一關(guān)鍵點(diǎn)匹配可在每一維度中選出2個(gè)最近的區(qū)間，從而對(duì)于每一假設(shè)得到總共16個(gè)條目且進(jìn)一步加寬了姿勢(shì)范圍。
[0136]根據(jù)本發(fā)明的方面，對(duì)于給定參數(shù)解，可通過(guò)檢查每一圖像特征與模型之間的一致性來(lái)移除離群值。舉例來(lái)說(shuō)，給定線性最小平方解，可能需要每一匹配在用于霍夫變換區(qū)間中的參數(shù)的錯(cuò)誤范圍的一半內(nèi)一致。在離群值被舍棄時(shí)，可用剩余點(diǎn)來(lái)求解線性最小平方解，且所述過(guò)程可迭代。在一些實(shí)施方案中，如果在舍棄離群值之后剩余小于預(yù)定數(shù)目個(gè)點(diǎn)(例如，3個(gè)點(diǎn))，則可拒絕所述匹配。此外，可使用自上向下的匹配階段來(lái)添加與所投影模型位置一致的任何進(jìn)一步匹配，所述匹配可能歸因于相似度變換近似或其它錯(cuò)誤而從霍夫變換區(qū)間錯(cuò)過(guò)。
[0137]接受或拒絕模型假設(shè)的決策可基于詳述的概率模型。給定模型的投影大小、區(qū)域內(nèi)特征的數(shù)目及擬合的準(zhǔn)確度，所述方法首先計(jì)算到模型姿勢(shì)的錯(cuò)誤匹配的預(yù)期數(shù)目。貝葉斯概率分析可接著給出可基于所發(fā)現(xiàn)的匹配特征的實(shí)際數(shù)目呈現(xiàn)對(duì)象的概率。如果正確解釋的最終概率大于預(yù)定百分比(例如95% )，則可接受模型。
[0138]根據(jù)本發(fā)明的方面，在一種方法中，旋轉(zhuǎn)不變特征變換(RIFT)方法可用作SIFT的旋轉(zhuǎn)不變一般化以解決雜物下或部分遮擋情境?？墒褂脛澐殖上嗟葘挾鹊耐沫h(huán)的圓形歸一化片來(lái)建構(gòu)RIFT描述符，且在每一環(huán)內(nèi)，可計(jì)算梯度定向直方圖。為維持旋轉(zhuǎn)不變性，可在每一點(diǎn)處相對(duì)于從中心指向外的方向測(cè)量定向。
[0139]在另一方法中，可使用一般化的穩(wěn)健不變特征(G-RIF)方法。G-RIF以組合感知信息與空間編碼的統(tǒng)一形式編碼邊緣定向、邊緣密度及色調(diào)信息。對(duì)象辨識(shí)方案使用基于相鄰上下文的表決來(lái)估計(jì)對(duì)象模型。
[0140]在又一方法中，可使用加速穩(wěn)健特征(SURF)方法，其使用縮放及旋轉(zhuǎn)不變關(guān)注點(diǎn)檢測(cè)器/描述符，在可重復(fù)性、獨(dú)特性及穩(wěn)健性方面，其可能性能優(yōu)于先前所提議的方案。SURF依賴于整體的圖像用于圖像卷積以減少計(jì)算時(shí)間，且依靠最主要的現(xiàn)有檢測(cè)器及描述符的強(qiáng)度(對(duì)于檢測(cè)器及分布式描述符使用基于快速赫斯矩陣的測(cè)量)。SURF方法描述哈爾小波響應(yīng)(Haar wavelet response)在關(guān)注點(diǎn)領(lǐng)域內(nèi)的分布。整體的圖像可用于速度，且64個(gè)維度可用以減少用于特征計(jì)算及匹配的時(shí)間。編索引步驟可基于拉普拉斯(Laplacian)的正負(fù)號(hào)，其增大描述符的匹配速度及穩(wěn)健性。
[0141]在又一方法中，可使用主分量分析SIFT(PCA-SIFT)方法。在一些實(shí)施方案中，PCA-SIFT描述符為在支持區(qū)域內(nèi)計(jì)算的在X及y方向上的圖像梯度的向量。梯度區(qū)域可在39x39個(gè)地點(diǎn)處取樣。因此，向量可具有維度3042。通過(guò)PCA，維度可減小到36。在又一方法中，可使用梯度地點(diǎn)-定向直方圖(GLOH)方法，其為經(jīng)設(shè)計(jì)以增大其穩(wěn)健性及獨(dú)特性的SIFT描述符的擴(kuò)展。在一些實(shí)施方案中，可針對(duì)在徑向方向上具有三個(gè)區(qū)間(半徑設(shè)定到6、11及15)且在傾斜方向上具有8個(gè)區(qū)間(其導(dǎo)致17個(gè)地點(diǎn)區(qū)間)的對(duì)數(shù)極坐標(biāo)地點(diǎn)柵格計(jì)算SIFT描述符。中心區(qū)間可不在傾斜方向上進(jìn)行劃分?？稍?6個(gè)區(qū)間中量化梯度定向，從而導(dǎo)致272個(gè)區(qū)間的直方圖。通過(guò)PCA可減小此描述符的大小?？筛鶕?jù)從各種圖像收集的圖像塊估計(jì)PCA的協(xié)方差矩陣。128個(gè)最大特征向量可接著用于描述。
[0142]在又一方法中，可使用兩對(duì)象辨識(shí)算法來(lái)配合當(dāng)前移動(dòng)裝置的限制而使用。與經(jīng)典 SIFT 方法相比，加速分段測(cè)試特征(Features from Accelerated Segment Test, FAST)拐角檢測(cè)器可用于特征檢測(cè)。此方法在離線準(zhǔn)備階段(其中可以不同灰度層級(jí)產(chǎn)生特征)與在線階段(其中可以移動(dòng)裝置的相機(jī)圖像的當(dāng)前固定灰度層級(jí)產(chǎn)生特征)之間加以區(qū)分。在一個(gè)示范性實(shí)施方案中，可從預(yù)定固定片大小(例如15x15像素)產(chǎn)生特征，且所述特征形成具有36個(gè)維度的SIFT描述符?？赏ㄟ^(guò)將可擴(kuò)展詞匯樹(shù)(scalable vocabularytree)集成在辨識(shí)管線中而進(jìn)一步擴(kuò)展所述方法。此允許有效地辨識(shí)移動(dòng)裝置上的大量對(duì)象。
[0143]根據(jù)本發(fā)明的方面，局部圖像特征的檢測(cè)及描述可有助于對(duì)象辨識(shí)。SIFT特征可為局部的且基于對(duì)象在特定關(guān)注點(diǎn)處的外觀，且對(duì)于圖像縮放及旋轉(zhuǎn)可為不變的。其對(duì)于照明、噪聲的改變及視點(diǎn)的較小改變也可為穩(wěn)健的。除這些特性之外，特征可為高度獨(dú)特的，相對(duì)容易提取且允許以低失配概率正確地識(shí)別對(duì)象?？上鄬?duì)容易地對(duì)照局部特征的(大)數(shù)據(jù)庫(kù)來(lái)匹配特征，且通?？墒褂美缇哂凶罴褏^(qū)間優(yōu)先搜索的k維(k-d)樹(shù)等概率算法。通過(guò)一組SIFT特征進(jìn)行的對(duì)象描述對(duì)于部分遮擋也可為穩(wěn)健的。舉例來(lái)說(shuō)，來(lái)自對(duì)象的少到3個(gè)SIFT特征可足以計(jì)算其地點(diǎn)及姿勢(shì)。在一些實(shí)施方案中，對(duì)于小數(shù)據(jù)庫(kù)且在現(xiàn)代計(jì)算機(jī)硬件上，可準(zhǔn)實(shí)時(shí)地執(zhí)行辨識(shí)。
[0144]根據(jù)本發(fā)明的方面，可使用隨機(jī)樣本一致性(RANSAC)技術(shù)來(lái)移除由相機(jī)視圖中的移動(dòng)對(duì)象引起的離群值。注意，RANSAC使用迭代方法來(lái)從含有離群值的一組所觀測(cè)數(shù)據(jù)來(lái)估計(jì)數(shù)學(xué)模型的參數(shù)。此方法可為非確定性的，因?yàn)槠湟韵嚓P(guān)聯(lián)概率產(chǎn)生合理結(jié)果，其中所述概率可隨著執(zhí)行更多迭代而增大。
[0145]在一個(gè)示范性實(shí)施方案中，一組觀測(cè)到的數(shù)據(jù)值，可以對(duì)應(yīng)置信度參數(shù)擬合到觀測(cè)結(jié)果的參數(shù)化模型。在此示范性實(shí)施方案中，所述方法迭代地選擇原始數(shù)據(jù)的隨機(jī)子組。這些數(shù)據(jù)可為假想的群內(nèi)值(inlier)，且可接著如下測(cè)試所述假設(shè):
[0146]1.可將模型擬合到假想的群內(nèi)值，即從所述群內(nèi)值重建構(gòu)模型的所有自由參數(shù)。
[0147]2.接著可對(duì)照擬合的模型測(cè)試所有其它數(shù)據(jù)，且如果一點(diǎn)良好地?cái)M合到所述估計(jì)模型，則可認(rèn)為其是假想的群內(nèi)值。
[0148]3.如果已將足夠數(shù)目的點(diǎn)分類為假想的群內(nèi)值，則可認(rèn)為所述估計(jì)模型可接受。
[0149]4.可從所有假想群內(nèi)值重新估計(jì)所述模型，因?yàn)槠鋬H已從初始組假想群內(nèi)值進(jìn)行了估計(jì)。
[0150]5.最終，可通過(guò)相對(duì)于模型估計(jì)群內(nèi)值的錯(cuò)誤來(lái)評(píng)估所述模型。
[0151]每當(dāng)產(chǎn)生因?yàn)檫^(guò)少的點(diǎn)被分類為群內(nèi)值而可被拒絕的模型或與對(duì)應(yīng)錯(cuò)誤測(cè)量一起產(chǎn)生改進(jìn)的模型時(shí)，可重復(fù)以上程序預(yù)定次數(shù)。在后一種情況下，如果錯(cuò)誤低于先前保存的模型，則可保持所述改進(jìn)的模型。
[0152]在另一示范性實(shí)施方案中，可使用基于模型的運(yùn)動(dòng)跟蹤方法來(lái)主動(dòng)地識(shí)別并移除在相機(jī)視圖中的移動(dòng)對(duì)象。在一種方法中，跟蹤的目標(biāo)可處理為模型辨識(shí)問(wèn)題?？筛櫮繕?biāo)的二進(jìn)制表示，且可使用基于豪斯多夫距離(Hausdorff distance)的搜索來(lái)在圖像的若干區(qū)域中搜索對(duì)象。對(duì)于目標(biāo)的二進(jìn)制表示(模型)，可用模型歷史的概念來(lái)擴(kuò)增從高斯平滑化圖像的標(biāo)準(zhǔn)坎尼邊緣檢測(cè)器(canny edge detector)的輸出。在每一幀處，可使用來(lái)自當(dāng)前圖像的坎尼邊緣及當(dāng)前模型來(lái)對(duì)每一目標(biāo)執(zhí)行豪斯多夫搜索。此外，可執(zhí)行仿射估計(jì)以大致得出凈背景運(yùn)動(dòng)。從這兩個(gè)搜索的結(jié)果，可搜集關(guān)于目標(biāo)的信息，且可使用所述信息來(lái)大致得出目標(biāo)的運(yùn)動(dòng)并且在目標(biāo)的區(qū)域中將背景與運(yùn)動(dòng)分離開(kāi)來(lái)。為能夠處置危險(xiǎn)性/不尋常的條件(例如被遮擋的對(duì)象進(jìn)入陰影中，對(duì)象離開(kāi)幀，或相機(jī)圖像失真提供不良圖像質(zhì)量)，可保持關(guān)于目標(biāo)的歷史數(shù)據(jù)，例如目標(biāo)的過(guò)去運(yùn)動(dòng)及大小改變、目標(biāo)的特征性視圖(在所有時(shí)間存在的快照，其提供已跟蹤目標(biāo)的不同方式的準(zhǔn)確表示)，及在過(guò)去的匹配質(zhì)量。
[0153]跟蹤目標(biāo)的歷史可不僅僅適用于輔助危險(xiǎn)性/不尋常的條件；可靠的運(yùn)動(dòng)跟蹤方法的那一部分可涉及歷史數(shù)據(jù)，而不僅僅是運(yùn)動(dòng)比較的逐幀方法。此歷史狀態(tài)可提供關(guān)于如何決定應(yīng)將何內(nèi)容視為目標(biāo)的部分的信息(例如，以相同速度移動(dòng)的接近于對(duì)象移動(dòng)的事物應(yīng)并入所述對(duì)象中)，且通過(guò)關(guān)于運(yùn)動(dòng)及大小的信息，所述方法可預(yù)測(cè)性地估計(jì)丟失的對(duì)象可能去往何處，或其可能重新出現(xiàn)于何處(其始終適用于恢復(fù)離開(kāi)幀且在時(shí)間上稍后重新出現(xiàn)的目標(biāo))。
[0154]運(yùn)動(dòng)跟蹤方法中的固有挑戰(zhàn)可能由以下事實(shí)引起:相機(jī)可具有任意移動(dòng)(相較于固定相機(jī))，其使得難以開(kāi)發(fā)可處置相機(jī)運(yùn)動(dòng)的不可預(yù)測(cè)改變的跟蹤系統(tǒng)?？墒褂镁哂?jì)算效益的仿射背景估計(jì)方案來(lái)提供關(guān)于相機(jī)及場(chǎng)景的運(yùn)動(dòng)的信息。
[0155]根據(jù)本發(fā)明的方面，可執(zhí)行時(shí)間t的圖像到時(shí)間t+dt的圖像的仿射變換，其允許使兩個(gè)圖像的運(yùn)動(dòng)相關(guān)。此背景信息允許所述方法從時(shí)間t的圖像及仿射變換(其可為凈場(chǎng)景運(yùn)動(dòng)的近似)合成時(shí)間t+dt的圖像。此合成圖像可適用于產(chǎn)生新模型信息及從模型空間移除背景雜物，因?yàn)榭刹捎迷趖+dt的實(shí)際圖像與在t+dt處所產(chǎn)生的圖像的差異來(lái)從目標(biāo)周圍的空間移除圖像特征。
[0156]除使用仿射變換作為清除搜索空間的工具之外，其還可用以歸一化目標(biāo)的坐標(biāo)移動(dòng):通過(guò)具有跟蹤背景可如何移動(dòng)的向量及跟蹤目標(biāo)可如何移動(dòng)的向量，可采用所述兩個(gè)向量的差異來(lái)產(chǎn)生描述目標(biāo)相對(duì)于背景的運(yùn)動(dòng)的向量。此向量允許所述方法預(yù)測(cè)性地匹配目標(biāo)應(yīng)處的位置，且預(yù)測(cè)危險(xiǎn)條件(例如，在運(yùn)動(dòng)的方向上向前看可提供關(guān)于即將出現(xiàn)的障礙物的線索，并且保持跟蹤對(duì)象在危險(xiǎn)條件下可能處于的位置。當(dāng)對(duì)象進(jìn)入危險(xiǎn)條件時(shí)，所述方法可能仍能夠估計(jì)背景運(yùn)動(dòng)，且結(jié)合模型的先前移動(dòng)的知識(shí)來(lái)使用所述背景運(yùn)動(dòng)猜測(cè)模型可能重新出現(xiàn)于何處或重新進(jìn)入幀中。
[0157]背景估計(jì)可為對(duì)象的長(zhǎng)期跟蹤的關(guān)鍵因素。注意，可在不進(jìn)行背景估計(jì)的情況下執(zhí)行短期跟蹤，但在一段時(shí)間之后，在沒(méi)有對(duì)背景的良好估計(jì)的情況下，可能難以有效地應(yīng)對(duì)對(duì)象失真及危險(xiǎn)。
[0158]根據(jù)本發(fā)明的方面，使用豪斯多夫距離作為匹配運(yùn)算符的優(yōu)點(diǎn)之一是其在匹配期間對(duì)于形狀的改變可能非常耐受，但使用豪斯多夫距離作為匹配運(yùn)算符可能需要更準(zhǔn)確地定義所跟蹤的對(duì)象。
[0159]在一種方法中，可使用從時(shí)間t+Ι圖像獲得新模型的基于直接擴(kuò)張的方法(straight dilat1n-based method)。注意，在可能存在接近于對(duì)象的非對(duì)象特征(其出現(xiàn)頻率很高)的一些情形中，擴(kuò)張方法可能并不有效，因?yàn)槠淇赡軐⒄麄€(gè)場(chǎng)景緩慢地并入模型中。因此，可采用從幀到幀更新模型的方法，所述方法可耐受模型形狀的改變，但并不過(guò)于寬松以致將非模型像素并入到模型中。一個(gè)示范性實(shí)施方案為使用背景移除與將先前模型添加到當(dāng)前模型匹配窗及采用看似穩(wěn)定的像素以及其周圍的新像素(其隨時(shí)間推移可因?yàn)槠淇赡懿环€(wěn)定而從模型消除或并入到模型中)的組合。此方法可有效地保持模型在圖像中相對(duì)清潔而無(wú)雜物。舉例來(lái)說(shuō)，通過(guò)此方法，接近于卡車的道路不再被逐像素地拉入模型中。注意，模型可能顯得臃腫，但此可為建構(gòu)模型的方式的歷史效果的結(jié)果，但其還可具有使搜索結(jié)果更為確定的特征，因?yàn)榇朔椒墒垢嗄Ｐ拖袼乜赡茉谙乱粠衅ヅ洹?br> [0160]注意，在每一幀處，可能存在大量計(jì)算要執(zhí)行。根據(jù)一些實(shí)施方案，移動(dòng)裝置可經(jīng)配置以執(zhí)行平滑化/特征提取、匹配每一目標(biāo)(例如每模型一個(gè)匹配)的豪斯多夫，以及仿射背景估計(jì)。這些操作中的每一者可個(gè)別地在計(jì)算上非常昂貴。為實(shí)現(xiàn)在移動(dòng)裝置上的實(shí)時(shí)執(zhí)行，設(shè)計(jì)可經(jīng)配置以使用盡可能多的并行性。
[0161 ] 注意，至少接下來(lái)的三段、圖1到2、圖17到20及其對(duì)應(yīng)描述提供用于至少部分基于一或多個(gè)對(duì)象的所俘獲圖像執(zhí)行所述一或多個(gè)對(duì)象的3維跟蹤的裝置、用于至少部分基于所述所俘獲圖像檢測(cè)所述一或多個(gè)對(duì)象中的至少一個(gè)對(duì)象的狀態(tài)改變的裝置，且用于響應(yīng)于所述至少一個(gè)對(duì)象的所述狀態(tài)改變而致使擴(kuò)增顯現(xiàn)的裝置。
[0162]本文所述的方法和移動(dòng)裝置可以取決于應(yīng)用通過(guò)各種裝置實(shí)施。舉例來(lái)說(shuō)，這些方法可以用硬件、固件、軟件或其組合實(shí)施。對(duì)于硬件實(shí)施方案，處理單元可以在一或多個(gè)專用集成電路(ASIC)、數(shù)字信號(hào)處理器(DSP)、數(shù)字信號(hào)處理裝置(DSro)、可編程邏輯裝置(PLD)、現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)、處理器、控制器、微控制器、微處理器、電子裝置、經(jīng)設(shè)計(jì)以執(zhí)行本文所述的功能的其它電子單元或其組合內(nèi)實(shí)施。本文中，術(shù)語(yǔ)“邏輯控制”涵蓋通過(guò)軟件、硬件、固件或組合實(shí)施的邏輯。
[0163]對(duì)于固件及/或軟件實(shí)施方案，可用執(zhí)行本文中所描述的功能的模塊(例如，程序、功能等等)實(shí)施方法。任何有形地體現(xiàn)指令機(jī)器可讀媒體都可以用于實(shí)施本文所述的方法。舉例來(lái)說(shuō)，軟件代碼可存儲(chǔ)在存儲(chǔ)器中并且通過(guò)處理單元執(zhí)行。存儲(chǔ)器可實(shí)施在處理單元內(nèi)或處理單元外部。如本文所使用，術(shù)語(yǔ)“存儲(chǔ)器”是指任何類型的長(zhǎng)期、短期、易失性、非易失性或其它存儲(chǔ)裝置且不限于任何特定類型的存儲(chǔ)器或數(shù)目的存儲(chǔ)器，或任何類型的存儲(chǔ)存儲(chǔ)器的媒體。
[0164]如果在固件及/或軟件中實(shí)施，則可將所述功能作為一或多個(gè)指令或代碼存儲(chǔ)在計(jì)算機(jī)可讀媒體上。實(shí)例包含編碼有數(shù)據(jù)結(jié)構(gòu)的計(jì)算機(jī)可讀媒體及編碼有計(jì)算機(jī)程序的計(jì)算機(jī)可讀媒體。計(jì)算機(jī)可讀媒體可采用制品的形式。計(jì)算機(jī)可讀媒體包含物理計(jì)算機(jī)存儲(chǔ)媒體。存儲(chǔ)媒體可為可由計(jì)算機(jī)存取的任何可用媒體。作為實(shí)例而非限制，此類計(jì)算機(jī)可讀媒體可包括RAM、ROM、EEPROM、CD-ROM或其它光盤(pán)存儲(chǔ)裝置，磁盤(pán)存儲(chǔ)裝置或其它磁性存儲(chǔ)裝置，或任何其它可用于存儲(chǔ)指令或數(shù)據(jù)結(jié)構(gòu)的形式的期望程序代碼并且可通過(guò)計(jì)算機(jī)存取的媒體；在本文中使用時(shí)，磁盤(pán)及光盤(pán)包含壓縮光盤(pán)(CD)、激光光盤(pán)、光學(xué)光盤(pán)、數(shù)字多功能光盤(pán)(DVD)，軟性磁盤(pán)及藍(lán)光光盤(pán)，其中磁盤(pán)通常以磁性方式再現(xiàn)數(shù)據(jù)，而光盤(pán)用激光以光學(xué)方式再現(xiàn)數(shù)據(jù)。上述各項(xiàng)的組合也應(yīng)包含在計(jì)算機(jī)可讀媒體的范圍內(nèi)。
[0165]除了存儲(chǔ)在計(jì)算機(jī)可讀媒體上之外，還可將指令及/或數(shù)據(jù)提供為通信設(shè)備中包含的發(fā)射媒體上的信號(hào)。舉例來(lái)說(shuō)，通信設(shè)備可包含具有指示指令及數(shù)據(jù)的信號(hào)的收發(fā)器。所述指令及數(shù)據(jù)經(jīng)配置以致使至少一個(gè)處理器實(shí)施權(quán)利要求書(shū)中概述的功能。即，通信設(shè)備包含具有指示用以執(zhí)行所揭示的功能的信息的信號(hào)的發(fā)射媒體。在第一時(shí)間，通信設(shè)備中所包含的發(fā)射媒體可包含用以執(zhí)行所揭示的功能的信息的第一部分，而在第二時(shí)間，通信設(shè)備中所包含的發(fā)射媒體可包含用以執(zhí)行所揭示的功能的信息的第二部分。
[0166]本發(fā)明可以配合例如無(wú)線廣域網(wǎng)(WffAN)、無(wú)線局域網(wǎng)(WLAN)、無(wú)線個(gè)人局域網(wǎng)(WPAN)等各種無(wú)線通信網(wǎng)絡(luò)實(shí)施。術(shù)語(yǔ)“網(wǎng)絡(luò)”與“系統(tǒng)”常?？苫Q使用。術(shù)語(yǔ)“位置”與“地點(diǎn)”常?？苫Q使用。WffAN可為碼分多址(CDMA)網(wǎng)絡(luò)、時(shí)分多址(TDMA)網(wǎng)絡(luò)、頻分多址(FDMA)網(wǎng)絡(luò)、正交頻分多址(OFDMA)網(wǎng)絡(luò)、單載波頻分多址(SC-FDMA)網(wǎng)絡(luò)、長(zhǎng)期演進(jìn)(LTE)網(wǎng)絡(luò)、WiMAX(IEEE 802.16)網(wǎng)絡(luò)等。CDMA網(wǎng)絡(luò)可實(shí)施一或多種無(wú)線電接入技術(shù)(RAT)，例如 cdma2000、寬帶 CDMA(W-CDMA)等等。Cdma2000 包含 IS-95、IS2000 和 IS-856標(biāo)準(zhǔn)。TDMA網(wǎng)絡(luò)可以實(shí)施全球移動(dòng)通信系統(tǒng)(GSM)、數(shù)字高級(jí)移動(dòng)電話系統(tǒng)(D-AMPS)或某種其它RAT。GSM及W-CDMA描述于來(lái)自名為“第三代合作伙伴計(jì)劃”(3GPP)的協(xié)會(huì)的文獻(xiàn)中。Cdma2000描述于來(lái)自名為“第三代合作伙伴計(jì)劃2”(3GPP2)的協(xié)會(huì)的文獻(xiàn)中。3GPP及3GPP2文獻(xiàn)可公開(kāi)獲得。WLAN可為IEEE802.1lx網(wǎng)絡(luò)，且WPAN可為藍(lán)牙網(wǎng)絡(luò)、IEEE 802.15x或某種其它類型的網(wǎng)絡(luò)。所述技術(shù)還可結(jié)合WWAN、WLAN及/或WPAN的任何組合來(lái)實(shí)施。
[0167]移動(dòng)臺(tái)是指例如蜂窩式或其它無(wú)線通信裝置、個(gè)人通信系統(tǒng)(PCS)裝置、個(gè)人導(dǎo)航裝置(PND)個(gè)人信息管理器(PM)、個(gè)人數(shù)字助理(PDA)、膝上型計(jì)算機(jī)或能夠接收無(wú)線通信及/或?qū)Ш叫盘?hào)的其它合適的移動(dòng)裝置等裝置。術(shù)語(yǔ)“移動(dòng)臺(tái)”還希望包含例如通過(guò)短程無(wú)線、紅外線線連接或其它連接(不管是衛(wèi)星信號(hào)接收、輔助數(shù)據(jù)接收和/或在所述裝置或在所述PND處發(fā)生的與位置相關(guān)的處理)與個(gè)人導(dǎo)航裝置(PND)通信的裝置。而且，“移動(dòng)臺(tái)”希望包含所有裝置，包含無(wú)線通信裝置、計(jì)算機(jī)、膝上型計(jì)算機(jī)等，其能夠例如經(jīng)由因特網(wǎng)、W1-Fi或其它網(wǎng)絡(luò)與服務(wù)器通信，并且不管是在所述裝置處、服務(wù)器處還是在與所述網(wǎng)絡(luò)相關(guān)聯(lián)的另一裝置處發(fā)生衛(wèi)星信號(hào)接收輔助數(shù)據(jù)接收及/或與位置相關(guān)的處理。以上各者的任何可操作組合也被視為“移動(dòng)臺(tái)”。
[0168]某個(gè)事物被“優(yōu)化”、“需要”或其它說(shuō)法并不指示本發(fā)明僅適用于被優(yōu)化的系統(tǒng)或其中存在所述“所需”元件的系統(tǒng)(或其它歸因于其它說(shuō)法的局限性)。這些名稱僅指代特定描述的實(shí)施方案。當(dāng)然，許多實(shí)施方案是可能的。所述技術(shù)可以與除了本文中論述的協(xié)議之外的協(xié)議一起使用，包含正在開(kāi)發(fā)或有待開(kāi)發(fā)的協(xié)議。
[0169]相關(guān)領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到，可以使用所揭示的實(shí)施例的許多可能修改和組合，同時(shí)仍然采用相同的基本基礎(chǔ)機(jī)構(gòu)和方法。出于解釋的目的，前文描述是參考具體實(shí)施例撰寫(xiě)的。然而，上文的說(shuō)明性論述并不希望是窮舉的或?qū)⒈景l(fā)明限于所揭示的精確形式。鑒于以上教示，許多修改及變化均是可能的。選擇且描述所述實(shí)施例是為了闡釋本發(fā)明的原理及其實(shí)際應(yīng)用，且為了使得所屬領(lǐng)域的技術(shù)人員能夠以適合于所涵蓋的特定用法的各種修改最好地利用本發(fā)明及各種實(shí)施例。
【權(quán)利要求】
1.一種適用于具有擴(kuò)增實(shí)境功能的裝置ARD的方法，其包括: 至少部分基于一或多個(gè)對(duì)象的所俘獲圖像執(zhí)行對(duì)所述一或多個(gè)對(duì)象的3維跟蹤； 至少部分基于所述所俘獲圖像檢測(cè)所述一或多個(gè)對(duì)象中的至少一個(gè)對(duì)象的狀態(tài)改變；以及 響應(yīng)于所述至少一個(gè)對(duì)象的所述狀態(tài)改變而致使擴(kuò)增顯現(xiàn)，其中所述擴(kuò)增的類型至少部分基于所述至少一個(gè)對(duì)象的所述狀態(tài)改變。
2.根據(jù)權(quán)利要求1所述的方法，其中所述一或多個(gè)對(duì)象包括多個(gè)對(duì)象，且其中執(zhí)行3維跟蹤包括: 確定所述多個(gè)對(duì)象相對(duì)于所述ARD的相對(duì)姿勢(shì)；以及 使用所述多個(gè)對(duì)象的所述相對(duì)姿勢(shì)更新所述多個(gè)對(duì)象的狀態(tài)，其中所述多個(gè)對(duì)象的所述狀態(tài)包含所述多個(gè)對(duì)象的關(guān)系信息。
3.根據(jù)權(quán)利要求2所述的方法，其中確定相對(duì)姿勢(shì)包括: 檢測(cè)所述多個(gè)對(duì)象相對(duì)于所述多個(gè)對(duì)象的先前所俘獲圖像的姿勢(shì)。
4.根據(jù)權(quán)利要求2所述的方法，其中確定相對(duì)姿勢(shì)包括: 檢測(cè)圖像中的新對(duì)象；以及 更新所述多個(gè)對(duì)象以包含所述新對(duì)象。
5.根據(jù)權(quán)利要求2所述的方法，其中所述關(guān)系信息包括以下各者中的至少一者: 所述多個(gè)對(duì)象之間在游戲中的關(guān)系； 所述多個(gè)對(duì)象之間在故事中的關(guān)系；以及 所述多個(gè)對(duì)象之間相對(duì)于背景的關(guān)系。
6.根據(jù)權(quán)利要求1所述的方法，其中檢測(cè)至少一個(gè)對(duì)象的狀態(tài)改變包括以下各者中的至少一者: 檢測(cè)所述至少一個(gè)對(duì)象相對(duì)于所述ARD的位置改變； 檢測(cè)所述至少一個(gè)對(duì)象相對(duì)于所述ARD的定向改變； 檢測(cè)至少兩個(gè)對(duì)象之間的位置改變；以及 檢測(cè)多個(gè)對(duì)象的群集的改變。
7.根據(jù)權(quán)利要求6所述的方法，其中檢測(cè)所述至少一個(gè)對(duì)象相對(duì)于所述ARD的所述位置改變包括以下各者中的至少一者: 檢測(cè)所述至少一個(gè)對(duì)象已相對(duì)于所述ARD平移； 檢測(cè)所述至少一個(gè)對(duì)象已到達(dá)距所述ARD第一預(yù)定距離；以及 檢測(cè)所述至少一個(gè)對(duì)象已經(jīng)歷相對(duì)于所述ARD的第一預(yù)定義示意動(dòng)作運(yùn)動(dòng)。
8.根據(jù)權(quán)利要求6所述的方法，其中檢測(cè)所述至少一個(gè)對(duì)象相對(duì)于所述ARD的所述定向改變包括: 檢測(cè)所述至少一個(gè)對(duì)象已相對(duì)于所述ARD旋轉(zhuǎn)。
9.根據(jù)權(quán)利要求6所述的方法，其中檢測(cè)至少兩個(gè)對(duì)象之間的所述位置改變包括以下各者中的至少一者: 檢測(cè)所述至少兩個(gè)對(duì)象已相對(duì)于彼此移動(dòng)； 檢測(cè)所述至少兩個(gè)對(duì)象已到達(dá)距彼此第二預(yù)定距離；以及 檢測(cè)所述至少兩個(gè)對(duì)象中的一者已經(jīng)歷相對(duì)于其它者的第二預(yù)定義示意動(dòng)作運(yùn)動(dòng)。
10.根據(jù)權(quán)利要求1所述的方法，其中所述擴(kuò)增的所述類型包括多個(gè)對(duì)象之間在所述ARD的顯示器中的交互。
11.根據(jù)權(quán)利要求1所述的方法，其中所述擴(kuò)增的所述類型包括所述至少一個(gè)對(duì)象與所述ARD之間在所述ARD的顯示器中的交互。
12.根據(jù)權(quán)利要求1所述的方法，其中所述擴(kuò)增的所述類型包括對(duì)具有焦點(diǎn)的一或多個(gè)元素的描述，所述焦點(diǎn)至少部分基于所述至少一個(gè)對(duì)象的所述狀態(tài)改變。
13.根據(jù)權(quán)利要求1所述的方法，其中所述至少一個(gè)對(duì)象的所述狀態(tài)改變包括以下各者中的至少一者: 所述ARD與所述至少一個(gè)對(duì)象之間的幾何布置關(guān)系的改變；以及所述至少一個(gè)對(duì)象與在發(fā)射所述所俘獲圖像的相機(jī)的視野中的另一對(duì)象之間的幾何布置關(guān)系的改變。
14.根據(jù)權(quán)利要求1所述的方法，其中所述狀態(tài)改變包括所述至少一個(gè)對(duì)象的特征的改變。
15.根據(jù)權(quán)利要求1所述的方法，其中所述至少一個(gè)對(duì)象包括聯(lián)系在一起的多個(gè)子對(duì)象，其中所述狀態(tài)改變包括所述多個(gè)子對(duì)象中的至少一個(gè)子對(duì)象的改變。
16.根據(jù)權(quán)利要求15所述的方法，其中所述至少一個(gè)對(duì)象包括汽車，且所述多個(gè)子對(duì)象包括至少一車門(mén)、發(fā)動(dòng)機(jī)蓋及行李箱，其中所述方法進(jìn)一步包括: 在檢測(cè)到所述汽車的所述車門(mén)打開(kāi)之后，即刻呈現(xiàn)與進(jìn)入所述汽車有關(guān)的擴(kuò)增； 在檢測(cè)到所述汽車的所述發(fā)動(dòng)機(jī)蓋打開(kāi)之后，即刻呈現(xiàn)與檢查所述汽車的發(fā)動(dòng)機(jī)有關(guān)的擴(kuò)增； 在檢測(cè)到所述汽車的所述發(fā)動(dòng)機(jī)蓋打開(kāi)之后，即刻呈現(xiàn)與修理所述汽車的發(fā)動(dòng)機(jī)有關(guān)的擴(kuò)增；以及 在檢測(cè)到所述汽車的所述行李箱打開(kāi)之后，即刻呈現(xiàn)與裝載所述汽車有關(guān)的擴(kuò)增。
17.根據(jù)權(quán)利要求1所述的方法，其中所述擴(kuò)增包括以下各者中的至少一者: 至少部分基于來(lái)自所述ARD的所述至少一個(gè)對(duì)象的視圖的交互； 至少部分基于所述至少一個(gè)對(duì)象與所述ARD之間的相對(duì)運(yùn)動(dòng)的交互； 至少部分基于所述至少一個(gè)對(duì)象與所述ARD之間的距離的交互； 至少部分基于來(lái)自所述至少一個(gè)對(duì)象的提示的交互；以及 至少部分基于來(lái)自所述至少一個(gè)對(duì)象的示意動(dòng)作的交互。
18.根據(jù)權(quán)利要求1所述的方法，其中所述擴(kuò)增包括以下各者中的至少一者: 至少部分基于多個(gè)對(duì)象中的疊加對(duì)象的交互； 至少部分基于所述多個(gè)對(duì)象中的并排對(duì)象的交互； 至少部分基于所述多個(gè)對(duì)象中的上下對(duì)象的交互； 至少部分基于所述多個(gè)對(duì)象中的里外對(duì)象的交互；以及 至少部分基于所述多個(gè)對(duì)象中的前后對(duì)象的交互。
19.根據(jù)權(quán)利要求1所述的方法，其中檢測(cè)至少一個(gè)對(duì)象的狀態(tài)改變包括以下各者中的至少一者: 檢測(cè)相對(duì)于所述ARD放大所述至少一個(gè)對(duì)象；以及 檢測(cè)相對(duì)于所述ARD縮小所述至少一個(gè)對(duì)象。
20.根據(jù)權(quán)利要求1所述的方法，其中: 所述狀態(tài)改變包括所述至少一個(gè)對(duì)象到所述ARD的距離的改變，且其中所述擴(kuò)增包括與所述至少一個(gè)對(duì)象相關(guān)聯(lián)的角色說(shuō)出指示所述距離的詞語(yǔ)；或 所述狀態(tài)改變包括所述至少一個(gè)對(duì)象旋轉(zhuǎn)以面向另一對(duì)象，且其中所述擴(kuò)增包括與所述至少一個(gè)對(duì)象相關(guān)聯(lián)的角色響應(yīng)于所述至少一個(gè)對(duì)象旋轉(zhuǎn)以面向另一對(duì)象而向與所述另一對(duì)象相關(guān)聯(lián)的角色說(shuō)話。
21.—種具有擴(kuò)增實(shí)境功能的裝置ARD，其包括: 包含處理邏輯的控制單元，所述處理邏輯包括: 經(jīng)配置以至少部分基于一或多個(gè)對(duì)象的所俘獲圖像執(zhí)行對(duì)所述一或多個(gè)對(duì)象的3維跟蹤的邏輯； 經(jīng)配置以至少部分基于所述所俘獲圖像檢測(cè)所述一或多個(gè)對(duì)象中的至少一個(gè)對(duì)象的狀態(tài)改變的邏輯；以及 經(jīng)配置以響應(yīng)于所述至少一個(gè)對(duì)象的所述狀態(tài)改變而致使擴(kuò)增顯現(xiàn)的邏輯，其中所述擴(kuò)增的類型至少部分基于所述至少一個(gè)對(duì)象的所述狀態(tài)改變。
22.根據(jù)權(quán)利要求21所述的具有擴(kuò)增實(shí)境功能的裝置，其中所述一或多個(gè)對(duì)象包括多個(gè)對(duì)象，且其中經(jīng)配置以執(zhí)行3維跟蹤的邏輯包括: 經(jīng)配置以確定所述多個(gè)對(duì)象相對(duì)于所述ARD的相對(duì)姿勢(shì)的邏輯；以及經(jīng)配置以使用所述多個(gè)對(duì)象的所述相對(duì)姿勢(shì)更新所述多個(gè)對(duì)象的狀態(tài)的邏輯，其中所述多個(gè)對(duì)象的所述狀態(tài)包含所述多個(gè)對(duì)象的關(guān)系信息。
23.根據(jù)權(quán)利要求22所述的具有擴(kuò)增實(shí)境功能的裝置，其中經(jīng)配置以確定相對(duì)姿勢(shì)的邏輯包括: 經(jīng)配置以檢測(cè)所述多個(gè)對(duì)象相對(duì)于所述多個(gè)對(duì)象的先前所俘獲圖像的姿勢(shì)的邏輯。
24.根據(jù)權(quán)利要求22所述的具有擴(kuò)增實(shí)境功能的裝置，其中經(jīng)配置以確定相對(duì)姿勢(shì)的邏輯包括: 經(jīng)配置以檢測(cè)圖像中的新對(duì)象的邏輯；以及 經(jīng)配置以更新所述多個(gè)對(duì)象以包含所述新對(duì)象的邏輯。
25.根據(jù)權(quán)利要求22所述的具有擴(kuò)增實(shí)境功能的裝置，其中所述關(guān)系信息包括以下各者中的至少一者: 所述多個(gè)對(duì)象之間在游戲中的關(guān)系； 所述多個(gè)對(duì)象之間在故事中的關(guān)系；以及 所述多個(gè)對(duì)象之間相對(duì)于背景的關(guān)系。
26.根據(jù)權(quán)利要求21所述的具有擴(kuò)增實(shí)境功能的裝置，其中經(jīng)配置以檢測(cè)至少一個(gè)對(duì)象的狀態(tài)改變的邏輯包括以下各者中的至少一者: 經(jīng)配置以檢測(cè)所述至少一個(gè)對(duì)象相對(duì)于所述ARD的位置改變的邏輯； 經(jīng)配置以檢測(cè)所述至少一個(gè)對(duì)象相對(duì)于所述ARD的定向改變的邏輯； 經(jīng)配置以檢測(cè)至少兩個(gè)對(duì)象之間的位置改變的邏輯；以及 經(jīng)配置以檢測(cè)多個(gè)對(duì)象的群集的改變的邏輯。
27.根據(jù)權(quán)利要求26所述的具有擴(kuò)增實(shí)境功能的裝置，其中經(jīng)配置以檢測(cè)所述至少一個(gè)對(duì)象相對(duì)于所述ARD的所述位置改變的邏輯包括以下各者中的至少一者: 經(jīng)配置以檢測(cè)所述至少一個(gè)對(duì)象已相對(duì)于所述ARD平移的邏輯； 經(jīng)配置以檢測(cè)所述至少一個(gè)對(duì)象已到達(dá)距所述ARD第一預(yù)定距離的邏輯；以及經(jīng)配置以檢測(cè)所述至少一個(gè)對(duì)象已經(jīng)歷相對(duì)于所述ARD的第一預(yù)定義示意動(dòng)作運(yùn)動(dòng)的邏輯。
28.根據(jù)權(quán)利要求26所述的具有擴(kuò)增實(shí)境功能的裝置，其中經(jīng)配置以檢測(cè)所述至少一個(gè)對(duì)象相對(duì)于所述ARD的所述定向改變的邏輯包括: 經(jīng)配置以檢測(cè)所述至少一個(gè)對(duì)象已相對(duì)于所述ARD旋轉(zhuǎn)的邏輯。
29.根據(jù)權(quán)利要求26所述的具有擴(kuò)增實(shí)境功能的裝置，其中經(jīng)配置以檢測(cè)至少兩個(gè)對(duì)象之間的所述位置改變的邏輯包括以下各者中的至少一者: 經(jīng)配置以檢測(cè)所述至少兩個(gè)對(duì)象已相對(duì)于彼此移動(dòng)的邏輯； 經(jīng)配置以檢測(cè)所述至少兩個(gè)對(duì)象已到達(dá)距彼此第二預(yù)定距離的邏輯；以及經(jīng)配置以檢測(cè)所述至少兩個(gè)對(duì)象中的一者已經(jīng)歷相對(duì)于其它者的第二預(yù)定義示意動(dòng)作運(yùn)動(dòng)的邏輯。
30.根據(jù)權(quán)利要求21所述的具有擴(kuò)增實(shí)境功能的裝置，其中所述擴(kuò)增的所述類型包括多個(gè)對(duì)象之間在所述ARD的顯示器中的交互。
31.根據(jù)權(quán)利要求21所述的具有擴(kuò)增實(shí)境功能的裝置，其中所述擴(kuò)增的所述類型包括所述至少一個(gè)對(duì)象與所述ARD之間在所述ARD的顯示器中的交互。
32.根據(jù)權(quán)利要求21所述的具有擴(kuò)增實(shí)境功能的裝置，其中所述擴(kuò)增的所述類型包括對(duì)具有焦點(diǎn)的一或多個(gè)元素的描述，所述焦點(diǎn)至少部分基于所述至少一個(gè)對(duì)象的所述狀態(tài)改變。
33.根據(jù)權(quán)利要求21所述的具有擴(kuò)增實(shí)境功能的裝置，其中所述至少一個(gè)對(duì)象的所述狀態(tài)改變包括以下各者中的至少一者: 所述ARD與所述至少一個(gè)對(duì)象之間的幾何布置關(guān)系的改變；以及所述至少一個(gè)對(duì)象與在發(fā)射所述所俘獲圖像的相機(jī)的視野中的另一對(duì)象之間的幾何布置關(guān)系的改變。
34.根據(jù)權(quán)利要求21所述的具有擴(kuò)增實(shí)境功能的裝置，其中所述狀態(tài)改變包括所述至少一個(gè)對(duì)象的特征的改變。
35.根據(jù)權(quán)利要求21所述的具有擴(kuò)增實(shí)境功能的裝置，其中所述至少一個(gè)對(duì)象包括聯(lián)系在一起的多個(gè)子對(duì)象，其中所述狀態(tài)改變包括所述多個(gè)子對(duì)象中的至少一個(gè)子對(duì)象的改變。
36.根據(jù)權(quán)利要求21所述的具有擴(kuò)增實(shí)境功能的裝置，其中經(jīng)配置以檢測(cè)至少一個(gè)對(duì)象的狀態(tài)改變的邏輯包括以下各者中的至少一者: 經(jīng)配置以檢測(cè)相對(duì)于所述ARD放大所述至少一個(gè)對(duì)象的邏輯；以及 經(jīng)配置以檢測(cè)相對(duì)于所述ARD縮小所述至少一個(gè)對(duì)象的邏輯。
37.根據(jù)權(quán)利要求21所述的具有擴(kuò)增實(shí)境功能的裝置，其中: 所述狀態(tài)改變包括所述至少一個(gè)對(duì)象到所述ARD的距離的改變，且其中所述擴(kuò)增包括與所述至少一個(gè)對(duì)象相關(guān)聯(lián)的角色說(shuō)出指示所述距離的詞語(yǔ)；或 所述狀態(tài)改變包括所述至少一個(gè)對(duì)象旋轉(zhuǎn)以面向另一對(duì)象，且其中所述擴(kuò)增包括與所述至少一個(gè)對(duì)象相關(guān)聯(lián)的角色響應(yīng)于所述至少一個(gè)對(duì)象旋轉(zhuǎn)以面向另一對(duì)象而向與所述另一對(duì)象相關(guān)聯(lián)的角色說(shuō)話。
38.—種存儲(chǔ)用于由一或多個(gè)計(jì)算機(jī)系統(tǒng)執(zhí)行的指令的非暫時(shí)性媒體，所述指令包括: 用于至少部分基于一或多個(gè)對(duì)象的所俘獲圖像執(zhí)行對(duì)所述一或多個(gè)對(duì)象的3維跟蹤的指令； 用于至少部分基于所述所俘獲圖像檢測(cè)所述一或多個(gè)對(duì)象中的至少一個(gè)對(duì)象的狀態(tài)改變的指令；以及 用于響應(yīng)于所述至少一個(gè)對(duì)象的所述狀態(tài)改變而致使擴(kuò)增顯現(xiàn)的指令，其中所述擴(kuò)增的類型至少部分基于所述至少一個(gè)對(duì)象的所述狀態(tài)改變。
39.一種設(shè)備，其包括: 用于至少部分基于一或多個(gè)對(duì)象的所俘獲圖像執(zhí)行對(duì)所述一或多個(gè)對(duì)象的3維跟蹤的裝置； 用于至少部分基于所述所俘獲圖像檢測(cè)所述一或多個(gè)對(duì)象中的至少一個(gè)對(duì)象的狀態(tài)改變的裝置；以及 用于響應(yīng)于所述至少一個(gè)對(duì)象的所述狀態(tài)改變而致使擴(kuò)增顯現(xiàn)的裝置，其中所述擴(kuò)增的類型至少部分基于所述至少一個(gè)對(duì)象的所述狀態(tài)改變。
40.根據(jù)權(quán)利要求39所述的設(shè)備，其中所述一或多個(gè)對(duì)象包括多個(gè)對(duì)象，且其中用于執(zhí)行3維跟蹤的裝置包括: 用于確定所述多個(gè)對(duì)象相對(duì)于所述ARD的相對(duì)姿勢(shì)的裝置；以及用于使用所述多個(gè)對(duì)象的所述相對(duì)姿勢(shì)更新所述多個(gè)對(duì)象的狀態(tài)的裝置，其中所述多個(gè)對(duì)象的所述狀態(tài)包含所述多個(gè)對(duì)象的關(guān)系信息。
41.根據(jù)權(quán)利要求40所述的設(shè)備，其中用于確定相對(duì)姿勢(shì)的裝置包括: 用于檢測(cè)所述多個(gè)對(duì)象相對(duì)于所述多個(gè)對(duì)象的先前所俘獲圖像的姿勢(shì)的裝置。
42.根據(jù)權(quán)利要求40所述的設(shè)備，其中確定相對(duì)姿勢(shì)包括: 用于檢測(cè)圖像中的新對(duì)象的裝置；以及 用于更新所述多個(gè)對(duì)象以包含所述新對(duì)象的裝置。
43.根據(jù)權(quán)利要求39所述的設(shè)備，其中用于檢測(cè)至少一個(gè)對(duì)象的狀態(tài)改變的裝置包括以下各者中的至少一者: 用于檢測(cè)所述至少一個(gè)對(duì)象相對(duì)于所述ARD的位置改變的裝置； 用于檢測(cè)所述至少一個(gè)對(duì)象相對(duì)于所述ARD的定向改變的裝置； 用于檢測(cè)至少兩個(gè)對(duì)象之間的位置改變的裝置；以及 用于檢測(cè)多個(gè)對(duì)象的群集的改變的裝置。
44.根據(jù)權(quán)利要求43所述的設(shè)備，其中用于檢測(cè)所述至少一個(gè)對(duì)象相對(duì)于所述ARD的所述位置改變的裝置包括以下各者中的至少一者: 用于檢測(cè)所述至少一個(gè)對(duì)象已相對(duì)于所述ARD平移的裝置； 用于檢測(cè)所述至少一個(gè)對(duì)象已到達(dá)距所述ARD第一預(yù)定距離的裝置；以及 用于檢測(cè)所述至少一個(gè)對(duì)象已經(jīng)歷相對(duì)于所述ARD的第一預(yù)定義示意動(dòng)作運(yùn)動(dòng)的裝置。
45.根據(jù)權(quán)利要求43所述的設(shè)備，其中用于檢測(cè)所述至少一個(gè)對(duì)象相對(duì)于所述ARD的所述定向改變的裝置包括: 用于檢測(cè)所述至少一個(gè)對(duì)象已相對(duì)于所述ARD旋轉(zhuǎn)的裝置。
46.根據(jù)權(quán)利要求43所述的設(shè)備，其中用于檢測(cè)至少兩個(gè)對(duì)象之間的所述位置改變的裝置包括以下各者中的至少一者: 用于檢測(cè)所述至少兩個(gè)對(duì)象已相對(duì)于彼此移動(dòng)的裝置； 用于檢測(cè)所述至少兩個(gè)對(duì)象己到達(dá)距彼此第二預(yù)定距離的裝置；以及用于檢測(cè)所述至少兩個(gè)對(duì)象中的一者已經(jīng)歷相對(duì)于其它者的第二預(yù)定義示意動(dòng)作運(yùn)動(dòng)的裝置。
47.根據(jù)權(quán)利要求39所述的設(shè)備，其中用于檢測(cè)至少一個(gè)對(duì)象的狀態(tài)改變的裝置包括以下各者中的至少一者: 用于檢測(cè)相對(duì)于所述ARD放大所述至少一個(gè)對(duì)象的裝置；以及 用于檢測(cè)相對(duì)于所述ARD縮小所述至少一個(gè)對(duì)象的裝置。
【文檔編號(hào)】H04N21/41GK104487916SQ201380039199
【公開(kāi)日】2015年4月1日 申請(qǐng)日期:2013年6月28日 優(yōu)先權(quán)日:2012年7月26日
【發(fā)明者】維吉尼亞·沃克·基廷, 邁克爾·蓋爾沃茨, 佩爾·O·尼爾森 申請(qǐng)人:高通股份有限公司