專利名稱：用于與增強(qiáng)對(duì)象進(jìn)行交互的設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種新的交互范例，使用戶能夠通過(guò)視頻鏈路媒介與環(huán)境中的至少一個(gè)對(duì)象(object)進(jìn)行交互。
背景技術(shù)：
許多環(huán)境和應(yīng)用要求用戶通過(guò)視頻鏈路與能夠看見(jiàn)的對(duì)象進(jìn)行交互，例如在遠(yuǎn)程對(duì)象或危險(xiǎn)環(huán)境的情況下。例如US 6463343，經(jīng)由視頻鏈路顯示包括至少一個(gè)“活動(dòng)”對(duì)象的環(huán)境，以及疊加 (superimpose)與所述對(duì)象提供的服務(wù)的相關(guān)聯(lián)的命令界面(interface)元素是常見(jiàn)的， 為了能夠使用戶與所述對(duì)象交互，視頻鏈路使可視地監(jiān)控交互結(jié)果成為可能。然而，在US 6463343中，在進(jìn)行任何動(dòng)作之前，用戶必須定義在一方面的典型地來(lái)自存儲(chǔ)介質(zhì)的命令界面元素和另一方面的由對(duì)象提供的服務(wù)之間的關(guān)聯(lián)性。隨著物聯(lián)網(wǎng)時(shí)代的到來(lái)，通過(guò)視頻圖像對(duì)遠(yuǎn)程對(duì)象的發(fā)現(xiàn)并控制已經(jīng)成為主要的感興趣領(lǐng)域。主要問(wèn)題是通過(guò)視頻鏈路來(lái)發(fā)現(xiàn)交互對(duì)象并對(duì)交互對(duì)象進(jìn)行操作，并限制界面集成和配置工作。這意味著從其它普通對(duì)象中自動(dòng)區(qū)分出具有遠(yuǎn)程控制界面的對(duì)象的能力，以及將該控制界面連同所述視頻呈現(xiàn)給用戶的能力，比便能夠使得用戶通過(guò)使用由所述對(duì)象提供的服務(wù)來(lái)控制遠(yuǎn)程對(duì)象。當(dāng)前，常見(jiàn)的僅是將靜態(tài)信息插入到視頻中，或?qū)⒃u(píng)論插入到圖像的特定區(qū)域中。本發(fā)明通過(guò)提出將活動(dòng)對(duì)象與控制界面自動(dòng)關(guān)聯(lián)的裝置或定義這樣界面的裝置， 克服了這些缺陷。通過(guò)增強(qiáng)對(duì)象的創(chuàng)新性概念使上述內(nèi)容成為可能。這樣的概念自然會(huì)在當(dāng)前涉及物聯(lián)網(wǎng)的發(fā)展中找到自己的位置。

發(fā)明內(nèi)容
本發(fā)明的目的是一種使位于用戶區(qū)域內(nèi)的用戶能夠與在環(huán)境中呈現(xiàn)的至少一個(gè)增強(qiáng)對(duì)象進(jìn)行交互的設(shè)備，所述增強(qiáng)對(duì)象位于對(duì)象區(qū)域中，增強(qiáng)對(duì)象包括物理對(duì)象和相關(guān)聯(lián)的虛擬對(duì)象，所述虛擬對(duì)象包括至少一個(gè)用于由所述增強(qiáng)對(duì)象提供的至少一個(gè)服務(wù)的定義元素，所述增強(qiáng)對(duì)象能夠通過(guò)第一通信裝置進(jìn)行連接，所述設(shè)備包括-捕獲視頻的裝置，位于對(duì)象區(qū)域中，能夠獲取所述環(huán)境至少一部分的視頻圖像，-第二通信裝置，能夠?qū)?duì)象區(qū)域的所述視頻圖像傳送到用戶區(qū)域，-用戶終端，位于用戶區(qū)域中，能夠顯示所述視頻圖像，以便呈現(xiàn)給用戶，-當(dāng)相關(guān)聯(lián)的物理對(duì)象呈現(xiàn)在視頻捕獲裝置的視野中時(shí)自動(dòng)識(shí)別增強(qiáng)對(duì)象的裝置，-第一通信裝置，能夠建立在設(shè)備和識(shí)別的增強(qiáng)對(duì)象之間的連接，并恢復(fù)用于所述增強(qiáng)對(duì)象提供的服務(wù)的所述定義元素，-定義控制界面的裝置，能夠根據(jù)所述服務(wù)定義元素來(lái)定義用于識(shí)別的增強(qiáng)對(duì)象的服務(wù)的控制界面，并且通過(guò)用戶終端將所述控制界面呈現(xiàn)給用戶，-讀取用于所述服務(wù)的命令的讀取器，能夠讀取來(lái)自用戶的與所述控制界面相關(guān)的命令，-第三通信裝置，能夠?qū)⑺雒顐魉徒o增強(qiáng)對(duì)象，從而物理對(duì)象能夠執(zhí)行所述服務(wù)。根據(jù)本發(fā)明的另一特點(diǎn)，設(shè)備還包括聲音捕獲裝置，位于對(duì)象區(qū)域中，能夠從環(huán)境中捕獲聲音；能夠?qū)?lái)自對(duì)象區(qū)域的所述聲音傳送給用戶區(qū)域的第四通信裝置；用戶終端包括能夠?yàn)橛脩舨シ潘雎曇舻穆曇糁胤叛b置。根據(jù)本發(fā)明的另一特點(diǎn)，能夠控制視頻捕獲裝置的姿態(tài)(attitude)和/或位置， 用戶終端還包括能夠使用戶通過(guò)產(chǎn)生控制命令來(lái)執(zhí)行所述控制的命令裝置，并且設(shè)備還包括能夠?qū)⑺隹刂泼顝挠脩魠^(qū)域傳送到對(duì)象區(qū)域的第五通信裝置。根據(jù)本發(fā)明的另一特點(diǎn)，自動(dòng)識(shí)別增強(qiáng)對(duì)象的裝置包括辨識(shí)物理對(duì)象的形狀的設(shè)備。根據(jù)本發(fā)明的另一特點(diǎn)，自動(dòng)識(shí)別增強(qiáng)對(duì)象的裝置包括對(duì)物理對(duì)象進(jìn)行定位的裝置。根據(jù)本發(fā)明的另一特點(diǎn)，自動(dòng)識(shí)別增強(qiáng)對(duì)象的裝置包括位于物理對(duì)象上或位于物理對(duì)象附近的識(shí)別標(biāo)記。根據(jù)本發(fā)明的另一特點(diǎn)，界面定義裝置能夠使用由增強(qiáng)對(duì)象直接建議的控制界根據(jù)本發(fā)明的替代特點(diǎn)，界面定義裝置能夠恢復(fù)根據(jù)來(lái)自存儲(chǔ)裝置的服務(wù)定義元素定義的控制界面。根據(jù)本發(fā)明的另一特點(diǎn)，界面定義裝置能夠顯示被嵌入到在用戶終端上顯示的視頻圖像中的所述控制界面。根據(jù)本發(fā)明的另一特點(diǎn)，與所述控制界面相關(guān)聯(lián)的讀取用于所述服務(wù)的命令的裝置包括鍵盤、觸控板和/或定點(diǎn)結(jié)構(gòu)(pointing mechanism)。根據(jù)本發(fā)明的另一特點(diǎn)，將用于所述服務(wù)的命令通信給增強(qiáng)對(duì)象的第三裝置包括在用戶終端和增強(qiáng)對(duì)象之間的鏈路，以及在虛擬對(duì)象和物理對(duì)象之間的專用連接界面。根據(jù)本發(fā)明的另一有利特點(diǎn)，第一、第二、第三、第四和第五通信裝置還包括互聯(lián)網(wǎng)網(wǎng)絡(luò)。


通過(guò)下面通過(guò)參考附圖的實(shí)施例的方式給出的詳細(xì)描述，本發(fā)明的其它特點(diǎn)、細(xì)節(jié)和優(yōu)勢(shì)會(huì)更加明顯，其中圖1是根據(jù)本發(fā)明的設(shè)備的概要圖；圖2描述了包括增強(qiáng)對(duì)象的對(duì)象區(qū)域的實(shí)施例；圖3示出了用于圖2中呈現(xiàn)的增強(qiáng)對(duì)象的視頻圖像和控制界面的疊加顯示的實(shí)施例。
具體實(shí)施方式
圖1描述了根據(jù)本發(fā)明的設(shè)備1。在所謂的對(duì)象區(qū)域2中，存在包括至少一個(gè)增強(qiáng)(augmented)對(duì)象3的環(huán)境。所述設(shè)備1使位于用戶區(qū)域4(典型地與對(duì)象區(qū)域2不同并遠(yuǎn)離對(duì)象區(qū)域2)中的用戶5能夠檢測(cè)增強(qiáng)對(duì)象或?qū)ο?，并與它們進(jìn)行交互。為此，根據(jù)本發(fā)明的基本特點(diǎn)，在物理對(duì)象6周圍構(gòu)建增強(qiáng)對(duì)象，在增強(qiáng)對(duì)象中添加虛擬對(duì)象7。在物理對(duì)象能夠提供至少一個(gè)服務(wù)的情況下，所述物理對(duì)象6是真實(shí)世界的對(duì)象6，優(yōu)選地是活動(dòng)對(duì)象。作為解釋性和非限制性的實(shí)施例，可引用一些對(duì)象3以解釋該點(diǎn)。因此，燈是一個(gè)對(duì)象，其能夠提供兩種服務(wù)“打開(kāi)”服務(wù)以打開(kāi)所述燈，和“關(guān)閉”服務(wù)以關(guān)閉所述燈。多媒體播放器是另一對(duì)象，例如其可提供用于多媒體內(nèi)容的“廣播”服務(wù)。最后，電話是一個(gè)對(duì)象，其可提供“呼叫”服務(wù)以建立電話連接。為了定義增強(qiáng)對(duì)象3和其可提供的服務(wù)，虛擬對(duì)象7與物理對(duì)象6相關(guān)聯(lián)。該虛擬對(duì)象7是計(jì)算機(jī)世界的對(duì)象。因此，其僅包括數(shù)據(jù)和/或程序類型的軟件元素，并且還可包括物理(典型地是電子)、管理、界面或互連元素。所述虛擬對(duì)象7可包括至少一個(gè)用于物理對(duì)象6的定義和/或識(shí)別元素。因此， 在指定的環(huán)境內(nèi)唯一地定義增強(qiáng)對(duì)象3。與物理對(duì)象6相關(guān)聯(lián)的虛擬對(duì)象7包括至少一個(gè)定義元素，定義由所述增強(qiáng)對(duì)象3通過(guò)物理對(duì)象6提供的服務(wù)或多個(gè)服務(wù)。根據(jù)本發(fā)明的基本特點(diǎn)，可以通過(guò)第一通信裝置10(例如網(wǎng)絡(luò))與增強(qiáng)對(duì)象連接。 可通過(guò)增強(qiáng)對(duì)象3的虛擬對(duì)象7來(lái)完成與所述通信裝置10的連接和通信接口。因此，用戶 5可通過(guò)用戶終端12與增強(qiáng)對(duì)象3連接，以便進(jìn)行對(duì)話和交換信息。設(shè)備1包括能夠獲取至少部分環(huán)境的視頻圖像9的視頻捕獲裝置8。該視頻捕獲裝置8位于在對(duì)象區(qū)域2中。該視頻捕獲裝置8可以包括至少一個(gè)攝像機(jī)，例如網(wǎng)絡(luò)攝影機(jī)。第二通信裝置11，使將所述捕獲的視頻圖像9從對(duì)象區(qū)域2傳送到用戶區(qū)域4成為可能。用戶5與設(shè)備1進(jìn)行對(duì)話，并使用用戶終端12對(duì)設(shè)備1進(jìn)行控制。用戶終端12 位于在用戶區(qū)域4中，并能夠顯示所捕獲的所述視頻圖像9，并將所述視頻圖像9傳送給用戶5以進(jìn)行呈現(xiàn)。因此，可以將在對(duì)象區(qū)域2中發(fā)生了什么方便地、遠(yuǎn)程地、實(shí)時(shí)可視地通知用戶5。設(shè)備1還包括在與該增強(qiáng)對(duì)象3相關(guān)聯(lián)的物理對(duì)象6出現(xiàn)在視頻捕捉裝置8的視野內(nèi)時(shí)，自動(dòng)識(shí)別增強(qiáng)對(duì)象3的裝置13。所述識(shí)別裝置13可根據(jù)各種原則進(jìn)行工作，包括一些將根據(jù)示例的方式進(jìn)行描述的原則。識(shí)別可通過(guò)請(qǐng)求或連續(xù)地在任何時(shí)間執(zhí)行。然而，對(duì)象3必須是可識(shí)別的，至少在其對(duì)于視頻捕捉裝置8是可見(jiàn)的且呈現(xiàn)在能呈現(xiàn)給用戶 5的視頻圖像9中時(shí)。如后所述，識(shí)別過(guò)程使得辨識(shí)對(duì)象3并唯一識(shí)別它成為可能。從而， 該識(shí)別提供了定位所述對(duì)象3的裝置，以便與其連接。因此，在通信網(wǎng)絡(luò)的情況下，識(shí)別將唯一的網(wǎng)絡(luò)地址提供給所述增強(qiáng)對(duì)象3，使得在網(wǎng)絡(luò)上定位對(duì)象并與其連接成為可能。設(shè)備1還包括第一通信裝置10。第一通信裝置10使得基于由識(shí)別裝置13提供的識(shí)別元素或多個(gè)識(shí)別元素，在設(shè)備1和所識(shí)別的增強(qiáng)對(duì)象3之間建立連接成為可能。與增強(qiáng)對(duì)象3建立的連接使得查詢?cè)鰪?qiáng)對(duì)象3以恢復(fù)包含在與所述對(duì)象3相關(guān)聯(lián)或由所述對(duì)象 3所參照的存儲(chǔ)裝置中的與增強(qiáng)對(duì)象3相關(guān)的信息成為可能。
因此從所恢復(fù)的信息，設(shè)備1至少區(qū)分用于由所述增強(qiáng)對(duì)象3提供的一個(gè)或多個(gè)服務(wù)的定義元素。因此，返回到燈的實(shí)施例中，設(shè)備連接到所識(shí)別的增強(qiáng)燈，并恢復(fù)兩個(gè)服務(wù)“打開(kāi)” 和“關(guān)閉”，以及用于這些服務(wù)的定義元素。因此，在當(dāng)前情況下，用于“打開(kāi)”服務(wù)的定義元素包括例如其名稱“打開(kāi)”、其類型二進(jìn)制命令，以及用于其實(shí)現(xiàn)所必須的元素激活物理連接的地址以執(zhí)行服務(wù)來(lái)打開(kāi)燈。不言而喻，如果能夠在視頻圖像9中識(shí)別幾個(gè)增強(qiáng)對(duì)象3，在設(shè)備1和每個(gè)不同的增強(qiáng)對(duì)象3之間串聯(lián)或并聯(lián)地建立幾個(gè)連接，以便恢復(fù)與每個(gè)連接相關(guān)的信息。設(shè)備1還包括定義控制界面的裝置14，其中，基于用于增強(qiáng)對(duì)象3的服務(wù)定義元素，定義控制界面的裝置14可定義用于所識(shí)別的增強(qiáng)對(duì)象3的服務(wù)的控制界面15。該控制界面15呈現(xiàn)可以顯示在用戶終端12上以便由用戶5感知的前面板，例如是圖形的。與該前面板有關(guān)，控制界面15包括需要將服務(wù)命令傳送給增強(qiáng)對(duì)象3的連接。根據(jù)服務(wù)定義元素對(duì)控制界面15進(jìn)行定義。設(shè)備1還包括能夠讀取由用戶5應(yīng)用的命令的閱讀器16。根據(jù)從所識(shí)別的增強(qiáng)對(duì)象3提取的服務(wù)定義元素并與所述控制界面15的前面板相關(guān)地，配置該閱讀器16。因此，返回到燈的實(shí)施例中，例如，兩個(gè)服務(wù)“打開(kāi)”和“關(guān)閉”會(huì)被顯示在包括2個(gè)按鈕的控制界面15上。這兩個(gè)按鈕將以圖形方式顯示，每個(gè)按鈕可通過(guò)其名稱進(jìn)行識(shí)別。 從而，讀取器16能夠檢測(cè)由用戶5激活的兩個(gè)按鈕中的一個(gè)或另一個(gè)。如果用戶操作與 “打開(kāi)”服務(wù)相關(guān)聯(lián)的按鈕，則讀取器16會(huì)讀取相應(yīng)的“打開(kāi)”服務(wù)命令。設(shè)備還包括第三通信裝置17。該通信裝置負(fù)責(zé)將由讀取器16讀取的命令傳送給增強(qiáng)對(duì)象3。執(zhí)行該傳送，從而增強(qiáng)對(duì)象3接收所述命令并在物理對(duì)象6上執(zhí)行相應(yīng)服務(wù)。因此，繼續(xù)利用燈的實(shí)施例，讀取“打開(kāi)”命令。將打開(kāi)”命令發(fā)送給增強(qiáng)的燈對(duì)象，增強(qiáng)的燈對(duì)象于是激活必要的界面元素，從而執(zhí)行服務(wù)并且物理燈打開(kāi)。呈現(xiàn)給用戶5的環(huán)境的感知通過(guò)視頻圖像9是有利地可視的。然而，其可以通過(guò)涉及其它感覺(jué)(sensory)裝置的反饋進(jìn)行替換或補(bǔ)充。從而，設(shè)備1可有利地在對(duì)象區(qū)域3 中包括聲音捕獲裝置，在地理上或近或遠(yuǎn)地靠近視頻捕獲裝置8，以便從環(huán)境中捕獲聲音。 隨后使用第四傳輸裝置將所述聲音從對(duì)象區(qū)域2傳送至用戶區(qū)域4，以便使用包含在用戶終端12中的諸如耳機(jī)或揚(yáng)聲器的聲音產(chǎn)生裝置將所述聲音播放給用戶5。還可以增加基于相同原則的其它反饋，例如接觸反饋。所有這些感知 (perceptual)共同工作以助于將有關(guān)環(huán)境以及發(fā)生了什么通知給用戶5，特別是響應(yīng)于控制增強(qiáng)對(duì)象3的服務(wù)并因此修改所述環(huán)境的用戶動(dòng)作。優(yōu)選地，為了改變由視頻捕獲裝置8感知的范圍，并增大能夠可由遠(yuǎn)程用戶5感知的環(huán)境范圍，可對(duì)視頻捕獲裝置8進(jìn)行控制。從而，例如根據(jù)海拔(elevation)和方位角 (bearing)，可以控制視頻捕獲設(shè)備的姿態(tài)(attitude)。視頻捕獲設(shè)備還可以具有變焦控制。視頻捕獲設(shè)備還可具有位置控制。視頻捕獲裝置還可以具有位置控制?？梢允褂弥T如可控機(jī)器人的移動(dòng)臺(tái)來(lái)執(zhí)行后一可能性，其中視頻捕獲設(shè)備安裝在所述移動(dòng)臺(tái)上。這還可以利用與控制室類型的選擇資源的裝置相耦合的幾個(gè)視頻捕獲設(shè)備來(lái)執(zhí)行。還可以結(jié)合這些不同的實(shí)施方式。從而，用戶終端12包括適合于視頻捕獲裝置8的結(jié)構(gòu)的、并使用戶5 能夠執(zhí)行所述控制并產(chǎn)生控制命令的控制裝置18。有利地，設(shè)備1包括第五通信裝置19，其能夠?qū)⑺隹刂泼顝挠脩魠^(qū)域4傳送至對(duì)象區(qū)域2，由執(zhí)行視頻捕獲裝置8上的姿態(tài)、 位置、選擇命令的控制主體或多個(gè)控制主體來(lái)執(zhí)行。設(shè)備1的一個(gè)重要部分是對(duì)增強(qiáng)對(duì)象3的識(shí)別。可相同地應(yīng)用幾種技術(shù)以獲得這樣的識(shí)別。識(shí)別是重要的，是在于使得唯一地指定增強(qiáng)對(duì)象3以便與所述增強(qiáng)對(duì)象3連接成為可能。識(shí)別裝置的第一實(shí)施方式可使用根據(jù)任意現(xiàn)有方法的通過(guò)對(duì)視頻圖像9的分析的形狀識(shí)別。然而，這樣的分析能夠?qū)崿F(xiàn)辨識(shí)而并不能進(jìn)行識(shí)別。因此，形狀分析可以辨識(shí)到對(duì)象是燈，但是識(shí)別要求精確地知道是哪個(gè)燈。因此，必須由其它裝置來(lái)補(bǔ)充形狀識(shí)別方法。因此可以通過(guò)使用預(yù)先建立的清單進(jìn)行處理。如果僅有一個(gè)燈(或這種類型/顏色的一個(gè)燈，或該環(huán)境/房間內(nèi)的一個(gè)燈)， 則可以確定地識(shí)別出該燈。識(shí)別裝置13的另一實(shí)施方式可單獨(dú)使用物理對(duì)象6的位置，或與諸如形狀辨識(shí)的另一裝置結(jié)合使用物理對(duì)象6的位置。從而，通過(guò)其位置來(lái)識(shí)別對(duì)象。由于對(duì)象在房間的左側(cè)角落，因此對(duì)象是燈?；蛘咴僖淮瓮ㄟ^(guò)結(jié)合的方式，由于燈(唯一的燈)位于地板上方 1米處，因此通過(guò)其形狀將燈辨識(shí)為第3號(hào)燈。然而，這樣的方法要求諸如以映射的方式預(yù)先定義各種對(duì)象的位置，從而減少設(shè)備的通用性質(zhì)。另一缺陷是如果增強(qiáng)對(duì)象3已經(jīng)移動(dòng)則難以或無(wú)法對(duì)其進(jìn)行識(shí)別。可以基于視頻捕獲裝置8的位置和姿態(tài)執(zhí)行對(duì)對(duì)象位置的確定。從而，由于視頻捕獲設(shè)備的位置是固定的，或通過(guò)諸如GPS接收機(jī)的任意已知定位裝置，導(dǎo)致視頻捕獲設(shè)備的位置是已知的，如果對(duì)象位置可變化，則可以通過(guò)了解所述視頻捕獲設(shè)備的姿態(tài)角度來(lái)確定對(duì)象位置。確切地說(shuō)，這樣的識(shí)別指示的是線而并不是位置。然而，如果在所述線上沒(méi)有出現(xiàn)其它對(duì)象(或相同類型或相同形狀等的對(duì)象)，這樣的識(shí)別可足以識(shí)別對(duì)象3。然而，不要求任何預(yù)先的映射準(zhǔn)備且容許對(duì)象3潛在的并且通常可能發(fā)生的移動(dòng)的識(shí)別裝置13的實(shí)施方式是優(yōu)選的。可以通過(guò)為用戶想識(shí)別的增強(qiáng)對(duì)象3相關(guān)聯(lián)的物理對(duì)象6配備識(shí)別標(biāo)記20來(lái)實(shí)現(xiàn)這樣的識(shí)別裝置13。這樣的標(biāo)記20是唯一的，以便進(jìn)行識(shí)別。將標(biāo)記放置在物理對(duì)象6上或物理對(duì)象6附近。將標(biāo)記如此放置，從而可根據(jù)其類型來(lái)看到/讀取對(duì)象。將其特有的簽名(形狀、顏色、編碼等)保存在可從設(shè)備1訪問(wèn)的查找表中，其中查找表將簽名與唯一的增強(qiáng)對(duì)象標(biāo)識(shí)符(例如所述增強(qiáng)對(duì)象3的網(wǎng)絡(luò)地址)相關(guān)聯(lián)?？商鎿Q的方法包括將能夠?qū)崿F(xiàn)連接的增強(qiáng)對(duì)象3的識(shí)別元素直接編碼到識(shí)別標(biāo)記20 中。根據(jù)該實(shí)施方式，這里也需要對(duì)環(huán)境進(jìn)行預(yù)先準(zhǔn)備。然而，這里，對(duì)于每個(gè)單獨(dú)的和獨(dú)立的增強(qiáng)對(duì)象3，僅執(zhí)行一次準(zhǔn)備。可以想到的是，在未來(lái)在工廠中將按照這種方式配置所有候選對(duì)象，將它們與唯一的可見(jiàn)/易讀的識(shí)別標(biāo)記20和諸如當(dāng)前MAC地址的網(wǎng)絡(luò)連接地址相關(guān)聯(lián)。如果沒(méi)有將識(shí)別標(biāo)記20和連接識(shí)別元素之間的對(duì)應(yīng)關(guān)系直接編碼到識(shí)別標(biāo)記自身中，則可以由對(duì)象的制造商在諸如國(guó)際互聯(lián)網(wǎng)上發(fā)布所述查找表，以便于訪問(wèn)。識(shí)別標(biāo)記20可以是便于視頻捕獲裝置8可見(jiàn)的可視標(biāo)記(象形圖、條形碼、色碼等)，從而由設(shè)備1例如通過(guò)圖像分析來(lái)識(shí)別。諸如條形碼的可視“編碼”方便地使得直接將網(wǎng)絡(luò)連接標(biāo)識(shí)符包括其碼中成為可能，還可以是地址或可以發(fā)現(xiàn)地址的任意其它參考裝置。
方便地，這樣的可視標(biāo)記不要求任意附加的讀取裝置，這是由于其重復(fù)利用視頻捕獲裝置8。這樣的可視標(biāo)記的一個(gè)缺陷在于其僅是特殊方向周圍的空間的有限區(qū)域中可見(jiàn)的。根據(jù)可替換的實(shí)施方式，識(shí)別標(biāo)記是射頻標(biāo)簽，也就是已知的RFID。在這種情況下，設(shè)備1還必須包括射頻標(biāo)簽讀取器。位于對(duì)象區(qū)域2中的讀取器能夠讀取這樣的射頻標(biāo)簽。按照前述的優(yōu)勢(shì)對(duì)這樣的射頻標(biāo)簽進(jìn)行“編碼”。方便地，這樣的射頻標(biāo)簽不需要被看見(jiàn)才能進(jìn)行讀取，并且可被隱藏/嵌入到對(duì)象3中。同樣方便地，可在任意空間方向上公平地執(zhí)行對(duì)這樣的射頻標(biāo)簽的讀取。已經(jīng)介紹的是，定義界面的裝置14從增強(qiáng)對(duì)象3提取控制界面15的定義元素，其中控制界面15的定義元素與由所述增強(qiáng)對(duì)象3提供的服務(wù)相關(guān)聯(lián)?？刂平缑嬷辽儆蓪?duì)象 3的類型定義。因此，在燈的實(shí)施例中，用于控制界面15的定義元素至少包括兩個(gè)服務(wù)“打開(kāi)”和“關(guān)閉”中每一個(gè)的與二進(jìn)制命令相關(guān)聯(lián)的指示。對(duì)象還可以包括更多的專用指示， 例如布置、外觀、或者甚至由增強(qiáng)對(duì)象3提出的控制界面15的詳細(xì)圖形表示。根據(jù)第一實(shí)施方式，定義界面的裝置14直接地且完全地使用由增強(qiáng)對(duì)象3提出的控制界面。這使得服從增強(qiáng)對(duì)象3獨(dú)有的圖形美學(xué)成為可能?？商鎿Q地，定義界面的裝置14使用類型定義元素以構(gòu)建與對(duì)象3和其服務(wù)相一致的控制界面15，但是定義圖形外觀時(shí)不考慮由增強(qiáng)對(duì)象3提出的控制界面。這使得定義界面裝置14將具有來(lái)自一個(gè)增強(qiáng)對(duì)象3的同類圖形美學(xué)的控制界面15提供給另一對(duì)象成為可能。這種從視頻圖像9中識(shí)別的增強(qiáng)對(duì)象3中自動(dòng)提取界面類型定義元素和它們圖形表示的全部或部分、且不需要對(duì)象或環(huán)境的任何先驗(yàn)知識(shí)的能力是非常有優(yōu)勢(shì)的，優(yōu)勢(shì)在于其能夠?qū)崿F(xiàn)設(shè)備1而不需要預(yù)先定義、環(huán)境建?；蚺渲?。此外，自動(dòng)和自治的識(shí)別(不需要配置或準(zhǔn)備)使得了解未知環(huán)境和容許所述環(huán)境的變化(例如對(duì)對(duì)象3進(jìn)行移動(dòng))成為可能。清楚的是，在與增強(qiáng)對(duì)象3建立連接后所提取的元素可從包含在增強(qiáng)對(duì)象3自身中的存儲(chǔ)裝置中提取?？商鎿Q地，可從指示存儲(chǔ)這些元素的遠(yuǎn)程存儲(chǔ)裝置的對(duì)象3提取參考或地址。在定義所述控制界面15后，定義裝置14能夠在用戶終端12中包含的顯示裝置上方便地進(jìn)行顯示。根據(jù)特定的優(yōu)選實(shí)施方式，由直接覆蓋在視頻圖像9上的圖形執(zhí)行對(duì)所述控制界面15的顯示。因此，在單一的顯示裝置上，為了使用其服務(wù)，用戶5具有用于與對(duì)象3進(jìn)行交互所必須的全部信息。因此，在與控制界面相關(guān)聯(lián)的增強(qiáng)對(duì)象3附近方便地設(shè)置控制界面。從而，用戶5可以使用所述控制界面15來(lái)控制對(duì)象3的服務(wù)，并在相同顯示器上觀察使用服務(wù)的結(jié)果。因此，仍利用燈的實(shí)施例，將控制界面的圖形表示疊加(superimpose)到燈出現(xiàn)的視頻圖像上，從而在燈附近的關(guān)聯(lián)是清楚的，顯示出“打開(kāi)”和“關(guān)閉”按鈕。當(dāng)用戶4控制這兩個(gè)服務(wù)中的一個(gè)時(shí)，他或她可通過(guò)視頻圖像9直接觀察到環(huán)境的后果。因此，當(dāng)控制 “打開(kāi)”服務(wù)時(shí)，燈被打開(kāi)，用戶5可觀測(cè)到在環(huán)境中點(diǎn)燈的效果。連同呈現(xiàn)給用戶5的所述控制界面15，設(shè)備1包括讀取由用戶5執(zhí)行命令的裝置16。該讀取器16可包括鍵盤、觸控板、和/或定點(diǎn)設(shè)備(pointing device) 0與控制界面15 相關(guān)地配置該元素或這些元素。因此，在燈的實(shí)施例中，通過(guò)將鍵與“打開(kāi)”和“關(guān)閉”這兩個(gè)服務(wù)中的每一個(gè)相關(guān)聯(lián)來(lái)使用鍵盤。按下相關(guān)聯(lián)的鍵控制所述服務(wù)。還可使用觸控板。 方便地，其覆蓋在顯示裝置上，其中在顯示裝置上顯示控制界面15的圖形表示。傳統(tǒng)地，還可使用鼠標(biāo)(或操縱桿、跟蹤球、板等)定點(diǎn)設(shè)備。在這種情況下，通過(guò)點(diǎn)擊其活動(dòng)區(qū)域來(lái)激活圖形按鈕。如與本發(fā)明相關(guān)地限定的，必須能夠建立與增強(qiáng)對(duì)象3的連接。從而使用第一通信裝置從對(duì)象訪問(wèn)信息，并定于其控制界面。第三通信裝置17還用于將用于服務(wù)的命令從讀取來(lái)自用戶5的所述命令的用戶終端12傳送給增強(qiáng)對(duì)象3，其中增強(qiáng)對(duì)象3執(zhí)行所述命令以進(jìn)行相應(yīng)服務(wù)。所述第三通信裝置17系統(tǒng)性地包括在用戶終端12和增強(qiáng)對(duì)象3之間的第一鏈路。該連接(最通常的是通過(guò)網(wǎng)絡(luò))在用戶終端12和虛擬對(duì)象7之間建立鏈路。其還可以包括第二連接。第二連接是虛擬對(duì)象7和物理對(duì)象6之間的專用連接界面。因此，在燈的情況下，在增強(qiáng)之前，燈是純粹的物理對(duì)象，需要為其補(bǔ)充將兩個(gè)虛擬服務(wù)“打開(kāi)”和“關(guān)閉”與開(kāi)關(guān)設(shè)備物理關(guān)聯(lián)的專用連接界面。在本質(zhì)上包括網(wǎng)絡(luò)接口的電子或計(jì)算機(jī)對(duì)象的情況下，例如具有國(guó)際互聯(lián)網(wǎng)接口的網(wǎng)絡(luò)驅(qū)動(dòng)器或DVD播放器，這兩個(gè)連接重疊(overlap)。根據(jù)一個(gè)優(yōu)選的實(shí)施方式，第一、第二、第三、第四和第五通信裝置重疊，并包括通信網(wǎng)絡(luò)，例如國(guó)際互聯(lián)網(wǎng)。因此，為了對(duì)設(shè)備1結(jié)構(gòu)的這種說(shuō)明進(jìn)行補(bǔ)充和解釋，現(xiàn)在會(huì)給出一個(gè)實(shí)施例以解釋其使用，從而示出這這種新范例的潛力。在家庭器具環(huán)境中，應(yīng)用框架是應(yīng)用于由父母(用戶幻從他或她的辦公場(chǎng)所使用終端12參與家庭的娛樂(lè)或兒童監(jiān)控的遠(yuǎn)程交互。用戶5可從他或她的辦公場(chǎng)所(用戶區(qū)域4)使用網(wǎng)絡(luò)攝影機(jī)8觀看家庭內(nèi)部(對(duì)象區(qū)域幻，其中通過(guò)國(guó)際互聯(lián)網(wǎng)將網(wǎng)絡(luò)攝影機(jī)8的圖像方便地重傳給標(biāo)準(zhǔn)的個(gè)人計(jì)算機(jī) (用戶終端12)。視頻圖像9示出客廳。設(shè)備自動(dòng)進(jìn)行檢測(cè)，并在可應(yīng)用時(shí)以圖形方式突出該場(chǎng)景中存在的三個(gè)增強(qiáng)對(duì)象燈、電話和多媒體播放器。設(shè)備選擇性的(例如在用戶將光標(biāo)移動(dòng)到對(duì)象上時(shí))使得顯示或隱藏用于三個(gè)增強(qiáng)對(duì)象中每一個(gè)的控制界面15成為可能。這是下午5:00且父母可通過(guò)視頻觀察到他或她的已經(jīng)回家的孩子。父母選擇電話對(duì)象。這樣顯示至少提供“呼叫我”服務(wù)的控制界面?？刂圃摲?wù)并觸發(fā)與家中存在的電話的電話呼叫的建立，并且其通過(guò)終端與父母連接，并通過(guò)所述電話與孩子連接。在隨后的交談中，父母建議孩子從他們偏愛(ài)的組中觀看父母剛下載的最新視頻片段。父母選擇多媒體播放器。這樣顯示至少提供“播放”服務(wù)的控制界面。父母在他或她終端的桌面上選擇視頻片段，并將其拖拽到用于“廣播”服務(wù)的控制界面上。這觸發(fā)從工作場(chǎng)所將所述片段下載到家中的多媒體播放器，并且然后在所述多媒體播放器上播放用于孩子觀看的所述片段。為了不中斷片段的廣播，父母可選擇燈對(duì)象以將其關(guān)閉，全部都是遠(yuǎn)程執(zhí)行。
權(quán)利要求
1.一種使位于用戶區(qū)域(4)中的用戶(5)能夠與環(huán)境中呈現(xiàn)的至少一個(gè)增強(qiáng)對(duì)象(3) 進(jìn)行交互的設(shè)備，所述增強(qiáng)對(duì)象C3)位于對(duì)象區(qū)域O)中，增強(qiáng)對(duì)象C3)包括物理對(duì)象(6) 和相關(guān)聯(lián)的虛擬對(duì)象(7)，所述虛擬對(duì)象(7)包括至少一個(gè)用于由所述增強(qiáng)對(duì)象( 提供的至少一個(gè)服務(wù)的定義元素，所述增強(qiáng)對(duì)象C3)能夠通過(guò)第一通信裝置(10)進(jìn)行連接，并且所述設(shè)備(1)包括捕獲視頻裝置(8)，位于對(duì)象區(qū)域O)中，能夠獲得所述環(huán)境的至少一部分的視頻圖像(9),第二通信裝置(11)，能夠?qū)?duì)象區(qū)域O)的所述視頻圖像(9)傳送給用戶區(qū)域G)， 用戶終端(12)，位于用戶區(qū)域中，能夠顯示所述視頻圖像(9)，以便呈現(xiàn)給用戶(5),當(dāng)相關(guān)聯(lián)的物理對(duì)象(6)呈現(xiàn)在視頻捕獲裝置⑶的視野中時(shí)自動(dòng)識(shí)別增強(qiáng)對(duì)象⑶ 的裝置(13)，第一通信裝置(10)，能夠在設(shè)備(1)和識(shí)別的增強(qiáng)對(duì)象C3)之間建立連接，并恢復(fù)由所述增強(qiáng)對(duì)象( 提供的服務(wù)的所述定義元素，定義控制界面的裝置(14)，能夠根據(jù)所述服務(wù)定義元素來(lái)定義用于識(shí)別的增強(qiáng)對(duì)象 (3)的服務(wù)的控制界面(15)，并將所述控制界面(15)通過(guò)用戶終端(12)呈現(xiàn)給用戶(5)， 讀取用于所述服務(wù)的命令的裝置(16)，能夠讀取來(lái)自用戶( 的與所述控制界面(15) 相關(guān)的命令，第三通信裝置(17)，能夠?qū)⑺雒顐魉徒o增強(qiáng)對(duì)象(3)，從而物理對(duì)象(6)能夠執(zhí)行所述服務(wù)。
2.根據(jù)權(quán)利要求1所述的設(shè)備，包括位于對(duì)象區(qū)域( 中的聲音捕獲裝置，其能夠從環(huán)境中捕獲聲音；第四通信裝置，能夠?qū)?lái)自對(duì)象區(qū)域O)的所述聲音傳送給用戶區(qū)域； 用戶終端(1 包括能夠?yàn)橛脩? 播放所述聲音的聲音重放裝置。
3.根據(jù)權(quán)利要求1或2所述的設(shè)備，其中能夠控制視頻捕獲裝置的姿態(tài)和/或位置，其中用戶終端(1 還包括能夠使用戶( 通過(guò)產(chǎn)生控制命令來(lái)執(zhí)行所述控制的視頻控制裝置(18)，并且所述設(shè)備還包括第五通信裝置(19)，其能夠?qū)⑺隹刂泼顝挠脩魠^(qū)域(4) 傳送到對(duì)象區(qū)域(2)。
4.根據(jù)權(quán)利要求1至3中任意一項(xiàng)所述的設(shè)備，其中自動(dòng)識(shí)別增強(qiáng)對(duì)象(3)的裝置 (13)包括辨識(shí)物理對(duì)象(6)的形狀的裝置。
5.根據(jù)權(quán)利要求1至4中任意一項(xiàng)所述的設(shè)備，其中自動(dòng)識(shí)別增強(qiáng)對(duì)象(3)的裝置 (13)包括對(duì)物理對(duì)象(6)進(jìn)行定位的裝置。
6.根據(jù)權(quán)利要求1至5中任意一項(xiàng)所述的設(shè)備，其中自動(dòng)識(shí)別增強(qiáng)對(duì)象(3)的裝置 (13)包括位于物理對(duì)象(6)處或位于物理對(duì)象(6)附近的識(shí)別標(biāo)記00)。
7.根據(jù)權(quán)利要求6所述的設(shè)備，其中識(shí)別標(biāo)記00)是可視標(biāo)記。
8.根據(jù)權(quán)利要求6或7所述的設(shè)備，其中識(shí)別標(biāo)記00)是射頻標(biāo)簽，并且其中設(shè)備還包括位于對(duì)象區(qū)域O)中的能夠讀取這種射頻標(biāo)簽的射頻標(biāo)簽讀取器。
9.根據(jù)權(quán)利要求1至8中任意一項(xiàng)所述的設(shè)備，其中定義界面的裝置(14)能夠使用由增強(qiáng)對(duì)象( 直接提出的控制界面(15)。
10.根據(jù)權(quán)利要求1至9中任意一項(xiàng)所述的設(shè)備，其中定義界面的裝置(14)能夠恢復(fù)根據(jù)來(lái)自存儲(chǔ)裝置的服務(wù)定義元素定義的控制界面(15)。
11.根據(jù)權(quán)利要求1至10中任意一項(xiàng)所述的設(shè)備，其中定義界面的裝置(14)能夠通過(guò)將控制界面(1 嵌入到顯示在用戶終端(1 上的視頻圖像(9)中來(lái)顯示所述控制界面 (15)。
12.根據(jù)權(quán)利要求1至11中任意一項(xiàng)所述的設(shè)備，其中與所述控制界面(1 相關(guān)聯(lián)的、讀取用于所述服務(wù)的命令的裝置(16)包括鍵盤、觸控板和/或定點(diǎn)結(jié)構(gòu)。
13.根據(jù)權(quán)利要求1至12中任意一項(xiàng)所述的設(shè)備，其中將用于所述服務(wù)的命令通信給增強(qiáng)對(duì)象⑶的第三裝置(17)包括在用戶終端(12)和增強(qiáng)對(duì)象(3)之間的鏈路，以及在虛擬對(duì)象(7)和物理對(duì)象(6)之間的專用連接界面。
14.根據(jù)權(quán)利要求1至13中任意一項(xiàng)所述的設(shè)備，其中第一、第二、第三、第四和第五通信裝置還包括國(guó)際互聯(lián)網(wǎng)。
全文摘要
本發(fā)明涉及一種用于與至少一個(gè)增強(qiáng)對(duì)象(3)進(jìn)行交互的設(shè)備，其中增強(qiáng)對(duì)象(3)包括彼此相關(guān)聯(lián)的物理對(duì)象(6)和虛擬對(duì)象(7)，所述虛擬對(duì)象(7)包括至少一個(gè)服務(wù)定義元素，其可以通過(guò)第一通信裝置與增強(qiáng)對(duì)象(3)連接，所述設(shè)備包括視頻捕獲裝置(8)；用戶終端(12)；自動(dòng)識(shí)別增強(qiáng)對(duì)象(3)的裝置；通信裝置(10)，能夠在設(shè)備和識(shí)別的增強(qiáng)對(duì)象(3)之間建立連接，并另外能夠恢復(fù)所述服務(wù)定義元素；根據(jù)所述服務(wù)定義元素定義用于識(shí)別的增強(qiáng)對(duì)象(3)的服務(wù)的控制界面的裝置；讀取裝置，能夠讀取與所述控制界面相關(guān)的命令；以及用于將所述命令通信給增強(qiáng)對(duì)象(3)以執(zhí)行所述命令的裝置(17)。
文檔編號(hào)H04L12/28GK102577250SQ201080044455
公開(kāi)日2012年7月11日 申請(qǐng)日期2010年9月3日 優(yōu)先權(quán)日2009年10月5日
發(fā)明者A·帕斯特, J·吉恩 申請(qǐng)人:阿爾卡特朗訊公司