在增強現(xiàn)實(AR)中，真實環(huán)境的視圖(諸如真實環(huán)境的視頻圖像)與數(shù)字信息的疊層組合，該數(shù)字信息通常呈現(xiàn)與真實環(huán)境具有空間關系的一個或多個虛擬對象的形式。手持式增強現(xiàn)實需要用戶裝備有相機的設備，使得相機捕獲具有相關聯(lián)的數(shù)字信息的環(huán)境或對象。如果真實環(huán)境或對象在拍攝圖像過程中不可見，則增強現(xiàn)實視圖不提供數(shù)字信息。某些增強現(xiàn)實應用程序支持用戶進行可能耗時幾分鐘甚至幾小時的任務，示例包括步行導航和產(chǎn)品維護手冊。用戶可能不方便在整個任務執(zhí)行期間舉起設備，用戶可能想要暫時放下設備或將設備收起來。在這種情況下使用增強現(xiàn)實視圖時，不為用戶提供支持其任務的數(shù)字信息，除非再次舉起設備并且使相機再次面向對象或環(huán)境。

在用戶測試中觀察到，用戶體驗中發(fā)生這種中斷將使該用戶喪失對其任務的跟蹤。進一步觀察到，有些用戶由于害怕遺漏某物，即使在舉著設備很疲勞的情況下也不會放下設備。上述兩種狀況使得用戶體驗不盡人意。

進一步發(fā)現(xiàn)，最關鍵的問題在于手持式視頻透視式AR應用程序需要用戶連續(xù)舉起手持式設備。這是必需的，因為后置相機需要捕獲應被增強的場景。這不管是對老年人還是健康用戶而言都是不合理的，因為手持式設備通常很重并且表面光滑，很難較長時間舉起它們。

增強現(xiàn)實跟蹤系統(tǒng)面臨的挑戰(zhàn)是在設定適當用戶期望所需的可感知時間內(nèi)準確地估計喪失跟蹤這一事件。這種系統(tǒng)通常充當二進制接通/斷開開關。增強現(xiàn)實上下文中的標準方法主要限于用于通知用戶喪失跟蹤并要求用戶將設備的相機指向真實對象或環(huán)境以恢復視覺跟蹤的報警對話框。

EP 2 579 127 A1提出了一種確定移動設備的用戶的頭部的取向的方法。該系統(tǒng)包括移動設備和頭戴式輔助設備，該頭戴式輔助設備包括用于獲取頭部的取向的數(shù)字羅盤。該取向用于確定遞送給用戶的內(nèi)容。

WO 2013/058950 A1提出了一種確定設備取向(例如在桌子上的面向下的取向)的方法。然后使用該設備取向來激活相應的通知配置文件(例如，“Quiet”)。

US 2012/0280917 A1提出了一種使用設備的傳感器(接觸傳感器、速度傳感器、光傳感器)基于用戶意圖和/或身份來調(diào)節(jié)設備狀態(tài)(例如，省電模式)的方法。

US 8 594 744 B2描述了一種用于基于對用戶聲音進行取樣來將移動設備的操作模式從免提模式切換到聽筒模式的系統(tǒng)和方法。在過渡到另一種信息呈現(xiàn)模式的情況下，并不一定需要附加用戶輸入。唯一需要是對用戶的聲音數(shù)據(jù)(利用麥克風來捕獲)進行取樣。

EP 2 327 010 A2和WO 2010/022386 A2描述了一種使用虛擬相機、取向傳感器和接觸交互來在移動設備上的三維環(huán)境中進行導航的方法和系統(tǒng)。

期望提供一種用于呈現(xiàn)與真實對象相關的數(shù)字信息的方法和系統(tǒng)，該方法和系統(tǒng)能夠在例如在手持式設備上執(zhí)行給定用戶任務期間(例如，在放下手持式設備時)提供不中斷的用戶界面和體驗。

根據(jù)一方面，公開了一種表示與真實對象相關的數(shù)字信息的方法，該方法包括：確定真實對象；提供多個呈現(xiàn)模式，其中該多個呈現(xiàn)模式包括虛擬現(xiàn)實模式和音頻模式中的至少一者以及增強現(xiàn)實模式；提供與真實對象相關的數(shù)字信息的至少一種表示；在考慮到由相機所捕獲的圖像的情況下，確定相機與參考坐標系之間的空間關系；根據(jù)該空間關系來從多個呈現(xiàn)模式中選擇呈現(xiàn)模式；以及使用所選擇的呈現(xiàn)模式來呈現(xiàn)數(shù)字信息的至少一種表示。

根據(jù)另一方面，提供了一種表示與真實對象相關的數(shù)字信息的方法，該方法包括：確定真實對象；提供多個呈現(xiàn)模式，其中該多個呈現(xiàn)模式包括虛擬現(xiàn)實模式和音頻模式中的至少一者以及增強現(xiàn)實模式；提供與真實對象相關的數(shù)字信息的至少一種表示；在考慮到由至少一個相機所捕獲的至少一個圖像的情況下，確定人眼與參考坐標系之間的空間關系；根據(jù)該空間關系來從多個呈現(xiàn)模式中選擇呈現(xiàn)模式；以及使用所選擇的呈現(xiàn)模式來呈現(xiàn)數(shù)字信息的至少一種表示。

根據(jù)另一方面，提供了一種用于呈現(xiàn)與真實對象相關的數(shù)字信息的系統(tǒng)，該系統(tǒng)包括處理系統(tǒng)，該處理系統(tǒng)被配置為：確定真實對象；提供多個呈現(xiàn)模式，其中該多個呈現(xiàn)模式包括虛擬現(xiàn)實模式和音頻模式中的至少一者以及增強現(xiàn)實模式；提供與真實對象相關的數(shù)字信息的至少一種表示；在考慮到由相機所捕獲的圖像的情況下，確定相機與參考坐標系之間的空間關系；根據(jù)空間關系來從多個呈現(xiàn)模式中選擇呈現(xiàn)模式；以及使用所選擇的呈現(xiàn)模式來呈現(xiàn)數(shù)字信息的至少一種表示。

根據(jù)另一方面，提供了一種用于呈現(xiàn)與真實對象相關的數(shù)字信息的系統(tǒng)，該系統(tǒng)包括處理系統(tǒng)，該處理系統(tǒng)被配置為：確定真實對象；提供多個呈現(xiàn)模式，其中該多個呈現(xiàn)模式包括虛擬現(xiàn)實模式和音頻模式中的至少一者以及增強現(xiàn)實模式；提供與真實對象相關的數(shù)字信息的至少一種表示；在考慮到由至少一個相機所捕獲的至少一個圖像的情況下，確定人眼與參考坐標系之間的空間關系；根據(jù)該空間關系來從多個呈現(xiàn)模式中選擇呈現(xiàn)模式；以及使用所選擇的呈現(xiàn)模式來呈現(xiàn)數(shù)字信息的至少一種表示。

具體地，提議自動確定相機與真實對象或環(huán)境之間的當前空間關系是否適于通過使用(視覺)增強現(xiàn)實(AR)呈現(xiàn)來呈現(xiàn)與真實對象或環(huán)境相關聯(lián)的數(shù)字信息，并且如果不適用，則提議切換到不同的信息呈現(xiàn)模式(如虛擬現(xiàn)實(VR)呈現(xiàn)或音頻呈現(xiàn))，這會更適于將支持用戶任務的相關聯(lián)數(shù)字信息傳送給用戶。本發(fā)明有助于通過從AR呈現(xiàn)自動切換到另一種信息呈現(xiàn)模式(例如，VR呈現(xiàn)或音頻呈現(xiàn))來解決上述缺點。

在整個文檔中，術語“AR呈現(xiàn)”、“AR呈現(xiàn)模式”、“AR模式”、“增強現(xiàn)實呈現(xiàn)”、“增強現(xiàn)實呈現(xiàn)模式”和“增強現(xiàn)實模式”可互換使用。另外，本文檔可互換使用術語“VR呈現(xiàn)”、“VR呈現(xiàn)模式”、“VR模式”、“虛擬現(xiàn)實呈現(xiàn)”、“虛擬現(xiàn)實呈現(xiàn)模式”和“虛擬現(xiàn)實模式”。而且，術語“音頻呈現(xiàn)”、“音頻呈現(xiàn)模式”和“音頻模式”在整個文檔中可互換使用。

本發(fā)明試圖解決的問題是，去除在放下手持式設備或將其收起時被中斷的用戶體驗的間隙。這可例如基于設備取向(的變化)來檢測。因此，提出了一種用于連續(xù)用戶體驗的系統(tǒng)和方法，具體地通過分別根據(jù)相機或眼睛與真實對象之間的空間關系的至少一部分來改變信息呈現(xiàn)模式。與常用方法相比，其優(yōu)點在于可與用戶連續(xù)保持邏輯連接并呈現(xiàn)與真實對象相關的數(shù)字信息，其方式最適于給定上下文，即相機或眼睛與對象之間的空間關系這種給定上下文。

當前，在AR應用程序(例如，AR瀏覽器)和/或AR或計算機視覺軟件開發(fā)工具包中，提供了對象或環(huán)境是否被跟蹤的狀態(tài)，并且應用程序開發(fā)者可例如通過向用戶提供視覺指令來告知如何達到所需對象或環(huán)境被跟蹤的狀態(tài)(例如，通過“請將相機指向雜志封面以開始增強現(xiàn)實體驗”)，以對該對象或環(huán)境未被跟蹤這一事件作出反應。根據(jù)本發(fā)明，AR應用程序和/或AR或計算機視覺軟件開發(fā)工具包的未來版本可能提供多個狀態(tài)，告知1)數(shù)字信息可在對象的實時視頻圖像或實時視圖的頂部呈現(xiàn)為空間配準地再現(xiàn)(AR模式)；或2)數(shù)字信息可在屏幕上在視覺上呈現(xiàn)，而無需任何實時配準(VR模式)；或3)數(shù)字信息無法在屏幕上在視覺上呈現(xiàn)，但可例如通過揚聲器或耳機在聽覺上呈現(xiàn)(音頻模式)。

應用程序開發(fā)者可手動處理這些情況，或SDK(軟件開發(fā)工具包)可理解數(shù)字信息描述，該數(shù)字信息描述包括不同的呈現(xiàn)，例如包括AR模式的3D模型、VR模式的3D模型或2D圖像、可結合AR模式或VR模式在屏幕上打印或可使用文本到語音合成軟件在音頻模式下讀給用戶的文本指令。從設備到用戶的不同信息呈現(xiàn)模式可能是等效的(這意味著它們承載相同的信息)或它們在細節(jié)豐富度方面可能不同。細節(jié)較少的模型可鼓勵用戶在有利的情況下切換到細節(jié)更豐富的模式。

不同于上述現(xiàn)有技術，根據(jù)本發(fā)明的方法基于相機與真實對象(數(shù)字信息與真實對象相關)之間的當前空間關系來確定合適的數(shù)字信息呈現(xiàn)模式。本發(fā)明的方法可改變用戶相對于觀察的上下文(即，在(視頻透視式)AR模式、VR模式與音頻模式之間切換)消耗(或感知)關于對象的數(shù)字信息的方式，以便例如在執(zhí)行給定用戶任務期間遞送不中斷的用戶體驗。用戶任務的示例包括執(zhí)行產(chǎn)品維護并且導航到指定目的地。

本發(fā)明提供了以最合適的信息呈現(xiàn)模式(向用戶)來呈現(xiàn)與真實對象相關的數(shù)字信息這一優(yōu)點。具體地，這包括增強現(xiàn)實信息呈現(xiàn)模式，所述增強現(xiàn)實信息呈現(xiàn)模式提供特別豐富的信息，但僅在某些狀況下適用，即在相機與真實對象之間呈某些空間關系的狀況下適用。與現(xiàn)有技術相比，本發(fā)明的優(yōu)點在于，即使狀況(即相機與真實對象之間的空間關系)不適于AR，仍可為用戶提供與真實對象相關的數(shù)字信息，但在這種情況下，現(xiàn)有技術會中斷呈現(xiàn)與真實對象相關的數(shù)字信息。

AR用戶界面的自適應上下文切換并不廣泛用于維護和步行導航任務。城市自行車導航也可從本發(fā)明獲益。我們探究了跟蹤系統(tǒng)(即至少使用相機傳感器)與所觀察的真實對象(數(shù)字信息與真實對象相關)之間的空間關系。在給定的觀察上下文中，以合適的方式將真實對象的數(shù)字信息遞送給用戶，所述合適的方式包括：視覺方式(例如，以描述性文本、圖像、3D模型、2D地圖等形式)，通過疊加在視頻饋送中的顯示器進行；無任何實時相機饋送的視覺方式；或聽覺方式，通過免提或耳機進行。

例如，根據(jù)本發(fā)明的處理系統(tǒng)至少部分地包括在移動設備(諸如移動電話、可穿戴式計算機、平板電腦或移動計算機(通常稱為膝上型計算機)和/或適于與移動設備通信的服務器計算機中。該處理系統(tǒng)可包括在這些設備中的僅一者中，例如包括在移動設備中或包括在服務器計算機中，或者可以是分布式系統(tǒng)，其中由一個或多個處理設備例如通過點到點通信或經(jīng)由網(wǎng)絡來分布和處理一個或多個處理任務，所述一個或多個處理設備為分布式的且彼此通信。

根據(jù)一個實施方案，該系統(tǒng)包括移動設備，移動設備包括相機和顯示設備。

本文相對于所述方法描述的實施方案、方面和示例可同樣由被配置為(通過軟件和/或硬件)執(zhí)行相應步驟的處理系統(tǒng)實現(xiàn)。任何所使用的處理設備均可經(jīng)由通信網(wǎng)絡(例如，經(jīng)由服務器計算機或點到點通信)與一個或多個相機、顯示器和/或任何其他部件通信。

根據(jù)另一方面，本發(fā)明還涉及包括軟件代碼段的計算機程序產(chǎn)品，所述軟件代碼段被適配為執(zhí)行根據(jù)本發(fā)明所述的方法。具體地，軟件代碼段被包含在非暫態(tài)計算機可讀介質上。軟件代碼段可被加載到本文所述的一個或多個處理設備(諸如微處理器)的存儲器中。任何所使用的處理設備可經(jīng)由通信網(wǎng)絡例如經(jīng)由本文所述的服務器計算機或點到點通信進行通信。

根據(jù)一個實施方案，多個呈現(xiàn)模式還包括音頻模式。具體地，音頻模式根據(jù)數(shù)字信息的至少一種表示來生成聲音。

根據(jù)一個實施方案，根據(jù)相機或人眼分別與真實對象之間的空間關系的至少一部分，增強現(xiàn)實模式在真實對象的實時視圖中在顯示設備上視覺上混入數(shù)字信息的至少一種表示，虛擬現(xiàn)實模式在顯示設備上在視覺上呈現(xiàn)數(shù)字信息的至少一種表示和真實對象的表示，并且音頻模式根據(jù)數(shù)字信息的至少一種表示來生成聲音。

例如，真實對象的實時視圖由相機捕獲作為至少一個圖像，并且顯示設備包括屏幕，其中在所述屏幕上顯示所述至少一個圖像。根據(jù)另一個示例，真實對象的實時視圖由人眼捕獲，并且顯示設備包括半透明屏幕。

根據(jù)一個實施方案，本發(fā)明包括根據(jù)至少一個圖像的像素信息和/或根據(jù)在相機捕獲至少一個圖像時相機相對于參考坐標系的姿態(tài)和/或根據(jù)手動輸入來將由相機所捕獲的真實對象的至少一部分的至少一個圖像確定為至少一個關鍵圖像。

例如，真實對象的呈現(xiàn)包括至少一個關鍵圖像。

根據(jù)一個實施方案，本發(fā)明包括根據(jù)至少一個圖像的像素信息和/或根據(jù)至少一個閾值和/或根據(jù)手動輸入來將相機捕獲真實對象的至少一部分的至少一個圖像時相機相對于參考坐標系的至少一個姿態(tài)確定為至少一個關鍵姿態(tài)。

例如，根據(jù)至少一個關鍵姿態(tài)來呈現(xiàn)真實對象的呈現(xiàn)。

根據(jù)一個實施方案，根據(jù)由相機所捕獲的真實對象的至少一部分的至少一個圖像來確定真實對象。

根據(jù)另一個實施方案，根據(jù)至少一個手動輸入來確定真實對象。

根據(jù)一個實施方案，數(shù)字信息的至少一種表示包括三維對象、三角網(wǎng)格、點云、體數(shù)據(jù)集、貝塞爾曲線(Bezier curve)、花鍵、表面描述、圖像、聲音、文字、視頻和動畫中的至少一者。

根據(jù)一個實施方案，參考坐標系與真實對象相關聯(lián)。

根據(jù)另一個實施方案，參考坐標系與地球或跟蹤系統(tǒng)相關聯(lián)。

例如，根據(jù)空間關系從多個呈現(xiàn)模式中選擇呈現(xiàn)模式包括確定真實對象的至少一部分是否在相機的視場內(nèi)，如果是，選擇增強現(xiàn)實模式作為呈現(xiàn)模式，否則選擇虛擬現(xiàn)實模式和音頻模式中的至少一者作為呈現(xiàn)模式。

根據(jù)另一個實施方案，根據(jù)空間關系從多個呈現(xiàn)模式中選擇呈現(xiàn)模式包括確定所述空間關系是否指示相機與真實對象之間的距離低于閾值，如果是，選擇增強現(xiàn)實模式作為呈現(xiàn)模式，否則選擇虛擬現(xiàn)實模式和音頻模式中的至少一者作為呈現(xiàn)模式。

例如，選擇虛擬現(xiàn)實模式和音頻模式中的至少一者作為呈現(xiàn)模式還包括確定相機相對于重力方向的取向，并且根據(jù)相機的取向選擇虛擬現(xiàn)實模式和音頻模式中的一者作為呈現(xiàn)模式。

根據(jù)一個實施方案，選擇虛擬現(xiàn)實模式和音頻模式中的至少一者作為呈現(xiàn)模式還包括確定一個或多個眼睛是否凝視在顯示設備上，其中使用增強現(xiàn)實模式或虛擬現(xiàn)實模式在顯示設備上呈現(xiàn)數(shù)字信息的至少一種表示，如果是，選擇虛擬現(xiàn)實模式作為呈現(xiàn)模式，否則選擇音頻模式作為呈現(xiàn)模式。

根據(jù)一個實施方案，還根據(jù)附接至相機的GPS、羅盤和/或慣性傳感器或根據(jù)跟蹤系統(tǒng)確定相機與參考坐標系之間的空間關系。

根據(jù)一個實施方案，相機與參考坐標系之間的空間關系為第一空間關系，參考坐標系為第一參考坐標系，并且所述方法還包括確定顯示設備與第二參考坐標系之間的第二空間關系，其中使用增強現(xiàn)實模式或虛擬現(xiàn)實模式在顯示設備上呈現(xiàn)數(shù)字信息的至少一種表示。

例如，第二參考坐標系與人眼相關聯(lián)，并且根據(jù)由附接至顯示設備的相機所捕獲的眼睛的至少一個圖像來確定第二空間關系。

根據(jù)另一個實施方案，第二參考坐標系與真實對象相關聯(lián)，并且根據(jù)由附接至顯示設備的相機所捕獲的真實對象的至少一部分的至少一個圖像來確定第二空間關系。

根據(jù)另一個實施方案，第二參考坐標系與地球或跟蹤系統(tǒng)相關聯(lián)，并且根據(jù)跟蹤系統(tǒng)或附接至顯示設備的慣性傳感器來確定第二空間關系。

根據(jù)一個實施方案，根據(jù)空間關系從多個呈現(xiàn)模式中選擇呈現(xiàn)模式包括根據(jù)第一空間關系和第二空間關系來選擇呈現(xiàn)模式。

根據(jù)一個實施方案，本發(fā)明還包括通知用戶多個呈現(xiàn)模式中的一個呈現(xiàn)模式為用戶提供比多個呈現(xiàn)模式中的另一個呈現(xiàn)模式更豐富的數(shù)字信息的表示，并且給出關于移動或位置或取向的指令以改變相機或眼睛分別與參考坐標系之間的空間關系，使得多個呈現(xiàn)模式中的該者適于以更豐富的方式呈現(xiàn)數(shù)字信息。

例如，根據(jù)空間關系從多個呈現(xiàn)模式中選擇呈現(xiàn)模式包括根據(jù)第一空間關系和第二空間關系來選擇呈現(xiàn)模式。

例如，基于視覺跟蹤來確定第一空間關系，并且第一空間關系描述相機與真實對象之間的關系。可例如利用慣性傳感器來測量第二空間關系，并且第二空間關系是指顯示器(顯示設備)與地球之間的關系。第一空間關系可用于確定真實對象在拍攝圖像中是否可見，這可能是增強現(xiàn)實模式的先決條件。在這種情況下，第二空間關系可能指示顯示器是否面向下且因此不能被用戶觀察到，或指示顯示器是否沒有面向下。虛擬現(xiàn)實呈現(xiàn)模式的適用性可能例如要求顯示器可被用戶觀察到。需注意，顯示器(顯示設備)和相機并不一定以剛性方式連接。因此，第一空間關系和第二空間關系二者可能是指同一坐標系，例如與真實對象相關聯(lián)，但在相機與顯示設備不相關地移動的情況下，仍然是完全無關的。

例如，可在增強現(xiàn)實模式為具有最豐富的信息的呈現(xiàn)模式時手動限定豐富度水平，或針對具體使用情況和每個數(shù)字信息來獨立地限定豐富度水平。

根據(jù)一個實施方案，一種方法包括以下步驟：1)確定相機與真實對象之間的空間關系的至少一部分，2)根據(jù)所述空間關系的所述至少一部分確定哪種信息呈現(xiàn)模式適于提供與所述真實對象相關的數(shù)字信息，以及3)借助于所確定的信息呈現(xiàn)模式來呈現(xiàn)與所述真實對象相關的數(shù)字信息。任選地，可在2)與3)之間執(zhí)行額外步驟，所述額外步驟檢查與所述真實對象相關的數(shù)字信息的數(shù)據(jù)表示的可用性，并且基于該信息和2)的結果(即，哪種呈現(xiàn)模式適用)確定在3)中將使用哪種模式。

現(xiàn)將相對于附圖來描述本發(fā)明的方面和實施方案，其中：

圖1示出了根據(jù)本發(fā)明的實施方案的流程圖，

圖2示出了根據(jù)本發(fā)明的實施方案的示例性場景，

圖3示出了根據(jù)本發(fā)明的實施方案的另一個示例性場景，

圖4示出了根據(jù)本發(fā)明的實施方案的架構的基本層，

圖5示出了本發(fā)明的實施方案中的數(shù)字信息的基礎數(shù)據(jù)表示層的示例，

圖6示出了根據(jù)實施方案的用于選擇適當信息呈現(xiàn)模式的工作流程圖，

圖7示出了本發(fā)明的實施方案可如何基于相機與真實對象之間的空間關系的至少一部分來確定增強現(xiàn)實呈現(xiàn)模式是否合適的流程圖，

圖8示出了本發(fā)明的實施方案可如何基于相機與真實對象之間的空間關系的至少一部分來確定虛擬現(xiàn)實呈現(xiàn)模式是否合適的流程圖，

圖9示出了根據(jù)本發(fā)明的實施方案可如何確定相機是否被收起的流程圖，

圖10示意性地示出了人眼通過光透視式顯示器觀察到真實對象的兩種場景，其中穿過顯示器的眼睛的視場分別包括和不包括真實對象。

圖1示出了根據(jù)本發(fā)明的實施方案的流程圖。在第一步驟101中，確定相機與真實對象(例如，與真實對象相關聯(lián)的參考坐標系)之間的空間關系的至少一部分。隨后在步驟102中，使用相機與真實對象之間的空間關系的至少一部分來確定哪種信息呈現(xiàn)模式適于提供與真實對象相關的數(shù)字信息。步驟103借助于合適的呈現(xiàn)模式呈現(xiàn)與真實對象相關的數(shù)字信息。在圖2和圖3中示出了本發(fā)明的示例性實施方案，這將在下文中進行闡述。

數(shù)字信息可通過創(chuàng)作過程與真實對象相關聯(lián)或相關。例如，用戶可使用計算機向真實對象的圖像分配數(shù)字信息，以使數(shù)字信息與真實對象相關。又如，真實對象可通過CAD模型或一組圖像特征(例如，SIFT描述符)來表示。數(shù)字信息可鏈接至CAD模型或該組圖像特征。圖1中的步驟101可以不同的方式實現(xiàn)，具體取決于可用信息和傳感器并且取決于使用情況。

相機與真實對象之間的空間關系可包括物理距離或角度?？臻g關系可包括二進制信息。例如，空間關系可以是真實對象位于相機前面，即相機的圖像平面前面?？臻g關系也可以是真實對象的至少一部分位于相機的截錐體內(nèi)，可將所述截錐體參數(shù)化為棱錐體。類似地，空間關系可能是指關于以下內(nèi)容的二進制信息：真實對象的至少一部分是否位于相機坐標系中的任何幾何形狀、空間或半空間(包括球體、四面體、立方體、八面體、棱錐體、圓錐體、圓柱體或任何其他三維形狀)。所有這些示例是指相機與真實對象之間的平移，其為空間關系的至少一部分。如何定義空間關系的其他示例包括：在相機與真實對象之間提供(1D)距離(例如，深度)；或提供三個坐標中的至少一者，所述三個坐標指示相機與真實對象之間在歐幾里得空間的三維平移，所述三維平移例如以物理單位(諸如毫米或米)給出。例如，空間關系可相對于相機的高度描述真實對象的高度。空間關系還可指示取向。例如，空間關系可能描述相機的坐標系中真實對象的取向的一個、兩個或三個自由度?？臻g關系還可能描述真實對象的坐標系中相機的取向的一個、兩個或三個自由度。例如，如果真實對象為環(huán)境(例如，城市、建筑、植物或土地)，那么相機與真實對象之間的空間關系的至少一部分可包括相機相對于重力的取向，該取向包含關于兩個自由度的信息并且可用慣性傳感器測量。另外，附接至相機的GPS傳感器也可用于確定相機相對于環(huán)境的位置，即空間關系?？臻g關系可能是指上述所討論的任何事物和任意組合。類似地，空間關系的至少一部分也可能是指上述所討論的任意組合。

在一個實施方案中，使用基于模型的視覺跟蹤基于拍攝圖像和真實對象的模型來確定相機與真實對象之間的空間關系。例如，這可利用模型并使用來自拍攝圖像的點特征、特征描述符、特征分類器或線特征及其對應關系來實現(xiàn)。

在另一個實施方案中，可基于基于圖像的對象識別方法來確定空間關系，所述方法確定真實對象是否至少部分地位于相機的視錐體內(nèi)。

在另一個實施方案中，基于由深度感測相機所提供的范圍數(shù)據(jù)來確定相機與真實對象之間的空間關系。如果真實對象存在模型，那么可結合3D旋轉和3D平移將空間關系表示為6DoF(DoF：自由度)剛體變換。

另一個實施方案確定相機與真實對象之間的距離(1D)。另一個實施方案并不依賴于用于確定相機與真實對象之間的空間關系的至少一部分的任何拍攝圖像，而是使用由附接至相機的輔助傳感器所提供的信息，所述輔助傳感器諸如慣性傳感器、(三軸式)加速度計、(三軸式)陀螺儀、電子羅盤、GPS接收器或任何其他例如基于藍牙的定位系統(tǒng)。在這些情況下，相機與真實對象之間的部分空間關系可包括僅平移(部分)或僅旋轉(部分)或它們的組合。

空間關系可包括旋轉的至少一部分、平移的至少一部分，并且其還可包括關于單個部件的確定性或空間關系的自由度的信息。具體地，空間關系可包括利用大于隨機猜測的確定性無法確定至少一個或全部的自由度這一信息。這可能是例如由于視覺跟蹤未能將對象定位在拍攝圖像中引起的。

步驟102(其中基于相機與真實對象之間的空間關系的至少一部分確定合適的信息呈現(xiàn)模式)也可取決于數(shù)字信息可用于哪種呈現(xiàn)，并且還可取決于額外傳感器的讀數(shù)并取決于使用情況。

信息呈現(xiàn)模式可能具有不同的優(yōu)先級，并且步驟102的一個實施方案根據(jù)至少部分已知的空間關系在合適的模式中決定優(yōu)先級最高的模式。

在一個實施方案中，如果相機與真實對象之間的剛體變換的所有六個自由度均具有高于手動定義的特定閾值的確定性和概率(例如，確定性值為0.25，或單位值為0.1米或1度)，那么步驟102將增強現(xiàn)實呈現(xiàn)視為合適的。在一個示例中，對于確定性值而言，可指定100％肯定一個人在辦公室內(nèi)。在這種情況下，確定性為1.0。

在一個實施方案中，如果相機相對于真實對象的取向在所限定的取向范圍內(nèi)，那么步驟102將虛擬現(xiàn)實呈現(xiàn)視為合適的。這種限定的取向范圍可指示用戶可觀察到顯示器(其剛性地連接至相機)的取向。這將在圖2a、圖2b、圖3a和圖3b的上下文中進一步詳述。

步驟102的實施方案及其子步驟在圖6至圖9中進行討論。

圖2a示出了本發(fā)明的一個實施方案。在包括房屋201和街道207的真實環(huán)境206內(nèi)，用戶202拿著帶有后置相機和顯示器203的計算機(例如移動設備，諸如智能電話或平板電腦)。用戶舉起計算機，使得后置相機捕獲房屋201的至少一部分，在本示例中，該部分是真實對象(即，真實環(huán)境206)的一部分。與真實對象相關的數(shù)字信息是用戶需要在房屋前面向右轉可到達目的地。例如，在一個計算機具體實施中，導航信息(例如，到目的地的路徑)與真實環(huán)境相關聯(lián)。可將導航信息保存或預先存儲在計算機中，或利用給定目的地由計算機程序生成導航信息。

可使用圖像識別算法并根據(jù)由相機(例如，后置相機)捕獲的房屋的至少一部分的圖像來自動確定真實對象206(即，真實環(huán)境)或真實對象的一部分(即，房屋201)。可從GPS傳感器獲取相機的位置，這可確定真實對象(即，真實環(huán)境)?？捎衫缬脩羰謩犹峁┱鎸崒ο?。

當數(shù)字信息的多個實體與真實對象相關聯(lián)時，手動或自動選擇數(shù)字信息的多個實體中的至少一者來呈現(xiàn)給用戶。

在本示例中，在計算機上執(zhí)行相機定位法，以確定后置相機與房屋(即真實環(huán)境的一部分，即真實對象)之間的空間關系的至少一部分。相機定位法可使用來自后置相機的圖像的信息，但其也可在無任何相機的情況下(例如，基于GPS、慣性傳感器和/或電子羅盤)起作用?；谒_定的空間關系的至少一部分，本發(fā)明的一個實施方案確定視頻透視式增強現(xiàn)實是合適的信息呈現(xiàn)形式。因此，在顯示器上顯示由后置相機所捕獲的環(huán)境的實時圖像204以及空間配準的3D指令元素205，所述指令元素在本示例中為與真實對象相關的數(shù)字信息的表示?？臻g配準是基于后置相機相對于房屋(因而為環(huán)境，即真實對象)的空間關系的至少一部分來實現(xiàn)的。3D指令元素205(在這種情況下為箭頭(即，“向右轉”的表示))通過告知用戶在房屋前面向右轉來支持用戶導航到某個目標目的地。

在根據(jù)圖2b的不同情況下，同一用戶212處于包括房屋211和街道的真實環(huán)境中。用戶拿著帶有后置相機和顯示器213的計算機，計算機懸掛在頸部。在這種情況下，后置相機不會捕獲房屋211的任何部分，在本示例中，所述任何部分是指真實對象的一部分。在計算機上執(zhí)行相機定位法，以確定后置相機相對于房屋的空間關系的至少一部分。相機定位法可使用來自后置相機的圖像的信息，但其也可在無任何相機的情況下(例如，基于GPS和慣性傳感器)起作用。所確定的部分空間關系由本發(fā)明的一個實施方案處理，這可確定合適的信息呈現(xiàn)模式。在這種情況下，數(shù)字信息同樣是用戶應當在房屋前面向右轉這一信息。由于拍攝圖像不會捕獲房屋的任何部分，因此利用靠近房屋的空間配準的3D指令元素顯示由后置相機捕獲的環(huán)境的活動圖像將導致3D指令不可見。因此，在這種情況下，(視頻透視式)增強現(xiàn)實并不是合適的信息呈現(xiàn)模式。此外，由于計算機懸掛在用戶的頸部，因此用戶無法觀察顯示器。因此，信息呈現(xiàn)的任何視覺模式都不適用。這可例如根據(jù)圖6來確定。

在另一個實施方案中，也可將顯示器與參考坐標系之間的空間關系確定為用于確定合適呈現(xiàn)模式的額外條件。在本示例中，顯示器與用戶眼睛之間的空間關系指示用戶是否觀察顯示器。為此，可基于附接至顯示器的前置相機所捕獲的圖像，使用該前置相機來檢測人眼。如果在前置相機的圖像中沒有檢測到眼睛，那么可確定用戶眼睛不在顯示器前面，因此用戶無法觀察顯示器。

在這種情況下，本發(fā)明以一種不同但更合適的信息呈現(xiàn)模式(在這種情況下為音頻模式)呈現(xiàn)與指令元素205所呈現(xiàn)的信息相對應的信息。本發(fā)明使用耳機214為用戶呈現(xiàn)音頻信號215，告知用戶向右轉。這可例如使用文本到語音軟件來實現(xiàn)。

圖3a示出了本發(fā)明的另一個實施方案。位于桌子302上的真實對象301由帶有顯示器303的計算機307的后置相機306捕獲。計算機307包括一個或多個處理設備，諸如一個或多個微處理器。對由相機306捕獲的圖像進行處理，以確定真實對象301與計算機307的后置相機306之間的空間關系的至少一部分。本發(fā)明的一個實施方案確定，考慮到空間關系(指示真實對象部分位于相機的視場(FOV)內(nèi)部，即在拍攝圖像中部分可見)，增強現(xiàn)實呈現(xiàn)模式是合適的。

因此，在計算機307的顯示器303上顯示利用后置相機306所捕獲的圖像304，所述圖像顯示了真實對象301的至少一部分。還顯示了與真實對象相關的數(shù)字信息，所述數(shù)字信息是與真實對象301具有空間關系(即，已知姿態(tài))且顯示為疊加在拍攝圖像上的虛擬對象305。在本示例中，真實對象301為杯子，并且虛擬對象305為杯蓋。基于所確定的真實對象301與計算機307的后置相機306之間的空間關系的至少一部分，將虛擬對象顯示為與真實對象的圖像空間配準。在本示例中，真實對象301與后置相機306之間的空間關系為剛性6DoF變換，包括3D平移和3D旋轉。在這種情況下，數(shù)字信息的表示(例如，虛擬蓋305)可以是例如由三角形組成的三維對象，所述三角形的頂點可能分配有屬性，諸如顏色坐標、簡正坐標或紋理坐標。

在不同的情況下，如圖3b所示，本發(fā)明的另一個實施方案在帶有顯示器313和后置相機320的計算機318上實施，所述計算機位于真實桌子312上靠近真實對象311。在后置相機的拍攝圖像中并未捕獲真實對象，因為真實對象并不位于相機的FOV內(nèi)的位置處?？筛鶕?jù)圖像識別法來確定真實對象與相機之間的這種特定空間關系(即，真實對象在相機的FOV之外)，以檢測真實對象是否部分位于拍攝圖像中。因此，對于可能放在真實對象(杯子)上的蓋子不能按照增強現(xiàn)實呈現(xiàn)模式那樣來解釋，即通過使蓋子與示出真實對象的至少一部分的實時拍攝圖像在空間上配準。

本發(fā)明的一個實施方案根據(jù)相機的取向和真實對象相對于重力方向的取向來確定這種特定空間關系和合適的呈現(xiàn)模式。由于視覺對象檢測不能基于拍攝圖像來確定真實對象相對于相機的位置和取向，因此在這種情況下，只有相機相對于真實對象的取向是已知的，只要真實對象相對于重力具有已知的取向。這可例如基于慣性傳感器的讀數(shù)來確定。另外，可手動提供或自動確定真實對象相對于重力方向的取向。例如，如果真實對象之前在拍攝圖像中可見，那么可根據(jù)真實對象的拍攝圖像來確定真實對象相對于相機方向的取向?？蓮闹亓鞲衅骰虿东@地平面的相機的圖像中獲取相對于重力方向的相機取向。因此，可自動確定真實對象相對于重力方向的取向。

在另一個實施方案中，還可通過使用跟蹤系統(tǒng)來確定相機與真實對象之間的空間關系。例如，包括附接至固定位置(例如，室內(nèi)環(huán)境的天花板上)的若干光學相機的光學跟蹤可用于確定相機和真實對象在光學跟蹤系統(tǒng)的坐標系中的位置和取向。

由于不是真實對象與相機之間的空間關系的所有自由度都已知具有大于給定閾值的置信度，因此本發(fā)明的一個實施方案決定增強現(xiàn)實呈現(xiàn)模式在圖3b中是不合適的。然而，虛擬現(xiàn)實呈現(xiàn)模式在這種情況下是合適的，因為相機相對于真實對象的取向指示顯示器面向上并且因此可能對用戶可見。

本發(fā)明的另一個實施方案根據(jù)圖像識別或跟蹤方法來確定這種特定空間關系，以檢測真實對象是否部分位于拍攝圖像中。

在本示例中，本發(fā)明示出了真實對象的圖像314，所述圖像不是實時圖像而是先前捕獲的。所述圖像也可以是真實對象的3D模型的再現(xiàn)。通過真實對象的這種圖像，顯示了空間配準的虛擬對象315，所述虛擬對象為杯蓋并且表示與由三維對象表示的真實對象相關的數(shù)字信息?；谶@種可視化，用戶可能會理解桌子上的真實杯子與蓋子(并非實際存在)之間的空間和語義關系，而無需真實對象的實時圖像。

在本示例中，顯示器與地球之間的空間關系可用作確定用來呈現(xiàn)與真實杯子相關聯(lián)的虛擬蓋子的合適呈現(xiàn)模式的額外條件。在真實杯子不在相機截錐體內(nèi)的情況下，虛擬現(xiàn)實呈現(xiàn)模式被確定為用于在顯示屏面向上時呈現(xiàn)虛擬蓋子，而音頻呈現(xiàn)模式被確定為用于在顯示屏面向下時呈現(xiàn)虛擬蓋子。

在帶有顯示器和后置相機319的設備316的取向不適于以增強現(xiàn)實或虛擬現(xiàn)實模式呈現(xiàn)數(shù)字信息的情況下，將選擇音頻模式317用于信息呈現(xiàn)并且將選擇合適的數(shù)據(jù)呈現(xiàn)格式。將指令以音頻格式例如使用文本到語音引擎或音頻文件的預定義回放(無論哪種都可用)提供給用戶。

圖4概述了根據(jù)所述本發(fā)明的實施方案的架構的基本層。應用程序層401包括已執(zhí)行的使用情況的基礎邏輯。信息呈現(xiàn)層402包括數(shù)字信息的若干信息呈現(xiàn)模式(例如，“向右轉”或“附接蓋子”)。我們定義了一組以下模式：1)AR(增強現(xiàn)實)模式：數(shù)字信息可在真實對象的實時視圖的頂部呈現(xiàn)為空間配準地再現(xiàn)；2)VR(虛擬現(xiàn)實)模式：數(shù)字信息可在屏幕上在視覺上呈現(xiàn)，而無需與實時視圖進行任何實時配準；3)音頻模式：數(shù)字信息無法在屏幕上在視覺上呈現(xiàn)，但可(例如，通過揚聲器或耳機)聽覺呈現(xiàn)。數(shù)字信息的不同信息呈現(xiàn)模式可能需要數(shù)字信息的不同種類的數(shù)據(jù)表示。數(shù)據(jù)表示層403包括數(shù)字信息的不同表示，包括但不限于文本信息、音頻文件、2-D靜態(tài)圖像、視頻剪輯、3-D模型。數(shù)字信息的表示可在應用程序的設計時間內(nèi)通過多種創(chuàng)作工具和方法來靜態(tài)填充，或可通過針對適當內(nèi)容遞送服務的通信請求來動態(tài)生成。我們還設想了通過可用于3-D模型創(chuàng)建(即，油泥建模等)的多種3-D重建技術來進行動態(tài)信息采集。

圖5示出了本發(fā)明的一個實施方案中數(shù)字信息的基礎數(shù)據(jù)呈現(xiàn)層403的一個示例。例如，可以不同的表示存儲向右轉501的數(shù)字信息。在第一表示502中，可采用字符串(即，一系列字符，拼寫為“Turn right！(向右轉！)”)表示所述信息。這種表示可例如打印在顯示器上或可使用文本到語音軟件大聲讀出來，具體取決于哪種信息呈現(xiàn)模式是合適的。在本示例中，第二表示503為數(shù)字音頻文件，其表示人們口述的向右轉指令的記錄。第三表示504為向右彎曲的二維或三維箭頭。這種表示可例如用于被示為在AR模式為合適的信息呈現(xiàn)模式的情況下與實時拍攝圖像在空間上配準。這種表示還可結合真實對象的圖像(非實時圖像)用于虛擬現(xiàn)實模式中。

旋松螺釘511指令的數(shù)字信息可例如采用以下各項來表示：字符串“Unscrew(旋松)”512、示出手如何旋松螺釘?shù)臄?shù)字視頻序列513或可能具有動畫的螺絲刀514的數(shù)字3D模型。

不同的信息呈現(xiàn)模式可能需要數(shù)字信息的不同表示。不同的信息呈現(xiàn)模式可對相機與真實對象之間的空間關系施加不同限制。不同的信息呈現(xiàn)模式可具有不同的細節(jié)豐富度。本發(fā)明的一個實施方案可自動確定細節(jié)豐富度最高的信息呈現(xiàn)模式，這與相機與真實對象之間的當前空間關系一致并且取決于呈現(xiàn)給用戶的數(shù)字信息的可用表示。

示例性實施方案：

1)計算相機相對于真實對象的姿態(tài)，即跟蹤真實對象。

2)在跟蹤真實對象時，存儲最新的有效姿態(tài)。

3)在失去跟蹤之后，提供替代呈現(xiàn)模式來遞送信息。

a.使用情況：維護(參見圖3b)。一旦失去跟蹤(例如，將設備放置在桌子312上)，便切換到VR模型并產(chǎn)生被跟蹤對象311的3D模型314，并且使用跟蹤的最新有效姿態(tài)之一來再現(xiàn)虛擬對象。在這種使用情況下，真實對象是需要維護的杯子。虛擬對象為與需要維護的真實對象配準的蓋子的3D模型315。

b.使用情況：步行導航(參見圖2b)。一旦失去跟蹤(例如，用戶將設備放到袋子中，或將其捆綁在肩部213)，本方法通過頭戴式耳機214產(chǎn)生音頻導航指令模式215(可能需要文本到語音引擎)。例如，如參考文獻[1]([1]：http：//books.google.de/books？hl＝en&lr＝&id＝6Zuj0cWns8EC&oi＝fnd&pg＝PA3&ots＝9vqwof0oL&sig＝Px8cBodCFHXO-uCFKYaogWHOApg#v＝onepage&q&f＝false)中所公開的數(shù)字地圖可在用戶保持與設備相互作用(例如，將相機指向地面)的情況下用作失去跟蹤的替代物。在這種使用情況下，真實對象為真實環(huán)境，例如環(huán)境211的至少一部分(例如，城市)。與環(huán)境相關聯(lián)的數(shù)字信息可以是環(huán)境的地圖或地圖的一部分或在房屋前面向右轉的信息。數(shù)字信息的表示為到達目的地所必要的輔助信息215，例如使用文本到語音軟件讀取的文本。

4)在呈現(xiàn)3)中的信息時，保持運行相機并試圖在后臺跟蹤。

5)一旦跟蹤重新初始化，便切換到信息呈現(xiàn)的增強現(xiàn)實模式。

本發(fā)明的一個實施方案包括在觀察真實對象時使用可用的額外設備(例如，智能手表、頭戴式設備等)。這些可穿戴式設備不僅可遞送關于真實對象的視聽信息，還可利用車載相機傳感器，成為用于與關于真實對象的數(shù)字信息相互作用的所述系統(tǒng)的參與主體。如果存在一個以上的配有相機的設備，那么本發(fā)明的一個實施方案根據(jù)相機與真實對象之間的空間關系來確定這些設備中的每一者適合哪種信息呈現(xiàn)模式。第二步驟隨后確定哪個設備可提供更豐富的信息呈現(xiàn)模式，然后相應地分配呈現(xiàn)優(yōu)先級。例如，在觀察真實對象期間，用戶擁有均配備有相機的平板電腦和智能手表。一旦確定空間關系，所述方法將選擇每個設備的信息呈現(xiàn)模式。如果選擇信息呈現(xiàn)的虛擬現(xiàn)實模式用于平板電腦，選擇增強現(xiàn)實模式用于智能手表，那么可將優(yōu)先級指定給細節(jié)豐富度最高的設備，在這種情況下為智能手表。此外，不同設備可分配有不同的優(yōu)先級，例如具體取決于其顯示器的尺寸，使得如果增強現(xiàn)實模式在兩個設備上都適用，那么顯示器較大的設備用于信息呈現(xiàn)。

根據(jù)本發(fā)明的實施方案的可能具體實施步驟(維護使用情況)：

1)用戶決定將要執(zhí)行的用戶任務(例如，維護)。

2)跟蹤系統(tǒng)試著確定相機與真實對象之間的空間關系。

3)一旦跟蹤系統(tǒng)成功確定所述空間關系，數(shù)字信息便與真實對象配準。

4)決定AR模式用于呈現(xiàn)與所選擇的用戶任務和真實對象相關的數(shù)字信息。

5)一旦決定呈現(xiàn)模式，便選擇給定呈現(xiàn)模式的數(shù)字信息的表示(例如，在本具體實施中，正在加載數(shù)字信息的3-D模型)。

6)在跟蹤成功時，跟蹤系統(tǒng)存儲最新的N(＝1、2、3、4...)個姿態(tài)。

7)一旦失去跟蹤(即，真實對象在拍攝圖像中不可見)，系統(tǒng)便實施本發(fā)明的一個實施方案來決定合適的呈現(xiàn)模式(即，在本具體實施中，系統(tǒng)利用一些描述性指令切換到VR模式)。

8)利用步驟6中所記錄的跟蹤姿態(tài)N來定位數(shù)字信息(3-D模型)。

9)一旦跟蹤重新初始化，本具體實施從步驟3再次開始。

在另一個實施方案中，應用程序在增強現(xiàn)實呈現(xiàn)模式中不僅存儲姿態(tài)(即，相機與參考坐標系之間的空間關系)，還存儲拍攝(關鍵)圖像。存儲這些關鍵圖像，使得它們后來可以虛擬現(xiàn)實呈現(xiàn)模式顯示，以表示真實對象的至少一部分，即作為真實對象的(至少一部分的)表示。可使用不同的方法來確定要存儲哪些拍攝圖像。例如，如果在該組已存儲(關鍵)圖像內(nèi)不存在其他具有相似外觀的圖像，那么僅存儲新的拍攝圖像。例如，如果新圖像與該組已存儲圖像中的所有圖像之間的相似性低于特定閾值，那么僅將新的拍攝圖像添加到該組已存儲圖像中。兩個圖像之間的相似性可例如被定義為它們之間的(歸一化)互相關性。還可基于兩個圖像的強度或梯度方向的直方圖的交互相關性來計算所述相似性。當利用多種方法(諸如SIFT)檢測和描述兩個圖像中的局部圖像特征并且隨后將這兩個圖像的所有特征組合視為在它們的距離小于特定閾值的情況下相匹配時，還可基于匹配數(shù)量來計算所述相似性?？墒謩犹峁┮淮斡糜跊Q定何時將新圖像添加到該組中的閾值，或可根據(jù)該組中圖像之間的相似性來適配該閾值。在另一個實施方案中，如果在已存儲圖像內(nèi)不存在以相似相機姿態(tài)拍攝的其他圖像，那么僅存儲新的拍攝圖像?？衫缁趦蓚€相機姿態(tài)之間的平移差和取向差來計算這兩個姿態(tài)的相似性。

另一個實施方案還基于相機姿態(tài)和真實對象在拍攝圖像中的可見情況，決定是否存儲拍攝圖像以供稍后用于虛擬現(xiàn)實呈現(xiàn)模式中。例如，如果真實對象的至少一部分(例如，50％)在圖像中可見，那么僅將圖像存儲為關鍵圖像。又如，如果真實對象在圖像中占據(jù)至少最小面積，那么僅將圖像存儲為關鍵圖像。所述面積可例如為500像素或可為拍攝圖像的一部分(即，25％)。在另一個實施方案中，還基于相機姿態(tài)和與真實對象相關的數(shù)字信息疊加在拍攝圖像上的情況，決定是否存儲拍攝圖像以供稍后用于虛擬現(xiàn)實呈現(xiàn)模式中。例如，如果數(shù)字信息的至少一部分在與拍攝圖像空間配準地疊加的情況下可見，那么一個實施方案僅存儲將在虛擬現(xiàn)實模式中使用的圖像。

根據(jù)實施方案的可能具體實施步驟(此處：使用GPS進行步行導航)：

1)用戶選擇或輸出將要導航到的所需目的地。

2)啟動附接至設備顯示器的相機，并且捕獲第一圖像并將其呈現(xiàn)給再戶。

3)跟蹤系統(tǒng)利用監(jiān)聽器初始化，以進行設備的位置更新。

4)一旦初始化，便在屏幕上繪出對應于所需最終目的地的數(shù)字輔助信息(POI對象)。

5)一旦第一位置更新(例如，來自GPS)，便識別設備的當前位置，并計算與最終目的地的距離并將該距離顯示在POI上。

6)計算設備的當前位置與請求的最終目的地之間的建議路線(可能使用第三方路線服務，這涉及與服務器進行通信)。

7)路線被劃分為若干個原子狀路點，所述原子狀路點對應于單條路線。

8)為每個路點創(chuàng)建中間POI，包括必要的數(shù)字指令(例如，呈文本表示格式)，用于指示如何從每個路點繼續(xù)進行。

9)在所繪出每個幀上，算法檢查設備相對于重力的取向：

a.當相機的光軸接近正交于重力方向時，增強現(xiàn)實模式是合適的，并且結合實時視圖以(音頻)視頻格式將指令呈現(xiàn)給用戶。

b.如果增強現(xiàn)實模式不合適(例如，由于將設備收在袋子中)，那么將選擇音頻信息呈現(xiàn)模式來繼續(xù)導航。

10)一旦后續(xù)位置更新，將計算到所有路點的當前距離，并且一旦用戶位于距離最近路點X米的附近，以適當信息呈現(xiàn)模式向用戶提供指令。

圖6示出了根據(jù)實施方案的用于選擇適當信息呈現(xiàn)模式的工作流程圖。如果在給定情況下沒有其他提供更豐富信息呈現(xiàn)體驗的模式603或605是合適的，那么將選擇根據(jù)步驟606的模式作為回退模式。基于相機與真實對象之間的空間關系的至少一部分(601)，步驟602確定增強現(xiàn)實呈現(xiàn)模式是否是合適的信息呈現(xiàn)模式。這可例如根據(jù)圖7所示的實施方案來實現(xiàn)。如果AR模式是合適的，那么使用AR模式(步驟603)。否則，考慮到空間關系601，步驟604確定虛擬現(xiàn)實表示模式是否是合適的。如果合適，使用VR呈現(xiàn)模式(步驟605)。否則，使用音頻呈現(xiàn)模式(步驟606)。需注意，AR呈現(xiàn)模式(603)和VR呈現(xiàn)模式(605)可能包括聽覺輸出。

圖7示出了本發(fā)明的一個實施方案可如何基于相機與真實對象之間的空間關系的至少一部分701來確定增強現(xiàn)實呈現(xiàn)模式是否合適的流程圖。決策框702對應于圖6中602的一個實施方案。首先，在步驟703中檢查701是否包括平移的至少一部分。如果不包括(705)，那么決策框702得出AR呈現(xiàn)模式不適用這一結論(710)。否則(704)，在步驟706中可進一步評估701的取向部分是否適于AR呈現(xiàn)模式。701的取向部分能夠將指示對象在坐標系中的方向的至少一個向量轉化為相機的坐標系。隨后，706的一個實施方案將限定參考向量(指示在相機坐標系中表示的方向)和閾值，并且706將要求將從對象坐標系轉化為相機坐標系的向量與參考向量之間的純量積高于閾值，使得步驟706得出“是”的結果。可使用多對參考向量和閾值。

例如，如果真實對象是環(huán)境的至少一部分，那么感興趣向量可以是重力向量。在這種情況下，相機與真實對象之間的空間關系可基于附接至相機的慣性傳感器，所述慣性傳感器測量相機相對于重力的絕對取向。這允許將對象坐標系中所限定的向量(即，重力向量)轉化為相機的坐標系。

例如，現(xiàn)在如果虛擬現(xiàn)實呈現(xiàn)模式僅在相機看向地板(是環(huán)境的一部分，因而是真實對象的一部分)時適用，那么可使用參考向量和閾值的以下限定。相機坐標系中的參考向量可以是平行于相機的主軸的向量?？梢约僭O的是，指示相機坐標系中重力取向的向量和參考向量二者均具有單位長度。那么將閾值限定為0.9并且強制使得參考向量與所轉化向量之間的純量積高于該閾值意味著以下內(nèi)容。相機主軸與地板法線(即，重力向量)之間的角度小于cos^-1(0.9)度(大約為26度)。

又如，如果增強現(xiàn)實呈現(xiàn)模式僅在相機相對于真實對象呈縱向模式(即，非橫向模式)時適用。這可如下實現(xiàn)。將相機坐標系中的參考向量限定為平行于相機的成像傳感器的長側的向量，并且從對象坐標轉化為相機坐標的向量仍為如前一個示例中所述的重力向量。現(xiàn)在，如果將閾值選擇為0.7071，那么這對應于兩個向量之間45度的角，并且該條件僅在相機呈縱向取向而非橫向取向時成立。

又如，真實對象為門敞開的車庫(即，缺失一個面的立方體)，并且數(shù)字信息為車庫內(nèi)部的(虛擬)車輛。在這種情況下，可將任何不允許通過門查看車庫的相機取向視為不適于增強現(xiàn)實呈現(xiàn)模式。在本示例中，可基于視覺相機跟蹤來確定相機與真實對象之間的空間關系，并且該空間關系包括全6DoF相機姿態(tài)。對象坐標系中的向量通過敞開的門指向車庫內(nèi)部，并且考慮到向量與相機坐標系之間的空間關系將該向量轉化為相機坐標系。將相機坐標系中的參考向量限定為平行于相機的主軸，并且在本示例中，可將閾值限定為0.8。因此，在本示例中，增強現(xiàn)實呈現(xiàn)模式僅在相機取向允許通過敞開的門查看車庫的情況下(即，在相機主軸與指向門內(nèi)部的向量之間的角度小于37度的情況下，其中所述37度對應于所轉化的單位向量與大于0.8的參考單位向量的純量積)適用。并非手動限定閾值，而是根據(jù)固有相機參數(shù)(諸如焦距)來限定閾值，這可被提供一次或在線估計。

如果取向不適用(709)，那么決策框702返回“否”(710)。否則，決策框707返回“是”(708)。

圖8示出了本發(fā)明的一個實施方案可如何基于相機與真實對象之間的空間關系的至少一部分801來確定虛擬現(xiàn)實呈現(xiàn)模式是否合適的流程圖。決策框802對應于圖6中604的一個實施方案。首先，在步驟803中檢查801的取向部分是否適于VR呈現(xiàn)模式。801的取向部分能夠將對象坐標系中的至少一個向量轉化為相機的坐標系。隨后，803的一個實施方案將限定參考向量(在相機坐標系中表示)和閾值，并且803將要求將從對象坐標系轉化為相機坐標系的向量與參考向量之間的純量積高于閾值，使得步驟803得出“是”的結果?？墒褂枚鄬⒖枷蛄亢烷撝怠＠?，在顯示器與相機背向且顯示器僅在面向上半球時對用戶可見的假設下，這一構想可使得803僅在相機面向下半球時返回“是”。如果取向不適用(805)，那么決策框802返回“否”(810)。否則(804)，可檢查相機是否被收起?？?06的一個實施方案在圖9中詳細描述。如果相機被收起(807)，那么決策框802返回“是”，即VR模式適用。否則(809)，決策框返回“否”，其中810意味著VR模式不適用。

圖9描述了確定相機是否被收起的一個實施方案901。決策框902檢查包括相機的設備的屏幕(即，顯示器)是否關閉。顯示器可由用戶手動關閉或在空轉周期之后由設備的操作系統(tǒng)自動斷開。在903“是”的情況下，決策框901返回“是”(910)，并且可得出相機被收起這一結論。因此，根據(jù)本發(fā)明的一個實施方案(如圖8所示)，將執(zhí)行步驟809，這意味著VR模式不適用。在屏幕開啟的情況下，通過904“否”進行到?jīng)Q策框905，以確定接近傳感器是否在延長時間段(例如，30秒)連續(xù)檢測附近對象。這可指示設備可能放置在對象(例如，口袋或袋子)內(nèi)部，并且在接近傳感器無意被用手覆蓋時排除任意情況。在906“是”的情況下，可得出相機被收起這一結論。因此，根據(jù)圖8所示實施方案，將執(zhí)行步驟809并且VR模式不適用，否則繼續(xù)步驟907以執(zhí)行決策框908，確定當前運動是否與任何運動模式匹配。所述運動因而是指在至少兩個時間點測得的相機與真實對象之間的空間關系的至少一部分。

相機相對于真實對象的運動是指相機相對于真實對象在至少兩個位置之間的運動。如果對象為靜態(tài)(相對于地球)，那么相機相對于真實對象的運動與相機相對于地球的運動相同。如果對象為動態(tài)(相對于地球)，那么相機相對于真實對象的運動與相機相對于地球的運動不同。

慣性傳感器、(三軸式)加速度計、(三軸式)陀螺儀或其他提供關于設備位置或取向的信息的輔助傳感器中可能存在(融合)傳感器數(shù)據(jù)。通過使用監(jiān)督式機器學習技術，可得知與口袋、袋子或手提袋中攜帶的設備相對應的運動方式。這能夠在稍后識別這種情況并將這種情況與不感興趣的任意事件區(qū)分開(例如，當設備在走路、跑步等期間移動時)。在910“是”的情況下，決策框901返回“是”，并且執(zhí)行步驟809。這意味著VR模式在運動方式指示相機被收起的情況下適用。否則，步驟909將得出相機未被收起這一結論，執(zhí)行步驟808，即VR模式。

以上實施方案可使用不同種類的顯示器來向用戶呈現(xiàn)數(shù)字信息，尤其是使用AR呈現(xiàn)模式或VR呈現(xiàn)模式。具體地，可使用反射顯示器和發(fā)射顯示器，諸如LCD顯示器或LED顯示器。這種顯示器例如用于手持式設備，諸如智能電話或平板電腦，其中顯示器剛性地連接至后置相機。在增強現(xiàn)實呈現(xiàn)模式下，這些顯示器用于示出實時拍攝圖像并且用于呈現(xiàn)與真實對象(與實時拍攝圖像疊加)相關的數(shù)字信息。上述實施方案還可使用半透明顯示器，其允許用戶看穿顯示器從而通過顯示器光學觀察環(huán)境。這可包括在增強現(xiàn)實呈現(xiàn)模式下查看感興趣真實對象，其中顯示器僅用于呈現(xiàn)視覺數(shù)字信息但不呈現(xiàn)實時拍攝圖像。這種顯示器例如基于OLED或LCD技術并且常用于頭戴式顯示器中。在很多情況下，存在剛性附接至這種頭戴式顯示器的相機，并且在這種情況下，相機可以是為其確定其相對于對象的空間關系的至少一部分的相機。當戴著頭戴式顯示器時，用戶眼睛與顯示器之間的空間關系通常大致恒定。然而，這確定了用戶可看到環(huán)境的哪一部分。如果光透視式顯示器(即，半透明顯示器)被舉在用戶手中，那么眼睛與真實對象之間的空間關系對于確定對象是否可通過顯示器(部分地)看見來說變得尤為重要，并且該空間關系隨后可指示增強現(xiàn)實呈現(xiàn)模式是否適用。在這種情況下，決定將要選擇哪種呈現(xiàn)模式取決于眼睛與至少一個參考坐標系之間的空間關系。至少一個參考坐標系可包括真實對象的坐標系和/或(半透明)顯示器的坐標系。

顯示器(顯示設備)可在相對于眼睛的不同距離處形成圖像。視頻投影機(例如，基于LCD、LED、DLP、CRT或激光器)是本發(fā)明的上下文中可使用的顯示設備。視頻投影機在其投影到的表面上形成了圖像，所形成的圖像可能是與正顯示的數(shù)字信息相關聯(lián)的真實對象的至少一部分。對于手持式設備諸如平板電腦或智能電話而言，顯示器(顯示設備)位于用戶手中?？纱┐魇接嬎銠C的顯示器通常附接至用戶身體，例如使用智能手表時附接至手腕處或使用頭戴式顯示器時附接在眼睛前面。本發(fā)明還可使用附接至眼睛的顯示器，例如以隱形眼鏡的形狀因數(shù)直接附接至眼球。顯示設備還可將光投射到用戶的視網(wǎng)膜上。在這種情況下，顯示器與眼睛之間的空間關系可以是靜態(tài)的，并且我們可以假定用戶始終能夠看到顯示器。

需注意，術語“顯示器”和“顯示設備”在整個文檔中可互換使用。

在虛擬現(xiàn)實呈現(xiàn)模式下，可使用上文討論的所有種類的顯示器，尤其包括光透視式顯示器。在這種情況下，不是通過顯示器查看真實對象，而是可在顯示器上示出真實對象的圖像或模型。

圖10a示意性地示出了人眼1003通過光透視式顯示器1002觀察到的真實對象1001。確定眼睛與真實對象相關聯(lián)的坐標系之間的空間關系1004，并且該空間關系可作為選擇與真實對象1001相關的數(shù)字信息的呈現(xiàn)模式的基礎。具體地，這一空間關系1004影響眼睛1003穿過顯示器1002的視場1005。在圖10a中存在的空間關系中，真實對象1001位于視場1005內(nèi)，因此本發(fā)明的一個實施方案可選擇增強現(xiàn)實呈現(xiàn)模式作為用于在顯示器1002上呈現(xiàn)與真實對象1001相關的數(shù)字信息的模式。在一個實施方案中，附接至顯示器1002的第一相機可捕獲真實對象1001的圖像，以便確定第一相機與真實對象之間的第一空間關系。附接至顯示器1002的第二相機可捕獲眼睛1003的另一圖像，以便確定第二相機與眼睛之間的第二空間關系。第一相機與第二相機之間的第三空間關系可以是已知的。隨后，可根據(jù)第一空間關系、第二空間關系和第三空間關系來確定空間關系1004。

在圖10b中，示出了真實對象1011、光透視式顯示器1012和眼睛1013。再次確定眼睛與坐標系之間的空間關系1014，其中在這種情況下，該坐標系與真實對象1011相關聯(lián)。在這種情況下，這個空間關系表明眼睛1013穿過顯示器1012的視場1015并不包括真實對象1011的任何部分。在這種情況下，本發(fā)明的一個實施方案會根據(jù)空間關系1014來選擇虛擬現(xiàn)實模式。

上文提及的用于基于相機與坐標系(例如，與真實對象相關)之間的空間關系的輸入而確定從多個模式中選擇哪種信息呈現(xiàn)模式的所有實施方案，可基于眼睛與坐標系(例如，與真實對象或顯示器相關)之間的空間關系類似地執(zhí)行。在這種情況下，相機與眼睛等效。

如何確定眼睛與坐標系之間的空間關系可能存在若干方法。在一個實施方案中，基于由相機所捕獲的圖像并且通過檢測眼睛在拍攝圖像中的位置來確定眼睛與坐標系之間的空間關系。這可例如基于多個特征諸如角膜反射和瞳孔中心來進行。拍攝圖像可捕獲可見光或紅外光，或者可能使用它們的組合。這樣的方法使得眼睛與相機的坐標系之間存在空間關系。如果相機的坐標系與第二坐標系之間的空間關系是已知的，那么眼睛與第二坐標系之間的空間關系可通過互相聯(lián)系來確定。

另一個實施方案使用臉部檢測或臉部跟蹤法來確定相機與臉部之間的空間關系?？墒褂脤Τ驶叶雀袷交騌GB、YUV或任何其他色彩格式的圖像進行操作的任何現(xiàn)有技術算法。此外，可使用對范圍數(shù)據(jù)(例如，從無源或有源立體相機或渡越時間相機獲取)進行操作的算法。該檢測可以是例如基于神經(jīng)網(wǎng)絡、支持向量機或任何其他使用了機器學習的方法。如果相機的坐標系與臉部之間的空間關系已根據(jù)上述算法進行了確定，則可考慮到臉部與臉部眼睛之間的已知空間關系來確定相機的坐標系與臉部眼睛之間的空間關系。與前一個示例類似，如果相機的坐標系與第二坐標系之間的空間關系是已知的，那么眼睛與第二坐標系之間的空間關系可通過互相聯(lián)系來確定。

本發(fā)明進一步包括以下這種方法，即通知用戶：數(shù)字信息在適用于根據(jù)相機(或眼睛)與真實對象之間的當前空間關系而選擇的呈現(xiàn)模式的表示中不可用。在這種情況下，該系統(tǒng)可進一步提供關于移動或位置或取向的指令，使得相機(或眼睛)與真實對象之間的空間關系可相應地變化以選擇另一種呈現(xiàn)模式。

另外，不同的呈現(xiàn)模式可具有表明其呈現(xiàn)優(yōu)先級的不同權重，這可手動地指定。例如，可向AR呈現(xiàn)模式指定比VR模式和音頻呈現(xiàn)模式更高的權重?？上騐R呈現(xiàn)模式指定比音頻呈現(xiàn)模式更高的權重。當根據(jù)空間關系來確定選擇兩種呈現(xiàn)模式(例如，AR呈現(xiàn)模式和VR呈現(xiàn)模式)時，那么最終可選擇具有較高權重的呈現(xiàn)模式(例如，AR呈現(xiàn)模式)用于呈現(xiàn)數(shù)字信息。

數(shù)字信息的不同表示可具有不同水平的豐富度，這也可手動地指定。

本文進一步公開了以下這種方法，即通知用戶：一種不同的呈現(xiàn)模式可為用戶提供更豐富的數(shù)字信息的表示，并向用戶提供關于移動或位置或取向的指令，以改變相機(或眼睛)與真實對象之間的空間關系，從而使得該信息呈現(xiàn)模式適于以更豐富的方式呈現(xiàn)數(shù)字信息。例如，如果呈現(xiàn)模式為音頻模式并且數(shù)字信息描述了正面的特定位置，那么音頻模式可例如說明該位置位于4樓與5樓之間并且從正面看位于告示牌的左側，而增強現(xiàn)實模式可通過僅在相應位置顯示點或叉號而更豐富并且更簡單地呈現(xiàn)相同信息。在這種情況下，該方法建議用戶：一種不同的信息呈現(xiàn)模式在當前情況下會提供更豐富的信息并向用戶提供指令(如“將相機移向告示牌或將相機水平放置”的語音命令)，以鼓勵用戶移動相機從而使得AR模式適用。

根據(jù)空間關系，通知用戶一種不同的呈現(xiàn)模式可為用戶提供更豐富的數(shù)字信息呈現(xiàn)也可能是有益的。例如，如果真實對象為汽車并且數(shù)字信息為如何再注入冷卻液體(例如，數(shù)字信息可以是用于再注入冷卻液體的過程)，那么帶有平板電腦的用戶可首先將相機指向汽車的發(fā)動機艙，并且使用增強現(xiàn)實呈現(xiàn)模式在實時拍攝圖像中疊加地呈現(xiàn)再注入流體之處。在將模板計算機放在一邊后，本發(fā)明的一個實施方案將切換到虛擬現(xiàn)實呈現(xiàn)模式，并將發(fā)動機艙的圖像(其已在增強現(xiàn)實呈現(xiàn)模式期間被捕獲，疊加有數(shù)字信息)示為例如虛擬3D模型。在用戶確認他或她遵循了數(shù)字信息并再注入冷卻流體后，下一個維護步驟(即，下一個數(shù)字信息)可以是對汽車補給燃料。虛擬現(xiàn)實模式將以疊加虛擬3D指令的方式呈現(xiàn)真實汽車的虛擬3D模型，但它無法呈現(xiàn)真實汽車的拍攝圖像，因為汽車的相關部件(即，燃料添加活門)在增強現(xiàn)實模式下尚未被捕獲，并且因此不存在活門的任何拍攝圖像。

根據(jù)本發(fā)明的實施方案的一種方法現(xiàn)將通知用戶：將平板電腦移動成使相機捕獲燃料添加活門的至少一部分的姿態(tài)將能夠呈現(xiàn)真實物品以及因此數(shù)字信息的更豐富的表示。因此，移動平板電腦將使得增強現(xiàn)實視圖適用，并且然后在存儲了活門的至少一個拍攝圖像(即，照片)后，虛擬現(xiàn)實模式也通過示出汽車的照片而不是再現(xiàn)其3D模型而實現(xiàn)更豐富的表示，其中該3D模型具有更少的細節(jié)并且看上去較為不現(xiàn)實。

可在增強現(xiàn)實模式為帶有最豐富信息的呈現(xiàn)模式、虛擬現(xiàn)實模式為帶有第二豐富信息的呈現(xiàn)模式并且音頻模式為帶有最不豐富信息的呈現(xiàn)模式時，手動地限定豐富度水平。豐富度可進一步取決于單獨使用情況，并且由此豐富度順序可針對每種使用情況和每個數(shù)字信息而獨立地限定。如果數(shù)字信息為(例如)一首歌，那么與例如虛擬現(xiàn)實模式(其例如示出歌曲的節(jié)拍或歌詞)相比，音頻模式通過播放歌曲錄音來提供更豐富的表示。

信息呈現(xiàn)：

信息呈現(xiàn)模式是一種呈現(xiàn)與真實物品相關的數(shù)字信息的方法。信息呈現(xiàn)模式可包括但不限于：

1)增強現(xiàn)實(AR)呈現(xiàn)：在真實對象的實時視圖上疊加數(shù)字信息。實時視圖可作為真實對象的現(xiàn)場拍攝圖像來實現(xiàn)(視頻透視式)，或者該實時視圖可以是基于真實對象穿過光透視式顯示器的視圖。這種呈現(xiàn)形式是基于顯示器的。

2)虛擬現(xiàn)實(VR)呈現(xiàn)：數(shù)字信息連同真實對象的數(shù)字視覺表示一起示出，該數(shù)字視覺表示呈例如真實對象的3D幾何模型、數(shù)字視頻、數(shù)字照片或圖像的形式。這種呈現(xiàn)形式是基于顯示器的。

在AR和VR呈現(xiàn)模式下，顯示設備(例如，LCD屏幕或半透明屏幕)用于顯示數(shù)字信息。

3)音頻呈現(xiàn)：例如使用耳機或揚聲器以聽覺方式來呈現(xiàn)數(shù)字信息。

這種信息呈現(xiàn)模式并不需要任何顯示器。

一種合適的信息呈現(xiàn)模式例如如在根據(jù)圖6的實施方案中所述而被選擇。

表示：

數(shù)據(jù)表示這一抽象概念指出了與真實對象相關的數(shù)字信息存儲在計算機中的方式?；谛畔⒊尸F(xiàn)模式來選擇一種合適的數(shù)據(jù)表示格式。每個信息呈現(xiàn)模式包括至少一個數(shù)據(jù)表示格式。數(shù)據(jù)表示格式的任意組合可用于充實給定信息呈現(xiàn)模式，并且可包括但不限于：

1)對于增強現(xiàn)實(AR)呈現(xiàn)來說，與真實對象相關并且在顯示器上呈現(xiàn)的數(shù)字信息的數(shù)據(jù)表示可以是例如數(shù)字(動畫)3D模型、數(shù)字(動畫)2D模型、視頻、圖像、文本信息或音頻文件。

2)對于虛擬現(xiàn)實(AR)呈現(xiàn)來說，與真實對象相關并且在顯示器上呈現(xiàn)的數(shù)字信息的數(shù)據(jù)表示可以是例如數(shù)字(動畫)3D模型、數(shù)字(動畫)2D模型、視頻、圖像、文本信息或音頻文件。

3)對于音頻呈現(xiàn)來說，與真實物品相關的數(shù)字信息的數(shù)據(jù)表示可以是數(shù)字聲音文件，或是可借助軟件(例如，文本到語音)轉換為語音的文本。

雖然本文參考某些部件描述了各種實施方案，但在實現(xiàn)這些實施方案中的任何實施方案時，也可使用本文所述或對本領域技術人員顯而易見的部件的任何其他配置。本文所述的設備或部件中的任一者可以是或可包括相應的處理設備(未明確示出)諸如微處理器，用以執(zhí)行本文所述的任務中的一些或多個。處理任務中的一者或多者可由部件或其彼此通信的處理設備中的一者或多者來處理，例如通過相應的點到點通信或經(jīng)由網(wǎng)絡例如經(jīng)由服務器計算機來處理。