觸覺序列是基于觸摸感測和空間中定位進(jìn)行渲染的一組編碼數(shù)據(jù)，類似于視頻序列如何是使用視覺感測進(jìn)行渲染的一組編碼數(shù)據(jù)。觸覺序列編碼時間數(shù)據(jù)，例如表示為與觸覺設(shè)備相關(guān)聯(lián)的軌跡。觸覺設(shè)備可以渲染觸摸感測和空間中定位的不同模態(tài)，如振動、力、位置、速度或溫度。

背景技術(shù)：

1、運動圖像專家組(mpeg)目前正在開發(fā)新的標(biāo)準(zhǔn)(iso/iec?23090-31)。圖2示出了mpeg觸覺編解碼器架構(gòu)。在該架構(gòu)中，觸覺數(shù)據(jù)的編碼表示可以是兩種格式之一：交換格式(.hjif)或分發(fā)格式(.hmpg)。交換格式是基于json的觸覺數(shù)據(jù)的人類可讀描述，而分發(fā)格式是壓縮二進(jìn)制的數(shù)據(jù)表示。這兩種格式具有互補的目的，并且無損或有損一對一轉(zhuǎn)換可以在它們之間操作。以分發(fā)格式的壓縮二進(jìn)制比特流被結(jié)構(gòu)化成網(wǎng)絡(luò)抽象層(nal)單元的序列，以便于通過任何網(wǎng)絡(luò)協(xié)議或文件格式進(jìn)行封裝。

2、觸覺解碼器將二進(jìn)制‘.hmpg’文件或‘.hjif’文件作為輸入并輸出.hjif文件。包含在所得‘.hjif’文件中的觸覺數(shù)據(jù)然后可以直接在觸覺設(shè)備上、或使用生成脈沖編碼調(diào)制(pcm)數(shù)據(jù)的中間合成器來渲染。

3、圖2是示出對應(yīng)于iso/iec?23090-31的觸覺編解碼器架構(gòu)的功能框圖。兩種編解碼器格式的數(shù)據(jù)結(jié)構(gòu)遵循圖3所示的分層組織。

4、結(jié)構(gòu)的最高級別描述了在文件或流中定義的整個觸覺體驗。它包含一些高級別元數(shù)據(jù)信息。它還提供了化身(身體表示)的列表，其可以被參考以指定觸覺刺激在身體上的期望位置。觸覺數(shù)據(jù)本身通過“感知”的列表來描述。這些感知對應(yīng)于與特定感知模態(tài)(振動、力、位置、速度、溫度等)相關(guān)聯(lián)的觸覺信號。

5、除了感知特定的元數(shù)據(jù)之外，感知還包含通道的列表。在通道內(nèi)，數(shù)據(jù)被分解成頻帶。每個頻帶定義在給定頻率范圍內(nèi)的信號的一部分。頻帶是利用觸覺效果的列表來描述的，每個觸覺效果包含關(guān)鍵幀的列表。通道中的觸覺信號然后可以通過組合不同頻帶(添加高頻帶和低頻帶)中的數(shù)據(jù)來重構(gòu)。

6、圖4示出了觸覺比特流中的網(wǎng)絡(luò)抽象層(nal)單元結(jié)構(gòu)的示例。圖5示出nal單元有效載荷類型。

7、在iso/iec?14496(mpeg-4)標(biāo)準(zhǔn)內(nèi)，存在定義用于存儲基于時間的媒體的文件格式的幾個部分。這些都是基于iso基本媒體文件格式(isobmff)并且從iso基本媒體文件格式(isobmff)導(dǎo)出的，isobmff是結(jié)構(gòu)化、獨立于媒體的定義。isobmff包含主要用于按時間呈現(xiàn)諸如音頻、視頻等媒體數(shù)據(jù)的結(jié)構(gòu)化媒體數(shù)據(jù)信息。還支持非按時間的數(shù)據(jù)，諸如文件結(jié)構(gòu)內(nèi)不同級別的元數(shù)據(jù)。文件的邏輯結(jié)構(gòu)是“電影”的邏輯結(jié)構(gòu)，而該“電影”又包含一組時間平行的“軌跡”。文件的時間結(jié)構(gòu)是軌跡包含按時間的“樣本”的序列，并且那些序列被映射到整個電影的時間線中。iso?bmff是基于框結(jié)構(gòu)化文件的概念。框結(jié)構(gòu)化文件由一系列框(有時稱為原子)組成，這些框具有大小和類型。這些類型是32比特值并且通常被選擇為四個可印刷字符，也被稱為四字符代碼(4cc)。非按時數(shù)據(jù)在文件級別可以包含在元數(shù)據(jù)框中、或在電影內(nèi)可以附接到電影框或定時數(shù)據(jù)流(被稱為軌跡)之一。

8、在isobmff容器內(nèi)的頂部級別框中是moviebox(‘moov’)，其包含用于存在于文件中的連續(xù)媒體流的元數(shù)據(jù)。這些元數(shù)據(jù)在電影框中的框?qū)蛹墐?nèi)(例如，在trackbox(‘trak’)內(nèi))用信號通知。軌跡表示存在于文件中的連續(xù)媒體流。媒體流本身由樣本序列組成，諸如基本媒體流的音頻或視頻訪問單元，并且被封裝在存在于容器的頂部級別的mediadatabox(‘mdat’)內(nèi)。用于每個軌跡的元數(shù)據(jù)包括樣本描述條目的列表，每個條目提供用于軌跡中的編碼或封裝格式、以及用于處理該格式的初始化數(shù)據(jù)。每個樣本與軌跡的樣本描述條目中的一個條目相關(guān)聯(lián)。iso/iec?14496-12提供用于定義每個軌跡的顯式時間線圖的工具。這被稱為編輯列表，并且使用具有以下語法的editlistbox來用信號通知，其中每個條目定義軌跡時間線的一部分：通過映射合成時間線的一部分，或通過指示“空”時間(映射到無媒體內(nèi)容的呈現(xiàn)時間線的部分，“空”編輯)。

9、

技術(shù)實現(xiàn)思路

1、描述了用于編碼和/或解碼表示觸覺數(shù)據(jù)的容器文件(諸如isobmff容器文件)的系統(tǒng)和方法。在示例中，觸覺體驗軌跡被編碼在容器文件中。觸覺體驗軌跡包括描述針對觸覺體驗中的至少一個可用化身的信息；以及針對觸覺體驗中的至少一個感知的配置信息。觸覺體驗軌跡還可以參考至少一個觸覺軌跡。觸覺軌跡可以包括用于感知中的一個相應(yīng)感知的通道的所有頻帶。觸覺軌跡可以具有攜帶觸覺頻帶數(shù)據(jù)比特流單元的樣本。

2、編碼器和解碼器裝置被提供以執(zhí)行本文描述的方法。編碼器或解碼器裝置可以包括被配置為執(zhí)行本文描述的方法的處理器。該裝置可以包括存儲用于執(zhí)行本文中所描述的方法的指令的計算機(jī)可讀介質(zhì)(例如，非暫時性介質(zhì))。在一些實施例中，計算機(jī)可讀介質(zhì)(例如，非暫時性介質(zhì))存儲使用本文所描述的任何方法編碼的觸覺數(shù)據(jù)。

3、根據(jù)一些實施例的方法包括：獲得容器文件，諸如包括多個觸覺軌跡的isobmff文件，該容器文件包括將多個觸覺軌跡中的每一個與相應(yīng)設(shè)備、相應(yīng)感知或相應(yīng)化身中的至少一個相關(guān)聯(lián)的信息；獲得指示對至少一個設(shè)備、至少一個感知或至少一個化身的選擇的信息；以及響應(yīng)于選擇而提取觸覺數(shù)據(jù)，其中所提取的觸覺數(shù)據(jù)排除多個觸覺軌跡中的不與所選擇的任何設(shè)備、感知或化身相關(guān)聯(lián)的至少一個觸覺軌跡。

4、在一些實施例中，該方法是由服務(wù)器執(zhí)行的，并且指示選擇的信息是從客戶端設(shè)備接收的。

5、一些實施例還包括在比特流中將所提取的觸覺數(shù)據(jù)提供給客戶端設(shè)備。

6、一些實施例還包括提供指示至少一個可用設(shè)備、至少一個可用感知或至少一個可用化身的清單文件，其中指示選擇的信息是響應(yīng)于清單文件而接收的。

7、一些實施例還包括將所提取的觸覺數(shù)據(jù)作為容器文件提供給客戶端設(shè)備。

8、一些實施例還包括渲染所提取的觸覺數(shù)據(jù)。

9、在一些實施例中，將觸覺軌跡與相應(yīng)設(shè)備相關(guān)聯(lián)的信息包括與相應(yīng)軌跡相關(guān)聯(lián)的觸覺通道配置框中的設(shè)備標(biāo)識符。

10、在一些實施例中，將觸覺軌跡與相應(yīng)感知相關(guān)聯(lián)的信息包括識別軌跡組的信息，該軌跡組包括與相應(yīng)感知相關(guān)聯(lián)的多個軌跡。

11、在一些實施例中，將觸覺軌跡與相應(yīng)化身相關(guān)聯(lián)的信息包括觸覺感知配置框中的化身標(biāo)識符。

12、在一些實施例中，容器文件包括將多個觸覺軌跡中的每一個與相應(yīng)設(shè)備相關(guān)聯(lián)的信息，選擇是對至少一個設(shè)備的選擇，并且所提取的觸覺數(shù)據(jù)排除多個觸覺軌跡中的不與所選擇的任何設(shè)備相關(guān)聯(lián)的至少一個觸覺軌跡。

13、在一些實施例中，一種裝置，包括一個或多個處理器，該一個或多個處理器被配置為至少執(zhí)行：獲得容器文件，諸如包括多個觸覺軌跡的isobmff文件，該容器文件包括將多個觸覺軌跡中的每一個與相應(yīng)設(shè)備、相應(yīng)感知或相應(yīng)化身中的至少一個相關(guān)聯(lián)的信息；獲得指示對至少一個設(shè)備、至少一個感知或至少一個化身的選擇的信息；以及響應(yīng)于選擇而提取觸覺數(shù)據(jù)，其中所提取的觸覺數(shù)據(jù)排除多個觸覺軌跡中的不與所選擇的任何設(shè)備、感知或化身相關(guān)聯(lián)的至少一個觸覺軌跡。

14、本實施例中的一個或多個還提供了一種計算機(jī)可讀存儲介質(zhì)，其上存儲有用于執(zhí)行本文所描述的任何方法的指令。一些實施例包括計算機(jī)可讀存儲介質(zhì)，其上存儲有根據(jù)本文描述的方法生成的比特流或容器文件。一些實施例包括計算機(jī)程序產(chǎn)品，該計算機(jī)程序產(chǎn)品包括用于執(zhí)行本文所描述的任何方法的指令。