專利名稱：通過網(wǎng)絡(luò)感知用戶動作的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本申請涉及網(wǎng)絡(luò)中的用戶間交互，更具體地，涉及通過網(wǎng)絡(luò)感知用戶動作的系統(tǒng) 和方法。
背景技術(shù)：
在傳統(tǒng)的網(wǎng)絡(luò)通信中，用戶之間主要通過文字、圖像、語音等多媒體信息來進行交 流。然而，現(xiàn)有的通信平臺并不能通過網(wǎng)絡(luò)使用戶感知到網(wǎng)絡(luò)另一端用戶的肢體動作。

發(fā)明內(nèi)容
根據(jù)本申請的第一方面，公開了一種通過網(wǎng)絡(luò)感知用戶動作的系統(tǒng)，包括表面肌 電傳感器，在網(wǎng)絡(luò)一側(cè)采集第一用戶的動作產(chǎn)生的肌電信號；識別模塊，根據(jù)所述肌電信號 識別所述第一用戶的動作；以及機械活動部件，根據(jù)所識別的動作執(zhí)行相應(yīng)的動作，從而使 得位于網(wǎng)絡(luò)另一側(cè)的第二用戶感知所述第一用戶的動作。根據(jù)本申請的第二方面，公開了一種通過網(wǎng)絡(luò)感知用戶動作的方法，包括從位于 網(wǎng)絡(luò)一側(cè)的第一用戶采集由所述第一用戶的動作產(chǎn)生的肌電信號；根據(jù)所述肌電信號識別 所述第一用戶的動作；根據(jù)識別出的動作生成相應(yīng)的控制指令；以及響應(yīng)于所述控制指令 在網(wǎng)絡(luò)另一側(cè)執(zhí)行所述動作，從而使得位于網(wǎng)絡(luò)另一側(cè)的第二用戶感知所述第一用戶的動 作。根據(jù)本申請的第三方面，公開了一種根據(jù)由用戶動作產(chǎn)生的肌電信號識別所述用 戶動作的系統(tǒng)，包括表面肌電傳感器，采集響應(yīng)于用戶的動作產(chǎn)生的肌電信號；以及識別 模塊，包括特征提取單元，從所述肌電信號中提取特征信號；以及模式識別單元，根據(jù)預(yù) 先存儲的多個數(shù)據(jù)樣本識別出與提取的特征信號對應(yīng)的動作，所述多個數(shù)據(jù)樣本中的每一 個包括一個特征信號集群和相應(yīng)的動作指示。根據(jù)本申請的第四方面，公開了一種根據(jù)由用戶動作產(chǎn)生的肌電信號識別所述 用戶動作的裝置，包括特征提取單元，從所述肌電信號中提取特征信號；以及模式識別單 元，根據(jù)預(yù)先存儲的多個數(shù)據(jù)樣本識別出與提取的特征信號對應(yīng)的動作，所述多個數(shù)據(jù)樣 本中的每一個包括一個特征信號集群和相應(yīng)的動作指示。根據(jù)本申請的第五方面，公開了一種根據(jù)由用戶動作產(chǎn)生的肌電信號識別所述用 戶動作的方法，包括從所述肌電信號中提取特征信號；將所提取特征信號與預(yù)先存儲的 多個數(shù)據(jù)樣本進行比較；以及根據(jù)比較結(jié)果，識別所述肌電信號對應(yīng)的用戶動作，其中，所 述多個數(shù)據(jù)樣本中的每一個包括一個特征信號集群和相應(yīng)的動作指示。


圖1示意性地示出了根據(jù)本申請的一個實施方式通過網(wǎng)絡(luò)感知用戶動作的系統(tǒng)。圖2示意性地示出了根據(jù)本申請一個實施方式的SEMG傳感器的示意框圖。圖3示意性地示出了根據(jù)本申請的一個實施方式的識別模塊。
圖4示意性地示出了采用時域方法從具有六個通道的SEMG傳感環(huán)采集到的肌電 信號中提取出的平方和特征。圖5示意性地示出了基于短時傅里葉變換從具有六個通道的SEMG傳感環(huán)采集到 的肌電信號中提取出的平方和特征。圖6示意性地示出了采用主成分分析法將提取的特征信號投影在二維平面得到 的降維的特征信號。圖7示意性地示出了通過學習得到的在二維平面代表幾個不同動作的特征信號
集群ο圖8示意性地示出了根據(jù)本申請的一個實施方式的機械手。圖9示意性地示出了圖8的機械手中的手指結(jié)構(gòu)。圖IOa和IOb分別示出了圖9的手指轉(zhuǎn)動前后的示意圖。圖11示意性地示出了根據(jù)本申請一個實施方式通過網(wǎng)絡(luò)感知用戶動作的方法的 流程圖。
具體實施例方式下面，參照附圖對本申請的示例性實施方式進行詳細描述。圖1示出了根據(jù)本申請的一個實施方式通過網(wǎng)絡(luò)(例如，局域網(wǎng)、廣域網(wǎng)、有線網(wǎng) 絡(luò)、無線網(wǎng)絡(luò)、3G網(wǎng)絡(luò)等)感知用戶動作的系統(tǒng)100。如圖所示，系統(tǒng)100包括分別由用戶 10和20操作的、通過網(wǎng)絡(luò)通信的終端11和21。終端11和21可以是網(wǎng)絡(luò)中任何適當?shù)耐?信終端，例如，個人計算機、筆記本電腦、移動電話、個人數(shù)字助理等。系統(tǒng)100還包括與用 戶10和終端11通信的SEMG(surfaceelectromyography，表面肌電)傳感器12、以及與用 戶20和終端21通信的機械活動部件23。SEMG傳感器12由用戶10佩戴在皮膚表面。用戶在進行肢體動作時，其肌肉會伸 縮，并且會有微弱的電能量聚集在對應(yīng)位置處的皮膚表面。因此，響應(yīng)于用戶10的肢體動 作，佩戴在其皮膚表面的SEMG傳感器12檢測到對應(yīng)皮膚位置下的肌肉伸縮運動以及由此 產(chǎn)生的電信號(即，肌電信號)。SEMG傳感器12通過有線接口或例如藍牙等無線接口將檢 測到的肌電信號傳遞給終端11。根據(jù)一個實施方式，終端11包括根據(jù)接收的肌電信號識別用戶10的動作的識別 模塊(未示出)，并通過網(wǎng)絡(luò)將表示識別出的動作的信息傳送給終端21。終端21包括指令 生成模塊(未示出)，該指令生成模塊根據(jù)接收的信息生成用于控制機械活動部件23的控 制指令。機械活動部件23根據(jù)來自終端21的控制指令為用戶20再現(xiàn)與用戶10的動作相 一致的動作。機械活動部件23可以通過有線或無線接口與終端21相連。根據(jù)另一實施方式，終端11將接收到的肌電信號直接傳送給終端21。終端21包 括根據(jù)肌電信號識別用戶10的動作的識別模塊和根據(jù)識別出的動作生成控制指令的指令 生成模塊。機械活動部件23根據(jù)來自終端21的控制指令為用戶20再現(xiàn)與用戶10的動作 相一致的動作?？蛇x地，終端11包括對接收到的肌電信號進行調(diào)制的調(diào)制模塊，終端21相 應(yīng)地包括解調(diào)模塊，用于對接收到的調(diào)制信號進行解調(diào)以恢復(fù)SEMG傳感器12發(fā)送的肌電 信號。根據(jù)又一實施方式，終端11包括根據(jù)肌電信號識別用戶10的動作的識別模塊和根據(jù)識別出的動作生成控制指令的指令生成模塊，并將生成的控制指令傳送給終端21。終 端21將接收的控制指令轉(zhuǎn)發(fā)給機械活動部件23。機械活動部件23根據(jù)終端21轉(zhuǎn)發(fā)的控 制指令為用戶20再現(xiàn)與用戶10的動作相一致的動作。由于肌電信號通常具有微弱的電壓(例如，幾微伏到幾毫伏)并且混雜有大量的 噪聲，因此通常需要在SEMG傳感器中對采集的肌電信號進行放大和濾波。圖2示出了根據(jù) 本申請一個實施方式的SEMG傳感器12的示意框圖。如圖所示，SEMG傳感器12包括從用 戶的皮膚表面采集肌電信號的多個電極201、將采集的肌電信號進行放大的放大器202、以 及將放大后的肌電信號中的不期望分量濾除的濾波器203。放大器202例如可以是將肌電 信號放大到幾伏的差分放大器。由于有用的肌電信號分布在20Hz到500Hz之間，并且肌電 信號中可能存在50Hz的工頻噪聲，因此，濾波器203可以由將頻率低于20Hz的噪聲濾除的 高通濾波器、將頻率高于500Hz的噪聲濾除的低通濾波器、以及將頻率為50Hz的噪聲濾除 的帶阻濾波器共同構(gòu)成。在一個實施例中，SEMG傳感器12是用來檢測人手動作的手腕式SEMG傳感環(huán)。由 于人手的五個手指由前臂的四塊肌肉控制，因此，在手腕式SEMG傳感環(huán)中，可具有至少四 個電極，每個電極的電通道用來檢測一塊肌肉的伸縮產(chǎn)生的肌電信號。作為一種選擇，SEMG 傳感器12可具有六個電極，以確保當用戶將其佩戴在手腕上時，這六個電極能充分覆蓋四 塊肌肉所對應(yīng)的皮膚位置，從而避免由于電極與肌肉位置錯位而丟失動作信息。圖3示出了根據(jù)本申請的一個實施方式的識別模塊30。識別模塊30位于終端11 或21中，并可包括特征提取單元301、樣本存儲單元302和模式識別單元303。樣本存儲單元302預(yù)先存儲有多個數(shù)據(jù)樣本，每個樣本包括一個特征信號和與之 對應(yīng)的動作指示。存儲的數(shù)據(jù)樣本可以是經(jīng)過學習和訓(xùn)練得到的。特征提取單元301從接 收自SEMG傳感器12的肌電信號提取該肌電信號的特征信號，并將提取的特征信號提供至 模式識別單元303。模式識別單元303將特征提取單元301提供的特征信號與樣本存儲單 元302中存儲的樣本進行比較，從而識別出與該特征信號對應(yīng)的動作。作為一種選擇，樣本 存儲單元也可以不包含在識別模塊內(nèi)。例如，數(shù)據(jù)樣本可以存儲在通信終端的其他存儲設(shè) 備中，或者可以分布式地存儲在網(wǎng)絡(luò)中。肌電信號的特征信號可以通過對肌電信號進行時域處理、頻域處理、或時-頻域 處理而獲得。響應(yīng)于用戶的動作，SEMG傳感器12的每個傳感通道都會采集到一個肌電信 號。特征提取單元301對每個傳感通道采集到的肌電信號分別進行計算以提取出需要的特 征信號。例如，肌電信號的特征信號可以是通過時域方法得到的平方和值、基于傅里葉變換 得到的力矩值或平方和值、或者基于短時傅里葉變換得到的力矩值或平方和值。在時_頻 域方法中，根據(jù)短時距傅里葉變換的結(jié)果提取特征。也就是，在時域上把信號分成很短的時 段，對每個時段進行傅里葉變換以得到每個時段的頻域特性，從而提供更多的瞬態(tài)信息，以 便更精確地識別每個時段的動作。例如，圖4示意性地示出了采用時域方法從具有六個通道的SEMG傳感環(huán)采集到的 肌電信號(分別對應(yīng)于大拇指、食指、中指、及無名指和小拇指的動作)中提取出的平方和 特征，其中，平方和特征f例如可通過下式獲得
權(quán)利要求
1.一種通過網(wǎng)絡(luò)感知用戶動作的系統(tǒng)，包括表面肌電傳感器，在網(wǎng)絡(luò)一側(cè)采集第一用戶的動作產(chǎn)生的肌電信號； 識別模塊，根據(jù)所述肌電信號識別所述第一用戶的動作；以及 機械活動部件，根據(jù)所識別的動作執(zhí)行相應(yīng)的動作，從而使得位于網(wǎng)絡(luò)另一側(cè)的第二 用戶感知所述第一用戶的動作。
2.如權(quán)利要求1所述的系統(tǒng)，進一步包括指令生成模塊，根據(jù)所識別的動作生成控制指令，所述控制指令控制所述機械活動部 件執(zhí)行與所識別的動作相對應(yīng)的動作。
3.如權(quán)利要求1所述的系統(tǒng)，其中，所述識別模塊設(shè)置在由所述第一用戶操作的第一 終端中，或者設(shè)置在由所述第二用戶操作的第二終端中。
4.如權(quán)利要求2所述的系統(tǒng)，其中，所述指令生成模塊設(shè)置在由所述第一用戶操作的 第一終端內(nèi)，或者設(shè)置在由所述第二用戶操作的第二終端內(nèi)。
5.如權(quán)利要求1所述的系統(tǒng)，其中，所述表面肌電傳感器是手腕式表面肌電傳感環(huán)。
6.如權(quán)利要求5所述的系統(tǒng)，其中，所述手腕式表面肌電傳感環(huán)具有至少四個電極傳 感通道。
7.如權(quán)利要求6所述的系統(tǒng)，其中，所述手腕式表面肌電傳感環(huán)具有六個電極傳感通道。
8.如權(quán)利要求1所述的系統(tǒng)，其中，所述識別模塊包括 特征提取單元，從所述肌電信號中提取特征信號；以及模式識別單元，根據(jù)預(yù)先存儲的多個數(shù)據(jù)樣本識別出與提取的特征信號對應(yīng)的動作， 所述多個數(shù)據(jù)樣本中的每一個包括一個特征信號集群和相應(yīng)的動作指示。
9.如權(quán)利要求8所述的系統(tǒng)，其中，所述識別模塊進一步包括降維單元，將所述模式識別單元提取的特征信號進行降維處理后傳遞至所述模式識別單元。
10.如權(quán)利要求8所述的系統(tǒng)，其中，所述識別模塊進一步包括學習單元，響應(yīng)于所述第一用戶的指令對所述第一用戶的動作進行學習，以獲得所述 多個數(shù)據(jù)樣本。
11.如權(quán)利要求8所述的系統(tǒng)，其中，所述特征信號是所述肌電信號的平方和信號或力矩信號。
12.如權(quán)利要求2所述的系統(tǒng)，其中，所述機械活動部件是具有手掌、五個手指和驅(qū)動 單元的機械手，所述驅(qū)動單元用于驅(qū)動五個手指的活動。
13.如權(quán)利要求12所述的系統(tǒng)，其中，所述五個手指中的每個手指包括第一指骨、第二 指骨、第三指骨、三個旋轉(zhuǎn)關(guān)節(jié)以及拉緊線，所述三個旋轉(zhuǎn)關(guān)節(jié)分別連接于所述第一指骨和 所述第二指骨之間、所述第二指骨和所述第三指骨之間、以及所述第三指骨和所述手掌之 間，所述拉緊線連接于所述驅(qū)動單元和所述三個旋轉(zhuǎn)關(guān)節(jié)，并在驅(qū)動單元的驅(qū)動下通過所 述三個旋轉(zhuǎn)關(guān)節(jié)牽弓I所述第一至第三指骨轉(zhuǎn)動。
14.如權(quán)利要求13所述的系統(tǒng)，其中，所述指令生成模塊生成的控制指令指示所述驅(qū) 動單元驅(qū)動所述五個手指中的一個或多個轉(zhuǎn)動。
15.如權(quán)利要求12所述的系統(tǒng)，其中，所述驅(qū)動單元包括四個電機，其中的一個電機驅(qū)動無名指和小拇指，另外三個分別驅(qū)動大拇指、食指和中指。
16.一種通過網(wǎng)絡(luò)感知用戶動作的方法，包括從位于網(wǎng)絡(luò)一側(cè)的第一用戶采集由所述第一用戶的動作產(chǎn)生的肌電信號； 根據(jù)所述肌電信號識別所述第一用戶的動作； 根據(jù)識別出的動作生成相應(yīng)的控制指令；以及響應(yīng)于所述控制指令在網(wǎng)絡(luò)另一側(cè)執(zhí)行所述動作，從而使得位于網(wǎng)絡(luò)另一側(cè)的第二用 戶感知所述第一用戶的動作。
17.如權(quán)利要求16所述的方法，其中，所述識別的步驟進一步包括 從所述肌電信號中提取特征信號；以及根據(jù)預(yù)先存儲的多個數(shù)據(jù)樣本識別出與提取的特征信號對應(yīng)的動作，所述多個數(shù)據(jù)樣 本中的每一個包括一個特征信號集群和相應(yīng)的動作指示。
18.如權(quán)利要求17所述的方法，其中，所述多個數(shù)據(jù)樣本是通過對所述第一用戶的動 作進行學習而得到的。
19.如權(quán)利要求16所述的方法，其中，在根據(jù)所述多個數(shù)據(jù)樣本識別出與提取的特征 信號對應(yīng)的動作之前，對提取的特征信號進行降維處理。
20.如權(quán)利要求17所述的方法，其中，所述特征信號是所述肌電信號的平方和信號或 力矩信號。
21.一種根據(jù)由用戶動作產(chǎn)生的肌電信號識別所述用戶動作的系統(tǒng)，包括 表面肌電傳感器，采集響應(yīng)于用戶的動作產(chǎn)生的肌電信號；以及識別模塊，包括特征提取單元，從所述肌電信號中提取特征信號；以及模式識別單元，根據(jù)預(yù)先存儲的多個數(shù)據(jù)樣本識別出與提取的特征信號對應(yīng)的動作， 所述多個數(shù)據(jù)樣本中的每一個包括一個特征信號集群和相應(yīng)的動作指示。
22.如權(quán)利要求21所述的系統(tǒng)，其中，所述特征信號是所述肌電信號的平方和信號或 力矩信號。
23.如權(quán)利要求21所述的系統(tǒng)，其中，所述識別模塊進一步包括降維單元，將所述模式識別單元提取的特征信號進行降維處理后傳遞至所述模式識別單元。
24.如權(quán)利要求21所述的系統(tǒng)，其中，所述識別模塊進一步包括學習單元，響應(yīng)于所述用戶的指令對所述用戶的動作進行學習，以獲得所述多個數(shù)據(jù) 樣本。
25.如權(quán)利要求21所述的系統(tǒng)，其中，所述識別模塊嵌入在通信終端中。
26.一種根據(jù)由用戶動作產(chǎn)生的肌電信號識別所述用戶動作的裝置，包括 特征提取單元，從所述肌電信號中提取特征信號；以及模式識別單元，根據(jù)預(yù)先存儲的多個數(shù)據(jù)樣本識別出與提取的特征信號對應(yīng)的動作， 所述多個數(shù)據(jù)樣本中的每一個包括一個特征信號集群和相應(yīng)的動作指示。
27.如權(quán)利要求26所述的裝置，進一步包括 樣本存儲單元，存儲所述多個數(shù)據(jù)樣本。
28.如權(quán)利要求26所述的裝置，其中，所述特征信號是所述肌電信號的平方和信號或力矩信號。
29.如權(quán)利要求26所述的裝置，進一步包括降維單元，將所述模式識別單元提取的特征信號進行降維處理后傳遞至所述模式識別單元。
30.如權(quán)利要求26所述的裝置，進一步包括學習單元，響應(yīng)于所述用戶的指令對所述用戶的動作進行學習以得到所述多個數(shù)據(jù)樣本。
31.如權(quán)利要求26所述的裝置，其中，所述裝置嵌入在通信終端中。
32.一種根據(jù)由用戶動作產(chǎn)生的肌電信號識別所述用戶動作的方法，包括 從所述肌電信號中提取特征信號；將所提取特征信號與預(yù)先存儲的多個數(shù)據(jù)樣本進行比較；以及 根據(jù)比較結(jié)果，識別所述肌電信號對應(yīng)的用戶動作，其中，所述多個數(shù)據(jù)樣本中的每一個包括一個特征信號集群和相應(yīng)的動作指示。
33.如權(quán)利要求32所述的方法，其中，所述多個數(shù)據(jù)樣本是通過對所述第一用戶的動 作進行學習而得到的。
34.如權(quán)利要求32所述的方法，其中，在根據(jù)所述多個數(shù)據(jù)樣本識別出與提取的特征 信號對應(yīng)的動作之前，對提取的特征信號進行降維處理。
35.如權(quán)利要求32所述的方法，其中，所述特征信號是所述肌電信號的平方和信號或 力矩信號。
全文摘要
公開了一種通過網(wǎng)絡(luò)感知用戶動作的系統(tǒng)和方法，該系統(tǒng)包括表面肌電傳感器，在網(wǎng)絡(luò)一側(cè)采集第一用戶的動作產(chǎn)生的肌電信號；識別模塊，根據(jù)所述肌電信號識別所述第一用戶的動作；以及機械活動部件，根據(jù)所識別的動作執(zhí)行相應(yīng)的動作，從而使得位于網(wǎng)絡(luò)另一側(cè)的第二用戶感知所述第一用戶的動作。還公開了一種根據(jù)由用戶動作產(chǎn)生的肌電信號識別所述用戶動作的系統(tǒng)、裝置和方法。
文檔編號B25J9/18GK101995947SQ20101014612
公開日2011年3月30日 申請日期2010年4月12日 優(yōu)先權(quán)日2009年8月21日
發(fā)明者劉云輝 申請人:香港中文大學