本發(fā)明涉及人機(jī)交互領(lǐng)域，具體涉及一種虛擬現(xiàn)實(shí)頭顯設(shè)備手勢(shì)控制方法。

背景技術(shù)：

虛擬現(xiàn)實(shí)頭顯設(shè)備是新一代的頭戴式顯示器，例如虛擬現(xiàn)實(shí)頭盔，提供了一種沉浸式虛擬現(xiàn)實(shí)的人機(jī)交互方式，它利用計(jì)算機(jī)在頭戴式顯示器中生成一個(gè)三維空間的虛擬世界，提供用戶(hù)關(guān)于視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等感官的模擬，讓用戶(hù)如同身歷其境一般，使用戶(hù)沉浸到虛擬環(huán)境中，及時(shí)、沒(méi)有限制地觀(guān)察三維空間內(nèi)的事物，為一種更貼合用戶(hù)體驗(yàn)的人機(jī)交互方式。

目前，現(xiàn)有的虛擬現(xiàn)實(shí)頭顯設(shè)備的人機(jī)交互通常是利用諸如鼠標(biāo)、藍(lán)牙手柄等常規(guī)輸入方式來(lái)與設(shè)備進(jìn)行交互，成本高并且不方便攜帶。

技術(shù)實(shí)現(xiàn)要素：

為了解決現(xiàn)有技術(shù)中的上述問(wèn)題，本發(fā)明提出一種虛擬現(xiàn)實(shí)頭顯設(shè)備手勢(shì)控制方法，通過(guò)手部動(dòng)作實(shí)現(xiàn)虛擬現(xiàn)實(shí)頭顯設(shè)備中鼠標(biāo)的動(dòng)作，擺脫了硬件輔助輸入設(shè)備。

本發(fā)明提出的一種虛擬現(xiàn)實(shí)頭顯設(shè)備手勢(shì)控制方法，包括以下步驟：

步驟s11，通過(guò)視頻采集裝置進(jìn)行手部的識(shí)別，并依據(jù)在采集區(qū)域內(nèi)靜止的時(shí)間判斷是否進(jìn)入鼠標(biāo)跟隨狀態(tài)；

步驟s12，進(jìn)入鼠標(biāo)跟隨狀態(tài)后，通過(guò)視頻采集裝置逐幀采集手部運(yùn)動(dòng)，依據(jù)連續(xù)各幀圖像中手部的位置信息控制顯示系統(tǒng)中鼠標(biāo)跟隨手部做相應(yīng)移動(dòng)；

步驟s13，在鼠標(biāo)跟隨狀態(tài)中，通過(guò)對(duì)視頻采集裝置采集到圖像中的手部進(jìn)行識(shí)別來(lái)判斷手部手勢(shì)的變化，實(shí)現(xiàn)點(diǎn)擊確認(rèn)的操作。

優(yōu)選的，對(duì)所采集的圖像中手部的識(shí)別采用adaboost算法構(gòu)建的強(qiáng)分類(lèi)器進(jìn)行。

優(yōu)選的，采用adaboost算法構(gòu)建的強(qiáng)分類(lèi)器的方法為：

步驟s21，構(gòu)建具有正、負(fù)樣本標(biāo)識(shí)的訓(xùn)練樣本(x1,y1)、(x2,y2)……(xn,yn)，其中yi＝0為負(fù)樣本，yi＝1為正樣本，n是訓(xùn)練樣本的總個(gè)數(shù)；

步驟s22，初始化訓(xùn)練樣本的權(quán)值wt,i，t為循環(huán)次數(shù)；

步驟s23，取t＝1…t，t為訓(xùn)練的最大循環(huán)次數(shù)；

步驟s231，歸一化權(quán)值：

步驟s232，對(duì)每一個(gè)特征f，訓(xùn)練一個(gè)分類(lèi)器h(xi,f,p,θ)，即估計(jì)出等式關(guān)于qt的殘差：

εf＝∑iqi|h(xi,f,p,θ)-yi|

其中，p為不等式的極值方向，θ為預(yù)設(shè)閾值；

步驟s233，選擇殘差最小的分類(lèi)器ht

minf，p，θ∑iqi|h(xi，f，p，θ)-yi|＝∑iqi|h(xi，ft，pt，θt)-yi|

ht(x)＝h(x，ft，pt，θt)

步驟s234，更新權(quán)值

其中，εt為步驟s233中所選擇的分類(lèi)器ht對(duì)應(yīng)的殘差。

如果樣本xi被正確的分類(lèi)則ei＝0,否則ei＝1；

步驟s24，最終組合成強(qiáng)分類(lèi)器：

其中：

優(yōu)選的，該方法中所識(shí)別的手部手勢(shì)包括握拳和非握拳兩種手勢(shì)，非握拳手勢(shì)用于控制顯示系統(tǒng)中鼠標(biāo)跟隨手部做相應(yīng)移動(dòng)，握拳手勢(shì)用于實(shí)現(xiàn)顯示系統(tǒng)中鼠標(biāo)的點(diǎn)擊確認(rèn)操作。

優(yōu)選的，握拳手勢(shì)用于實(shí)現(xiàn)顯示系統(tǒng)中鼠標(biāo)的點(diǎn)擊確認(rèn)操作的方法為：手部由非握拳狀態(tài)變化為握拳狀態(tài)，并向前移動(dòng)，且移動(dòng)的距離小于設(shè)定的距離閾值、移動(dòng)速度小于設(shè)定的速度閾值，則執(zhí)行顯示系統(tǒng)中鼠標(biāo)的點(diǎn)擊確認(rèn)操。

優(yōu)選的，對(duì)所采集的圖像中手部的識(shí)別需要對(duì)圖像進(jìn)行圖像分割的預(yù)處理，將圖像中的手部與背景分割開(kāi)。

優(yōu)選的，所述圖像分割的預(yù)處理的方法為，基于皮膚顏色與背景色之間的差異進(jìn)行區(qū)域識(shí)別。

優(yōu)選的，所述圖像分割的預(yù)處理的方法為基于輪廓的圖像分割方法。

本發(fā)明通過(guò)視頻采集裝置對(duì)手部進(jìn)行識(shí)別，依據(jù)連續(xù)各幀圖像中手部的位置信息控制顯示系統(tǒng)中鼠標(biāo)跟隨手部做相應(yīng)移動(dòng)，并通過(guò)判斷手部手勢(shì)的變化進(jìn)行點(diǎn)擊確認(rèn)的操作，實(shí)現(xiàn)了通過(guò)手部對(duì)虛擬現(xiàn)實(shí)頭顯設(shè)備的控制，擺脫了硬件輔助輸入設(shè)備，極大方便了用戶(hù)的使用，提升了操作感受。

附圖說(shuō)明

圖1是本發(fā)明虛擬現(xiàn)實(shí)頭顯設(shè)備手勢(shì)控制方法的流程示意圖。

具體實(shí)施方式

下面參照附圖來(lái)描述本發(fā)明的優(yōu)選實(shí)施方式。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解的是，這些實(shí)施方式僅僅用于解釋本發(fā)明的技術(shù)原理，并非旨在限制本發(fā)明的保護(hù)范圍。

本發(fā)明針對(duì)現(xiàn)階段的虛擬現(xiàn)實(shí)頭顯設(shè)備進(jìn)行設(shè)計(jì)，適用于具有視頻采集裝置(如手機(jī)攝像頭或虛擬現(xiàn)實(shí)頭顯設(shè)備外置攝像頭或相應(yīng)傳感器)的虛擬現(xiàn)實(shí)頭顯設(shè)備，如vr眼鏡或虛擬現(xiàn)實(shí)頭盔。當(dāng)在虛擬現(xiàn)實(shí)頭顯設(shè)備顯示屏的場(chǎng)景中需要進(jìn)行操作時(shí)，通過(guò)攝像頭智能識(shí)別手部并在vr虛擬場(chǎng)景中模擬出一個(gè)虛擬鼠標(biāo)箭頭(或者類(lèi)似虛擬標(biāo)志)，通過(guò)識(shí)別出手部的運(yùn)動(dòng)軌跡，在vr虛擬場(chǎng)景中進(jìn)行選擇確認(rèn)的操作?，F(xiàn)在有移動(dòng)選取和確認(rèn)操作，移動(dòng)選取通過(guò)識(shí)別手的運(yùn)動(dòng)軌跡，確認(rèn)操為向前點(diǎn)擊一下，通過(guò)計(jì)算遠(yuǎn)近距離的不同，判定為確認(rèn)操作。

本發(fā)明提出的一種虛擬現(xiàn)實(shí)頭顯設(shè)備手勢(shì)控制方法，如圖1所示，包括以下步驟：

步驟s11，通過(guò)視頻采集裝置進(jìn)行手部的識(shí)別，并依據(jù)在采集區(qū)域內(nèi)靜止的時(shí)間判斷是否進(jìn)入鼠標(biāo)跟隨狀態(tài)；

步驟s12，進(jìn)入鼠標(biāo)跟隨狀態(tài)后，通過(guò)視頻采集裝置逐幀采集手部運(yùn)動(dòng)，依據(jù)連續(xù)各幀圖像中手部的位置信息控制顯示系統(tǒng)中鼠標(biāo)跟隨手部做相應(yīng)移動(dòng)；

步驟s13，在鼠標(biāo)跟隨狀態(tài)中，通過(guò)對(duì)視頻采集裝置采集到圖像中的手部進(jìn)行識(shí)別來(lái)判斷手部手勢(shì)的變化，實(shí)現(xiàn)點(diǎn)擊確認(rèn)的操作。

本實(shí)施例中所識(shí)別的手部手勢(shì)包括握拳和非握拳兩種手勢(shì)，非握拳手勢(shì)用于控制顯示系統(tǒng)中鼠標(biāo)跟隨手部做相應(yīng)移動(dòng)，握拳手勢(shì)用于實(shí)現(xiàn)顯示系統(tǒng)中鼠標(biāo)的點(diǎn)擊確認(rèn)操作。握拳手勢(shì)用于實(shí)現(xiàn)顯示系統(tǒng)中鼠標(biāo)的點(diǎn)擊確認(rèn)操作的方法為：手部由非握拳狀態(tài)變化為握拳狀態(tài)，并向前移動(dòng)，且移動(dòng)的距離小于設(shè)定的距離閾值、移動(dòng)速度小于設(shè)定的速度閾值，則執(zhí)行顯示系統(tǒng)中鼠標(biāo)的點(diǎn)擊確認(rèn)操。非握拳狀態(tài)為至少有一根手指處于張開(kāi)狀態(tài)。握拳和非握拳狀態(tài)的識(shí)別率很高，有利于快速準(zhǔn)確的控制判斷。

本實(shí)施例中對(duì)所采集的圖像中手部的識(shí)別需要對(duì)圖像進(jìn)行圖像分割的預(yù)處理，將圖像中的手部與背景分割開(kāi)。圖像分割的預(yù)處理的方法為可以基于皮膚顏色與背景色之間的差異進(jìn)行區(qū)域識(shí)別，也可以采用基于輪廓的圖像分割方法。

本實(shí)施例中對(duì)所采集的圖像中手部的識(shí)別采用adaboost算法構(gòu)建的強(qiáng)分類(lèi)器進(jìn)行。采用adaboost算法構(gòu)建的強(qiáng)分類(lèi)器的方法為：

步驟s21，構(gòu)建具有正、負(fù)樣本標(biāo)識(shí)的訓(xùn)練樣本(x1,y1)、(x2,y2)……(xn,yn)，其中yi＝0為負(fù)樣本，yi＝1為正樣本，n是訓(xùn)練樣本的總個(gè)數(shù)；

步驟s22，初始化訓(xùn)練樣本的權(quán)值wt，i；t為循環(huán)次數(shù)；

步驟s23，取t＝1…t，t為訓(xùn)練的最大循環(huán)次數(shù)；

步驟s231，歸一化權(quán)值，如公式(1)所示：

步驟s232，對(duì)每一個(gè)特征f，訓(xùn)練一個(gè)分類(lèi)器h(xi,f,p,θ)，即估計(jì)出等式關(guān)于qt的殘差，如公式(2)所示：

εf＝∑iqi|h(xi，f，p，θ)-yi|(2)

其中，p為不等式的極值方向，θ為預(yù)設(shè)閾值；

步驟s233，選擇殘差最小的分類(lèi)器ht，如公式(3)、(4)所示

minf，p，θ∑iqi|h(xi,f,p,θ)-yi|＝∑iqi|h(xi,ft,pt,θt)-yi|(3)

ht(x)＝h(x,ft,pt,θt)(4)

步驟s234，更新權(quán)值，如公式(5)、(6)所示

其中，εt為步驟s233中所選擇的分類(lèi)器ht(x)對(duì)應(yīng)的殘差。

如果樣本xi被正確的分類(lèi)則ei＝0,否則ei＝1；

步驟s24，最終組合成強(qiáng)分類(lèi)器，如公式(7)、(8)所示

其中：

本領(lǐng)域技術(shù)人員應(yīng)該能夠意識(shí)到，結(jié)合本文中所公開(kāi)的實(shí)施例描述的各示例的方法步驟，能夠以電子硬件、計(jì)算機(jī)軟件或者二者的結(jié)合來(lái)實(shí)現(xiàn)，為了清楚地說(shuō)明電子硬件和軟件的可互換性，在上述說(shuō)明中已經(jīng)按照功能一般性地描述了各示例的組成及步驟。這些功能究竟以電子硬件還是軟件方式來(lái)執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計(jì)約束條件。本領(lǐng)域技術(shù)人員可以對(duì)每個(gè)特定的應(yīng)用來(lái)使用不同方法來(lái)實(shí)現(xiàn)所描述的功能，但是這種實(shí)現(xiàn)不應(yīng)認(rèn)為超出本發(fā)明的范圍。

至此，已經(jīng)結(jié)合附圖所示的優(yōu)選實(shí)施方式描述了本發(fā)明的技術(shù)方案，但是，本領(lǐng)域技術(shù)人員容易理解的是，本發(fā)明的保護(hù)范圍顯然不局限于這些具體實(shí)施方式。在不偏離本發(fā)明的原理的前提下，本領(lǐng)域技術(shù)人員可以對(duì)相關(guān)技術(shù)特征作出等同的更改或替換，這些更改或替換之后的技術(shù)方案都將落入本發(fā)明的保護(hù)范圍之內(nèi)。