一種基于Kinect體感設備的多視點自由立體交互系統(tǒng)的制作方法
【專利摘要】本發(fā)明提出一種基于Kinect體感設備的多視點自由立體交互系統(tǒng)。該系統(tǒng)包括Kinect體感設備、計算機和多視點自由立體顯示器。該系統(tǒng)將多視點自由立體顯示技術、虛擬現(xiàn)實技術和體感技術相結合，利用Kinect體感設備實時獲取人體骨骼數(shù)據(jù)，由多幀平滑處理后的骨骼數(shù)據(jù)判斷用戶做出的特定的肢體動作，將肢體動作轉化為與3D虛擬場景交互的控制響應命令，基于GPU實時渲染更新后的3D虛擬場景并生成合成圖像，并輸出至多視點自由立體顯示器上實時顯示，用戶無需佩戴助視設備即可觀看到可交互的立體畫面。
【專利說明】—種基于Kinect體感設備的多視點自由立體交互系統(tǒng)
【技術領域】
[0001]本發(fā)明涉及虛擬現(xiàn)實3D (三維)交互技術，更具體地說，本發(fā)明涉及基于Kinect體感設備的多視點自由立體交互技術。
【背景技術】
[0002]虛擬現(xiàn)實交互技術是新興的一種綜合集成技術，人們可利用計算機來虛構一個3D世界，并與虛擬的3D世界產生交互作用。目前許多虛擬現(xiàn)實交互系統(tǒng)都采用助視3D顯示器顯示3D虛擬世界，但佩戴助視設備給用戶帶來不便。傳統(tǒng)的硬件交互設備包含了目前常見的鼠標和鍵盤，也包含了各種數(shù)據(jù)手套、操縱桿和捕捉器等等。用戶可以通過這些設備與虛擬的3D世界進行交互。然而傳統(tǒng)的交互設備的交互方式略顯單一，且當用戶需要手持或觸摸交互設備時，交互體驗有所降低，特別地，當用戶需完成較復雜的肢體動作時，傳統(tǒng)的交互設備難免成為累贅。
[0003]近年來,體感交互技術蓬勃發(fā)展，漸漸走進人們的生活。Kinect體感設備的傳感深度范圍在0.8米到4.0米之間，而自由立體顯示器的最佳觀看距離一般在2米左右，兩者之間的適應距離范圍存在匹配關系。通過Kinect體感設備，用戶可以在不手持或觸摸任何設備的情況下，將肢體動作轉化為與計算機進行溝通的“語言”，自然地實現(xiàn)人與機器之間的交互。通過自由立體顯示器，用戶可以無須佩戴助視設備便可觀看到立體畫面。

【發(fā)明內容】

[0004]本發(fā)明提出一種基于Kinect體感設備的多視點自由立體交互系統(tǒng)。如附圖1所示，該系統(tǒng)包括Kinect體感設備、計算機和多視點自由立體顯示器。
[0005]所述Kinect體感設備用于獲取用戶的骨骼信息，并將所述骨骼信息傳送至計算機。
[0006]所述計算機用于根據(jù)所述Kinect體感設備反饋的骨骼信息判斷用戶做出的肢體動作，并轉換為與3D虛擬場景交互的控制響應命令，計算機的顯卡核心GPU (圖形處理器)用于實時渲染3D虛擬場景而得到多幅視差圖像，并利用GPU并行處理數(shù)據(jù)的能力快速生成合成圖像。
[0007]所述多視點自由立體顯示器用于顯示生成的合成圖像，使用戶觀看到3D虛擬場景的立體畫面。
[0008]本發(fā)明基于Kinect體感設備的多視點自由立體交互系統(tǒng)，其特征也在于其實現(xiàn)包括以下四個步驟:
步驟1:如附圖2所示，根據(jù)Kinect體感設備反饋的骨骼數(shù)據(jù)流中的追蹤狀態(tài)判斷是否有用戶被追蹤到，如果有則從中提取用戶的骨骼數(shù)據(jù)，并采用平滑算法平衡化骨骼數(shù)據(jù)中的不規(guī)則點，否則退出本次追蹤。
[0009]步驟2:建立與人體常用肢體動作相關的模板庫，每個模板對應于一個肢體動作，且每個模板與人體骨骼點在骨骼坐標系中軸上坐標值的變化軌跡、變化范圍及持續(xù)時間相關，即模板與肢體動作存在時間域與空間域的對應關系。由步驟I所述平滑處理后的骨骼數(shù)據(jù)中提取用戶某個骨骼點在骨骼坐標系中軸上的值及其當前時間值。當用戶做出一個與該骨骼點相關的肢體動作時，并利用匹配算法判斷該動作是否與模板庫中某個模板相匹配，若匹配成功，則執(zhí)行與該模板對應的控制響應命令。
[0010]步驟3:建立與步驟2所述模板庫中各模板相對應的命令響應函數(shù)，每個命令響應函數(shù)均與3D虛擬場景的切換或世界坐標變換相關。將所述命令響應函數(shù)應用于3D虛擬場景，達到與3D虛擬場景交互的目的。
[0011]步驟4:如附圖3所示，采用3D虛擬攝像機對3D虛擬場景進行渲染而獲取多幅視差圖像，為充分利用GPU并行處理數(shù)據(jù)的能力，采用Pixel Shader (像素著色器)完成多次渲染疊加過程，即對視差圖像進行調制，再由調制后的視差圖像生成合成圖像，最終，將合成圖像輸出至多視點自由立體顯示器上實時顯示。
[0012]本發(fā)明提出的基于Kinect體感設備的多視點自由立體交互系統(tǒng)，利用Kinect體感設備獲取用戶的骨骼數(shù)據(jù)，用戶直接通過肢體動作控制多視點自由立體顯示器中的3D虛擬場景，且實時觀看由自己控制的立體畫面。該系統(tǒng)提高了觀看者與多視點自由立體顯示系統(tǒng)的交互體驗，解決了傳統(tǒng)交互方式中用戶手持或觸摸交互設備而帶來的不便。
【專利附圖】

【附圖說明】
[0013]附圖1為本發(fā)明提出的基于Kinect體感設備的多視點自由立體交互系統(tǒng)示意圖。
[0014]附圖2為體感設備獲取骨骼數(shù)據(jù)流程示意圖。
[0015]附圖3為實時渲染3D虛擬場景并生成合成圖像示意圖。
[0016]上述附圖中的圖示標號為:
I觀看者，2 Kinect體感設備,3計算機,4多視點自由立體顯示器,5 3D物體,6 3D虛擬攝像機，7視差圖像，8調制后的視差圖像，9合成圖像。
[0017]應該理解上述附圖只是示意性的，并沒有按比例繪制。
【具體實施方式】
[0018]下面詳細說明利用本發(fā)明一種基于體感技術的多視點自由立體交互系統(tǒng)的一個典型實施例，對本發(fā)明進行進一步的具體描述。有必要在此指出的是，以下實施例只用于本發(fā)明做進一步的說明，不能理解為對本發(fā)明保護范圍的限制，該領域技術熟練人員根據(jù)上述本
【發(fā)明內容】
對本發(fā)明做出一些非本質的改進和調整，仍屬于本發(fā)明的保護范圍。
[0019]附圖1為本發(fā)明的一種基于Kinect體感設備的多視點自由立體交互系統(tǒng)的示意圖，該系統(tǒng)包括Kinect體感設備、計算機和多視點自由立體顯示器。在本實施實例中Kinect體感設備型號為Kinect for Windows,計算機中的GPU米用NVIDIA GeForce GTX560，多視點自由立體顯示器為21.5英寸的柱透鏡光柵自由立體顯示器，視點數(shù)為8，2D分辨率為1920 X 1080，光柵相對顯示器的傾斜角度為arctan(-0.4330)。
[0020]在本實施實例中將Kinect體感設備置于多視點自由立體器的正下方，且與其底座位于同一高度。通過Kinect體感設備的馬達調整其交互區(qū)域，保證用戶的整個骨骼框架在交互區(qū)域范圍內。限定用戶的活動范圍在Kinect體感設備的水平視角范圍小于57.5°，垂直視角范圍小于43.5°，與Kinect體感設備的距離在0.8米到4.0米之間。[0021]Kinect體感設備通過Kinect SDK (軟件開發(fā)工具包)中相應API (應用程序接口)獲取用戶的骨骼信息，并將所述骨骼信息通過USB (通用串行總線)數(shù)據(jù)線傳送至計算機，根據(jù)Kinect體感設備反饋的骨骼數(shù)據(jù)流中的追蹤狀態(tài)判斷是否有用戶被追蹤到，如果有則從中提取用戶的骨骼數(shù)據(jù)，采用霍爾特雙指數(shù)平滑算法平衡化骨骼數(shù)據(jù)中的不規(guī)則點，否則退出本次追蹤。
[0022]建立與人體常用肢體動作相關的模板庫，每個模板對應于一個肢體動作，且每個模板與人體骨骼點在骨骼坐標系中H z軸上坐標值的變化軌跡、變化范圍及持續(xù)時間相關，即模板與肢體動作存在時間域與空間域的對應關系。在本實施實例中，建立了 4個與常用手勢相關的模板，包括向左橫向移動右手、向右橫向移動右手、向前縱向推動右手和左右揮動右手。由平滑處理后的骨骼數(shù)據(jù)中提取用戶某個骨骼點在骨骼坐標系中軸上的值及其當前時間值，并分別保存在預定義的數(shù)組中。當用戶做出一個與該骨骼點相關的肢體動作時，并利用匹配算法判斷該動作是否與模板庫中某個模板相匹配，若匹配成功，則執(zhí)行與該模板對應的控制響應命令。以用戶向左橫向移動右手為例，其須滿足四個匹配條件:第一，右手新一幀骨骼數(shù)據(jù)的z值都應大于前一幀骨骼數(shù)據(jù)的z值；第二，右手新一幀骨骼數(shù)據(jù)的值與前一幀骨骼數(shù)據(jù)的_7值的差值的絕對值在一個給定的范圍內，這個范圍設定為20厘米；第三,右手移動起始位置與停止位置之間的時間差在250毫秒和1500毫秒之間；第四，整個右手移動的距離在Z軸上至少有40厘米的長度。
[0023]建立模板庫中各模板相對應的命令響應函數(shù)，每個命令響應函數(shù)均與3D虛擬場景的切換或世界坐標變換相關，其中包括3D物體的平移變換矩陣、旋轉變換矩陣和縮放變換矩陣。將所述命令響應函數(shù)應用于3D虛擬場景，達到與3D虛擬場景交互的目的。以用戶向左橫向移動右手為例，該模板的命令響應函數(shù)為生成一個使3D物體繞軸旋轉30°的世界變換矩陣，保存在預定義的矩陣變量中，并將得到的矩陣變量與原有的世界變換矩陣相乘。當Kinect體感設備識別到用戶發(fā)出該動作，將相應地改變對應3D物體的狀態(tài)。
[0024]在本實施實例中，采用一種離軸平行式的3D虛擬攝像機對3D虛擬場景進行渲染。設置視點數(shù)#為8，攝像機間距V為5毫米，零視差平面離攝像機距離/為400毫米，攝像機的水平視角為30°。將#個離軸攝像機按照等距離V平行排列后，各攝像機視野截錐體的光軸左邊距離7和右邊距離r按數(shù)學關系，
【權利要求】
1.一種基于Kinect體感設備的多視點自由立體交互系統(tǒng)，其特征在于，該系統(tǒng)包括Kinect體感設備、計算機和多視點自由立體顯示器； 所述Kinect體感設備用于獲取用戶的骨骼信息，并將所述骨骼信息傳送至計算機； 所述計算機用于根據(jù)所述Kinect體感設備反饋的骨骼信息判斷用戶做出的肢體動作，并轉換為與3D虛擬場景交互的控制響應命令，計算機的顯卡核心GPU (圖形處理器)用于實時渲染3D虛擬場景而得到多幅視差圖像，并利用GPU并行處理數(shù)據(jù)的能力快速生成合成圖像； 所述多視點自由立體顯示器用于顯示生成的合成圖像，使用戶觀看到3D虛擬場景的立體畫面。
2.如權利要求1所述的一種基于Kinect體感設備的多視點自由立體交互系統(tǒng)，其特征在于其實現(xiàn)包括以下四個步驟: 步驟1:根據(jù)Kinect體感設備反饋的骨骼數(shù)據(jù)流中的追蹤狀態(tài)判斷是否有用戶被追蹤至IJ，如果有則從中提取用戶的骨骼數(shù)據(jù)，并采用平滑算法平衡化骨骼數(shù)據(jù)中的不規(guī)則點，否則退出本次追蹤； 步驟2:建立與人體常用肢體動作相關的模板庫，每個模板對應于一個肢體動作，且每個模板與人體骨骼點在骨骼坐標系中H z軸上坐標值的變化軌跡、變化范圍及持續(xù)時間相關，即模板與肢體動作存在時間域與空間域的對應關系，由步驟I所述平滑處理后的骨骼數(shù)據(jù)中提取用戶某個骨骼點在骨骼坐標系中z，_F，軸上的值及其當前時間值，當用戶做出一個與該骨·骼點相關的肢體動作時，并利用匹配算法判斷該動作是否與模板庫中某個模板相匹配，若匹配成功，則執(zhí)行與該模板對應的控制響應命令； 步驟3:建立與步驟2所述模板庫中各模板相對應的命令響應函數(shù)，每個命令響應函數(shù)均與3D虛擬場景的切換或世界坐標變換相關，將所述命令響應函數(shù)應用于3D虛擬場景，達到與3D虛擬場景交互的目的； 步驟4:采用3D虛擬攝像機對3D虛擬場景進行渲染而獲取多幅視差圖像，為充分利用GI3U并行處理數(shù)據(jù)的能力，采用Pixel Shader (像素著色器)完成多次渲染疊加過程，即對視差圖像進行調制，再由調制后的視差圖像生成合成圖像，最終，將合成圖像輸出至多視點自由立體顯示器上實時顯示。
【文檔編號】G06T15/00GK103440677SQ201310323324
【公開日】2013年12月11日 申請日期:2013年7月30日 優(yōu)先權日:2013年7月30日
【發(fā)明者】王瓊華, 李述利, 張 杰, 劉軍, 鄧歡 申請人:四川大學