多維視覺手功能康復(fù)定量評估系統(tǒng)和評估方法
【專利摘要】本發(fā)明公開了一種多維視覺手功能康復(fù)定量評估系統(tǒng)和評估方法，該系統(tǒng)包括光學(xué)動作捕捉設(shè)備、視頻捕捉設(shè)備、手動能定量評估系統(tǒng)、交互式觸摸屏、采集平臺，光學(xué)動作捕捉設(shè)備通過智能算法實時獲取手指、手掌和手腕各個關(guān)節(jié)點的三維空間數(shù)據(jù)和運動矢量信息，所述光學(xué)動作捕捉設(shè)備輸出運動參數(shù)輸入到所述手功能定量評估系統(tǒng)，所述手功能定量評估系統(tǒng)對數(shù)據(jù)進行預(yù)處理，預(yù)處理結(jié)果進行篩選并存儲到數(shù)據(jù)庫中，并針對不同評估動作的評估方案給出評估結(jié)果。本發(fā)明能夠提高患者手部關(guān)節(jié)的三維空間參數(shù)計算精度，將計算機視覺技術(shù)與光學(xué)智能動作捕捉相結(jié)合，給出更為精確的定量康復(fù)評估數(shù)據(jù)，輔助醫(yī)生進行病人康復(fù)診斷。
【專利說明】
多維視覺手功能康復(fù)定量評估系統(tǒng)和評估方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及一種系統(tǒng)和評估方法，特別是涉及一種多維視覺手功能康復(fù)定量評估系統(tǒng)和評估方法。
【背景技術(shù)】
[0002]據(jù)流行病學(xué)統(tǒng)計，腦卒中疾病發(fā)病人群廣、致殘率高，其所帶來的功能障礙往往給患者生活帶來嚴(yán)重影響，特別是手功能障礙的后遺癥，康復(fù)過程中難度大、進展慢。然而縱觀國內(nèi)外，對于腦卒中后手功能的治療與評估均顯示出不精準(zhǔn)、不完善的狀況。目前，用于手功能評估的比較有代表性的量表有徒手肌力評定法(Manual Muscle Test, MMT)、改良Ashworth 痙攣量表、Brunnstrom 量表、Fug 1-Meyer 評定量表(Fug 1-Meyer Assessment，F(xiàn)MA)、運動功能狀態(tài)量表(Motor Status Scale，MSS)、運動評估量表(Motor AssessmentScale，MAS)、上肢運動研究量表(Act1n Research Arm Test，ARAT)、Wolf上肢功能測試(Wolf Motor Funct1nal Test，WMFT)等。其中，針對患者的評估如對于肢體活動的最基本的關(guān)節(jié)活動度(Range of Mot1n, ROM)，表現(xiàn)為例如前臂旋前旋后、腕背伸、尺偏、橈偏、拇指內(nèi)收/外展、拇指屈曲/伸展、四指(除拇指外)內(nèi)收外展等以及功能性動作如手球狀抓握、手柱狀抓握、手指對捏、手指側(cè)捏等，這一系列的體現(xiàn)手功能基礎(chǔ)的評估動作在目前評估量表如Brunnstrom量表上只能以定性形式或者是如在Fugl-Meyer評定量表中以“0_1_2”粗打分、MSS運動功能狀態(tài)量表等量表中的主觀性半定量形式，未能達(dá)到客觀性定量評估的要求;另外醫(yī)生或治療師使用量角器等器械進行的人工定量評估往往也帶有很大的主觀性與隨機性，所得評估結(jié)果并不符合“精準(zhǔn)醫(yī)療”的新時代目標(biāo)。
[0003]目前為了得到患者手指、手掌、手腕等部位的定量運動數(shù)據(jù)，基本上分為穿戴式傳感器方案與不接觸式視覺方案兩大類?；诟黝惔┐魇侥K的傳感器方案主要借助加速度傳感器、電子陀螺儀等電子測量芯片，得到肢體的加速度、位移等運動參數(shù)，進一步借助各類算法模擬出肢體的運動過程和空間位置。優(yōu)點是計算相對簡單、得到的加速度等信息精度較高，缺點是針對空間定位等手功能康復(fù)中要求比較高的評估需求無法滿足其精度需要，而且由于患者年齡、性別等的差異，無法做到穿戴設(shè)備的統(tǒng)一性，也就無法做到評估數(shù)據(jù)的一致可比性?；跀z像機所采集的視頻數(shù)據(jù)的不接觸式方案，雖然可以做到對患者的手部沒有任何差異性需求，僅僅需要放置在指定位置即可，但是由于目前計算機視覺和模式識別算法與工程技術(shù)的發(fā)展還遠(yuǎn)沒有到可以識別任意人手動作的程度，即使有一些很復(fù)雜的算法經(jīng)過多種深度學(xué)習(xí)，對人手動作有較高識別率，但是由于腦卒中患者的患手在運動、屈伸等方面都是功能比較弱，非正常人手的運動特性可以比擬的，所以進一步增加了完全依靠視覺算法識別的難度，何況在實際測試中還存在手部關(guān)節(jié)遮擋、重疊、動作多義性等無法解決的難題。

【發(fā)明內(nèi)容】

[0004]本發(fā)明所要解決的技術(shù)問題是提供一種多維視覺手功能康復(fù)定量評估系統(tǒng)和評估方法，其能夠提高患者手部關(guān)節(jié)的三維空間參數(shù)計算精度，將計算機視覺技術(shù)與光學(xué)智能動作捕捉相結(jié)合，給出更為精確的定量康復(fù)評估數(shù)據(jù)，輔助醫(yī)生進行病人康復(fù)診斷。
[0005]本發(fā)明是通過下述技術(shù)方案來解決上述技術(shù)問題的:一種多維視覺手動能康復(fù)定量評估系統(tǒng)，其特征在于，其包括光學(xué)動作捕捉設(shè)備、視頻捕捉設(shè)備、手動能定量評估系統(tǒng)、交互式觸摸屏、采集平臺，所述光學(xué)動作捕捉設(shè)備通過智能算法實時獲取手指、手掌和手腕各個關(guān)節(jié)點的三維空間數(shù)據(jù)和運動矢量信息，所述光學(xué)動作捕捉設(shè)備輸出運動參數(shù)輸入到所述手功能定量評估系統(tǒng)，所述手功能定量評估系統(tǒng)對數(shù)據(jù)進行預(yù)處理，預(yù)處理結(jié)果進行篩選并存儲到數(shù)據(jù)庫中，并針對不同評估動作的評估方案給出評估結(jié)果;所述視頻捕捉設(shè)備為固定了的一對光學(xué)攝像頭，攝像頭分別對準(zhǔn)患者的手部中心，實時采集視頻數(shù)據(jù)并輸出到所述交互式觸摸屏上;所述交互式觸摸屏用于對所述手功能定量評估系統(tǒng)進行操控并實時顯示視頻流數(shù)據(jù);所述采集平臺為安置所述光學(xué)動作捕捉設(shè)備和所述視頻捕捉設(shè)備的立體框架;所述采集平臺所輸出視頻流輸出雙路數(shù)字信號到所述手功能定量評估系統(tǒng)，所述手功能定量評估系統(tǒng)處理視頻流，對當(dāng)前患者手部擺放位置進行監(jiān)測和提示，并將采集到的視頻實時顯示在所述交互式觸摸屏上。
[0006]優(yōu)選地，所述視頻捕捉設(shè)備輸出實時視頻流信息到所述手功能定量評估系統(tǒng)，對當(dāng)前手部位置進行監(jiān)測和提示，并將視頻信息實時顯示在所述交互式觸摸屏上。
[0007]優(yōu)選地，所述手功能定量評估系統(tǒng)包括主機，對采集到的數(shù)據(jù)進行處理分析，結(jié)合評估方法給出評估結(jié)果。
[0008]優(yōu)選地，所述視頻捕捉設(shè)備位于手部檢測平臺正上方，水平方向的光學(xué)動作捕捉設(shè)備位于手部檢測平臺正下方，垂直方向的光學(xué)動作捕捉設(shè)備位于框架內(nèi)壁。
[0009]優(yōu)選地，所述視頻捕捉設(shè)備采集到實時視頻流后，將實時視頻顯示在所述交互式觸摸屏上，后臺結(jié)合算法對當(dāng)前手部擺放位置進行判斷，當(dāng)出現(xiàn)擺放位置不當(dāng)?shù)葐栴}時，及時將提示顯示在所述交互式觸摸屏上。
[0010]優(yōu)選地，所述光學(xué)動作捕捉設(shè)通過其自身集成的算法精確跟蹤到人手的每一個關(guān)節(jié)點空間位置。
[0011]本發(fā)明還提供一種多維視覺手功能康復(fù)定量評估方法，其特征在于，其包括以下步驟:
步驟一，健康手建庫:患者將健康手放入設(shè)備對應(yīng)側(cè)開口中指定位置，對應(yīng)側(cè)攝像頭開啟，播放當(dāng)前測試動作標(biāo)準(zhǔn)視頻，自動選擇啟動的光學(xué)動作捕捉設(shè)備進行數(shù)據(jù)采集；
步驟二，患病手評估:患者將患病手放入對應(yīng)側(cè)開口中制定位置，對應(yīng)側(cè)攝像頭開啟，播放患者健康手建庫過程中視頻的鏡像，指引患病手運動，自動選擇啟動的光學(xué)動作捕捉設(shè)備進行數(shù)據(jù)采集；
步驟三，以患病手和健康手評分的比值，以百分制的形式，給出當(dāng)前動作患病手的恢復(fù)得分。
[0012]優(yōu)選地，所述步驟一的具體過程如下:獲取到手掌各關(guān)節(jié)點坐標(biāo);數(shù)據(jù)預(yù)處理，得到評估動作所需要的參量;根據(jù)核心算法結(jié)合角度、位置、角速度、角加速度計算出健康手動作得分。
[0013]優(yōu)選地，所述步驟二的具體過程如下:獲取到手掌各關(guān)節(jié)點坐標(biāo);數(shù)據(jù)預(yù)處理，得到評估動作所需要的參量;根據(jù)核心算法結(jié)合角度、位置、角速度、角加速度計算出患病手動作得分。
[0014]本發(fā)明的積極進步效果在于:本發(fā)明能夠提高患者手部關(guān)節(jié)的三維空間參數(shù)計算精度，將計算機視覺技術(shù)與光學(xué)智能動作捕捉相結(jié)合，給出更為精確的定量康復(fù)評估數(shù)據(jù)，輔助醫(yī)生進行病人康復(fù)診斷。
【附圖說明】
[0015]圖1為本發(fā)明的主要結(jié)構(gòu)示意圖。
[0016]圖2為本發(fā)明采集平臺的立體示意圖。
【具體實施方式】
[0017]下面結(jié)合附圖給出本發(fā)明較佳實施例，以詳細(xì)說明本發(fā)明的技術(shù)方案。
[0018]如圖1至圖2所示，本發(fā)明涉及一種多維視覺手功能康復(fù)定量評估系統(tǒng)，其包括光學(xué)動作捕捉設(shè)備1、視頻捕捉設(shè)備2、手動能定量評估系統(tǒng)3、交互式觸摸屏4、采集平臺5，所述光學(xué)動作捕捉設(shè)備通過智能算法實時獲取手指、手掌和手腕各個關(guān)節(jié)點的三維空間數(shù)據(jù)和運動矢量信息，所述光學(xué)動作捕捉設(shè)備輸出運動參數(shù)輸入到所述手功能定量評估系統(tǒng)，所述手功能定量評估系統(tǒng)對數(shù)據(jù)進行預(yù)處理，預(yù)處理結(jié)果進行篩選并存儲到數(shù)據(jù)庫中，并針對不同評估動作的評估方案給出評估結(jié)果;所述視頻捕捉設(shè)備為固定了的一對光學(xué)攝像頭，攝像頭分別對準(zhǔn)患者的手部中心，實時采集視頻數(shù)據(jù)并輸出到所述交互式觸摸屏上;所述交互式觸摸屏用于對所述手功能定量評估系統(tǒng)進行操控并實時顯示視頻流數(shù)據(jù);所述采集平臺為安置所述光學(xué)動作捕捉設(shè)備和所述視頻捕捉設(shè)備的立體框架;所述采集平臺所輸出視頻流輸出雙路數(shù)字信號到所述手功能定量評估系統(tǒng)，所述手功能定量評估系統(tǒng)處理視頻流，對當(dāng)前患者手部擺放位置進行監(jiān)測和提示，并將采集到的視頻實時顯示在所述交互式觸摸屏上。
[0019]所述光學(xué)動作捕捉設(shè)備獲取的手指、手掌和手腕各個關(guān)節(jié)點的三維空間數(shù)據(jù)和運動矢量信息包括手指各關(guān)節(jié)點坐標(biāo)、掌心坐標(biāo)、手腕中點坐標(biāo)、手掌方向向量、手掌法向量以及手腕方向向量等。
[0020]本發(fā)明的工作原理如下:所述視頻捕捉設(shè)備輸出實時視頻流信息到所述手功能定量評估系統(tǒng)，對當(dāng)前手部位置進行監(jiān)測和提示，并將視頻信息實時顯示在所述交互式觸摸屏上。上述光學(xué)動作捕捉設(shè)通過其自身集成的算法可以精確跟蹤到人手的每一個關(guān)節(jié)點空間位置，精度可達(dá)到0.01mm。上述視頻捕捉設(shè)備采集到實時視頻流后，將實時視頻顯示在所述交互式觸摸屏上，后臺結(jié)合算法對當(dāng)前手部擺放位置進行判斷，當(dāng)出現(xiàn)擺放位置不當(dāng)?shù)葐栴}時，及時將提示顯示在所述交互式觸摸屏上。上述手功能定量評估系統(tǒng)包括主機，對采集到的數(shù)據(jù)進行處理分析，結(jié)合評估方法給出評估結(jié)果。上述交互式觸摸屏用于顯示實時視頻和對評估過程進行操作，主要包括病人信息錄入、動作選擇等，以及播放實時患手運動視頻。上述采集平臺為70cmX40cmX 39cm的框架結(jié)構(gòu)，其中放置待測手的內(nèi)框尺寸為32cmX20cmX22cm，兩個攝像頭分別位于內(nèi)框頂端，四個光學(xué)動作捕捉設(shè)備分別置于左壁內(nèi)側(cè)、右壁內(nèi)側(cè)以及左下方和右下方，采集區(qū)域涵蓋了手部運動區(qū)域。所述視頻捕捉設(shè)備位于手部檢測平臺正上方，水平方向的光學(xué)動作捕捉設(shè)備位于手部檢測平臺正下方，垂直方向的光學(xué)動作捕捉設(shè)備位于框架內(nèi)壁。所述計算機智能系統(tǒng)對所述光學(xué)動作捕捉設(shè)備輸出的數(shù)據(jù)進行預(yù)處理，得到評估動作所需要的參量:手腕向量、手掌方向向量、手掌法向量、手指向量、手指相對位置等信息，結(jié)合不同動作的核心算法對參量進行處理，得到相應(yīng)動作的角度、位置、角速度、角加速度等信息，結(jié)合評分標(biāo)準(zhǔn)計算出檢測手的動作得分，分別計算出患者的健康手和患病手動作得分后，以患者的患病手和健康手動作得分的比值，以百分制的形式得到當(dāng)前患病手針對該動作的恢復(fù)得分。為準(zhǔn)確捕捉到手部運動細(xì)節(jié)，所述光學(xué)動作捕捉設(shè)備擺放位置分別置于水平和豎直平面上。當(dāng)檢測對象為左手時，豎直方向的光學(xué)動作捕捉設(shè)備放置于垂直水平面的黑匣內(nèi)側(cè)，水平方向的光學(xué)動作捕捉設(shè)備置于手掌正下方，黑匣的底面內(nèi)側(cè)。所述視頻捕捉設(shè)備置于黑匣頂端內(nèi)側(cè)，手背正上方，以錄制實時運動視頻。
[0021]本發(fā)明多維視覺手功能康復(fù)定量評估方法包括以下步驟:
步驟一，健康手建庫:患者將健康手放入設(shè)備對應(yīng)側(cè)開口中指定位置，對應(yīng)側(cè)攝像頭開啟，播放當(dāng)前測試動作標(biāo)準(zhǔn)視頻，自動選擇啟動的光學(xué)動作捕捉設(shè)備進行數(shù)據(jù)采集，步驟一的具體過程如下:獲取到手掌各關(guān)節(jié)點坐標(biāo);數(shù)據(jù)預(yù)處理，得到評估動作所需要的參量:手腕向量、手掌方向向量、手掌法向量、手指向量、手指相對位置等信息;根據(jù)核心算法結(jié)合角度、位置、角速度、角加速度等信息計算出健康手動作得分；
步驟二，患病手評估:患者將患病手放入對應(yīng)側(cè)開口中制定位置，對應(yīng)側(cè)攝像頭開啟，播放患者健康手建庫過程中視頻的鏡像，指引患病手運動，自動選擇啟動的光學(xué)動作捕捉設(shè)備進行數(shù)據(jù)采集，步驟二的具體評估過程如下:獲取到手掌各關(guān)節(jié)點坐標(biāo);數(shù)據(jù)預(yù)處理，得到評估動作所需要的參量:手腕向量、手掌方向向量、手掌法向量、手指向量、手指相對位置等信息;根據(jù)核心算法結(jié)合角度、位置、角速度、角加速度等信息計算出患病手動作得分；步驟三，以患病手和健康手評分的比值，以百分制的形式，給出當(dāng)前動作患病手的恢復(fù)得分。
[0022]光學(xué)動作捕捉設(shè)備通過智能算法實時獲取手指、手掌、手腕各個關(guān)節(jié)點的三維空間數(shù)據(jù)與運動矢量信息，作為手功能康復(fù)定量評估標(biāo)準(zhǔn)的系統(tǒng)評估參數(shù)，并針對不同評估動作設(shè)計評估方法，分析手部關(guān)節(jié)的多種運動參量，主要包括運動矢量及矢量間關(guān)系、手部運動速度以及加速度等，結(jié)合計算機進行計算給出評估結(jié)果的方案。其中，視頻捕捉設(shè)備捕捉實時視頻流，并結(jié)合相關(guān)算法對病人的手部位置等信息進行輔助監(jiān)測，發(fā)生動作不當(dāng)?shù)葐栴}，實時反饋到交互式觸摸屏。
[0023]以上所述的具體實施例，對本發(fā)明的解決的技術(shù)問題、技術(shù)方案和有益效果進行了進一步詳細(xì)說明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實施例而已，并不用于限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
【主權(quán)項】
1.一種多維視覺手動能康復(fù)定量評估系統(tǒng)，其特征在于，其包括光學(xué)動作捕捉設(shè)備、視頻捕捉設(shè)備、手動能定量評估系統(tǒng)、交互式觸摸屏、采集平臺，所述光學(xué)動作捕捉設(shè)備通過智能算法實時獲取手指、手掌和手腕各個關(guān)節(jié)點的三維空間數(shù)據(jù)和運動矢量信息，所述光學(xué)動作捕捉設(shè)備輸出運動參數(shù)輸入到所述手功能定量評估系統(tǒng)，所述手功能定量評估系統(tǒng)對數(shù)據(jù)進行預(yù)處理，預(yù)處理結(jié)果進行篩選并存儲到數(shù)據(jù)庫中，并針對不同評估動作的評估方案給出評估結(jié)果;所述視頻捕捉設(shè)備為固定了的一對光學(xué)攝像頭，攝像頭分別對準(zhǔn)患者的手部中心，實時采集視頻數(shù)據(jù)并輸出到所述交互式觸摸屏上;所述交互式觸摸屏用于對所述手功能定量評估系統(tǒng)進行操控并實時顯示視頻流數(shù)據(jù);所述采集平臺為安置所述光學(xué)動作捕捉設(shè)備和所述視頻捕捉設(shè)備的立體框架;所述采集平臺所輸出視頻流輸出雙路數(shù)字信號到所述手功能定量評估系統(tǒng)，所述手功能定量評估系統(tǒng)處理視頻流，對當(dāng)前患者手部擺放位置進行監(jiān)測和提示，并將采集到的視頻實時顯示在所述交互式觸摸屏上。2.如權(quán)利要求1所述的多維視覺手動能康復(fù)定量評估系統(tǒng)，其特征在于，所述視頻捕捉設(shè)備輸出實時視頻流信息到所述手功能定量評估系統(tǒng)，對當(dāng)前手部位置進行監(jiān)測和提示，并將視頻信息實時顯示在所述交互式觸摸屏上。3.如權(quán)利要求1所述的多維視覺手動能康復(fù)定量評估系統(tǒng)，其特征在于，所述手功能定量評估系統(tǒng)包括主機，對采集到的數(shù)據(jù)進行處理分析，結(jié)合評估方法給出評估結(jié)果。4.如權(quán)利要求1所述的多維視覺手動能康復(fù)定量評估系統(tǒng)，其特征在于，所述視頻捕捉設(shè)備位于手部檢測平臺正上方，水平方向的光學(xué)動作捕捉設(shè)備位于手部檢測平臺正下方，垂直方向的光學(xué)動作捕捉設(shè)備位于框架內(nèi)壁。5.如權(quán)利要求4所述的多維視覺手動能康復(fù)定量評估系統(tǒng)，其特征在于，所述視頻捕捉設(shè)備采集到實時視頻流后，將實時視頻顯示在所述交互式觸摸屏上，后臺結(jié)合算法對當(dāng)前手部擺放位置進行判斷，當(dāng)出現(xiàn)擺放位置不當(dāng)?shù)葐栴}時，及時將提示顯示在所述交互式觸摸屏上。6.如權(quán)利要求5所述的多維視覺手動能康復(fù)定量評估系統(tǒng)，其特征在于，所述光學(xué)動作捕捉設(shè)通過其自身集成的算法精確跟蹤到人手的每一個關(guān)節(jié)點空間位置。7.一種多維視覺手功能康復(fù)定量評估方法，其特征在于，其包括以下步驟: 步驟一，健康手建庫:患者將健康手放入設(shè)備對應(yīng)側(cè)開口中指定位置，對應(yīng)側(cè)攝像頭開啟，播放當(dāng)前測試動作標(biāo)準(zhǔn)視頻，自動選擇啟動的光學(xué)動作捕捉設(shè)備進行數(shù)據(jù)采集； 步驟二，患病手評估:患者將患病手放入對應(yīng)側(cè)開口中制定位置，對應(yīng)側(cè)攝像頭開啟，播放患者健康手建庫過程中視頻的鏡像，指引患病手運動，自動選擇啟動的光學(xué)動作捕捉設(shè)備進行數(shù)據(jù)采集； 步驟三，以患病手和健康手評分的比值，以百分制的形式，給出當(dāng)前動作患病手的恢復(fù)得分。8.如權(quán)利要求7所述的多維視覺手動能康復(fù)定量評估方法，其特征在于，所述步驟一的具體過程如下:獲取到手掌各關(guān)節(jié)點坐標(biāo);數(shù)據(jù)預(yù)處理，得到評估動作所需要的參量;根據(jù)核心算法結(jié)合角度、位置、角速度、角加速度計算出健康手動作得分。9.如權(quán)利要求7所述的多維視覺手動能康復(fù)定量評估方法，其特征在于，所述步驟二的具體過程如下:獲取到手掌各關(guān)節(jié)點坐標(biāo);數(shù)據(jù)預(yù)處理，得到評估動作所需要的參量;根據(jù)核心算法結(jié)合角度、位置、角速度、角加速度計算出患病手動作得分。
【文檔編號】A61B5/11GK105832343SQ201610338160
【公開日】2016年8月10日
【申請日】2016年5月22日
【發(fā)明人】陸小鋒, 陸雅婷, 王聰, 趙澤偉, 姜坤
【申請人】上海大學(xué)