本發(fā)明屬于上肢康復(fù)訓(xùn)練，具體涉及一種用于上肢鏡像康復(fù)機(jī)器人的鏡像運(yùn)動(dòng)實(shí)現(xiàn)方法及系統(tǒng)。

背景技術(shù)：

1、隨著全球人口老齡化的加劇和腦卒中等神經(jīng)系統(tǒng)疾病發(fā)病率的上升，導(dǎo)致上肢運(yùn)動(dòng)功能障礙的患者數(shù)量顯著增加。腦卒中是老年人常見心血管疾病，有較高致殘率，導(dǎo)致運(yùn)動(dòng)功能損傷無法恢復(fù)。此類運(yùn)動(dòng)功能損傷可能會(huì)造成患者在日常生活中的很多困難，嚴(yán)重影響生活質(zhì)量。如果患者得到更早的專業(yè)性的康復(fù)訓(xùn)練治療，有助于患者運(yùn)動(dòng)功能的恢復(fù)。

2、在上肢康復(fù)過程中，與常規(guī)的運(yùn)動(dòng)康復(fù)相比較，機(jī)器人鏡像康復(fù)是機(jī)器人康復(fù)的一種新形式，受到了廣泛的關(guān)注。在鏡像治療中，通過鏡像雙側(cè)肢同步協(xié)調(diào)的運(yùn)動(dòng)模式，未損傷的半腦和損傷半腦進(jìn)行交互，從而誘導(dǎo)運(yùn)動(dòng)皮層網(wǎng)絡(luò)的重組，促進(jìn)皮層神經(jīng)可塑性。在鏡像治療的理論基礎(chǔ)上結(jié)合使用上肢康復(fù)機(jī)器人進(jìn)行輔助訓(xùn)練，有助于促進(jìn)大腦對(duì)患側(cè)肢體的重新認(rèn)知和控制，能夠有效改善腦卒中患者的上肢運(yùn)動(dòng)功能。

3、面對(duì)日益增長的老齡人口，研發(fā)一種結(jié)合鏡像療法的上肢康復(fù)訓(xùn)練機(jī)器人系統(tǒng)成為了迫切的需求并值得推廣。因此，進(jìn)行上肢鏡像康復(fù)的研究是具有一定的理論價(jià)值和實(shí)際價(jià)值。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明針對(duì)現(xiàn)有技術(shù)中缺少一種便捷可靠的上肢鏡像康復(fù)機(jī)器人以用于改善腦卒中患者上肢康復(fù)訓(xùn)練的技術(shù)問題，目的在于提供一種用于上肢鏡像康復(fù)機(jī)器人的鏡像運(yùn)動(dòng)實(shí)現(xiàn)方法及系統(tǒng)。

2、為了解決前述技術(shù)問題，本發(fā)明的第一方面提供一種用于上肢鏡像康復(fù)機(jī)器人的鏡像運(yùn)動(dòng)實(shí)現(xiàn)方法，所述用于上肢鏡像康復(fù)機(jī)器人的鏡像運(yùn)動(dòng)實(shí)現(xiàn)方法包括：

3、s1，通過深度相機(jī)獲取患者的圖像，在所述圖像中識(shí)別出健肢的預(yù)設(shè)關(guān)鍵點(diǎn)以及患肢的預(yù)設(shè)關(guān)鍵點(diǎn)，獲得若干所述預(yù)設(shè)關(guān)鍵點(diǎn)在所述圖像上的像素坐標(biāo)，通過所述深度相機(jī)將所述像素坐標(biāo)轉(zhuǎn)換為對(duì)應(yīng)的三維坐標(biāo)；

4、s2，通過預(yù)設(shè)的鏡像算法，將健肢的目標(biāo)關(guān)鍵點(diǎn)鏡像到患肢一側(cè)，得到患肢的目標(biāo)關(guān)鍵點(diǎn)的三維坐標(biāo)，通過預(yù)先計(jì)算得到的深度相機(jī)與機(jī)械臂之間的轉(zhuǎn)換矩陣，將患肢的目標(biāo)關(guān)鍵點(diǎn)的三維坐標(biāo)轉(zhuǎn)換到機(jī)械臂基坐標(biāo)系中，得到目標(biāo)三維坐標(biāo)，其中所述目標(biāo)關(guān)鍵點(diǎn)為所述預(yù)設(shè)關(guān)鍵點(diǎn)中的一個(gè)關(guān)鍵點(diǎn)；

5、s3，將所述目標(biāo)三維坐標(biāo)輸入到機(jī)械臂控制系統(tǒng)中，以驅(qū)動(dòng)機(jī)械臂實(shí)現(xiàn)同步運(yùn)動(dòng)。

6、可選地，在如前所述的用于上肢鏡像康復(fù)機(jī)器人的鏡像運(yùn)動(dòng)實(shí)現(xiàn)方法中，在所述圖像中識(shí)別出健肢的預(yù)設(shè)關(guān)鍵點(diǎn)以及患肢的預(yù)設(shè)關(guān)鍵點(diǎn)，獲得若干所述預(yù)設(shè)關(guān)鍵點(diǎn)在所述圖像上的像素坐標(biāo)，包括：

7、通過mediapipe人體姿態(tài)識(shí)別框架的blazepose人體姿態(tài)關(guān)鍵點(diǎn)檢測模型識(shí)別到所述預(yù)設(shè)關(guān)鍵點(diǎn)，并且獲得若干所述預(yù)設(shè)關(guān)鍵點(diǎn)在所述圖像上的像素坐標(biāo)。

8、可選地，在如前所述的用于上肢鏡像康復(fù)機(jī)器人的鏡像運(yùn)動(dòng)實(shí)現(xiàn)方法中，在通過所述深度相機(jī)將所述像素坐標(biāo)轉(zhuǎn)換為對(duì)應(yīng)的三維坐標(biāo)之后，去除無效數(shù)據(jù)及重復(fù)數(shù)據(jù)，并使用低通濾波及中值濾波處理得到有效的三維坐標(biāo)數(shù)據(jù)。

9、可選地，在如前所述的用于上肢鏡像康復(fù)機(jī)器人的鏡像運(yùn)動(dòng)實(shí)現(xiàn)方法中，去除無效數(shù)據(jù)包括：

10、判斷當(dāng)前接收到的三維坐標(biāo)數(shù)據(jù)是否為空，若為空則為無效數(shù)據(jù)，進(jìn)行去除，若非空則為有效數(shù)據(jù)，進(jìn)行保留。

11、可選地，在如前所述的用于上肢鏡像康復(fù)機(jī)器人的鏡像運(yùn)動(dòng)實(shí)現(xiàn)方法中，去除重復(fù)數(shù)據(jù)優(yōu)選包括：

12、判斷當(dāng)前接收到的三維坐標(biāo)數(shù)據(jù)是否與上一次接收到的三維坐標(biāo)數(shù)據(jù)相同，若相同則為重復(fù)數(shù)據(jù)，進(jìn)行去除，若不同則為有效數(shù)據(jù)，進(jìn)行保留。

13、可選地，在如前所述的用于上肢鏡像康復(fù)機(jī)器人的鏡像運(yùn)動(dòng)實(shí)現(xiàn)方法中，所述轉(zhuǎn)換矩陣通過基于眼在手外標(biāo)定方法獲得。

14、可選地，在如前所述的用于上肢鏡像康復(fù)機(jī)器人的鏡像運(yùn)動(dòng)實(shí)現(xiàn)方法中，所述轉(zhuǎn)換矩陣的獲得過程如下：

15、s01，固定深度相機(jī)，確定目標(biāo)區(qū)域，所述目標(biāo)區(qū)域距離所述深度相機(jī)預(yù)設(shè)距離，機(jī)械臂末端位于所述目標(biāo)區(qū)域一側(cè)，所述機(jī)械臂末端放置標(biāo)定板；

16、s02，改變所述機(jī)械臂末端的姿態(tài)，通過所述深度相機(jī)采集若干不同姿態(tài)的標(biāo)定板圖像，獲取不同姿態(tài)時(shí)機(jī)械臂末端在機(jī)械臂基坐標(biāo)系下的位置和姿態(tài)及末端坐標(biāo)系到機(jī)械臂基坐標(biāo)系的變換；

17、s03，在每幅標(biāo)定板圖像中檢測棋盤格的角點(diǎn)，獲取角點(diǎn)正確后得到每一個(gè)角點(diǎn)的坐標(biāo)，并進(jìn)一步優(yōu)化角點(diǎn)的精度；

18、s04，計(jì)算所述深度相機(jī)的內(nèi)參矩陣和畸變系數(shù)，估計(jì)每幅標(biāo)定板圖像的姿態(tài)，獲取旋轉(zhuǎn)矩陣與平移矩陣，最終得到若干組旋轉(zhuǎn)矩陣與平移矩陣，最后得到相機(jī)坐標(biāo)系到機(jī)械臂基坐標(biāo)系的轉(zhuǎn)換矩陣。

19、可選地，在如前所述的用于上肢鏡像康復(fù)機(jī)器人的鏡像運(yùn)動(dòng)實(shí)現(xiàn)方法中，所述健肢的預(yù)設(shè)關(guān)鍵點(diǎn)分別為健肢肩關(guān)節(jié)關(guān)鍵點(diǎn)和健肢腕關(guān)節(jié)關(guān)鍵點(diǎn)，所述患肢的預(yù)設(shè)關(guān)鍵點(diǎn)為患肢肩關(guān)節(jié)關(guān)鍵點(diǎn)，所述健肢的目標(biāo)關(guān)鍵點(diǎn)為健肢腕關(guān)節(jié)關(guān)鍵點(diǎn)，所述患肢的目標(biāo)關(guān)鍵點(diǎn)為患肢腕關(guān)節(jié)目標(biāo)關(guān)鍵點(diǎn)。

20、可選地，在如前所述的用于上肢鏡像康復(fù)機(jī)器人的鏡像運(yùn)動(dòng)實(shí)現(xiàn)方法中，步驟s2，包括：

21、設(shè)所述健肢肩關(guān)節(jié)關(guān)鍵點(diǎn)的三維坐標(biāo)為(x1，y1，z1)，所述患肢肩關(guān)節(jié)關(guān)鍵點(diǎn)的三維坐標(biāo)為(x2，y2，z2)，所述健肢腕關(guān)節(jié)關(guān)鍵點(diǎn)的三維坐標(biāo)為(x4，y4，z4)，所述患肢腕關(guān)節(jié)目標(biāo)關(guān)鍵點(diǎn)的三維坐標(biāo)為(x5，y5，z5)，在機(jī)械臂基坐標(biāo)系下的目標(biāo)三維坐標(biāo)為(x6，y6，z6)；

22、通過公式y(tǒng)5＝y(tǒng)4以及z5＝z4，求得鏡像后所述患肢腕關(guān)節(jié)目標(biāo)關(guān)鍵點(diǎn)的三維坐標(biāo)；

23、設(shè)矩陣t1＝[x5?y5?z5?1]，矩陣t2＝[x6?y6?z6?1]，根據(jù)公式得到所述目標(biāo)三維坐標(biāo)；

24、其中，為所述轉(zhuǎn)換矩陣。

25、可選地，在如前所述的用于上肢鏡像康復(fù)機(jī)器人的鏡像運(yùn)動(dòng)實(shí)現(xiàn)方法中，設(shè)所述機(jī)械臂末端握把長度為l米，設(shè)最終調(diào)整后的所述目標(biāo)三維坐標(biāo)為(x7，y7，z7)；

26、通過公式x7＝x6、y7＝y(tǒng)6以及z7＝z6+l，得到最終調(diào)整后的所述目標(biāo)三維坐標(biāo)。

27、可選地，在如前所述的用于上肢鏡像康復(fù)機(jī)器人的鏡像運(yùn)動(dòng)實(shí)現(xiàn)方法中，步驟s3，包括：

28、通過udp通信協(xié)議實(shí)時(shí)將所述目標(biāo)三維坐標(biāo)傳輸?shù)焦た貦C(jī)中的用于控制機(jī)械臂運(yùn)動(dòng)的機(jī)械臂控制系統(tǒng)中，通過機(jī)械臂實(shí)時(shí)控制接口使得機(jī)械臂與健肢進(jìn)行實(shí)時(shí)同步運(yùn)動(dòng)，完成鏡像康復(fù)。

29、可選地，在如前所述的用于上肢鏡像康復(fù)機(jī)器人的鏡像運(yùn)動(dòng)實(shí)現(xiàn)方法中，在將所述目標(biāo)三維坐標(biāo)輸入到機(jī)械臂控制系統(tǒng)中之前，還包括：

30、通過對(duì)所述目標(biāo)三維坐標(biāo)與實(shí)際三維坐標(biāo)之間進(jìn)行插值處理，得到一個(gè)或若干中間三維坐標(biāo)，將所述中間三維坐標(biāo)和所述目標(biāo)三維坐標(biāo)依次輸入到機(jī)械臂控制系統(tǒng)中，以使得通過所述機(jī)械臂控制系統(tǒng)控制機(jī)械臂逐步移動(dòng)到所述目標(biāo)三維坐標(biāo)所在的目標(biāo)位置。

31、可選地，在如前所述的用于上肢鏡像康復(fù)機(jī)器人的鏡像運(yùn)動(dòng)實(shí)現(xiàn)方法中，通過對(duì)所述目標(biāo)三維坐標(biāo)與實(shí)際三維坐標(biāo)之間進(jìn)行插值處理，得到一個(gè)或若干中間三維坐標(biāo)，包括：

32、計(jì)算當(dāng)前位置與目標(biāo)位置的插值：

33、δp＝d-pcurrent

34、其中，pcurrent為機(jī)械臂末端當(dāng)前所在的位置，也就是實(shí)際三維坐標(biāo)，d為機(jī)械臂末端的目標(biāo)位置，也就是目標(biāo)三維坐標(biāo)；

35、將插值分解為n個(gè)坐標(biāo)點(diǎn)：

36、

37、其中，pi為機(jī)械臂末端在第i個(gè)坐標(biāo)點(diǎn)的三維坐標(biāo)，n為自然數(shù)，n-1為中間點(diǎn)數(shù)；

38、得到n-1個(gè)中間點(diǎn)(p1，p2，...，pn-1)即為一個(gè)或若干中間三維坐標(biāo)，目標(biāo)三維坐標(biāo)即為pn。

39、為了解決前述技術(shù)問題，本發(fā)明的第二方面提供一種鏡像運(yùn)動(dòng)實(shí)現(xiàn)系統(tǒng)，所述鏡像運(yùn)動(dòng)實(shí)現(xiàn)系統(tǒng)包括：

40、上肢鏡像康復(fù)機(jī)器人，所述上肢鏡像康復(fù)機(jī)器人具有機(jī)械臂；

41、工控機(jī)，所述工控機(jī)連接所述上肢鏡像康復(fù)機(jī)器人，所述工控機(jī)具有用于驅(qū)動(dòng)機(jī)械臂的機(jī)械臂控制系統(tǒng)；

42、深度相機(jī)，用于獲取患者的圖像，將所述像素坐標(biāo)轉(zhuǎn)換為對(duì)應(yīng)的三維坐標(biāo)；

43、關(guān)鍵點(diǎn)識(shí)別模塊，用于在所述圖像中識(shí)別出健肢的預(yù)設(shè)關(guān)鍵點(diǎn)以及患肢的預(yù)設(shè)關(guān)鍵點(diǎn)，獲得若干所述預(yù)設(shè)關(guān)鍵點(diǎn)在所述圖像上的像素坐標(biāo)，將所述像素坐標(biāo)傳輸給所述深度相機(jī)；

44、計(jì)算模塊，用于將健肢的目標(biāo)關(guān)鍵點(diǎn)鏡像到患肢一側(cè)，得到患肢的目標(biāo)關(guān)鍵點(diǎn)的三維坐標(biāo)，通過預(yù)先計(jì)算得到的深度相機(jī)與機(jī)械臂之間的轉(zhuǎn)換矩陣，將患肢的目標(biāo)關(guān)鍵點(diǎn)的三維坐標(biāo)轉(zhuǎn)換到機(jī)械臂基坐標(biāo)系中，得到目標(biāo)三維坐標(biāo)，將所述目標(biāo)三維坐標(biāo)輸入到機(jī)械臂控制系統(tǒng)中，其中所述目標(biāo)關(guān)鍵點(diǎn)為所述預(yù)設(shè)關(guān)鍵點(diǎn)中的一個(gè)關(guān)鍵點(diǎn)。

45、本發(fā)明的積極進(jìn)步效果在于：本發(fā)明通過識(shí)別圖像中的若干預(yù)設(shè)關(guān)鍵點(diǎn)并轉(zhuǎn)換為三維坐標(biāo)，通過鏡像算法以及轉(zhuǎn)換矩陣將三維坐標(biāo)轉(zhuǎn)換機(jī)械臂基坐標(biāo)系中，將映射到患肢目標(biāo)三維坐標(biāo)位置輸入到機(jī)械臂控制系統(tǒng)中，驅(qū)動(dòng)機(jī)械臂實(shí)現(xiàn)與健肢同步運(yùn)動(dòng)，最終達(dá)到鏡像康復(fù)治療的效果，用于腦卒中患者的上肢康復(fù)中時(shí)，具有可靠性和便捷性等優(yōu)點(diǎn)。