本發(fā)明涉及機器人應(yīng)用，具體為一種用于輔助排痰的穴位識別及機械臂控制方法。

背景技術(shù)：

1、隨著人工智能技術(shù)的快速發(fā)展，深度學(xué)習(xí)和強化學(xué)習(xí)在醫(yī)療領(lǐng)域的應(yīng)用逐漸增多，特別是在智能治療和康復(fù)設(shè)備中的應(yīng)用。穴位按摩作為傳統(tǒng)中醫(yī)治療方法之一，已被廣泛用于緩解疼痛、改善血液循環(huán)、促進排痰等方面。然而，傳統(tǒng)的穴位按摩治療通常依賴人工操作，存在操作不精確、效率低下、治療效果因個體差異而有所不同等問題。因此，如何通過智能化手段實現(xiàn)精準的穴位識別和有效的治療操作，成為當前研究的一個重要課題。

2、目前，基于視覺識別技術(shù)的穴位檢測方法已經(jīng)取得了一定進展，但仍面臨一些挑戰(zhàn)，如人體姿態(tài)變化、不同個體的穴位位置差異等，這些都可能影響識別的精度和穩(wěn)定性。此外，現(xiàn)有的智能治療系統(tǒng)多依賴于簡單的路徑規(guī)劃和機械控制，缺乏靈活、精確的運動規(guī)劃與實時反饋機制，導(dǎo)致治療效果無法得到最優(yōu)化。

技術(shù)實現(xiàn)思路

1、如何結(jié)合深度學(xué)習(xí)的圖像識別技術(shù)、強化學(xué)習(xí)的運動控制策略以及視覺伺服技術(shù)，提出一種用于輔助排痰的穴位識別及機械臂控制方法，成為了研究的一個重要方向。本發(fā)明旨在解決現(xiàn)有技術(shù)中的上述問題，通過深度學(xué)習(xí)與ppo算法的結(jié)合，實現(xiàn)高精度的背部穴位識別與動態(tài)的運動規(guī)劃控制，以提供更為精準的排痰治療。

2、針對現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種用于輔助排痰的穴位識別及機械臂控制方法，解決了上述背景技術(shù)中所提出的以下問題：

3、穴位識別精度低：現(xiàn)有基于視覺的穴位識別方法在面對不同個體、不同姿勢和復(fù)雜背景時，識別精度較低，導(dǎo)致治療效果不理想。本發(fā)明通過采用輕量級的invertedresidual卷積模塊，結(jié)合自定義損失函數(shù)和脊椎對稱性約束，顯著提升了穴位識別的準確度和對稱性。

4、運動控制不精確：現(xiàn)有的智能治療系統(tǒng)中，運動控制大多采用預(yù)定路徑，缺乏實時反饋和動態(tài)優(yōu)化。本發(fā)明結(jié)合ppo算法與視覺伺服技術(shù)，通過實時環(huán)境反饋優(yōu)化音圈電機末端執(zhí)行器的運動軌跡，實現(xiàn)精準的運動控制。

5、治療效果不優(yōu)化：由于現(xiàn)有系統(tǒng)缺乏靈活、精確的運動規(guī)劃和實時調(diào)整機制，治療效果難以達到最優(yōu)。本發(fā)明通過采用ppo算法進行運動規(guī)劃與優(yōu)化，并設(shè)計了一種綜合考慮距離獎勵、角度獎勵、穿越懲罰和目標完成獎勵的自定義獎勵函數(shù)，有效引導(dǎo)ppo算法優(yōu)化控制策略，能夠?qū)崟r調(diào)整治療動作，從而實現(xiàn)更高效的排痰治療效果。

6、本發(fā)明為了實現(xiàn)上述目的具體采用以下技術(shù)方案：

7、本發(fā)明公開了一種用于輔助排痰的穴位識別及機械臂控制方法，包括以下步驟：

8、s1：構(gòu)建背部穴位的數(shù)據(jù)集，作為深度學(xué)習(xí)模型的訓(xùn)練數(shù)據(jù)；

9、s2：采用背部穴位數(shù)據(jù)集訓(xùn)練深度學(xué)習(xí)模型，對人體背部13個穴位進行自動識別，基于輕量級的invertedresidual卷積模塊，結(jié)合深度可分離卷積和殘差連接結(jié)構(gòu)，增加脊椎中軸線通道，并設(shè)計包括mse損失、脊椎對稱性約束和穴位位置約束的自定義損失函數(shù)對所述深度學(xué)習(xí)模型進行優(yōu)化；

10、s3：使用rgb-d相機采集人體背部圖像，將所采集的rgb圖像輸入至訓(xùn)練好的穴位識別模型，輸出各穴位的二維坐標；結(jié)合相機標定與手眼標定技術(shù)，將所述二維坐標轉(zhuǎn)換為機械臂基坐標系下的三維坐標，驅(qū)動機械臂末端執(zhí)行器精確移動至目標穴位，執(zhí)行叩擊動作

11、s4：采用ppo算法設(shè)計獎勵函數(shù)以優(yōu)化機械臂的運動控制策略，并結(jié)合ibvs技術(shù)實時獲取背部區(qū)域圖像?；谝曈X誤差計算機械臂末端執(zhí)行器的位移方向和幅度，動態(tài)調(diào)整機械臂的運動軌跡，從而確保末端執(zhí)行器能夠精確到達目標穴位。

12、進一步地，本發(fā)明通過采集包含13個關(guān)鍵背部穴位的高質(zhì)量圖像數(shù)據(jù)集，每個圖像中包含不同姿勢、體型、背景條件下的背部圖像。數(shù)據(jù)集包括多個角度和不同光照條件下的背部圖像，確保覆蓋廣泛的應(yīng)用場景；

13、進一步地，使用開源的labelme標注工具對圖像中的關(guān)鍵穴位點進行精確標注，生成標準化的json格式標注文件，標注文件包含每張圖像的路徑信息、穴位點的二維坐標，以及相關(guān)的標簽信息。

14、進一步地，本發(fā)明在數(shù)據(jù)集構(gòu)建過程中，采用圖像增強技術(shù)，包括圖像裁剪、旋轉(zhuǎn)、縮放、鏡像等操作，從不同角度、不同光照、不同體型下學(xué)習(xí)到有效特征，并加入圖像噪聲去除、對比度調(diào)整等預(yù)處理技術(shù)，最后對圖像進行歸一化處理后，輸入深度學(xué)習(xí)模型進行訓(xùn)練。

15、深度學(xué)習(xí)模型架構(gòu)，為了實現(xiàn)對背部13個排痰相關(guān)穴位的精準識別，本發(fā)明采用了基于深度學(xué)習(xí)的cnn模型，并特別選擇了輕量級的invertedresidual卷積模塊。

16、進一步地，該模塊的核心思想是將傳統(tǒng)的卷積層結(jié)構(gòu)進行“倒置”，即首先通過一個小尺寸的卷積核進行特征提取，然后將特征映射通過深度可分離卷積進行分解。最后，通過殘差連接機制進行特征融合。

17、進一步地，深度可分離卷積將標準卷積操作拆分成兩個步驟：首先對每個輸入通道進行深度卷積，然后在輸出通道之間進行逐點卷積。這種方式顯著減少了計算量和參數(shù)量，適合在資源受限的環(huán)境中使用。

18、進一步地，在卷積模塊之間引入殘差連接，避免了梯度消失和梯度爆炸問題，確保深層網(wǎng)絡(luò)的有效訓(xùn)練。

19、進一步地，所述深度學(xué)習(xí)模型通過自定義的損失函數(shù)來優(yōu)化模型，其中損失函數(shù)包含：

20、mse損失，用于衡量模型預(yù)測的穴位坐標與真實坐標之間的差異，公式如下：

21、

22、其中，n是樣本的數(shù)量，是第i個樣本的真實值，是第i個樣本的預(yù)測值；

23、脊椎對稱性約束，通過計算左右穴位預(yù)測位置的對稱性差異，確保模型預(yù)測的穴位位置符合人體脊椎的對稱性，公式如下：

24、

25、其中，為對稱穴位對的數(shù)量。和分別表示對稱的左右穴位索引。為脊椎中軸線的對稱變換矩陣。

26、穴位位置約束，結(jié)合傳統(tǒng)中醫(yī)穴位的解剖學(xué)特征，設(shè)定穴位相對于脊椎的固定位置關(guān)系，指導(dǎo)模型在不同體型和姿勢下精準定位穴位。公式如下：

27、

28、其中，為第個穴位的參考位置，為第個穴位的允許偏移量，確保只有當預(yù)測位置偏離參考位置超過允許范圍時，才產(chǎn)生損失。

29、將上述三個損失項綜合，得到自定義損失函數(shù)：

30、

31、其中，、和分別為均方誤差損失、脊椎對稱性約束及穴位位置約束的權(quán)重系數(shù)。

32、rgb-d相機采集與深度學(xué)習(xí)模型結(jié)合，本發(fā)明首先采用rgb-d相機采集人體背部的圖像數(shù)據(jù)。rgb圖像提供了人體背部的二維位置信息，而深度圖像則為每個像素點提供了距離信息，得到背部的三維結(jié)構(gòu)。將預(yù)處理后的rgb圖像輸入到訓(xùn)練好的深度學(xué)習(xí)模型中，利用該模型對背部的13個排痰相關(guān)穴位進行識別。深度學(xué)習(xí)模型基于已標注的穴位數(shù)據(jù)集，通過cnn提取特征并精確預(yù)測穴位的二維坐標。該預(yù)測結(jié)果即為目標穴位的二維位置。

33、進一步地，將識別到的二維穴位坐標通過以下步驟轉(zhuǎn)化為三維坐標，實現(xiàn)從相機坐標系到機械臂基坐標系的轉(zhuǎn)換。首先，進行相機標定，確定相機的內(nèi)參，包括焦距和光心位置，相機的外參，包括相機在三維空間中的位置與方向。在此基礎(chǔ)上，通過手眼標定技術(shù)，建立相機坐標系與機械臂基坐標系之間的轉(zhuǎn)換關(guān)系。通過標定得到的相機內(nèi)外參數(shù)，將識別到的二維穴位坐標（,）結(jié)合深度信息轉(zhuǎn)換為相機坐標系中的三維坐標（,,）。具體的坐標變換公式為：

34、

35、

36、

37、其中，，是相機的光心坐標，，是相機的焦距，是深度圖提供的像素深度信息。接著，通過坐標變換矩陣將相機坐標系中的三維坐標轉(zhuǎn)換為機械臂基坐標系中的三維坐標。

38、ibvs與音圈電機控制，本發(fā)明采用視覺伺服技術(shù)，該技術(shù)利用實時視覺反饋，通過計算末端執(zhí)行器當前位置與目標位置之間的視覺誤差，指導(dǎo)末端執(zhí)行器的位移方向和幅度，確保機械臂能夠精確到達目標穴位。

39、進一步地，系統(tǒng)通過實時獲取背部區(qū)域的圖像信息，提取出目標穴位的三維坐標，計算末端執(zhí)行器當前位置與目標穴位之間的視覺誤差。該誤差可表示為：

40、

41、其中是目標穴位的三維坐標，，，是當前末端執(zhí)行器的位置。根據(jù)誤差的大小，計算期望的末端執(zhí)行器位移方向和幅度。

42、進一步地，本發(fā)明采用音圈電機作為末端執(zhí)行器的驅(qū)動裝置。通過基于視覺伺服反饋的位移方向與幅度，音圈電機根據(jù)控制算法動態(tài)調(diào)整其位置，確保末端執(zhí)行器精確到達目標穴位。

43、改進的ppo算法優(yōu)化運動軌跡，本發(fā)明采用改進的近端策略優(yōu)化算法。

44、進一步地，通過定義末端執(zhí)行器位置、速度、加速度、視覺誤差等狀態(tài)空間和音圈電機的位移和速度動作空間，基于獎勵函數(shù)來調(diào)整控制策略。獎勵函數(shù)考慮了末端執(zhí)行器與目標穴位的距離、運動過程中的速度和加速度的變化，以及叩擊動作的效果等因素。具體的獎勵函數(shù)可表示為：

45、

46、

47、為權(quán)重系數(shù)；為視覺誤差，為末端執(zhí)行器速度的變化量，為叩擊效果的獎勵函數(shù)，為控制策略獎勵函數(shù)。

48、進一步地，獎勵函數(shù)具體包括：

49、距離獎勵：未端執(zhí)行器與目標物體的距離越小，獎勵越高，表示為：

50、

51、其中，為末端執(zhí)行器的位置，為目標位置；

52、角度獎勵：末端執(zhí)行器的方向與人體背部法線的夾角越小，獎勵越高，表示為：

53、

54、其中，為末端執(zhí)行器的方向向量，為人體背部的法線向量，為兩向量的夾角；

55、穿越懲罰：當末端執(zhí)行器穿越人體背部時，給予懲罰，表示為：

56、

57、其中，為懲罰系數(shù)，取值為5；

58、目標完成獎勵：當末端執(zhí)行器與目標距離小于某一閾值時，任務(wù)被?認為完成，獎勵大幅提升，表示為：

59、

60、其中，為完成獎勵，取值為10，為距離閾值，取值為1cm。

61、進一步地，ppo算法通過最大化獎勵函數(shù)來優(yōu)化音圈電機的控制策略，采用截斷目標函數(shù)來確保策略更新的穩(wěn)定性。每次策略更新時，ppo通過計算當前策略與舊策略的比率，限制策略更新的幅度。

62、本發(fā)明提供了一種用于輔助排痰的穴位識別及機械臂控制方法，具備以下有益效果：

63、本發(fā)明采用深度學(xué)習(xí)模型，結(jié)合輕量級的invertedresidual卷積模塊和自定義損失函數(shù)，顯著提升了背部穴位識別的精度。通過脊椎對稱性約束和穴位位置約束，本發(fā)明能夠有效避免傳統(tǒng)方法中的偏差，確保準確定位背部的關(guān)鍵穴位，尤其是在不同體型、姿勢以及復(fù)雜背景下的適應(yīng)能力。

64、本發(fā)明采用ibvs實時獲取背部區(qū)域的圖像，通過計算視覺誤差來動態(tài)調(diào)整末端執(zhí)行器的運動軌跡，實現(xiàn)對目標穴位的精確叩擊和治療。結(jié)合ppo算法，系統(tǒng)能夠根據(jù)實時反饋動態(tài)優(yōu)化運動控制策略，使末端執(zhí)行器能夠在治療過程中不斷調(diào)整動作，從而實現(xiàn)更加平穩(wěn)和精準的治療效果。

65、本發(fā)明引入了ppo算法，設(shè)計了一種綜合考慮距離獎勵、角度獎勵、穿越懲罰和目標完成獎勵的自定義獎勵函數(shù)，指導(dǎo)機械臂末端執(zhí)行器音圈電機朝向目標穴位靠近并與人體背部法線對齊，實現(xiàn)對音圈電機的精準控制與動態(tài)運動規(guī)劃，有效執(zhí)行排痰輔助動作。