本發(fā)明涉及一種基于雙支路多尺度特征融合的新生兒肢體動作識別方法，屬于動作識別。

背景技術(shù)：

1、動作是一種特殊的交流分析方式，能夠在無法用語言表達時，通過觀察他們細(xì)微的身體動作和姿態(tài)變化，揭示他們的內(nèi)心狀態(tài)和需求，這種反應(yīng)通常在不自覺的情況下自然發(fā)生，很難被隱藏或者控制，它往往直接關(guān)聯(lián)到一個人的真實情緒，能夠揭示他們內(nèi)心的真實感受和心理狀況。新生兒的肢體動作作為動作識別研究的一個分支，專注于分析和解釋嬰兒在無法用語言表達時的身體語言，能夠更深入的理解新生兒的非語言溝通方式，從而為他們提供更精準(zhǔn)和及時的護理，因此新生兒相關(guān)的動作識別在人機交互、早期健康檢測、醫(yī)療診斷輔助和家庭護理等領(lǐng)域都有非常重要的應(yīng)用。

2、新生兒肢體動作識別作為一種新興的研究領(lǐng)域，已經(jīng)吸引了眾多研究者的關(guān)注。雖然研究人員也在嘗試引入注意力機制和時間金字塔網(wǎng)絡(luò)進行動作識別，但已有的方法對于新生兒的肢體動作往往細(xì)微且短暫，現(xiàn)有技術(shù)可能難以準(zhǔn)確捕捉這些微小動作的開始和結(jié)束。

3、在實際應(yīng)用場景中，新生兒的動作會受到復(fù)雜背景的干擾和模型計算量大的問題，導(dǎo)致現(xiàn)有方法可能無法有效區(qū)分動作與背景，信息獲取難度高，因此難以訓(xùn)練出準(zhǔn)確率高，魯棒性強的動作識別模型，導(dǎo)致動作識別準(zhǔn)確率較低。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是提供一種基于雙支路多尺度特征融合的新生兒肢體動作識別方法解決現(xiàn)有技術(shù)中存在的細(xì)微動作變化的捕捉能力較低，動作識別準(zhǔn)確率有待提高的問題。

2、本發(fā)明的技術(shù)解決方案是：

3、一種基于雙支路多尺度特征融合的新生兒肢體動作識別方法，包括以下步驟，

4、s1、采集不同肢體動作狀態(tài)下的新生兒視頻，將視頻按照時間間隔t進行分段得到視頻段，并將每個視頻段的第一幀作為關(guān)鍵幀，檢測關(guān)鍵幀中新生兒的關(guān)鍵肢體部位包括頭部、上肢和下肢，生成相應(yīng)的邊界框，標(biāo)注新生兒肢體動作標(biāo)簽，將視頻段和標(biāo)簽整合，構(gòu)建新生兒肢體動作視頻樣本集；

5、s2、構(gòu)建基于雙支路多尺度特征融合的新生兒肢體動作識別模型，基于雙支路多尺度特征融合的新生兒肢體動作識別模型包括第一支路特征提取網(wǎng)絡(luò)、第二支路特征提取網(wǎng)絡(luò)、特征融合模塊和分類器，其中：

6、第一支路特征提取網(wǎng)絡(luò)：采用深度卷積神經(jīng)網(wǎng)絡(luò)net1對輸入的視頻段在n個層次分別提取動作特征f1，p，其中，p＝1，2，...，n，并將第n個層次提取的動作特征f1，n輸出給特征融合模塊；其中，n的取值范圍為3～5的整數(shù)；

7、第二支路特征提取網(wǎng)絡(luò)：對輸入的視頻段進行間隔抽幀得到低幀率視頻，低幀率視頻由深度卷積神經(jīng)網(wǎng)絡(luò)net2在n個層次分別提取動作特征f2，p，并將前3個層次提取的動作特征f2，p與動作特征f1，p對應(yīng)分別引入多尺度卷積注意力機制得到的特征再與動作特征f2，p殘差連接后得到殘差連接特征fr，p，作為深度卷積神經(jīng)網(wǎng)絡(luò)net2中下一3d殘差塊的輸入特征，將第n個層次提取的動作特征f2，n輸出給特征融合模塊；

8、特征融合模塊：用于將第一支路特征提取網(wǎng)絡(luò)和第二支路特征提取網(wǎng)絡(luò)在第n層次輸出的新生兒肢體動作特征進行特征融合，得到融合后的特征f；

9、分類器：對融合后的特征f進行分類識別并輸出肢體動作類別；

10、s3、使用步驟s1得到新生兒肢體動作視頻樣本集對步驟s2構(gòu)建的基于雙支路多尺度特征融合的新生兒肢體動作識別模型進行訓(xùn)練，得到新生兒肢體動作識別模型；

11、s4、利用步驟s3得到的新生兒肢體動作識別模型對新輸入的測試視頻進行動作識別。

12、進一步地，步驟s1中，新生兒肢體動作標(biāo)簽包括頭部晃動、手指張開、握拳、手臂揮動、蹬腿和靜止不動。

13、進一步地，步驟s1中，時間間隔t的取值范圍為8幀～64幀。

14、進一步地，步驟s2中，第二支路特征提取網(wǎng)絡(luò)包括抽幀模塊、深度卷積神經(jīng)網(wǎng)絡(luò)net2、深度卷積神經(jīng)網(wǎng)絡(luò)net2、3個多尺度卷積注意力模塊和3個殘差連接模塊，

15、抽幀模塊：對輸入的視頻段進行間隔抽幀得到低幀率視頻輸出給深度卷積神經(jīng)網(wǎng)絡(luò)net2；

16、深度卷積神經(jīng)網(wǎng)絡(luò)net2：對低幀率視頻在n個層次分別提取得到動作特征f2，p；

17、多尺度卷積注意力模塊：分別對輸入的動作特征f1，p和動作特征f2，p對應(yīng)引入多尺度卷積注意力機制并輸出多尺度特征張量fpˋ；

18、殘差連接模塊：分別將輸入的多尺度特征張量fpˋ與深度卷積神經(jīng)網(wǎng)絡(luò)net2的前一層次輸出的動作特征f2，p殘差連接后輸出給深度卷積神經(jīng)網(wǎng)絡(luò)net2的后一層次的3d殘差塊中。

19、進一步地，多尺度卷積注意力模塊中，分別對輸入的動作特征f1，p和動作特征f2，p對應(yīng)引入多尺度卷積注意力機制并輸出多尺度特征張量fpˋ，具體為，

20、1)將動作特征f1，p和動作特征f2，p在通道維度上進行拼接，得到特征張量fp；

21、2)運用多尺度卷積注意力機制得到特征張量fp的注意力權(quán)重ωp為：

22、

23、其中，σ表示sigmoid激活函數(shù)，conv1×1×1表示卷積核為1×1×1的逐點卷積，l是深度可分離卷積的個數(shù)，l∈{2,3,4,5}；dwj表示第j個帶狀卷積核為k×1×1、1×k×1和1×1×k的深度可分離卷積，k∈{3,5,7,9,11}；

24、3)將注意力權(quán)重ωp逐通道與特征張量fp相乘，并經(jīng)過卷積核為1×1×1的逐點卷積進行卷積處理，輸出多尺度特征張量fp′為：

25、fp′＝conv1×1×1(ωp·fp)

26、其中，conv1×1×1表示卷積核為1×1×1的逐點卷積。

27、進一步地，特征融合模塊包括se注意力模塊和高效特征融合塊，

28、se注意力模塊：分別對第一特征提取網(wǎng)絡(luò)和第二支路特征提取在第n層次的輸出采用擠壓激勵操作得到增強后的第一動作特征張量與增強后的第二動作特征特征張量；

29、高效特征融合塊：分別對增強后的第一動作特征張量與增強后的第二動作特征張量，進行自適應(yīng)池化操作和卷積處理后，得到卷積后的第一動作特征與卷積后的第二動作特征，采用激活函數(shù)sigmoid得到權(quán)重，并將權(quán)重逐通道分別與增強后的動作特征張量、增強后的第二動作張量進行乘積運算后得到第一中間動作特征與第二中間動作特征，拼接后得到融合后的特征f。

30、進一步地，分類器包括池化塊和全連接層，

31、池化塊：將融合后的特征f經(jīng)過最大池化和平均池化操作得到池化后的特征，池化后的特征經(jīng)過拉伸展平操作后輸出特征向量v；

32、全連接層：將特征向量v映射為對應(yīng)預(yù)測類別的概率分布并輸出肢體動作類別。

33、進一步地，步驟s3中，對步驟s2構(gòu)建的基于雙支路多尺度特征融合的新生兒肢體動作識別模型進行訓(xùn)練時，采用焦點損失函數(shù)優(yōu)化訓(xùn)練：

34、

35、其中，lossi,c表示二元交叉熵?fù)p失，fl表示焦點損失，k表示類別總數(shù)，c∈[1,k]，yi,c表示第i個樣本屬于第c個類別的真實值，i∈[1,n]，n表示樣本總數(shù)，表示第i個樣本屬于第c個類別的模型預(yù)測值，α表示平衡因子，用于調(diào)整正負(fù)樣本的權(quán)重，β表示調(diào)節(jié)因子，用于讓難分類的標(biāo)簽權(quán)重更大。

36、本發(fā)明的有益效果是：

37、一、該種基于雙支路多尺度特征融合的新生兒肢體動作識別方法，與現(xiàn)有方法相比，使用雙支路從不同幀率的視頻中提取動作特征，提升對細(xì)微動作變化的捕捉能力，并采用多尺度卷積注意力機制聚焦肢體動作的關(guān)鍵特征，有效提高新生兒肢體動作識別的準(zhǔn)確率和對復(fù)雜場景的魯棒性，且計算量較小。

38、二、本發(fā)明，針對單一支路的采樣頻率無法靈活適應(yīng)動作的多樣性，進而導(dǎo)致信息冗余或不足，影響訓(xùn)練速度的問題，使用雙支路從不同幀率的視頻中提取動作特征，捕獲快速變化的短期動態(tài)細(xì)節(jié)，緩解有效動作特征和無效背景特征之間的極大不平衡現(xiàn)象，并且增強不同時間尺度下特征的協(xié)同作用。

39、三、該種基于雙支路多尺度特征融合的新生兒肢體動作識別方法，通過引入多尺度卷積注意力機制，通過融合不同感受野的特征提取能力，結(jié)合全局和局部信息的加權(quán)策略，實現(xiàn)對多尺度特征的精準(zhǔn)捕獲，有效提升模型對復(fù)雜場景下細(xì)節(jié)特征的辨識能力，并采用深度可分離卷積代替?zhèn)鹘y(tǒng)卷積，有效降低模型的計算量，在新生兒肢體動作識別任務(wù)中，多尺度卷積注意力機制能夠進一步提高模型的準(zhǔn)確性和有效性。

40、四、該種基于雙支路多尺度特征融合的新生兒肢體動作識別方法，通過融合雙支路的動作特征，動態(tài)地調(diào)整特征通道的權(quán)重，有效突出關(guān)鍵特征區(qū)域的表達能力，使模型聚焦肢體動作的關(guān)鍵特征，能夠動態(tài)地適應(yīng)不同時間尺度的動作，精準(zhǔn)捕捉細(xì)微的動作差異，能夠有效提升動作識別的準(zhǔn)確率和魯棒性。