本發(fā)明涉及計(jì)算機(jī)視覺，具體涉及基于多樣式拓?fù)渚仃嚭图?xì)化骨骼特征的一種三維骨骼人體全身動(dòng)作識(shí)別方法、系統(tǒng)、設(shè)備及介質(zhì)。

背景技術(shù)：

1、人體全身動(dòng)作識(shí)別是計(jì)算機(jī)視覺領(lǐng)域的核心研究方向之一，在人機(jī)交互、智能監(jiān)控、虛擬現(xiàn)實(shí)等場(chǎng)景具有重要應(yīng)用價(jià)值。近年來，隨著深度學(xué)習(xí)技術(shù)和三維傳感器的發(fā)展，基于三維骨骼數(shù)據(jù)的人體動(dòng)作識(shí)別因其對(duì)光照、背景等環(huán)境因素的魯棒性而備受關(guān)注。骨骼數(shù)據(jù)通過關(guān)節(jié)點(diǎn)坐標(biāo)精確描述人體姿態(tài)和運(yùn)動(dòng)，為動(dòng)作識(shí)別提供了有效信息。

2、當(dāng)前，圖卷積網(wǎng)絡(luò)（gcn）已成為處理骨骼數(shù)據(jù)的主流方法?，F(xiàn)有基于gcn的動(dòng)作識(shí)別方法，如時(shí)空?qǐng)D卷積網(wǎng)絡(luò)（st-gcn）及其改進(jìn)（如degcn、stfgcn等），通常依賴一個(gè)預(yù)定義或自適應(yīng)學(xué)習(xí)的單一鄰接拓?fù)渚仃噥肀硎竟趋狸P(guān)節(jié)點(diǎn)之間的連接關(guān)系。這種單一矩陣雖然能夠捕捉物理連接或鄰近關(guān)節(jié)的空間關(guān)系，但在表征人體不同功能區(qū)域（如上肢、軀干、下肢）內(nèi)部以及區(qū)域間的復(fù)雜語(yǔ)義關(guān)聯(lián)時(shí)存在局限性。例如，手部動(dòng)作和腳部動(dòng)作可能在某個(gè)特定行為（如“踢球”）中具有強(qiáng)關(guān)聯(lián)性，但這種非物理直連的語(yǔ)義關(guān)系難以通過單一固定拓?fù)浣Y(jié)構(gòu)有效表達(dá)。

3、此外，現(xiàn)有方法在特征學(xué)習(xí)和損失計(jì)算階段，往往側(cè)重于全局骨骼特征的表示和優(yōu)化，例如在對(duì)比學(xué)習(xí)或分類損失計(jì)算中僅使用最終的全局特征向量。這種方式忽視了人體不同部位在執(zhí)行動(dòng)作時(shí)的貢獻(xiàn)差異以及局部特征的重要性，可能導(dǎo)致模型對(duì)局部細(xì)節(jié)（如手勢(shì)、特定肢體姿態(tài)）不敏感，或在關(guān)節(jié)點(diǎn)被遮擋時(shí)性能下降。雖然一些方法嘗試引入注意力機(jī)制或自適應(yīng)圖結(jié)構(gòu)，但未能從根本上解決單一拓?fù)浔硎竞腿痔卣髌玫木窒扌浴?/p>

4、因此，單一固定或全局自適應(yīng)的鄰接拓?fù)渚仃囯y以有效捕捉頭部、軀干、下肢不同功能部位內(nèi)部及之間的復(fù)雜語(yǔ)義關(guān)聯(lián)，限制了模型對(duì)復(fù)雜動(dòng)作的理解能力；以及，現(xiàn)有方法在特征學(xué)習(xí)和損失計(jì)算中過于側(cè)重全局特征，忽視了局部骨骼特征的細(xì)節(jié)信息和不同部位的貢獻(xiàn)差異，導(dǎo)致特征表示不夠精細(xì)，對(duì)遮擋和細(xì)微動(dòng)作變化的魯棒性不足。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例的目的是提供一種三維骨骼人體全身動(dòng)作識(shí)別方法、系統(tǒng)、設(shè)備及介質(zhì)，旨在設(shè)計(jì)更有效的骨骼拓?fù)浔硎痉椒ㄒ圆蹲截S富的關(guān)節(jié)間關(guān)系，并結(jié)合局部與全局特征進(jìn)行更精細(xì)化的學(xué)習(xí)，提升三維骨骼人體動(dòng)作識(shí)別性能。

2、為了解決上述技術(shù)問題，本技術(shù)是這樣實(shí)現(xiàn)的：

3、第一方面，本技術(shù)實(shí)施例提供了一種三維骨骼人體全身動(dòng)作識(shí)別方法，所述方法包括：

4、獲取三維骨骼動(dòng)作序列數(shù)據(jù)，所述三維骨骼動(dòng)作序列數(shù)據(jù)包含多個(gè)時(shí)間幀上的人體關(guān)節(jié)點(diǎn)三維坐標(biāo)；

5、構(gòu)建多樣式鄰接拓?fù)渚仃?，所述多樣式鄰接拓?fù)渚仃嚢ǚ謩e對(duì)應(yīng)頭部、軀干和下肢分區(qū)的三個(gè)局部鄰接拓?fù)渚仃囈约耙粋€(gè)全局鄰接拓?fù)渚仃嚕?/p>

6、利用所述多樣式鄰接拓?fù)渚仃囍笇?dǎo)圖卷積網(wǎng)絡(luò)對(duì)所述三維骨骼動(dòng)作序列數(shù)據(jù)進(jìn)行時(shí)空特征提取，得到輸出特征；

7、對(duì)所述輸出特征進(jìn)行細(xì)化處理，生成三個(gè)局部特征表示和一個(gè)全局特征表示；

8、基于所述三個(gè)局部特征表示和所述一個(gè)全局特征表示，計(jì)算對(duì)應(yīng)的預(yù)測(cè)概率分布；

9、計(jì)算組合損失函數(shù)，所述組合損失函數(shù)是基于全局預(yù)測(cè)概率分布與真實(shí)標(biāo)簽之間的損失，以及各個(gè)局部預(yù)測(cè)概率分布與真實(shí)標(biāo)簽之間的損失的加權(quán)和；

10、根據(jù)所述組合損失函數(shù)訓(xùn)練所述圖卷積網(wǎng)絡(luò)；

11、基于訓(xùn)練后的所述圖卷積網(wǎng)絡(luò)，最終輸出所述三維骨骼動(dòng)作序列數(shù)據(jù)對(duì)應(yīng)的預(yù)測(cè)動(dòng)作分類結(jié)果。

12、作為本技術(shù)第一方面的一種可選實(shí)施方式，構(gòu)建多樣式鄰接拓?fù)渚仃嚨牟襟E包括：將人體骨骼關(guān)節(jié)點(diǎn)根據(jù)人體解剖學(xué)進(jìn)行人體功能區(qū)域劃分，分別劃分為包括頭部、軀干和下肢的三個(gè)獨(dú)立子集；為每個(gè)獨(dú)立子集生成局部鄰接拓?fù)渚仃?，所述局部鄰接拓?fù)渚仃噧H包含對(duì)應(yīng)子集內(nèi)關(guān)節(jié)點(diǎn)的連接關(guān)系；通過空間映射聚合機(jī)制將三個(gè)局部鄰接拓?fù)渚仃嚺c一個(gè)全局鄰接拓?fù)渚仃嚾诤?，形成多層次拓?fù)浣Y(jié)構(gòu)。

13、作為本技術(shù)第一方面的一種可選實(shí)施方式，利用所述多樣式鄰接拓?fù)渚仃囍笇?dǎo)圖卷積網(wǎng)絡(luò)對(duì)所述三維骨骼動(dòng)作序列數(shù)據(jù)進(jìn)行時(shí)空特征提取，得到輸出特征的步驟包括：在圖卷積網(wǎng)絡(luò)中，采用愛因斯坦求和定律對(duì)所述三維骨骼動(dòng)作序列數(shù)據(jù)進(jìn)行矩陣相乘，得到輸出特征。

14、作為本技術(shù)第一方面的一種可選實(shí)施方式，對(duì)所述輸出特征進(jìn)行細(xì)化處理，生成三個(gè)局部特征表示的步驟包括：通過深層卷積和空間點(diǎn)卷積對(duì)輸出特征進(jìn)行維度擴(kuò)展；將維度擴(kuò)展后的輸出特征按頭部、軀干和下肢分區(qū)進(jìn)行特征解耦，生成與三個(gè)局部鄰接拓?fù)渚仃噷?duì)應(yīng)的三組局部特征表示。

15、作為本技術(shù)第一方面的一種可選實(shí)施方式，將維度擴(kuò)展后的輸出特征按頭部、軀干和下肢分區(qū)進(jìn)行特征解耦，生成與三個(gè)局部鄰接拓?fù)渚仃噷?duì)應(yīng)的三組局部特征表示的步驟包括：將輸出特征中的原始鄰接矩陣分解為頭部、軀干和下肢三個(gè)獨(dú)立子矩陣，用公式表示為：，其中分別表示頭部、軀干和下肢獨(dú)立的骨骼部位；將所述三個(gè)獨(dú)立子矩陣細(xì)化為對(duì)應(yīng)特征信息得到三組局部特征表示，用公式表示為：，其中分別表示頭部，軀干，腿部獨(dú)立的骨骼特征。

16、作為本技術(shù)第一方面的一種可選實(shí)施方式，基于所述三個(gè)局部特征表示和所述一個(gè)全局特征表示，計(jì)算對(duì)應(yīng)的預(yù)測(cè)概率分布的步驟包括：對(duì)所述三個(gè)局部特征表示和所述一個(gè)全局特征表示分別進(jìn)行正則化處理，通過全連接層和softmax函數(shù)生成對(duì)應(yīng)的預(yù)測(cè)概率分布。

17、作為本技術(shù)第一方面的一種可選實(shí)施方式，計(jì)算組合損失函數(shù)的步驟中，所述組合損失函數(shù)的計(jì)算采用標(biāo)簽平滑交叉熵?fù)p失，其權(quán)重參數(shù)通過可學(xué)習(xí)參數(shù)動(dòng)態(tài)調(diào)整，所述組合損失函數(shù)為：，其中，表示標(biāo)簽平滑交叉熵?fù)p失函數(shù)， y表示真實(shí)標(biāo)簽，表示預(yù)測(cè)動(dòng)作分類結(jié)果，和分別表示全局特征和不同部位的局部特征，表示不同部位之間的可學(xué)習(xí)權(quán)重參數(shù)。

18、第二方面，本技術(shù)實(shí)施例提供了一種三維骨骼人體全身動(dòng)作識(shí)別系統(tǒng)，所述系統(tǒng)包括：

19、數(shù)據(jù)獲取模塊，用于獲取三維骨骼動(dòng)作序列數(shù)據(jù)，所述三維骨骼動(dòng)作序列數(shù)據(jù)包含多個(gè)時(shí)間幀上的人體關(guān)節(jié)點(diǎn)三維坐標(biāo)；

20、多樣式拓?fù)渚仃嚇?gòu)建模塊，用于構(gòu)建多樣式鄰接拓?fù)渚仃嚕龆鄻邮洁徑油負(fù)渚仃嚢ǚ謩e對(duì)應(yīng)頭部、軀干和下肢分區(qū)的三個(gè)局部鄰接拓?fù)渚仃囈约耙粋€(gè)全局鄰接拓?fù)渚仃嚕?/p>

21、時(shí)空特征提取模塊，用于利用所述多樣式鄰接拓?fù)渚仃囍笇?dǎo)圖卷積網(wǎng)絡(luò)對(duì)所述三維骨骼動(dòng)作序列數(shù)據(jù)進(jìn)行時(shí)空特征提取，得到輸出特征；

22、特征細(xì)化模塊，用于對(duì)所述輸出特征進(jìn)行細(xì)化處理，生成三個(gè)局部特征表示和一個(gè)全局特征表示；

23、概率計(jì)算模塊，用于基于所述三個(gè)局部特征表示和所述一個(gè)全局特征表示，計(jì)算對(duì)應(yīng)的預(yù)測(cè)概率分布；

24、損失函數(shù)計(jì)算模塊，用于計(jì)算組合損失函數(shù)，所述組合損失函數(shù)是基于全局預(yù)測(cè)概率分布與真實(shí)標(biāo)簽之間的損失，以及各個(gè)局部預(yù)測(cè)概率分布與真實(shí)標(biāo)簽之間的損失的加權(quán)和；

25、模型訓(xùn)練模塊，用于根據(jù)所述組合損失函數(shù)訓(xùn)練所述圖卷積網(wǎng)絡(luò)；

26、動(dòng)作識(shí)別模塊，用于基于訓(xùn)練后的所述圖卷積網(wǎng)絡(luò)，最終輸出所述三維骨骼動(dòng)作序列數(shù)據(jù)對(duì)應(yīng)的預(yù)測(cè)動(dòng)作分類結(jié)果。

27、第三方面，本技術(shù)實(shí)施例提供了一種電子設(shè)備，所述電子設(shè)備包括處理器、存儲(chǔ)器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的程序或指令，程序或指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面所述的方法的步驟。

28、第四方面，本技術(shù)實(shí)施例提供了一種可讀存儲(chǔ)介質(zhì)，可讀存儲(chǔ)介質(zhì)上存儲(chǔ)程序或指令，程序或指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面所述的方法的步驟。

29、與現(xiàn)有技術(shù)相比，本發(fā)明提出一種三維骨骼人體全身動(dòng)作識(shí)別方法，具有以下有益效果：

30、（1）多樣式鄰接拓?fù)渚仃嚹K：將傳統(tǒng)的單一鄰接拓?fù)渚仃嚪纸鉃轭^部、軀干和下肢三個(gè)功能區(qū)域的獨(dú)立子矩陣，每個(gè)子矩陣獨(dú)立處理局部骨骼特征，并通過空間映射聚合機(jī)制與全局拓?fù)渚仃嚾诤?，?gòu)建多層次拓?fù)浣Y(jié)構(gòu)，增強(qiáng)模型對(duì)局部區(qū)域上下文特征的捕捉能力。

31、（2）精細(xì)化骨骼特征模塊：對(duì)圖卷積處理后的特征進(jìn)行分解，生成與分區(qū)拓?fù)渚仃噷?duì)應(yīng)的局部特征表示，并引入多部位對(duì)比損失函數(shù)，結(jié)合標(biāo)簽平滑交叉熵?fù)p失，實(shí)現(xiàn)全局與局部特征的互補(bǔ)學(xué)習(xí)，提高模型對(duì)遮擋部位動(dòng)作的識(shí)別能力。

32、（3）整體框架：將多樣式鄰接拓?fù)渚仃嚹K和精細(xì)化骨骼特征模塊集成到圖卷積網(wǎng)絡(luò)中，通過時(shí)空卷積塊提取序列特征，并優(yōu)化損失函數(shù)以提升模型泛化能力。