本發(fā)明涉及電數(shù)字?jǐn)?shù)據(jù)處理的，特別涉及一種基于多傳感器融合的人體行為跟蹤方法、介質(zhì)、設(shè)備及系統(tǒng)。

背景技術(shù)：

1、多傳感器信息融合(multi-sensor?information?fusion,msif)是利用計(jì)算機(jī)技術(shù)將來(lái)自多傳感器或多源的信息和數(shù)據(jù)在一定的準(zhǔn)則下進(jìn)行多層次、多空間的信息互補(bǔ)和優(yōu)化組合處理，加以自動(dòng)分析和綜合，以完成所需要的決策和估計(jì)而進(jìn)行的信息處理過(guò)程，其最終將產(chǎn)生對(duì)觀測(cè)環(huán)境的一致性解釋。

2、關(guān)于多傳感器信息融合事實(shí)上已經(jīng)是感測(cè)領(lǐng)域的常規(guī)的技術(shù)，考慮到應(yīng)用的加深、數(shù)據(jù)量的增大、數(shù)據(jù)維度的增多，面對(duì)如何對(duì)不同類型的數(shù)據(jù)進(jìn)行分區(qū)、如何實(shí)現(xiàn)傳感數(shù)據(jù)的排序和組合、如何就多傳感器的感測(cè)數(shù)據(jù)做出決策，現(xiàn)有技術(shù)的常規(guī)處理方式是對(duì)原始數(shù)據(jù)進(jìn)行清洗、對(duì)象融合并傳輸?shù)娇刂贫?，以?xùn)練好的網(wǎng)絡(luò)對(duì)傳感數(shù)據(jù)進(jìn)行分類。

3、然而，在實(shí)際的事實(shí)過(guò)程中，由于不同傳感器間的差異，導(dǎo)致數(shù)據(jù)的獲取和處理方式不同，因此數(shù)據(jù)融合的難度較大，同時(shí)現(xiàn)有的人工智能技術(shù)并不完善，關(guān)于提高融合算法的準(zhǔn)確性和可靠性、降低算法的復(fù)雜度一直是研發(fā)的方向，多個(gè)傳感器可能會(huì)提供重復(fù)或矛盾的信息，原始數(shù)據(jù)的傳輸會(huì)帶來(lái)大量的數(shù)據(jù)量和帶寬需求，增加了系統(tǒng)的成本和復(fù)雜度，因此如何獲取訓(xùn)練中需要的信息、除去大量的無(wú)效信息是研究人員關(guān)注的。

技術(shù)實(shí)現(xiàn)思路

1、為解決上述技術(shù)問(wèn)題，本發(fā)明提供一種基于多傳感器融合的人體行為跟蹤方法、介質(zhì)、設(shè)備及系統(tǒng)。

2、本發(fā)明所采用的技術(shù)方案是，一種基于多傳感器融合的人體行為跟蹤方法，所述方法包括以下步驟：

3、s1?構(gòu)建基于生成對(duì)抗改進(jìn)的分類神經(jīng)網(wǎng)絡(luò)模型；

4、s2?基于人體配置若干傳感器，獲取數(shù)據(jù)樣本，訓(xùn)練所述網(wǎng)絡(luò)模型；

5、s3?基于預(yù)設(shè)的初始化動(dòng)作對(duì)人體進(jìn)行定位，若定位到人體則進(jìn)行下一步，否則重復(fù)s3；

6、s4?采集若干傳感器范圍的位置信號(hào)，輸入訓(xùn)練后的網(wǎng)絡(luò)模型，輸出當(dāng)前人體行為跟蹤結(jié)果。

7、優(yōu)選地，基于生成對(duì)抗改進(jìn)的分類神經(jīng)網(wǎng)絡(luò)模型包括并列設(shè)置的兩個(gè)vgg網(wǎng)絡(luò)；

8、其中一個(gè)vgg網(wǎng)絡(luò)的輸入端配置有改進(jìn)的生成對(duì)抗網(wǎng)絡(luò)；

9、訓(xùn)練所述改進(jìn)的生成對(duì)抗網(wǎng)絡(luò)及兩個(gè)vgg網(wǎng)絡(luò)。

10、優(yōu)選地，所述改進(jìn)生成對(duì)抗網(wǎng)絡(luò)包括生成器、判斷器和上下文注意力模塊；

11、以上下文注意力模塊處理原始數(shù)據(jù)樣本，得到處理后的數(shù)據(jù)樣本，以處理后的數(shù)據(jù)樣本輸入所述生成器，生產(chǎn)的新樣本數(shù)據(jù)輸入判斷器。

12、優(yōu)選地，所述基于生成對(duì)抗改進(jìn)的分類神經(jīng)網(wǎng)絡(luò)模型包括對(duì)應(yīng)半身的神經(jīng)網(wǎng)絡(luò)；

13、對(duì)應(yīng)任一半身的神經(jīng)網(wǎng)絡(luò)輸出對(duì)應(yīng)的標(biāo)簽，所述對(duì)應(yīng)半身的神經(jīng)網(wǎng)絡(luò)后還配置有全連接層，用于對(duì)標(biāo)簽進(jìn)行識(shí)別并組合。

14、優(yōu)選地，s2中，傳感器配置于人體頭部、肩部、肘關(guān)節(jié)、手部、膝關(guān)節(jié)和腳部。

15、優(yōu)選地，數(shù)據(jù)樣本包括圖像-標(biāo)簽對(duì)；圖像為由傳感器位點(diǎn)連接的行為骨架圖像。

16、優(yōu)選地，s3中，初始化動(dòng)作包括站姿、展臂和下蹲，基于所述初始化動(dòng)作分別定位人體頭部、肩部-肘關(guān)節(jié)-手部的組合、膝關(guān)節(jié)-腳部的組合。

17、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有基于多傳感器融合的人體行為跟蹤程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)所述的基于多傳感器融合的人體行為跟蹤方法。

18、一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)，實(shí)現(xiàn)所述的基于多傳感器融合的人體行為跟蹤方法。

19、一種基于多傳感器融合的人體行為跟蹤系統(tǒng)，所述系統(tǒng)包括：

20、至少2個(gè)傳感器，配置于人體的不同關(guān)鍵位置，用于定位和傳感對(duì)應(yīng)位置的姿態(tài)；

21、一控制器，用于以所述的基于多傳感器融合的人體行為跟蹤方法實(shí)現(xiàn)人體的定位和行為跟蹤；

22、配合所述控制器連接至vr穿戴設(shè)備和中央處理器。

23、本發(fā)明涉及一種基于多傳感器融合的人體行為跟蹤方法、介質(zhì)、設(shè)備及系統(tǒng)，構(gòu)建基于生成對(duì)抗改進(jìn)的分類神經(jīng)網(wǎng)絡(luò)模型，基于人體配置若干傳感器，獲取數(shù)據(jù)樣本，訓(xùn)練所述網(wǎng)絡(luò)模型，基于預(yù)設(shè)的初始化動(dòng)作對(duì)人體進(jìn)行定位后，采集若干傳感器范圍的位置信號(hào)，輸入訓(xùn)練后的網(wǎng)絡(luò)模型，輸出當(dāng)前人體行為跟蹤結(jié)果；以方法實(shí)現(xiàn)硬件；系統(tǒng)包括至少2個(gè)傳感器及執(zhí)行方法的控制器，配合控制器連接至vr穿戴設(shè)備和中央處理器。

24、本發(fā)明的有益效果在于，本發(fā)明構(gòu)建基于生成對(duì)抗改進(jìn)的分類神經(jīng)網(wǎng)絡(luò)模型，可以在獲得少量有效篩選數(shù)據(jù)的前提下擴(kuò)充數(shù)據(jù)量，并考慮到應(yīng)用于人體行為跟蹤，故以上下文注意力模塊進(jìn)一步伴隨訓(xùn)練數(shù)據(jù)的生成，可以快速達(dá)到分類網(wǎng)絡(luò)的收斂，提高魯棒性、提升訓(xùn)練效率。

技術(shù)特征：

1.一種基于多傳感器融合的人體行為跟蹤方法，其特征在于：所述方法包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于多傳感器融合的人體行為跟蹤方法，其特征在于：基于生成對(duì)抗改進(jìn)的分類神經(jīng)網(wǎng)絡(luò)模型包括并列設(shè)置的兩個(gè)vgg網(wǎng)絡(luò)；

3.根據(jù)權(quán)利要求2所述的一種基于多傳感器融合的人體行為跟蹤方法，其特征在于：所述改進(jìn)的生成對(duì)抗網(wǎng)絡(luò)包括生成器、判斷器和上下文注意力模塊；

4.根據(jù)權(quán)利要求1所述的一種基于多傳感器融合的人體行為跟蹤方法，其特征在于：所述基于生成對(duì)抗改進(jìn)的分類神經(jīng)網(wǎng)絡(luò)模型包括對(duì)應(yīng)半身的神經(jīng)網(wǎng)絡(luò)；

5.根據(jù)權(quán)利要求1所述的一種基于多傳感器融合的人體行為跟蹤方法，其特征在于：s2中，傳感器配置于人體頭部、肩部、肘關(guān)節(jié)、手部、膝關(guān)節(jié)和腳部。

6.根據(jù)權(quán)利要求5所述的一種基于多傳感器融合的人體行為跟蹤方法，其特征在于：數(shù)據(jù)樣本包括圖像-標(biāo)簽對(duì)；圖像為由傳感器位點(diǎn)連接的行為骨架圖像。

7.根據(jù)權(quán)利要求1所述的一種基于多傳感器融合的人體行為跟蹤方法，其特征在于：s3中，初始化動(dòng)作包括站姿、展臂和下蹲，基于所述初始化動(dòng)作分別定位人體頭部、肩部-肘關(guān)節(jié)-手部的組合、膝關(guān)節(jié)-腳部的組合。

8.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于：其上存儲(chǔ)有基于多傳感器融合的人體行為跟蹤程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1~7之一所述的基于多傳感器融合的人體行為跟蹤方法。

9.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于：所述處理器執(zhí)行所述程序時(shí)，實(shí)現(xiàn)權(quán)利要求1~7之一所述的基于多傳感器融合的人體行為跟蹤方法。

10.一種基于多傳感器融合的人體行為跟蹤系統(tǒng)，其特征在于：所述系統(tǒng)包括：

技術(shù)總結(jié)
本發(fā)明涉及一種基于多傳感器融合的人體行為跟蹤方法、介質(zhì)、設(shè)備及系統(tǒng)，構(gòu)建基于生成對(duì)抗改進(jìn)的分類神經(jīng)網(wǎng)絡(luò)模型，基于人體配置若干傳感器，獲取數(shù)據(jù)樣本，訓(xùn)練所述網(wǎng)絡(luò)模型，基于預(yù)設(shè)的初始化動(dòng)作對(duì)人體進(jìn)行定位后，采集若干傳感器范圍的位置信號(hào)，輸入訓(xùn)練后的網(wǎng)絡(luò)模型，輸出當(dāng)前人體行為跟蹤結(jié)果；以方法實(shí)現(xiàn)硬件；系統(tǒng)包括至少2個(gè)傳感器及執(zhí)行方法的控制器，配合控制器連接至VR穿戴設(shè)備和中央處理器。本發(fā)明構(gòu)建基于生成對(duì)抗改進(jìn)的分類神經(jīng)網(wǎng)絡(luò)模型，可以在獲得少量有效篩選數(shù)據(jù)的前提下擴(kuò)充數(shù)據(jù)量，并考慮到應(yīng)用于人體行為跟蹤，故以上下文注意力模塊進(jìn)一步伴隨訓(xùn)練數(shù)據(jù)的生成，可以快速達(dá)到分類網(wǎng)絡(luò)的收斂，提高魯棒性、提升訓(xùn)練效率。

技術(shù)研發(fā)人員：陳常,周克,翁志彬
受保護(hù)的技術(shù)使用者：小派科技（杭州）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15