本發(fā)明涉及機器人領(lǐng)域，具體是一種仿人機器人的情感行為表達方法。

背景技術(shù)：

1、隨著人工智能、機器人技術(shù)、情感計算等理論和技術(shù)的飛速發(fā)展，仿人機器人在日常生活、公共服務(wù)等眾多領(lǐng)域中廣泛應(yīng)用。仿人機器人不僅需要具備基本的任務(wù)執(zhí)行能力，更需要具備情感交互和情感表達的能力，以提升與人類的交流效果和互動體驗。尤其是在教育、醫(yī)療、陪伴等領(lǐng)域，能進行情感互動和情感表達的仿人機器人更具有應(yīng)用優(yōu)勢。

2、當(dāng)前的仿人機器人情感交互與表達研究主要集中在語音情感識別和面部情感識別兩個方面，現(xiàn)有技術(shù)在仿人機器人情感互動與行為表達中較少考慮動作行為要素。動作行為是人類情感表達中不可或缺的一部分。肢體動作姿態(tài)語言既能傳達豐富的情感信息，也具有實現(xiàn)遠距離情感識別的優(yōu)勢。現(xiàn)有技術(shù)在仿人機器人肢體姿態(tài)情感表達的利用方面仍人存在明顯不足，缺乏能夠反映出與人進行情感互動的的仿人機器人情感行為表達，導(dǎo)致設(shè)計仿人機器人交互時難以直接構(gòu)建人與機器人的情感關(guān)系。

3、為了解決上述問題，提出了一種仿人機器人情感行為表達方法，增強人與仿人機器人的情感交流與互動，可以為人與仿人機器人的溝通提供便利，提升人與機器人的交互效率和滿意度。

技術(shù)實現(xiàn)思路

1、本發(fā)明所要解決的技術(shù)問題是針對上述現(xiàn)有技術(shù)的不足，提供一種仿人機器人的情感行為表達方法，本方法通過結(jié)合語音采集與定位、語音情感識別、仿人機器人情感行為決策和仿人機器人情感行為表達，使仿人機器人能夠更自然的表達與人的自身情感相關(guān)聯(lián)的情感行為，能夠反映出與人進行情感互動的的仿人機器人情感行為表達，增強人與仿人機器人的情感交流與互動，可以為人與仿人機器人的溝通提供便利，提升人與機器人的交互效率和滿意度。

2、為實現(xiàn)上述技術(shù)目的，本發(fā)明采取的技術(shù)方案為：

3、一種仿人機器人的情感行為表達方法，包括語音采集與定位步驟、語音情感識別步驟、仿人機器人情感行為決策步驟和仿人機器人情感行為自適應(yīng)表達步驟；

4、其中語音采集與定位步驟，包括：

5、s101、通過分離式麥克風(fēng)陣列采集語音信號；

6、s102、對采集后的音頻信號進行放大濾波處理；

7、s103、通過usb數(shù)據(jù)采集卡，將放大濾波處理后的語音信號實時采集并傳輸至pc端；

8、s104、在pc端，對音頻信號進行預(yù)處理，對音頻信號進行信噪比分析，選擇信噪比最優(yōu)的音頻信號進行端點檢測，將單通道音頻信號端點檢測結(jié)果，映射至其余通道音頻信號；

9、s105、通過tdoa算法進行聲源定位，求解聲源距離、方位角和俯仰角；

10、s106、進行語音的聲源距離、方位角和俯仰角編碼；

11、其中語音情感識別步驟，包括：

12、s201、提取音頻的聲學(xué)倒譜特征；

13、s202、提取音頻的基音頻率；

14、s203、提取音頻的短時能量；

15、s204、提取音頻的共振峰；

16、s205、將s201、s202、s203和s204提取的特征進行融合，構(gòu)成語音情感特征向量；

17、s206、采用pca主成分分析方法對語音情感特征向量進行降維處理；

18、s207、采用casia語音情感數(shù)據(jù)庫音頻，經(jīng)過s201至s206的步驟，選擇隨機森林算法訓(xùn)練casia語音情感數(shù)據(jù)庫音頻經(jīng)過s201至s206的步驟后得到的情感特征向量，建立情感識別模型；情感識別模型最終的預(yù)測結(jié)果是所有決策樹分類結(jié)果的多數(shù)投票；

19、s208、選擇s104多通道信號中信噪比最優(yōu)的單通道信號，經(jīng)過s201至s206的步驟，將其輸入s207訓(xùn)練完成的情感識別模型，情感識別模型輸出對應(yīng)的情感類別，情感類別包括憤怒、恐懼、高興、悲傷、驚訝和中性，通過多數(shù)投票機制選擇最有可能的情感類別；

20、其中，仿人機器人情感行為決策步驟，包括：

21、s301、生成與s208步驟中情感識別模型輸出的情感類別相匹配的仿人機器人的情感動作編碼：

22、s302、生成與s208步驟中情感識別模型輸出的情感類別相匹配的仿人機器人的情感語音編碼；

23、s303、融合s301和s302的仿人機器人的情感動作編碼和情感語音編碼，并將融合后的編碼定義為仿人機器人情感行為編碼；

24、其中仿人機器人情感行為自適應(yīng)表達步驟，包括：

25、s401、以s303中得出的仿人機器人情感行為編碼預(yù)定義機器人多模態(tài)情感交互模板；

26、s402、根據(jù)s301中得出的仿人機器人情感行為編碼，查找其中是否包含消極情感行為；

27、s403、如包含消極情感行為，則仿人機器人先執(zhí)行語音，而后執(zhí)行動作；

28、s404、如不包含消極情感行為，則仿人機器人先執(zhí)行動作，后執(zhí)行語音；

29、s405、將指令頭、情感動作數(shù)據(jù)、情感語音數(shù)據(jù)、聲源定位的聲源距離數(shù)據(jù)、聲源定位的方位角數(shù)據(jù)和聲源定位的俯仰角數(shù)據(jù)，按照預(yù)設(shè)的順序融合形成一個仿人機器人情感行為數(shù)據(jù)包，仿人機器人情感行為數(shù)據(jù)包位于機器人多模態(tài)情感交互模板內(nèi)；

30、s406、pc端將融合后的仿人機器人情感行為數(shù)據(jù)包發(fā)送給仿人機器人；

31、s407、仿人機器人接收仿人機器人情感行為數(shù)據(jù)包并對其解碼，進而確定對應(yīng)的交互內(nèi)容；

32、s408、仿人機器人根據(jù)交互內(nèi)容的指令并通過api調(diào)用預(yù)定義的動作庫和語音庫，完成情感行為表達，實現(xiàn)根據(jù)用戶語音情感類別自適應(yīng)輸出仿人機器人情感行為。

33、作為本發(fā)明進一步改進的技術(shù)方案，步驟s301包括：

34、s3011、對s208步驟所得到的情感識別率進行降序排序，得到情感識別率向量，其中每個元素的索引位置為該元素類別；

35、s3012、預(yù)定義仿人機器人情感動作數(shù)據(jù)集，該數(shù)據(jù)集包括六個類別的情感動作，分別為憤怒、恐懼、高興、悲傷、驚訝和中性；將該數(shù)據(jù)集的情感類別定義為仿人機器人情感主類別；

36、s3013、結(jié)合仿人機器人情感動作數(shù)據(jù)集中每個動作特征屬性，在每個仿人機器人情感主類別中分別定義子類別；子類別包括憤怒、恐懼、高興、悲傷、驚訝和厭惡；

37、s3014、初始化仿人機器人情感變量；

38、s3015、以s208步驟中得到的最高識別率索引位置表示的情感類別為第一匹配條件，查找仿人機器人情感動作數(shù)據(jù)集中滿足第一匹配條件的主類別；

39、s3016、以s3011步驟中得到的識別率向量第二索引位置的情感類別為第二匹配條件，在s3015步驟中查找到的主類別中查找滿足第二匹配條件的子類別；

40、s3017、如查找到滿足第二匹配條件的子類別，輸出該子類別中的仿人機器人情感動作編碼；

41、s3018、否則，即未查找到滿足第二匹配條件的子類別，則輸出s3015步驟中查找到的主類別中的任一子類別中的仿人機器人情感動作編碼。

42、作為本發(fā)明進一步改進的技術(shù)方案，步驟s302包括：

43、s3021、預(yù)定義語音模版，定義每個情感類別的語音標簽，分別為積極情感、消極情感和中性情感；

44、s3022、以s208步驟中得到的最高識別率索引位置表示的情感類別為語音情感匹配條件，輸出仿人機器人的情感語音編碼；其中s208步驟的高興對應(yīng)積極情感標簽，憤怒、恐懼和悲傷均對應(yīng)消極情感標簽，驚訝和中性均對應(yīng)中性情感標簽。

45、作為本發(fā)明進一步改進的技術(shù)方案，s402中，屬于消極情感行為的類別包括憤怒、恐懼、悲傷和厭惡。

46、本發(fā)明的有益效果為：

47、(1)分離式麥克風(fēng)陣列采集語音信號，并結(jié)合最優(yōu)信噪比分析、tdoa算法，增強了復(fù)雜噪聲環(huán)境下多角度捕捉聲源信號的靈活性和覆蓋面，可以有效區(qū)分和識別主要聲源位置，從而為后續(xù)語音情感識別和機器人自然交互提供了可靠的數(shù)據(jù)源。

48、(2)采用多特征提取和融合方法，包括聲學(xué)倒譜系數(shù)、濾波器組輸出短時能量特征、聲學(xué)韻律特征和音質(zhì)特征，構(gòu)成語音情感特征向量，提高實際環(huán)境中語音情感識別的準確性，使仿人機器人能夠更好的理解用戶情感狀態(tài)，為構(gòu)建人與機器人的情感關(guān)聯(lián)提供基礎(chǔ)。

49、(3)構(gòu)建了考慮肢體姿態(tài)情感融合的機器人情感行為決策，仿人機器人能根據(jù)用戶語音識別率中的不同情感類別索引，表達出具有情感融合特性的情感行為。這不僅豐富了仿人機器人的情感表達內(nèi)涵，也增強了與用戶的情感連接，使人機交互更加生動和真實。

50、(4)由用戶語音情感構(gòu)建了仿人機器人多模態(tài)的情感交互自適應(yīng)表達，使機器人能夠根據(jù)用戶情感積極、消極和中性的屬性動態(tài)調(diào)整肢體姿態(tài)和語音表達的執(zhí)行順序。這種適應(yīng)能力進一步提升了人機互動的自然性。