本技術(shù)涉及機(jī)器人控制，尤其涉及一種基于聲音信息的機(jī)械臂控制方法、裝置及電子設(shè)備。

背景技術(shù)：

1、隨著人工智能(artificial?intelligence，ai)技術(shù)和機(jī)器人技術(shù)的不斷發(fā)展，作為機(jī)器人常見基礎(chǔ)形態(tài)的機(jī)械臂已經(jīng)被廣泛應(yīng)用于日常生活中的多個(gè)領(lǐng)域。在相關(guān)應(yīng)用場(chǎng)景中，機(jī)械臂通常是根據(jù)針對(duì)預(yù)先設(shè)定的動(dòng)作指令，完成該動(dòng)作指令對(duì)應(yīng)的一系列動(dòng)作。

2、因此，采用上述的機(jī)械臂控制方式，由于預(yù)先設(shè)定的動(dòng)作指令是固定的控制指令，這會(huì)導(dǎo)致機(jī)械臂完成的該動(dòng)作指令對(duì)應(yīng)的一系列動(dòng)作也是固定的，互動(dòng)性較差，難以滿足不同用戶的機(jī)械臂控制需求。

3、有鑒于此，如何在機(jī)械臂控制過程中實(shí)現(xiàn)機(jī)械臂與聲音信息之間的良好互動(dòng)是目前亟需解決的問題。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供了一種基于聲音信息的機(jī)械臂控制方法、裝置及電子設(shè)備，用以在機(jī)械臂控制過程中實(shí)現(xiàn)機(jī)械臂與聲音信息之間的良好互動(dòng)。

2、第一方面，本技術(shù)實(shí)施例提供了一種基于聲音信息的機(jī)械臂控制方法，所述方法包括：

3、從采集到的機(jī)械臂所處環(huán)境的環(huán)境聲音信息中，獲取目標(biāo)聲音信息；目標(biāo)聲音信息包括控制機(jī)械臂運(yùn)動(dòng)的運(yùn)動(dòng)控制關(guān)鍵詞；

4、對(duì)目標(biāo)聲音信息進(jìn)行特征提取，獲得第一特征集和第二特征集；其中，第一特征集包括目標(biāo)聲音信息的多個(gè)物理特征，第二特征集包括目標(biāo)聲音信息的多個(gè)語(yǔ)義特征；

5、基于第一特征集和第二特征集，確定機(jī)械臂的目標(biāo)表演數(shù)據(jù)和目標(biāo)表演數(shù)據(jù)關(guān)聯(lián)的動(dòng)作指令集；

6、基于動(dòng)作指令集控制機(jī)械臂展示目標(biāo)表演數(shù)據(jù)。

7、在一種可選的實(shí)施例中，從采集到的機(jī)械臂所處環(huán)境的環(huán)境聲音信息中，獲取目標(biāo)聲音信息，包括：

8、對(duì)環(huán)境聲音信息進(jìn)行降噪處理，濾除環(huán)境聲音信息中包括的環(huán)境噪聲，獲得降噪處理后的環(huán)境聲音信息；

9、對(duì)降噪處理后的環(huán)境聲音信息進(jìn)行歸一化處理，獲得目標(biāo)聲音信息。

10、在一種可選的實(shí)施例中，對(duì)目標(biāo)聲音信息進(jìn)行特征提取，獲得第一特征集和第二特征集，包括：

11、基于針對(duì)多個(gè)物理特征分別設(shè)置的聲音特征提取方式，對(duì)目標(biāo)聲音信息進(jìn)行聲音特征提取，獲得第一特征集；以及，

12、對(duì)目標(biāo)聲音信息進(jìn)行語(yǔ)義分析，獲得第二特征集。

13、在一種可選的實(shí)施例中，第一特征集包括音調(diào)特征、音量特征、音色特征、語(yǔ)速特征、持續(xù)時(shí)間特征和空間位置特征中的任意一種或者組合；其中，持續(xù)時(shí)間特征用于表征目標(biāo)聲音信息的持續(xù)時(shí)長(zhǎng)，空間位置特征用于表征目標(biāo)聲音信息對(duì)應(yīng)的聲源位置坐標(biāo)。

14、在一種可選的實(shí)施例中，基于第一特征集和第二特征集，確定機(jī)械臂的目標(biāo)表演數(shù)據(jù)和目標(biāo)表演數(shù)據(jù)關(guān)聯(lián)的動(dòng)作指令集，包括：

15、從預(yù)設(shè)的候選表演數(shù)據(jù)集合中，確定與第二特征集中表征運(yùn)動(dòng)控制關(guān)鍵詞的目標(biāo)語(yǔ)義特征相匹配的目標(biāo)表演數(shù)據(jù)；

16、基于預(yù)設(shè)的特征與動(dòng)作參數(shù)之間的映射關(guān)系，以及第一特征集包括的多個(gè)物理特征和第二特征集合中除目標(biāo)語(yǔ)義特征之外的至少一個(gè)語(yǔ)義特征，確定目標(biāo)表演數(shù)據(jù)中的每個(gè)動(dòng)作分別對(duì)應(yīng)的動(dòng)作參數(shù)子集；

17、基于獲得的多個(gè)動(dòng)作參數(shù)子集生成動(dòng)作指令集。

18、在一種可選的實(shí)施例中，基于獲得的多個(gè)動(dòng)作參數(shù)子集生成動(dòng)作指令集，包括：

19、針對(duì)多個(gè)動(dòng)作參數(shù)子集，分別執(zhí)行以下操作：

20、基于預(yù)設(shè)的動(dòng)作參數(shù)與動(dòng)作指令之間的轉(zhuǎn)換關(guān)系，生成第一動(dòng)作參數(shù)子集對(duì)應(yīng)的第一動(dòng)作指令；其中，第一動(dòng)作參數(shù)子集為多個(gè)動(dòng)作參數(shù)子集中的任意一個(gè)；

21、將第一動(dòng)作指令保存至動(dòng)作指令集中。

22、在一種可選的實(shí)施例中，基于動(dòng)作指令集控制機(jī)械臂展示目標(biāo)表演數(shù)據(jù)，包括：

23、按照動(dòng)作指令集中包括的多個(gè)動(dòng)作指令的指令執(zhí)行順序，控制機(jī)械臂展示目標(biāo)表演數(shù)據(jù)中包括的多個(gè)動(dòng)作；

24、其中，在機(jī)械臂的每展示一個(gè)動(dòng)作之后，執(zhí)行以下操作：

25、獲取機(jī)械臂當(dāng)前時(shí)刻展示的動(dòng)作的反饋信息；反饋信息用于指示動(dòng)作的完成情況，以及與當(dāng)前時(shí)刻相鄰的下一時(shí)刻的第一特征子集和第二特征子集；

26、基于反饋信息對(duì)預(yù)設(shè)的特征與動(dòng)作參數(shù)之間的映射關(guān)系和預(yù)設(shè)的動(dòng)作參數(shù)與動(dòng)作指令之間的轉(zhuǎn)換關(guān)系進(jìn)行修改，獲得修改后的映射關(guān)系和修改后的轉(zhuǎn)換關(guān)系；

27、基于修改后的映射關(guān)系和修改后的轉(zhuǎn)換關(guān)系調(diào)整下一時(shí)刻的運(yùn)動(dòng)指令。

28、在一種可選的實(shí)施例中，基于反饋信息對(duì)預(yù)設(shè)的特征與動(dòng)作參數(shù)之間的映射關(guān)系和預(yù)設(shè)的動(dòng)作參數(shù)與動(dòng)作指令之間的轉(zhuǎn)換關(guān)系進(jìn)行修改，包括：

29、基于反饋信息確定映射關(guān)系的第一修改因子和轉(zhuǎn)換關(guān)系的第二修改因子；

30、基于第一修改因子對(duì)映射關(guān)系進(jìn)行修改，以及基于第二修改因子對(duì)轉(zhuǎn)換關(guān)系進(jìn)行修改。

31、第二方面，本技術(shù)實(shí)施例還提供了一種基于聲音信息的機(jī)械臂控制裝置，所述裝置包括：

32、信息獲取模塊，用于從采集到的機(jī)械臂所處環(huán)境的環(huán)境聲音信息中，獲取目標(biāo)聲音信息；目標(biāo)聲音信息包括控制機(jī)械臂運(yùn)動(dòng)的運(yùn)動(dòng)控制關(guān)鍵詞；

33、特征提取模塊，用于對(duì)目標(biāo)聲音信息進(jìn)行特征提取，獲得第一特征集和第二特征集；其中，第一特征集包括目標(biāo)聲音信息的多個(gè)物理特征，第二特征集包括目標(biāo)聲音信息的多個(gè)語(yǔ)義特征；

34、指令確定模塊，用于基于第一特征集和第二特征集，確定機(jī)械臂的目標(biāo)表演數(shù)據(jù)和目標(biāo)表演數(shù)據(jù)關(guān)聯(lián)的動(dòng)作指令集；

35、指令控制模塊，用于基于動(dòng)作指令集控制機(jī)械臂展示目標(biāo)表演數(shù)據(jù)。

36、在一種可選的實(shí)施例中，在從采集到的機(jī)械臂所處環(huán)境的環(huán)境聲音信息中，獲取目標(biāo)聲音信息時(shí)，信息獲取模塊具體用于：

37、對(duì)環(huán)境聲音信息進(jìn)行降噪處理，濾除環(huán)境聲音信息中包括的環(huán)境噪聲，獲得降噪處理后的環(huán)境聲音信息；

38、對(duì)降噪處理后的環(huán)境聲音信息進(jìn)行歸一化處理，獲得目標(biāo)聲音信息。

39、在一種可選的實(shí)施例中，在對(duì)目標(biāo)聲音信息進(jìn)行特征提取，獲得第一特征集和第二特征集時(shí)，特征提取模塊具體用于：

40、基于針對(duì)多個(gè)物理特征分別設(shè)置的聲音特征提取方式，對(duì)目標(biāo)聲音信息進(jìn)行聲音特征提取，獲得第一特征集；以及，

41、對(duì)目標(biāo)聲音信息進(jìn)行語(yǔ)義分析，獲得第二特征集。

42、在一種可選的實(shí)施例中，在基于第一特征集和第二特征集，確定機(jī)械臂的目標(biāo)表演數(shù)據(jù)和目標(biāo)表演數(shù)據(jù)關(guān)聯(lián)的動(dòng)作指令集時(shí)，指令確定模塊具體用于：

43、從預(yù)設(shè)的候選表演數(shù)據(jù)集合中，確定與第二特征集中表征運(yùn)動(dòng)控制關(guān)鍵詞的目標(biāo)語(yǔ)義特征相匹配的目標(biāo)表演數(shù)據(jù)；

44、基于預(yù)設(shè)的特征與動(dòng)作參數(shù)之間的映射關(guān)系，以及第一特征集包括的多個(gè)物理特征和第二特征集合中除目標(biāo)語(yǔ)義特征之外的至少一個(gè)語(yǔ)義特征，確定目標(biāo)表演數(shù)據(jù)中的每個(gè)動(dòng)作分別對(duì)應(yīng)的動(dòng)作參數(shù)子集；

45、基于獲得的多個(gè)動(dòng)作參數(shù)子集生成動(dòng)作指令集。

46、在一種可選的實(shí)施例中，在基于獲得的多個(gè)動(dòng)作參數(shù)子集生成動(dòng)作指令集時(shí)，指令確定模塊具體用于：

47、針對(duì)多個(gè)動(dòng)作參數(shù)子集，分別執(zhí)行以下操作：

48、基于預(yù)設(shè)的動(dòng)作參數(shù)與動(dòng)作指令之間的轉(zhuǎn)換關(guān)系，生成第一動(dòng)作參數(shù)子集對(duì)應(yīng)的第一動(dòng)作指令；其中，第一動(dòng)作參數(shù)子集為多個(gè)動(dòng)作參數(shù)子集中的任意一個(gè)；

49、將第一動(dòng)作指令保存至動(dòng)作指令集中。

50、在一種可選的實(shí)施例中，在基于動(dòng)作指令集控制機(jī)械臂展示目標(biāo)表演數(shù)據(jù)時(shí)，指令控制模塊具體用于：

51、按照動(dòng)作指令集中包括的多個(gè)動(dòng)作指令的指令執(zhí)行順序，控制機(jī)械臂展示目標(biāo)表演數(shù)據(jù)中包括的多個(gè)動(dòng)作；

52、其中，在機(jī)械臂的每展示一個(gè)動(dòng)作之后，執(zhí)行以下操作：

53、獲取機(jī)械臂當(dāng)前時(shí)刻展示的動(dòng)作的反饋信息；反饋信息用于指示動(dòng)作的完成情況，以及與當(dāng)前時(shí)刻相鄰的下一時(shí)刻的第一特征子集和第二特征子集；

54、基于反饋信息對(duì)預(yù)設(shè)的特征與動(dòng)作參數(shù)之間的映射關(guān)系和預(yù)設(shè)的動(dòng)作參數(shù)與動(dòng)作指令之間的轉(zhuǎn)換關(guān)系進(jìn)行修改，獲得修改后的映射關(guān)系和修改后的轉(zhuǎn)換關(guān)系；

55、基于修改后的映射關(guān)系和修改后的轉(zhuǎn)換關(guān)系調(diào)整下一時(shí)刻的運(yùn)動(dòng)指令。

56、在一種可選的實(shí)施例中，在基于反饋信息對(duì)預(yù)設(shè)的特征與動(dòng)作參數(shù)之間的映射關(guān)系和預(yù)設(shè)的動(dòng)作參數(shù)與動(dòng)作指令之間的轉(zhuǎn)換關(guān)系進(jìn)行修改時(shí)，指令控制模塊具體用于：

57、基于反饋信息確定映射關(guān)系的第一修改因子和轉(zhuǎn)換關(guān)系的第二修改因子；

58、基于第一修改因子對(duì)映射關(guān)系進(jìn)行修改，以及基于第二修改因子對(duì)轉(zhuǎn)換關(guān)系進(jìn)行修改。

59、第三方面，本技術(shù)實(shí)施例還提供了一種電子設(shè)備，包括：

60、處理器；以及

61、存儲(chǔ)程序的存儲(chǔ)器，

62、其中，程序包括指令，指令在由處理器執(zhí)行時(shí)使處理器執(zhí)行如第一方面所述的基于聲音信息的機(jī)械臂控制方法。

63、第四方面，本技術(shù)實(shí)施例還提供了一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，計(jì)算機(jī)指令用于使計(jì)算機(jī)執(zhí)行如第一方面所述的基于聲音信息的機(jī)械臂控制方法。

64、第五方面，本技術(shù)提供了一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品在被計(jì)算機(jī)調(diào)用時(shí)，使得所述計(jì)算機(jī)執(zhí)行如第一方面所述的基于聲音信息的機(jī)械臂控制方法步驟。

65、本技術(shù)有益效果如下：

66、在本技術(shù)實(shí)施例所提供的基于聲音信息的機(jī)械臂控制方法中，在獲得采集到的機(jī)械臂所處環(huán)境的環(huán)境聲音信息之后，可以對(duì)環(huán)境聲音信息中包括的目標(biāo)聲音信息進(jìn)行特征提取，獲得包括多個(gè)物理特征的第一特征集和包括多個(gè)語(yǔ)義特征的第二特征集，從而根據(jù)第一特征集和第二特征集，確定機(jī)械臂的目標(biāo)表演數(shù)據(jù)和目標(biāo)表演數(shù)據(jù)關(guān)聯(lián)的動(dòng)作指令集，進(jìn)而基于動(dòng)作指令集控制機(jī)械臂展示目標(biāo)表演數(shù)據(jù)。由此可見，根據(jù)目標(biāo)聲音信息可以實(shí)現(xiàn)機(jī)械臂動(dòng)作的實(shí)時(shí)調(diào)整和動(dòng)態(tài)響應(yīng)，從而增加了在機(jī)械臂控制過程中的交互性和靈活性。

67、此外，本技術(shù)的其它特征和優(yōu)點(diǎn)將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者，通過實(shí)施本技術(shù)而了解。本技術(shù)的目的和其他優(yōu)點(diǎn)可通過在所寫的說明書、權(quán)利要求書、以及附圖中所特別指出的結(jié)構(gòu)來實(shí)現(xiàn)和獲得。