本發(fā)明涉及無人機(jī)飛行控制，具體涉及一種基于多模態(tài)數(shù)據(jù)的無人機(jī)智能交互方法及系統(tǒng)。

背景技術(shù)：

1、在相關(guān)技術(shù)中，隨著無人機(jī)技術(shù)的快速發(fā)展，無人機(jī)已經(jīng)在多種不同的應(yīng)用場景中使用。傳統(tǒng)的無人機(jī)控制系統(tǒng)大多依賴于預(yù)設(shè)指令或圖形點(diǎn)擊操作的人機(jī)交互。這種基于預(yù)設(shè)輸入指令的交互模式，限制了操作員與無人機(jī)系統(tǒng)的自由度，導(dǎo)致交互效率低下，難以應(yīng)對戰(zhàn)場環(huán)境中的多變需求。

2、需要說明的是，在上述背景技術(shù)部分公開的信息僅用于加強(qiáng)對本發(fā)明的背景的理解，因此可以包括不構(gòu)成對本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種基于多模態(tài)數(shù)據(jù)的無人機(jī)智能交互方法及系統(tǒng)、一種存儲介質(zhì)、一種計算機(jī)程序產(chǎn)品，能實(shí)現(xiàn)簡便、快捷的交互控制，以及更快速的系統(tǒng)響應(yīng)，進(jìn)而能夠在一定程度上克服現(xiàn)有技術(shù)中存在的缺陷。

2、本發(fā)明的其他特性和優(yōu)點(diǎn)將通過下面的詳細(xì)描述變得顯然，或部分地通過本發(fā)明的實(shí)踐而習(xí)得。

3、根據(jù)本發(fā)明的第一方面，提供一種基于多模態(tài)數(shù)據(jù)的無人機(jī)智能交互方法，所述方法包括：

4、采集對目標(biāo)無人機(jī)的語音控制數(shù)據(jù)；

5、對所述語音控制數(shù)據(jù)進(jìn)行語音識別處理，轉(zhuǎn)換為對應(yīng)的控制文本數(shù)據(jù)；

6、對所述控制文本數(shù)據(jù)進(jìn)行語義解析處理，獲取無人機(jī)的指令數(shù)據(jù)；所述無人機(jī)的指令數(shù)據(jù)包括用于無人機(jī)執(zhí)行的：任務(wù)指令，以及任務(wù)指令對應(yīng)的控制參數(shù)；所述控制參數(shù)包括：動作指令數(shù)據(jù)和/或飛行指令數(shù)據(jù)；

7、對無人機(jī)的指令數(shù)據(jù)進(jìn)行編碼處理以獲取遙控編碼數(shù)據(jù)，并將遙控編碼數(shù)據(jù)發(fā)送至無人機(jī)以使得無人機(jī)執(zhí)行所述無人機(jī)的指令數(shù)據(jù)。

8、在一些示例性實(shí)施方式中，所述對所述語音控制數(shù)據(jù)進(jìn)行語音識別處理，包括：

9、利用已訓(xùn)練的whisper語音識別模型對所述語音控制數(shù)據(jù)進(jìn)行語音識別處理；

10、其中，所述whisper語音識別模型基于指令樣本數(shù)據(jù)訓(xùn)練；所述指令樣本數(shù)據(jù)包括基于不同方言的無人機(jī)遙控指令列表。

11、在一些示例性實(shí)施方式中，所述遙控指令列表包括任務(wù)指令，動作指令數(shù)據(jù)，以及飛行指令數(shù)據(jù)。

12、在一些示例性實(shí)施方式中，利用已訓(xùn)練的通用信息抽取模型對所述控制文本數(shù)據(jù)進(jìn)行語義解析，以提取所述控制文本數(shù)據(jù)對應(yīng)的任務(wù)指令，以及任務(wù)指令對應(yīng)的控制參數(shù)。

13、在一些示例性實(shí)施方式中，所述動作指令數(shù)據(jù)包括以下動作指令中的任意一項或多項的組合：通訊配置類、飛行控制類、回收控制類、鏈路控制類、導(dǎo)航控制類以及任務(wù)規(guī)劃類；

14、所述通訊配置類的動作指令包括無人機(jī)初始化、無人機(jī)指令循環(huán)的指令；

15、飛行控制類的動作指令包括起飛、平飛直飛、定向；

16、回收控制類的動作指令包括停車、開傘艙；

17、鏈路控制類的動作指令包括調(diào)整伺服方位角度、調(diào)整鏈路功率；

18、導(dǎo)航控制類的動作指令包括應(yīng)急時間設(shè)置、應(yīng)急返航模式設(shè)置；

19、任務(wù)規(guī)劃類的動作指令包括裝訂巡航航線、裝訂回收航線、裝訂電子圍欄。

20、在一些示例性實(shí)施方式中，所述任務(wù)指令包括：無人機(jī)巡航、目標(biāo)偵察、載荷模式、跟蹤目標(biāo)、目標(biāo)攻擊、指令確認(rèn)、返航回收、毀傷評估任務(wù)中的任意一項或任意多項的組合。

21、在一些示例性實(shí)施方式中，所述飛行指令數(shù)據(jù)包括以下任意一項或任意多項的組合：

22、位置參數(shù)、姿態(tài)參數(shù)、速度參數(shù)、無人機(jī)編號、目標(biāo)參數(shù)、載荷類型、區(qū)域參數(shù)、航線參數(shù)、任務(wù)點(diǎn)參數(shù)、任務(wù)約束參數(shù)；

23、其中，區(qū)域參數(shù)用于描述無人機(jī)所處區(qū)域類型及其相關(guān)特性。

24、在一些示例性實(shí)施方式中，所述方法還包括：

25、獲取無人機(jī)反饋的當(dāng)前圖像；所述當(dāng)前圖像包括飛行參數(shù)、位置信息、傳感器數(shù)據(jù)、任務(wù)狀態(tài)、戰(zhàn)場態(tài)勢信息中的任意一項或多項的組合；

26、對所述當(dāng)前圖像數(shù)據(jù)進(jìn)行ocr識別處理，獲取當(dāng)前圖像對應(yīng)的文本特征數(shù)據(jù)；

27、對所述文本特征數(shù)據(jù)進(jìn)行語義解析處理，以獲取語義解析結(jié)果；

28、基于語義解析結(jié)果生成輔助控制指令，對所述輔助控制指令進(jìn)行編碼處理以獲取輔助編碼數(shù)據(jù)，并將輔助編碼數(shù)據(jù)發(fā)送至無人機(jī)。

29、在一些示例性實(shí)施方式中，所述方法還包括：

30、獲取當(dāng)前任務(wù)對應(yīng)的任務(wù)計劃數(shù)據(jù)；

31、對所述任務(wù)計劃數(shù)據(jù)進(jìn)行語義解析處理，獲取對應(yīng)的任務(wù)需求數(shù)據(jù)、操作指令數(shù)據(jù)；

32、基于所述任務(wù)需求數(shù)據(jù)、操作指令數(shù)據(jù)構(gòu)建任務(wù)指令集。

33、根據(jù)本發(fā)明的第二方面，提供一種基于多模態(tài)數(shù)據(jù)的無人機(jī)智能交互系統(tǒng)，包括：

34、語音數(shù)據(jù)采集模塊，用于采集對目標(biāo)無人機(jī)的語音控制數(shù)據(jù)；

35、語音識別模塊，用于對所述語音控制數(shù)據(jù)進(jìn)行語音識別處理，轉(zhuǎn)換為對應(yīng)的控制文本數(shù)據(jù)；

36、語義解析模塊，用于對所述控制文本數(shù)據(jù)進(jìn)行語義解析處理，獲取無人機(jī)的指令數(shù)據(jù)；所述無人機(jī)的指令數(shù)據(jù)包括用于無人機(jī)執(zhí)行的：任務(wù)指令，以及任務(wù)指令對應(yīng)的控制參數(shù)；所述控制參數(shù)包括：動作指令數(shù)據(jù)和/或飛行指令數(shù)據(jù)；

37、編碼模塊，用于對無人機(jī)的指令數(shù)據(jù)進(jìn)行編碼處理以獲取遙控編碼數(shù)據(jù)，并將遙控編碼數(shù)據(jù)發(fā)送至無人機(jī)以使得無人機(jī)執(zhí)行所述無人機(jī)的指令數(shù)據(jù)。

38、根據(jù)本發(fā)明的第三方面，提供一種存儲介質(zhì)，其上存儲有計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)上述的基于多模態(tài)數(shù)據(jù)的無人機(jī)智能交互方法。

39、根據(jù)本發(fā)明的第四方面，提供一種計算機(jī)程序產(chǎn)品，其上存儲有計算機(jī)程序，計算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)上述的基于多模態(tài)數(shù)據(jù)的無人機(jī)智能交互方法。

40、本發(fā)明的實(shí)施例所提供的基于多模態(tài)數(shù)據(jù)的無人機(jī)智能交互方法，通過實(shí)時采集對用戶對目標(biāo)無人機(jī)的語音控制數(shù)據(jù)，并對其進(jìn)行語音識別處理并轉(zhuǎn)換為控制文本數(shù)據(jù)；再對控制文本數(shù)據(jù)進(jìn)行語義解析處理，從而獲取無人機(jī)的指令數(shù)據(jù)；通過對指令數(shù)據(jù)進(jìn)行編碼，并將對應(yīng)的遙控編碼數(shù)據(jù)發(fā)送至對應(yīng)的目標(biāo)無人機(jī)，從而使得目標(biāo)無人機(jī)可以及時執(zhí)行指令數(shù)據(jù)。本方法能夠?qū)崿F(xiàn)對語音控制數(shù)據(jù)進(jìn)行語義理解生成動態(tài)指令，輔助用戶調(diào)整和優(yōu)化控制指令，并提高了指令輸入的靈活性，使得無人機(jī)在任務(wù)執(zhí)行過程中減少了對操作員手動操作的依賴，實(shí)現(xiàn)了高效、安全、靈活的無人機(jī)控制，使其在復(fù)雜多變的環(huán)境下能夠高效完成多樣化任務(wù)。

41、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本發(fā)明。

技術(shù)特征：

1.一種基于多模態(tài)數(shù)據(jù)的無人機(jī)智能交互方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所述語音控制數(shù)據(jù)進(jìn)行語音識別處理，包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述遙控指令列表包括任務(wù)指令，動作指令數(shù)據(jù)，以及飛行指令數(shù)據(jù)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所述控制文本數(shù)據(jù)進(jìn)行語義識別處理，包括：

5.根據(jù)權(quán)利要求3或4所述的方法，其特征在于，所述動作指令數(shù)據(jù)包括以下動作指令中的任意一項或多項的組合：通訊配置類、飛行控制類、回收控制類、鏈路控制類、導(dǎo)航控制類以及任務(wù)規(guī)劃類；

6.根據(jù)權(quán)利要求3或4所述的方法，其特征在于，所述任務(wù)指令包括：無人機(jī)巡航、目標(biāo)偵察、載荷模式、跟蹤目標(biāo)、目標(biāo)攻擊、指令確認(rèn)、返航回收、毀傷評估任務(wù)中的任意一項或任意多項的組合。

7.根據(jù)權(quán)利要求3或4所述的方法，其特征在于，所述飛行指令數(shù)據(jù)包括以下任意一項或任意多項的組合：

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

9.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

10.一種基于多模態(tài)數(shù)據(jù)的無人機(jī)智能交互系統(tǒng)，其特征在于，所述系統(tǒng)包括：

技術(shù)總結(jié)
本發(fā)明具體涉及一種基于多模態(tài)數(shù)據(jù)的無人機(jī)智能交互方法及系統(tǒng)。所述方法包括：采集對目標(biāo)無人機(jī)的語音控制數(shù)據(jù)；對所述語音控制數(shù)據(jù)進(jìn)行語音識別處理，轉(zhuǎn)換為對應(yīng)的控制文本數(shù)據(jù)；對所述控制文本數(shù)據(jù)進(jìn)行語義解析處理，獲取無人機(jī)的指令數(shù)據(jù)；所述無人機(jī)的指令數(shù)據(jù)包括用于無人機(jī)執(zhí)行的：任務(wù)指令，以及任務(wù)指令對應(yīng)的控制參數(shù)；所述控制參數(shù)包括：動作指令數(shù)據(jù)和/或飛行指令數(shù)據(jù)；對無人機(jī)的指令數(shù)據(jù)進(jìn)行編碼處理以獲取遙控編碼數(shù)據(jù)，并將遙控編碼數(shù)據(jù)發(fā)送至目標(biāo)無人機(jī)以使得目標(biāo)無人機(jī)執(zhí)行所述無人機(jī)的指令數(shù)據(jù)。本方法能夠?qū)崿F(xiàn)高效、安全、靈活的無人機(jī)控制，使其在復(fù)雜多變的環(huán)境下能夠高效完成多樣化任務(wù)。

技術(shù)研發(fā)人員：張睿澤,周利軍,賀嬌,劉利偉
受保護(hù)的技術(shù)使用者：西安愛生技術(shù)集團(tuán)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/22