本技術(shù)涉及人工智能，特別是涉及一種無人機(jī)集群多動(dòng)態(tài)目標(biāo)自主追蹤方法和裝置。

背景技術(shù)：

1、隨著智能化技術(shù)的發(fā)展，自主無人集群系統(tǒng)越來越受到人們的重視，無人機(jī)（unmanned?aerial?vehicle,?簡(jiǎn)稱uav）憑借其低成本性、高機(jī)動(dòng)性、環(huán)境適應(yīng)性等特點(diǎn)受到廣泛運(yùn)用。uav集群多動(dòng)態(tài)目標(biāo)追蹤任務(wù)，具有復(fù)雜度高、非線性等特點(diǎn)。傳統(tǒng)的路徑規(guī)劃方法，如人工勢(shì)場(chǎng)法（artificial?potential?field，簡(jiǎn)稱apf）等，可以計(jì)算出一條初步的路徑，但是較難做出很高成功率的實(shí)時(shí)狀態(tài)評(píng)估和運(yùn)動(dòng)決策，容易受到建模精度、環(huán)境噪聲等干擾。因此如何提升無人機(jī)集群的多動(dòng)態(tài)目標(biāo)追蹤的精準(zhǔn)度是當(dāng)前的研究重點(diǎn)。

2、在現(xiàn)有研究中，通常使用端到端的強(qiáng)化學(xué)習(xí)方法進(jìn)行uav集群多動(dòng)態(tài)目標(biāo)追蹤。由于任務(wù)可達(dá)地圖范圍大、uav機(jī)動(dòng)性強(qiáng)，所以端到端marl具有狀態(tài)空間非常大的特點(diǎn)，導(dǎo)致算法想要訓(xùn)練得到可用策略的難度大，獎(jiǎng)勵(lì)函數(shù)收斂困難，難以在有限的時(shí)間內(nèi)生成達(dá)到成功率指標(biāo)的追蹤策略。從而導(dǎo)致對(duì)多動(dòng)態(tài)目標(biāo)追蹤的效率較低。

技術(shù)實(shí)現(xiàn)思路

1、基于此，有必要針對(duì)上述技術(shù)問題，提供一種無人機(jī)集群多動(dòng)態(tài)目標(biāo)自主追蹤方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。

2、第一方面，本技術(shù)提供了一種無人機(jī)集群多動(dòng)態(tài)目標(biāo)自主追蹤方法，包括：

3、獲取無人機(jī)集群的集群信息、所述無人機(jī)集群所處的環(huán)境信息、以及所述無人機(jī)集群的行為數(shù)據(jù)信息，并基于所述集群信息、以及所述環(huán)境信息，構(gòu)建所述無人機(jī)集群的場(chǎng)景模型；

4、基于所述無人機(jī)集群的行為數(shù)據(jù)信息，構(gòu)建所述無人機(jī)集群的集群行為模型，并基于所述場(chǎng)景模型，通過集群路徑規(guī)劃策略，生成所述集群行為模型的路徑規(guī)劃信息；

5、基于所述路徑規(guī)劃信息，通過所述場(chǎng)景模型，識(shí)別所述無人機(jī)集群、與各動(dòng)態(tài)目標(biāo)集群之間的距離信息，并在所述距離信息滿足預(yù)設(shè)距離條件時(shí)，基于所述場(chǎng)景模型，通過多動(dòng)態(tài)目標(biāo)追蹤算法，生成所述無人機(jī)集群的動(dòng)態(tài)追蹤控制策略；

6、基于所述動(dòng)態(tài)追蹤控制策略，控制所述無人機(jī)集群，對(duì)各所述動(dòng)態(tài)目標(biāo)集群進(jìn)行追蹤處理，完成所述無人機(jī)集群的多動(dòng)態(tài)目標(biāo)自主追蹤任務(wù)。

7、可選的，所述基于所述集群信息、以及所述環(huán)境信息，構(gòu)建所述無人機(jī)集群的場(chǎng)景模型，包括：

8、基于所述環(huán)境信息，識(shí)別所述無人機(jī)集群所處環(huán)境的各限制物信息、以及所述無人機(jī)集群所處環(huán)境的動(dòng)態(tài)目標(biāo)集群的初始目標(biāo)位置信息，并基于所述集群信息，識(shí)別所述無人機(jī)集群的各無人機(jī)的初始無人機(jī)位置信息、以及所述動(dòng)態(tài)目標(biāo)集群的集群目標(biāo)的集群目標(biāo)位置信息；

9、基于各所述限制物信息，構(gòu)建所述無人機(jī)集群的場(chǎng)景平面模型，并基于所述動(dòng)態(tài)目標(biāo)集群的初始目標(biāo)位置信息、各所述無人機(jī)的初始無人機(jī)位置信息、以及所述動(dòng)態(tài)目標(biāo)集群的集群目標(biāo)的集群目標(biāo)位置信息，在所述場(chǎng)景平面模型中，識(shí)別所述無人機(jī)集群的無人機(jī)位置參數(shù)、所述動(dòng)態(tài)目標(biāo)集群的目標(biāo)位置參數(shù)、以及集群目標(biāo)的集群目標(biāo)位置參數(shù)；

10、將所述無人機(jī)集群的無人機(jī)位置參數(shù)、所述動(dòng)態(tài)目標(biāo)集群的目標(biāo)位置參數(shù)、以及集群目標(biāo)的集群目標(biāo)位置參數(shù)，添加到所述場(chǎng)景平面模型中，得到所述無人機(jī)集群的場(chǎng)景模型。

11、可選的，所述基于所述無人機(jī)集群的行為數(shù)據(jù)信息，構(gòu)建所述無人機(jī)集群的集群行為模型，包括：

12、針對(duì)所述無人機(jī)集群的每個(gè)無人機(jī)，基于所述無人機(jī)的行為數(shù)據(jù)信息，識(shí)別所述無人機(jī)的速度信息、以及所述無人機(jī)的位置信息；

13、基于所述無人機(jī)的速度信息，通過運(yùn)動(dòng)模型建模策略，構(gòu)建所述無人機(jī)的運(yùn)動(dòng)模型，并基于所述無人機(jī)的位置信息，通過位置狀態(tài)算法，生成所述無人機(jī)的位置狀態(tài)遞進(jìn)信息；

14、將所述無人機(jī)的運(yùn)動(dòng)模型、以及所述無人機(jī)的位置狀態(tài)遞進(jìn)信息，作為所述無人機(jī)的無人機(jī)行為模型，并將所有無人機(jī)行為模型，作為所述無人機(jī)集群的集群行為模型。

15、可選的，所述基于所述場(chǎng)景模型，通過集群路徑規(guī)劃策略，生成所述集群行為模型的路徑規(guī)劃信息，包括：

16、識(shí)別所述無人機(jī)集群在所述場(chǎng)景模型中的無人機(jī)位置分布信息、所述動(dòng)態(tài)目標(biāo)集群在所述場(chǎng)景模型中的目標(biāo)位置分布信息、以及所述場(chǎng)景模型中的各限制物的限制位置信息；

17、基于所述無人機(jī)位置分布信息、所述目標(biāo)位置分布信息、以及各所述限制位置信息，通過集群路徑規(guī)劃策略，生成每個(gè)無人機(jī)的所述集群行為模型的路徑規(guī)劃信息。

18、可選的，所述基于所述路徑規(guī)劃信息，通過所述場(chǎng)景模型，識(shí)別所述無人機(jī)集群、與各動(dòng)態(tài)目標(biāo)集群之間的距離信息，包括：

19、基于所述路徑規(guī)劃信息，通過所述場(chǎng)景模型，模擬所述集群行為模型的目標(biāo)追蹤過程，得到所述無人機(jī)集群的新無人機(jī)位置分布信息、以及所述動(dòng)態(tài)目標(biāo)集群的新目標(biāo)位置分布信息；

20、基于所述新目標(biāo)位置分布信息、以及所述新無人機(jī)位置分布信息，通過中心位置劃分算法，識(shí)別所述動(dòng)態(tài)目標(biāo)集群的目標(biāo)中心位置信息、以及所述無人機(jī)集群的無人機(jī)中心位置信息，并基于所述目標(biāo)中心位置信息、以及所述無人機(jī)中心位置信息，計(jì)算所述無人機(jī)集群、與各動(dòng)態(tài)目標(biāo)集群之間的距離信息。

21、可選的，所述在所述距離信息滿足預(yù)設(shè)距離條件時(shí)，基于所述場(chǎng)景模型，通過多動(dòng)態(tài)目標(biāo)追蹤算法，生成所述無人機(jī)集群的動(dòng)態(tài)追蹤控制策略，包括：

22、在所述距離信息低于預(yù)設(shè)距離閾值時(shí)，確定所述距離信息滿足預(yù)設(shè)距離條件，并基于各所述無人機(jī)的新無人機(jī)位置分布信息、以及所述動(dòng)態(tài)目標(biāo)集群的新目標(biāo)位置分布信息，更新所述場(chǎng)景模型，得到新場(chǎng)景模型；

23、基于所述無人機(jī)集群的新無人機(jī)位置分布信息、以及所述動(dòng)態(tài)目標(biāo)集群的新目標(biāo)位置分布信息、以及所述集群目標(biāo)的集群目標(biāo)位置信息，通過多動(dòng)態(tài)目標(biāo)追蹤算法，生成所述無人機(jī)集群的各無人機(jī)的新追蹤路線；

24、基于各所述無人機(jī)的新追蹤路線，更新所述新場(chǎng)景模型，得到所述無人機(jī)集群的當(dāng)前無人機(jī)位置分布信息、以及所述動(dòng)態(tài)目標(biāo)集群的當(dāng)前目標(biāo)位置分布信息，并在不存在無人機(jī)的當(dāng)前位置信息、與所述動(dòng)態(tài)目標(biāo)集群當(dāng)前目標(biāo)位置分布信息相重疊的情況下，將所述無人機(jī)集群的當(dāng)前無人機(jī)位置分布信息，替換所述無人機(jī)集群的新無人機(jī)位置分布信息，將所述動(dòng)態(tài)目標(biāo)集群的當(dāng)前目標(biāo)位置分布信息，替換所述動(dòng)態(tài)目標(biāo)集群的當(dāng)前目標(biāo)位置分布信息；

25、返回執(zhí)行基于所述無人機(jī)集群的新無人機(jī)位置分布信息、以及所述動(dòng)態(tài)目標(biāo)集群的新目標(biāo)位置分布信息、以及所述集群目標(biāo)的集群目標(biāo)位置信息，通過多動(dòng)態(tài)目標(biāo)追蹤算法，生成所述無人機(jī)集群的各無人機(jī)的新追蹤路線步驟，直到存在無人機(jī)的當(dāng)前位置信息、與所述動(dòng)態(tài)目標(biāo)集群當(dāng)前目標(biāo)位置分布信息相重疊時(shí)，將每次迭代得到的新追蹤路線，按照每個(gè)新追蹤路線的生成時(shí)間順序，匯總得到所述無人機(jī)集群的動(dòng)態(tài)追蹤控制策略。

26、第二方面，本技術(shù)還提供了一種無人機(jī)集群多動(dòng)態(tài)目標(biāo)自主追蹤裝置，包括：

27、獲取模塊，用于獲取無人機(jī)集群的集群信息、所述無人機(jī)集群所處的環(huán)境信息、以及所述無人機(jī)集群的行為數(shù)據(jù)信息，并基于所述集群信息、以及所述環(huán)境信息，構(gòu)建所述無人機(jī)集群的場(chǎng)景模型；

28、生成模塊，用于基于所述無人機(jī)集群的行為數(shù)據(jù)信息，構(gòu)建所述無人機(jī)集群的集群行為模型，并基于所述場(chǎng)景模型，通過集群路徑規(guī)劃策略，生成所述集群行為模型的路徑規(guī)劃信息；

29、識(shí)別模塊，用于基于所述路徑規(guī)劃信息，通過所述場(chǎng)景模型，識(shí)別所述無人機(jī)集群、與各動(dòng)態(tài)目標(biāo)集群之間的距離信息，并在所述距離信息滿足預(yù)設(shè)距離條件時(shí)，基于所述場(chǎng)景模型，通過多動(dòng)態(tài)目標(biāo)追蹤算法，生成所述無人機(jī)集群的動(dòng)態(tài)追蹤控制策略；

30、控制模塊，用于基于所述動(dòng)態(tài)追蹤控制策略，控制所述無人機(jī)集群，對(duì)各所述動(dòng)態(tài)目標(biāo)集群進(jìn)行追蹤處理，完成所述無人機(jī)集群的多動(dòng)態(tài)目標(biāo)自主追蹤任務(wù)。

31、可選的，所述獲取模塊，具體用于：

32、基于所述環(huán)境信息，識(shí)別所述無人機(jī)集群所處環(huán)境的各限制物信息、以及所述無人機(jī)集群所處環(huán)境的動(dòng)態(tài)目標(biāo)集群的初始目標(biāo)位置信息，并基于所述集群信息，識(shí)別所述無人機(jī)集群的各無人機(jī)的初始無人機(jī)位置信息、以及所述動(dòng)態(tài)目標(biāo)集群的集群目標(biāo)的集群目標(biāo)位置信息；

33、基于各所述限制物信息，構(gòu)建所述無人機(jī)集群的場(chǎng)景平面模型，并基于所述動(dòng)態(tài)目標(biāo)集群的初始目標(biāo)位置信息、各所述無人機(jī)的初始無人機(jī)位置信息、以及所述動(dòng)態(tài)目標(biāo)集群的集群目標(biāo)的集群目標(biāo)位置信息，在所述場(chǎng)景平面模型中，識(shí)別所述無人機(jī)集群的無人機(jī)位置參數(shù)、所述動(dòng)態(tài)目標(biāo)集群的目標(biāo)位置參數(shù)、以及集群目標(biāo)的集群目標(biāo)位置參數(shù)；

34、將所述無人機(jī)集群的無人機(jī)位置參數(shù)、所述動(dòng)態(tài)目標(biāo)集群的目標(biāo)位置參數(shù)、以及集群目標(biāo)的集群目標(biāo)位置參數(shù)，添加到所述場(chǎng)景平面模型中，得到所述無人機(jī)集群的場(chǎng)景模型。

35、可選的，所述生成模塊，具體用于：

36、針對(duì)所述無人機(jī)集群的每個(gè)無人機(jī)，基于所述無人機(jī)的行為數(shù)據(jù)信息，識(shí)別所述無人機(jī)的速度信息、以及所述無人機(jī)的位置信息；

37、基于所述無人機(jī)的速度信息，通過運(yùn)動(dòng)模型建模策略，構(gòu)建所述無人機(jī)的運(yùn)動(dòng)模型，并基于所述無人機(jī)的位置信息，通過位置狀態(tài)算法，生成所述無人機(jī)的位置狀態(tài)遞進(jìn)信息；

38、將所述無人機(jī)的運(yùn)動(dòng)模型、以及所述無人機(jī)的位置狀態(tài)遞進(jìn)信息，作為所述無人機(jī)的無人機(jī)行為模型，并將所有無人機(jī)行為模型，作為所述無人機(jī)集群的集群行為模型。

39、可選的，所述生成模塊，具體用于：

40、識(shí)別所述無人機(jī)集群在所述場(chǎng)景模型中的無人機(jī)位置分布信息、所述動(dòng)態(tài)目標(biāo)集群在所述場(chǎng)景模型中的目標(biāo)位置分布信息、以及所述場(chǎng)景模型中的各限制物的限制位置信息；

41、基于所述無人機(jī)位置分布信息、所述目標(biāo)位置分布信息、以及各所述限制位置信息，通過集群路徑規(guī)劃策略，生成每個(gè)無人機(jī)的所述集群行為模型的路徑規(guī)劃信息。

42、可選的，所述識(shí)別模塊，具體用于：

43、基于所述路徑規(guī)劃信息，通過所述場(chǎng)景模型，模擬所述集群行為模型的目標(biāo)追蹤過程，得到所述無人機(jī)集群的新無人機(jī)位置分布信息、以及所述動(dòng)態(tài)目標(biāo)集群的新目標(biāo)位置分布信息；

44、基于所述新目標(biāo)位置分布信息、以及所述新無人機(jī)位置分布信息，通過中心位置劃分算法，識(shí)別所述動(dòng)態(tài)目標(biāo)集群的目標(biāo)中心位置信息、以及所述無人機(jī)集群的無人機(jī)中心位置信息，并基于所述目標(biāo)中心位置信息、以及所述無人機(jī)中心位置信息，計(jì)算所述無人機(jī)集群、與各動(dòng)態(tài)目標(biāo)集群之間的距離信息。

45、可選的，所述識(shí)別模塊，具體用于：

46、在所述距離信息低于預(yù)設(shè)距離閾值時(shí)，確定所述距離信息滿足預(yù)設(shè)距離條件，并基于各所述無人機(jī)的新無人機(jī)位置分布信息、以及所述動(dòng)態(tài)目標(biāo)集群的新目標(biāo)位置分布信息，更新所述場(chǎng)景模型，得到新場(chǎng)景模型；

47、基于所述無人機(jī)集群的新無人機(jī)位置分布信息、以及所述動(dòng)態(tài)目標(biāo)集群的新目標(biāo)位置分布信息、以及所述集群目標(biāo)的集群目標(biāo)位置信息，通過多動(dòng)態(tài)目標(biāo)追蹤算法，生成所述無人機(jī)集群的各無人機(jī)的新追蹤路線；

48、基于各所述無人機(jī)的新追蹤路線，更新所述新場(chǎng)景模型，得到所述無人機(jī)集群的當(dāng)前無人機(jī)位置分布信息、以及所述動(dòng)態(tài)目標(biāo)集群的當(dāng)前目標(biāo)位置分布信息，并在不存在無人機(jī)的當(dāng)前位置信息、與所述動(dòng)態(tài)目標(biāo)集群當(dāng)前目標(biāo)位置分布信息相重疊的情況下，將所述無人機(jī)集群的當(dāng)前無人機(jī)位置分布信息，替換所述無人機(jī)集群的新無人機(jī)位置分布信息，將所述動(dòng)態(tài)目標(biāo)集群的當(dāng)前目標(biāo)位置分布信息，替換所述動(dòng)態(tài)目標(biāo)集群的當(dāng)前目標(biāo)位置分布信息；

49、返回執(zhí)行基于所述無人機(jī)集群的新無人機(jī)位置分布信息、以及所述動(dòng)態(tài)目標(biāo)集群的新目標(biāo)位置分布信息、以及所述集群目標(biāo)的集群目標(biāo)位置信息，通過多動(dòng)態(tài)目標(biāo)追蹤算法，生成所述無人機(jī)集群的各無人機(jī)的新追蹤路線步驟，直到存在無人機(jī)的當(dāng)前位置信息、與所述動(dòng)態(tài)目標(biāo)集群當(dāng)前目標(biāo)位置分布信息相重疊時(shí)，將每次迭代得到的新追蹤路線，按照每個(gè)新追蹤路線的生成時(shí)間順序，匯總得到所述無人機(jī)集群的動(dòng)態(tài)追蹤控制策略。

50、第三方面，本技術(shù)提供了一種計(jì)算機(jī)設(shè)備。所述計(jì)算機(jī)設(shè)備包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)第一方面中任一項(xiàng)所述的方法的步驟。

51、第四方面，本技術(shù)提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)第一方面中任一項(xiàng)所述的方法的步驟。

52、第五方面，本技術(shù)提供了一種計(jì)算機(jī)程序產(chǎn)品。所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)第一方面中任一項(xiàng)所述的方法的步驟。

53、上述無人機(jī)集群多動(dòng)態(tài)目標(biāo)自主追蹤方法和裝置，通過獲取無人機(jī)集群的集群信息、所述無人機(jī)集群所處的環(huán)境信息、以及所述無人機(jī)集群的行為數(shù)據(jù)信息，并基于所述集群信息、以及所述環(huán)境信息，構(gòu)建所述無人機(jī)集群的場(chǎng)景模型；基于所述無人機(jī)集群的行為數(shù)據(jù)信息，構(gòu)建所述無人機(jī)集群的集群行為模型，并基于所述場(chǎng)景模型，通過集群路徑規(guī)劃策略，生成所述集群行為模型的路徑規(guī)劃信息；基于所述路徑規(guī)劃信息，通過所述場(chǎng)景模型，識(shí)別所述無人機(jī)集群、與各動(dòng)態(tài)目標(biāo)集群之間的距離信息，并在所述距離信息滿足預(yù)設(shè)距離條件時(shí)，基于所述場(chǎng)景模型，通過多動(dòng)態(tài)目標(biāo)追蹤算法，生成所述無人機(jī)集群的動(dòng)態(tài)追蹤控制策略；基于所述動(dòng)態(tài)追蹤控制策略，控制所述無人機(jī)集群，對(duì)各所述動(dòng)態(tài)目標(biāo)集群進(jìn)行追蹤處理，完成所述無人機(jī)集群的多動(dòng)態(tài)目標(biāo)自主追蹤任務(wù)。本方案通過先按照集群路徑規(guī)劃策略生成集群行為模型的路徑規(guī)劃信息，然后再通過多動(dòng)態(tài)目標(biāo)追蹤算法，生成無人機(jī)集群的動(dòng)態(tài)追蹤控制策略，首先在初始階段無人機(jī)自主探索環(huán)境，由于此時(shí)策略較差，得到的環(huán)境獎(jiǎng)勵(lì)反饋十分稀疏，若采用強(qiáng)化學(xué)習(xí)方法，從開始階段直至訓(xùn)練得到可用的策略將會(huì)花費(fèi)非常多的時(shí)間。而為了避免初始階段無意義的探索，本方案在初始階段通過使用集群路徑規(guī)劃策略，可以使無人機(jī)集群在躲避障礙物的同時(shí)快速逼近移動(dòng)目標(biāo)集群。然后，在各無人機(jī)與目標(biāo)集群快速逼近達(dá)到一定距離閾值時(shí)任務(wù)難度降低，此時(shí)開始使用多動(dòng)態(tài)目標(biāo)追蹤算法，充分探索可行的策略空間，從而使得各無人機(jī)能夠精準(zhǔn)最終到目標(biāo)集群。從而在前期探索階段極大減少了無人機(jī)的追蹤時(shí)長(zhǎng)，在后期追蹤目標(biāo)的階段能夠精準(zhǔn)追蹤到目標(biāo)集群，使得在確保對(duì)目標(biāo)集群的追蹤精準(zhǔn)度的同時(shí)，極大減少了前期的探索時(shí)長(zhǎng)，從而確保了有限的時(shí)間內(nèi)生成達(dá)到成功率指標(biāo)，綜合提升了多動(dòng)態(tài)目標(biāo)追蹤的效率。