本發(fā)明涉及飛機(jī)維修決策，尤其涉及一種剩余壽命不確定下的飛機(jī)強(qiáng)化學(xué)習(xí)預(yù)測(cè)性維修決策方法。

背景技術(shù)：

1、維修是飛機(jī)運(yùn)營管理的重要環(huán)節(jié)，及時(shí)、有效的維修是保證飛行安全、降低運(yùn)營成本的必要條件。

2、現(xiàn)有的飛機(jī)維修決策方法多為定期維修。定期維修方法指根據(jù)固定的日期間隔或飛行小時(shí)安排飛機(jī)維修，該方法由于維修間隔固定，往往存在“過維修”或“欠維修”問題，造成維修資源浪費(fèi)或安全隱患。為解決上述定期維修問題，已有研究者將剩余壽命預(yù)測(cè)與飛機(jī)維修決策相結(jié)合，提出了預(yù)測(cè)性維修決策方法。該方法基于剩余壽命的預(yù)測(cè)結(jié)果，將飛行任務(wù)、故障、維修、備件倉儲(chǔ)等一系列維修決策相關(guān)因素量化為收益的增減，以此構(gòu)建維修時(shí)機(jī)與收益的數(shù)學(xué)模型，進(jìn)而求解適宜的未來維修時(shí)機(jī)。當(dāng)前飛機(jī)預(yù)測(cè)性維修決策可分為動(dòng)態(tài)規(guī)劃方法、啟發(fā)式算法方法和強(qiáng)化學(xué)習(xí)方法。動(dòng)態(tài)規(guī)劃方法和啟發(fā)式方法針對(duì)飛行任務(wù)序列完全已知的確定性環(huán)境，構(gòu)建維修時(shí)機(jī)與收益的函數(shù)，進(jìn)而優(yōu)化求解維修時(shí)機(jī)。強(qiáng)化學(xué)習(xí)方法針對(duì)僅有當(dāng)前飛行任務(wù)已知的不確定環(huán)境，構(gòu)建智能體學(xué)習(xí)維修時(shí)機(jī)與收益的關(guān)聯(lián)規(guī)則，進(jìn)而輸出維修行為。由于實(shí)際維修決策大多為不確定性環(huán)境，目前常用的飛機(jī)預(yù)測(cè)性維修決策方法為強(qiáng)化學(xué)習(xí)方法。

3、強(qiáng)化學(xué)習(xí)方法已經(jīng)在飛機(jī)維修決策領(lǐng)域中取得了一定的成果，取得了相對(duì)令人滿意的維修決策效果。當(dāng)前的飛機(jī)預(yù)測(cè)性維修決策方法大多以確定性的剩余壽命預(yù)測(cè)結(jié)果作為輸入，然而收監(jiān)測(cè)數(shù)據(jù)采集噪聲和剩余壽命預(yù)測(cè)模型性能限制，實(shí)際獲取的剩余壽命預(yù)測(cè)結(jié)果并不準(zhǔn)確，導(dǎo)致了剩余壽命不確定性，影響維修決策效果。此外，當(dāng)前強(qiáng)化學(xué)習(xí)方法構(gòu)建時(shí)所用的貪婪算法會(huì)引發(fā)過估計(jì)問題，使強(qiáng)化學(xué)習(xí)智能體可能做出非最優(yōu)維修決策，所做出的維修決策可靠性差。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例的目的是提供一種剩余壽命不確定下的飛機(jī)強(qiáng)化學(xué)習(xí)預(yù)測(cè)性維修決策方法和裝置，能夠解決現(xiàn)有技術(shù)中存在的上述問題。

2、為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：

3、本發(fā)明實(shí)施例提供了一種剩余壽命不確定下的飛機(jī)強(qiáng)化學(xué)習(xí)預(yù)測(cè)性維修決策方法，所述方法包括：

4、依據(jù)飛行任務(wù)序列數(shù)據(jù)生成訓(xùn)練集和測(cè)試集，其中，每個(gè)飛行任務(wù)序列包含多個(gè)飛行任務(wù)；

5、分別構(gòu)建第一值分布強(qiáng)化學(xué)習(xí)模型和第二值分布強(qiáng)化學(xué)習(xí)模型；

6、從所述訓(xùn)練集中選取飛行任務(wù)序列輸入所述第一值分布強(qiáng)化學(xué)習(xí)模型中，生成飛機(jī)維修決策；

7、基于所述第二值分布強(qiáng)化學(xué)習(xí)模型，計(jì)算所述飛機(jī)維修決策對(duì)應(yīng)的長期收益；

8、依據(jù)所述長期收益和所述第二值分布強(qiáng)化學(xué)習(xí)模型，更新所述第一值分布強(qiáng)化學(xué)習(xí)模型的網(wǎng)絡(luò)參數(shù)；

9、待更新后的所述第一值分布強(qiáng)化學(xué)習(xí)模型訓(xùn)練完成后，通過訓(xùn)練得到的所述第一值分布強(qiáng)化學(xué)習(xí)模型預(yù)測(cè)飛機(jī)維修決策。

10、可選地，依據(jù)所述長期收益和所述第二值分布強(qiáng)化學(xué)習(xí)模型，更新所述第一值分布強(qiáng)化學(xué)習(xí)模型的網(wǎng)絡(luò)參數(shù)的步驟，包括：

11、依據(jù)所述長期收益計(jì)算所述第二值分布強(qiáng)化學(xué)習(xí)模型的損失函數(shù)，并基于所述損失函數(shù)計(jì)算自適應(yīng)更新間隔；

12、在滿足自適應(yīng)更新間隔的情況下，將所述第一值分布強(qiáng)化學(xué)習(xí)模型的網(wǎng)絡(luò)參數(shù)更新為所述第二值分布強(qiáng)化學(xué)習(xí)模型的網(wǎng)絡(luò)參數(shù)。

13、可選地，所述第一值分布強(qiáng)化學(xué)習(xí)模型和第二值分布強(qiáng)化學(xué)習(xí)模型均包括：模型輸入層維度、隱含層數(shù)量、隱含層溫度和輸出層維度；

14、所述第一值分布強(qiáng)化學(xué)習(xí)模型和第二值分布強(qiáng)化學(xué)習(xí)模型基于特定更新規(guī)則被構(gòu)建為自適應(yīng)雙值分布強(qiáng)化學(xué)習(xí)模型，其中，所述特定更新規(guī)則為訓(xùn)練誤差相關(guān)的自適應(yīng)更新間隔。

15、可選地，基于所述第二值分布強(qiáng)化學(xué)習(xí)模型，計(jì)算所述飛機(jī)維修決策對(duì)應(yīng)的長期收益的步驟，包括：

16、通過所述第二值分布強(qiáng)化學(xué)習(xí)模型，預(yù)估所述飛機(jī)維修決策對(duì)應(yīng)的未來最大收益；

17、基于預(yù)設(shè)規(guī)則計(jì)算所述飛機(jī)維修決策對(duì)應(yīng)的當(dāng)前維修決策收益；

18、基于所述當(dāng)前維修決策收益、所述未來最大收益以及未來收益的折扣系數(shù)，計(jì)算得到所述飛機(jī)維修決策對(duì)應(yīng)的長期收益。

19、可選地，依據(jù)所述長期收益計(jì)算所述第二值分布強(qiáng)化學(xué)習(xí)模型的損失函數(shù)，并基于所述損失函數(shù)計(jì)算自適應(yīng)更新間隔的步驟，包括：

20、以kl散度的形式計(jì)算所述長期收益與所述未來最大收益的偏差，作為所述第二值分布強(qiáng)化學(xué)習(xí)模型的損失函數(shù)；

21、基于所述損失函數(shù)計(jì)算自適應(yīng)更新間隔。

22、本發(fā)明實(shí)施例還提供了一種剩余壽命不確定下的飛機(jī)強(qiáng)化學(xué)習(xí)預(yù)測(cè)性維修決策裝置，其中，所述裝置包括：

23、生成模塊，用于依據(jù)飛行任務(wù)序列數(shù)據(jù)生成訓(xùn)練集和測(cè)試集，其中，每個(gè)飛行任務(wù)序列包含多個(gè)飛行任務(wù)；

24、構(gòu)建模塊，用于分別構(gòu)建第一值分布強(qiáng)化學(xué)習(xí)模型和第二值分布強(qiáng)化學(xué)習(xí)模型；

25、決策生成模塊，用于從所述訓(xùn)練集中選取飛行任務(wù)序列輸入所述第一值分布強(qiáng)化學(xué)習(xí)模型中，生成飛機(jī)維修決策；

26、計(jì)算模塊，用于基于所述第二值分布強(qiáng)化學(xué)習(xí)模型，計(jì)算所述飛機(jī)維修決策對(duì)應(yīng)的長期收益；

27、更新模塊，用于依據(jù)所述長期收益和所述第二值分布強(qiáng)化學(xué)習(xí)模型，更新所述第一值分布強(qiáng)化學(xué)習(xí)模型的網(wǎng)絡(luò)參數(shù)；

28、預(yù)測(cè)模塊，用于待更新后的所述第一值分布強(qiáng)化學(xué)習(xí)模型訓(xùn)練完成后，通過訓(xùn)練得到的所述第一值分布強(qiáng)化學(xué)習(xí)模型預(yù)測(cè)飛機(jī)維修決策。

29、可選地，所述更新模塊包括：

30、第一子模塊，用于依據(jù)所述長期收益計(jì)算所述第二值分布強(qiáng)化學(xué)習(xí)模型的損失函數(shù)，并基于所述損失函數(shù)計(jì)算自適應(yīng)更新間隔；

31、第二子模塊，用于在滿足自適應(yīng)更新間隔的情況下，將所述第一值分布強(qiáng)化學(xué)習(xí)模型的網(wǎng)絡(luò)參數(shù)更新為所述第二值分布強(qiáng)化學(xué)習(xí)模型的網(wǎng)絡(luò)參數(shù)。

32、可選地，所述第一值分布強(qiáng)化學(xué)習(xí)模型和第二值分布強(qiáng)化學(xué)習(xí)模型均包括：模型輸入層維度、隱含層數(shù)量、隱含層溫度和輸出層維度；

33、所述第一值分布強(qiáng)化學(xué)習(xí)模型和第二值分布強(qiáng)化學(xué)習(xí)模型基于特定更新規(guī)則被構(gòu)建為自適應(yīng)雙值分布強(qiáng)化學(xué)習(xí)模型，其中，所述特定更新規(guī)則為訓(xùn)練誤差相關(guān)的自適應(yīng)更新間隔。

34、可選地，所述計(jì)算模塊包括：

35、第三子模塊，用于通過所述第二值分布強(qiáng)化學(xué)習(xí)模型，預(yù)估所述飛機(jī)維修決策對(duì)應(yīng)的未來最大收益；

36、第四子模塊，用于基于預(yù)設(shè)規(guī)則計(jì)算所述飛機(jī)維修決策對(duì)應(yīng)的當(dāng)前維修決策收益；

37、第五子模塊，用于基于所述當(dāng)前維修決策收益、所述未來最大收益以及未來收益的折扣系數(shù)，計(jì)算得到所述飛機(jī)維修決策對(duì)應(yīng)的長期收益。

38、可選地，所述第一子模塊具體用于：

39、以kl散度的形式計(jì)算所述長期收益與所述未來最大收益的偏差，作為所述第二值分布強(qiáng)化學(xué)習(xí)模型的損失函數(shù)；

40、基于所述損失函數(shù)計(jì)算自適應(yīng)更新間隔。

41、本發(fā)明實(shí)施例還提供了一種電子設(shè)備，其特征在于，包括處理器、通信接口、存儲(chǔ)器和通信總線，其中，處理器，通信接口，存儲(chǔ)器通過通信總線完成相互間的通信；存儲(chǔ)器，用于存放計(jì)算機(jī)程序；處理器，用于執(zhí)行存儲(chǔ)器上所存放的程序時(shí)，實(shí)現(xiàn)如上述任意一種剩余壽命不確定下的飛機(jī)強(qiáng)化學(xué)習(xí)預(yù)測(cè)性維修決策方法流程。

42、本發(fā)明實(shí)施例公開的剩余壽命不確定下的飛機(jī)強(qiáng)化學(xué)習(xí)預(yù)測(cè)性維修決策方法，依據(jù)飛行任務(wù)序列數(shù)據(jù)生成訓(xùn)練集和測(cè)試集；分別構(gòu)建第一值分布強(qiáng)化學(xué)習(xí)模型和第二值分布強(qiáng)化學(xué)習(xí)模型；從訓(xùn)練集中選取飛行任務(wù)序列輸入所述第一值分布強(qiáng)化學(xué)習(xí)模型中，生成飛機(jī)維修決策；基于第二值分布強(qiáng)化學(xué)習(xí)模型，計(jì)算飛機(jī)維修決策對(duì)應(yīng)的長期收益；依據(jù)長期收益和所述第二值分布強(qiáng)化學(xué)習(xí)模型，更新第一值分布強(qiáng)化學(xué)習(xí)模型的網(wǎng)絡(luò)參數(shù)；待更新后的第一值分布強(qiáng)化學(xué)習(xí)模型訓(xùn)練完成后，通過訓(xùn)練得到的第一值分布強(qiáng)化學(xué)習(xí)模型預(yù)測(cè)飛機(jī)維修決策。本發(fā)明實(shí)施例提供的飛機(jī)維修決策預(yù)測(cè)方案，構(gòu)建兩個(gè)相互獨(dú)立的值分布強(qiáng)化學(xué)習(xí)模型，采用雙學(xué)習(xí)框架，并基于與訓(xùn)練誤差相關(guān)的自適應(yīng)間隔進(jìn)行更新，實(shí)現(xiàn)自適應(yīng)雙值分布強(qiáng)化學(xué)習(xí)模型構(gòu)建，能夠提升飛機(jī)預(yù)測(cè)性維修決策的可靠性。