本申請涉及生產(chǎn)自動化調(diào)度，尤其涉及一種車間調(diào)度方法、裝置、設(shè)備、存儲介質(zhì)及計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、在實(shí)際生產(chǎn)中，車間內(nèi)部環(huán)境在長期的生產(chǎn)過程中會發(fā)生變化，當(dāng)調(diào)度模型與變化后的車間環(huán)境進(jìn)行交互并作出調(diào)度決策時(shí)，基于以往調(diào)度知識所得到的調(diào)度策略將不再適用，導(dǎo)致模型性能下降，難以持續(xù)輸出高效的調(diào)度策略。此時(shí)，為了保證調(diào)度方案的有效性和車間生產(chǎn)效率，需要對調(diào)度模型進(jìn)行再訓(xùn)練，這將耗費(fèi)大量時(shí)間，對生產(chǎn)計(jì)劃的連續(xù)性、系統(tǒng)的實(shí)時(shí)性產(chǎn)生負(fù)面影響，進(jìn)而影響到整體生產(chǎn)效率和成本控制。

技術(shù)實(shí)現(xiàn)思路

1、本申請的主要目的在于提供一種車間調(diào)度方法、裝置、設(shè)備、存儲介質(zhì)及計(jì)算機(jī)程序產(chǎn)品，旨在解決車間內(nèi)部環(huán)境在長期的生產(chǎn)過程發(fā)生變化時(shí)，以往的調(diào)度策略不能夠迅速適應(yīng)新環(huán)境并作出高效的調(diào)度決策的技術(shù)問題。

2、為實(shí)現(xiàn)上述目的，本申請?zhí)岢鲆环N車間調(diào)度方法，所述車間調(diào)度方法包括：

3、根據(jù)預(yù)設(shè)車間模型為車間內(nèi)的每個(gè)制造單元設(shè)置單元調(diào)度智能體；

4、基于循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積稀疏transformer為所述單元調(diào)度智能體構(gòu)建初始在線模型和初始備份模型；

5、通過混合網(wǎng)絡(luò)和回收池對所述初始在線模型進(jìn)行訓(xùn)練，并在所述初始在線模型的第一訓(xùn)練損失值收斂時(shí)，結(jié)束訓(xùn)練，得到目標(biāo)在線模型；

6、基于所述目標(biāo)在線模型和所述初始備份模型進(jìn)行交替調(diào)度。

7、可選地，所述模型的狀態(tài)包括應(yīng)用狀態(tài)和訓(xùn)練狀態(tài)，所述應(yīng)用狀態(tài)為模型進(jìn)行調(diào)度時(shí)的狀態(tài)，所述訓(xùn)練狀態(tài)為模型基于回放池中的經(jīng)驗(yàn)數(shù)據(jù)進(jìn)行訓(xùn)練時(shí)的狀態(tài)；

8、所述基于所述目標(biāo)在線模型和所述初始備份模型進(jìn)行交替調(diào)度的步驟，包括：

9、將所述目標(biāo)在線模型設(shè)置為應(yīng)用狀態(tài)，并基于回放池中的經(jīng)驗(yàn)數(shù)據(jù)對所述初始備份模型進(jìn)行訓(xùn)練；

10、在檢測到當(dāng)前環(huán)境發(fā)生變化時(shí)，根據(jù)采集到的環(huán)境數(shù)據(jù)對所述初始備份模型進(jìn)行調(diào)整，得到目標(biāo)備份模型；

11、將所述目標(biāo)在線模型由應(yīng)用狀態(tài)切換為訓(xùn)練狀態(tài)，并將所述目標(biāo)備份模型由訓(xùn)練狀態(tài)切換為應(yīng)用狀態(tài)；

12、在所述單元在線模型訓(xùn)練完成后，將目標(biāo)備份模型切換回訓(xùn)練狀態(tài)，并將訓(xùn)練完成后的所述目標(biāo)在線模型切換回應(yīng)用狀態(tài)進(jìn)行調(diào)度決策。

13、可選地，所述在檢測到當(dāng)前環(huán)境發(fā)生變化時(shí)，基于采集到的環(huán)境數(shù)據(jù)對所述初始備份模型進(jìn)行調(diào)整，得到目標(biāo)備份模型的步驟，包括：

14、在檢測到當(dāng)前環(huán)境發(fā)生變化時(shí)，采集預(yù)設(shè)數(shù)量的環(huán)境數(shù)據(jù)；

15、基于所述環(huán)境數(shù)據(jù)對所述初始備份模型的全連接層的參數(shù)進(jìn)行調(diào)整，并實(shí)時(shí)監(jiān)控所述初始備份模型的第二訓(xùn)練損失值；

16、在所述第二訓(xùn)練損失值收斂時(shí)，結(jié)束訓(xùn)練，得到目標(biāo)備份模型。

17、可選地，所述通過混合網(wǎng)絡(luò)和回收池對所述初始在線模型進(jìn)行訓(xùn)練，并在所述初始在線模型的第一訓(xùn)練損失值收斂時(shí)，結(jié)束訓(xùn)練，得到目標(biāo)在線模型的步驟，包括：

18、從所述制造單元中獲取單元觀察空間，并基于所述單元觀察空間控制所述單元調(diào)度智能體生成對應(yīng)的智能體動作；

19、基于所述單元觀察空間和所述智能體動作將所述單元調(diào)度智能體與車間環(huán)境交互產(chǎn)生的歷史經(jīng)驗(yàn)記錄在回放池中；

20、根據(jù)混合網(wǎng)絡(luò)和所述回放池對所述初始在線模型進(jìn)行訓(xùn)練，并持續(xù)監(jiān)測所述初始在線模型的第一訓(xùn)練損失值，在所述第一訓(xùn)練損失值收斂時(shí)，結(jié)束訓(xùn)練，得到目標(biāo)在線模型。

21、可選地，所述從所述制造單元中獲取單元觀察空間，并基于所述單元觀察空間控制所述單元調(diào)度智能體生成對應(yīng)的智能體動作的步驟，包括：

22、根據(jù)所述制造單元獲取單元觀察空間；

23、確定所述單元調(diào)度智能體的探索因子和所有可選擇的動作列表；

24、獲取當(dāng)前訓(xùn)練的探索率，并比較所述探索因子和所述探索率的大??；

25、在所述探索因子大于所述探索率時(shí)，基于所述單元觀察空間從所述動作列表選擇出對應(yīng)的動作決策作為對應(yīng)的智能體動作；

26、在所述探索因子小于所述探索率時(shí)，隨機(jī)生成動作決策作為對應(yīng)的所述智能體動作。

27、可選地，所述根據(jù)預(yù)設(shè)車間模型為車間內(nèi)的每個(gè)制造單元設(shè)置單元調(diào)度智能體的步驟，包括：

28、基于所述預(yù)設(shè)車間模型設(shè)置狀態(tài)空間；

29、根據(jù)預(yù)設(shè)的調(diào)度方案集設(shè)計(jì)調(diào)度規(guī)則，并基于所述調(diào)度規(guī)則確定動作空間；

30、通過所述預(yù)設(shè)車間模型的設(shè)備平均日移動步數(shù)和產(chǎn)品平均加工周期設(shè)計(jì)獎勵函數(shù)；

31、根據(jù)所述狀態(tài)空間、所述動作空間和所述獎勵函數(shù)為車間內(nèi)的每個(gè)制造單元設(shè)置單元調(diào)度智能體。

32、此外，為實(shí)現(xiàn)上述目的，本申請還提出一種車間調(diào)度裝置，所述車間調(diào)度裝置包括：

33、智能體設(shè)置模塊，用于根據(jù)預(yù)設(shè)車間模型為車間內(nèi)的每個(gè)制造單元設(shè)置單元調(diào)度智能體；

34、模型建立模塊，用于基于循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積稀疏transformer為所述單元調(diào)度智能體構(gòu)建初始在線模型和初始備份模型；

35、模型訓(xùn)練模塊，用于通過混合網(wǎng)絡(luò)對所述初始在線模型進(jìn)行訓(xùn)練，并在所述初始在線模型的訓(xùn)練損失值收斂時(shí)，結(jié)束訓(xùn)練，得到目標(biāo)在線模型；

36、模型調(diào)度模塊，用于基于所述目標(biāo)在線模型和所述初始備份模型進(jìn)行交替調(diào)度。

37、此外，為實(shí)現(xiàn)上述目的，本申請還提出一種車間調(diào)度設(shè)備，所述設(shè)備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序配置為實(shí)現(xiàn)如上文所述的車間調(diào)度方法的步驟。

38、此外，為實(shí)現(xiàn)上述目的，本申請還提出一種存儲介質(zhì)，所述存儲介質(zhì)為計(jì)算機(jī)可讀存儲介質(zhì)，所述存儲介質(zhì)上存儲有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上文所述的車間調(diào)度方法的步驟。

39、此外，為實(shí)現(xiàn)上述目的，本申請還提供一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上文所述的車間調(diào)度方法的步驟。

40、本申請中公開了根據(jù)預(yù)設(shè)車間模型為車間內(nèi)的每個(gè)制造單元設(shè)置單元調(diào)度智能體；基于循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積稀疏transformer為單元調(diào)度智能體構(gòu)建初始在線模型和初始備份模型；通過混合網(wǎng)絡(luò)和回收池對初始在線模型進(jìn)行訓(xùn)練，并在初始在線模型的第一訓(xùn)練損失值收斂時(shí)，結(jié)束訓(xùn)練，得到目標(biāo)在線模型；基于目標(biāo)在線模型和初始備份模型進(jìn)行交替調(diào)度。通過為每個(gè)單元調(diào)度智能體構(gòu)建初始在線和備份模型，進(jìn)而基于目標(biāo)在線模型和初始備份模型進(jìn)行交替調(diào)度，在保證生產(chǎn)效率和靈活性的同時(shí)，確保生產(chǎn)資源的合理調(diào)配，實(shí)現(xiàn)更加高效、穩(wěn)定和可持續(xù)的生產(chǎn)調(diào)度，有效應(yīng)對車間環(huán)境中的動態(tài)變化。

技術(shù)特征：

1.一種車間調(diào)度方法，其特征在于，所述車間調(diào)度方法包括：

2.如權(quán)利要求1所述的車間調(diào)度方法，其特征在于，所述模型的狀態(tài)包括應(yīng)用狀態(tài)和訓(xùn)練狀態(tài)，所述應(yīng)用狀態(tài)為模型進(jìn)行調(diào)度時(shí)的狀態(tài)，所述訓(xùn)練狀態(tài)為模型基于回放池中的經(jīng)驗(yàn)數(shù)據(jù)進(jìn)行訓(xùn)練時(shí)的狀態(tài)；

3.如權(quán)利要求2所述的車間調(diào)度方法，其特征在于，所述在檢測到當(dāng)前環(huán)境發(fā)生變化時(shí)，基于采集到的環(huán)境數(shù)據(jù)對所述初始備份模型進(jìn)行調(diào)整，得到目標(biāo)備份模型的步驟，包括：

4.如權(quán)利要求1所述的車間調(diào)度方法，其特征在于，所述通過混合網(wǎng)絡(luò)和回收池對所述初始在線模型進(jìn)行訓(xùn)練，并在所述初始在線模型的第一訓(xùn)練損失值收斂時(shí)，結(jié)束訓(xùn)練，得到目標(biāo)在線模型的步驟，包括：

5.如權(quán)利要求4所述的車間調(diào)度方法，其特征在于，所述從所述制造單元中獲取單元觀察空間，并基于所述單元觀察空間控制所述單元調(diào)度智能體生成對應(yīng)的智能體動作的步驟，包括：

6.如權(quán)利要求1所述的車間調(diào)度方法，其特征在于，所述根據(jù)預(yù)設(shè)車間模型為車間內(nèi)的每個(gè)制造單元設(shè)置單元調(diào)度智能體的步驟，包括：

7.一種車間調(diào)度裝置，其特征在于，所述車間調(diào)度裝置包括：

8.一種車間調(diào)度設(shè)備，其特征在于，所述設(shè)備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序配置為實(shí)現(xiàn)如權(quán)利要求1至6中任一項(xiàng)所述的車間調(diào)度方法的步驟。

9.一種存儲介質(zhì)，其特征在于，所述存儲介質(zhì)為計(jì)算機(jī)可讀存儲介質(zhì)，所述存儲介質(zhì)上存儲有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至6中任一項(xiàng)所述的車間調(diào)度方法的步驟。

10.一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至6中任一項(xiàng)所述的車間調(diào)度方法的步驟。

技術(shù)總結(jié)
本申請涉及生產(chǎn)自動化調(diào)度技術(shù)領(lǐng)域，公開了一種車間調(diào)度方法、裝置、設(shè)備、存儲介質(zhì)及計(jì)算機(jī)程序產(chǎn)品，包括：根據(jù)預(yù)設(shè)車間模型為車間內(nèi)的每個(gè)制造單元設(shè)置單元調(diào)度智能體；基于循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積稀疏Transformer為單元調(diào)度智能體構(gòu)建初始在線模型和初始備份模型；通過混合網(wǎng)絡(luò)和回收池對初始在線模型進(jìn)行訓(xùn)練，并在初始在線模型的第一訓(xùn)練損失值收斂時(shí)，結(jié)束訓(xùn)練，得到目標(biāo)在線模型；基于目標(biāo)在線模型和初始備份模型進(jìn)行交替調(diào)度。通過構(gòu)建在線模型和備份模型進(jìn)行交替調(diào)度，當(dāng)環(huán)境發(fā)生變化時(shí)，備份模型與在線模型切換，并在在線模型訓(xùn)練完成后轉(zhuǎn)入應(yīng)用狀態(tài)進(jìn)行調(diào)度，實(shí)現(xiàn)更加高效、穩(wěn)定和可持續(xù)的生產(chǎn)調(diào)度，有效應(yīng)對車間環(huán)境中的動態(tài)變化。

技術(shù)研發(fā)人員：馬玉敏,喬非,廖一芃,邢健敏,施嘉璇,劉鵑
受保護(hù)的技術(shù)使用者：同濟(jì)大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15