本申請(qǐng)涉及化工生產(chǎn)過程控制，具體公開了一種基于性能驅(qū)動(dòng)知識(shí)蒸餾的生產(chǎn)過程出口質(zhì)量預(yù)測(cè)方法。

背景技術(shù)：

1、隨著工業(yè)過程自動(dòng)化程度的不斷提高，質(zhì)量指標(biāo)的實(shí)時(shí)測(cè)量可以對(duì)生產(chǎn)過程的控制和優(yōu)化進(jìn)行及時(shí)的指導(dǎo)，有利于生產(chǎn)過程的穩(wěn)定和長久運(yùn)行。然而，受限于環(huán)境以及儀器儀表性能等因素，大多數(shù)質(zhì)量變量只能通過周期性的實(shí)驗(yàn)室離線檢測(cè)獲得。人工化驗(yàn)所造成的檢測(cè)延遲，使過程的控制和優(yōu)化缺乏質(zhì)量信息的指導(dǎo)。為了解決這個(gè)問題，需要實(shí)現(xiàn)對(duì)質(zhì)量指標(biāo)的實(shí)時(shí)預(yù)測(cè)。由于現(xiàn)代工業(yè)的發(fā)展為質(zhì)量預(yù)測(cè)建模帶來了海量的數(shù)據(jù)，所以基于數(shù)據(jù)驅(qū)動(dòng)的方法在工業(yè)應(yīng)用中的發(fā)展更加迅速。

2、但是在實(shí)際建模過程中，模型的建立通常要考慮復(fù)雜的時(shí)間、空間耦合關(guān)系，并以此添加復(fù)雜的正則化項(xiàng)。然而，由于深度網(wǎng)絡(luò)中參數(shù)空間的極高維數(shù)使得參數(shù)的優(yōu)化問題變得高度非凸，且輸入空間和輸出空間的維度存在著極端的不平衡，使得具有不同參數(shù)分布的模型雖然在擬合訓(xùn)練集和驗(yàn)證集時(shí)可以達(dá)到相類似的水平，但面對(duì)工況隨著時(shí)間發(fā)生變化的測(cè)試集，其預(yù)測(cè)結(jié)果可能產(chǎn)生較大差異。因此，如何設(shè)計(jì)模型結(jié)構(gòu)與訓(xùn)練方式以避免模型性能的波動(dòng)是工業(yè)生產(chǎn)過程質(zhì)量指標(biāo)預(yù)測(cè)所面臨的挑戰(zhàn)性問題之一。

3、因此，發(fā)明人有鑒于此，提供了一種基于性能驅(qū)動(dòng)知識(shí)蒸餾的生產(chǎn)過程出口質(zhì)量預(yù)測(cè)方法，以便解決上述問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于性能驅(qū)動(dòng)知識(shí)蒸餾的生產(chǎn)過程出口質(zhì)量預(yù)測(cè)方法，以在保證模型穩(wěn)定性的基礎(chǔ)上提高對(duì)工業(yè)過程生產(chǎn)質(zhì)量指標(biāo)軟測(cè)量的準(zhǔn)確性。

2、為了達(dá)到上述目的，本發(fā)明的基礎(chǔ)方案提供一種基于性能驅(qū)動(dòng)知識(shí)蒸餾的生產(chǎn)過程出口質(zhì)量預(yù)測(cè)方法，包括以下步驟：

3、步驟1，采集工業(yè)生產(chǎn)過程的可觀測(cè)過程數(shù)據(jù)和出口質(zhì)量指標(biāo)的化驗(yàn)數(shù)據(jù)，并構(gòu)成數(shù)據(jù)集；

4、步驟2，對(duì)數(shù)據(jù)集進(jìn)行清洗和標(biāo)準(zhǔn)化，并按照一定比例隨機(jī)劃分為訓(xùn)練集、驗(yàn)證集與測(cè)試集；

5、步驟3，搭建基礎(chǔ)質(zhì)量預(yù)測(cè)器，以孿生神經(jīng)網(wǎng)絡(luò)框架，將lstm模塊嵌入其中；

6、步驟4，訓(xùn)練多個(gè)基礎(chǔ)孿生lstm質(zhì)量預(yù)測(cè)器，獲得教師模型；

7、步驟5，以性能作為驅(qū)動(dòng)，結(jié)合知識(shí)蒸餾與有監(jiān)督學(xué)習(xí)，訓(xùn)練具有相同結(jié)構(gòu)的學(xué)生模型；

8、步驟6，輸入測(cè)試樣本的過程數(shù)據(jù)，獲取輸出的預(yù)測(cè)值。

9、進(jìn)一步，所述步驟2中，清洗過程使用樣條插值法對(duì)缺失數(shù)據(jù)進(jìn)行填充，對(duì)異常數(shù)據(jù)進(jìn)行替換，并在清洗后依據(jù)z-score的方式對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化。

10、進(jìn)一步，依據(jù)z-score的方式對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化的表達(dá)式如下：

11、

12、式中，x是原始數(shù)據(jù)，z是標(biāo)準(zhǔn)化后的數(shù)據(jù)，是原始數(shù)據(jù)中所有變量的均值向量，s是原始數(shù)據(jù)中所有變量的標(biāo)準(zhǔn)差向量。

13、進(jìn)一步，所述訓(xùn)練集、驗(yàn)證集與測(cè)試集的占比分別為70％、15％與15％。

14、進(jìn)一步，所述步驟3中，將兩個(gè)不同的原始數(shù)據(jù)輸入孿生神經(jīng)網(wǎng)絡(luò)的子網(wǎng)絡(luò)，并獲得兩個(gè)不同的隱藏空間特征映射，然后使用損失函數(shù)來保證特征空間中兩個(gè)相似樣本之間的距離最小化。

15、進(jìn)一步，所述損失函數(shù)的表達(dá)式如下：

16、

17、式中，x(p)和x(q)分別為輸入的兩個(gè)原始數(shù)據(jù)，z(p)和z(q)為獲得的兩個(gè)隱藏空間特征映射，d{z(p),z(q)}是特征對(duì)之間的距離，δ為不相似樣本之間的距離最小值，lsf是孿生網(wǎng)絡(luò)優(yōu)化損失函數(shù)值。

18、進(jìn)一步，在所述步驟4中，所述基礎(chǔ)孿生lstm質(zhì)量預(yù)測(cè)器由在孿生神經(jīng)網(wǎng)絡(luò)的lstm模塊輸出的特征后添加全連接層組成，并通過如下預(yù)測(cè)損失確保特征適合于質(zhì)量預(yù)測(cè)任務(wù)：

19、

20、式中，y(t)是真實(shí)值，是預(yù)測(cè)值，lpred是預(yù)測(cè)損失值。之后，使用下面的權(quán)重分配方式對(duì)所有損失函數(shù)進(jìn)行調(diào)和：

21、l＝lsf+αlpred

22、式中，l是質(zhì)量預(yù)測(cè)器訓(xùn)練的總體損失值，α是調(diào)和參數(shù)；

23、訓(xùn)練至少五個(gè)基礎(chǔ)孿生lstm質(zhì)量預(yù)測(cè)器作為教師模型。

24、進(jìn)一步，在所述步驟5中，將相同的訓(xùn)練樣本輸入到教師模型中，分別獲取特征向量與質(zhì)量預(yù)測(cè)結(jié)果且計(jì)算真實(shí)值與預(yù)測(cè)值之間的偏差的倒數(shù)，再基于倒數(shù)計(jì)算教師模型的權(quán)重，并將每個(gè)教師模型的權(quán)重乘以其特征表示，使學(xué)生模型基于kl散度來學(xué)習(xí)優(yōu)秀教師模型的特征表示。

25、進(jìn)一步，計(jì)算真實(shí)值與預(yù)測(cè)值之間的偏差的倒數(shù)的表達(dá)式如下：

26、

27、其中y是yo對(duì)應(yīng)的真實(shí)值，s為偏差的倒數(shù)。

28、基于倒數(shù)計(jì)算教師模型的權(quán)重的表達(dá)式如下：

29、

30、其中exp(·)代表自然指數(shù)函數(shù)，a為教師模型權(quán)重值。

31、將每個(gè)教師模型的權(quán)重乘以其特征表示，使學(xué)生模型利用基于kl散度構(gòu)建的知識(shí)蒸餾損失來學(xué)習(xí)優(yōu)秀教師模型的特征表示的表達(dá)式如下：

32、

33、式中，zada是最優(yōu)特征，zs是學(xué)生模型生成的特征，lkl代表兩個(gè)特征之間的kl散度值。

34、進(jìn)一步，步驟6中，訓(xùn)練過程所采用的損失函數(shù)為最小均方誤差損失函數(shù)：

35、

36、其中，n是樣本個(gè)數(shù)，y是真實(shí)化驗(yàn)值，是預(yù)測(cè)值，l為真實(shí)值與預(yù)測(cè)值之間的最小均方誤差損失值。

37、本方案的原理及效果在于：

38、1、本發(fā)明基于孿生神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，使用lstm作為子網(wǎng)絡(luò)，組成的孿生lstm使用軟測(cè)量任務(wù)進(jìn)行指導(dǎo)。這有助于同時(shí)捕獲了樣本內(nèi)的時(shí)空特征和樣本之間的分布差異，以確保編碼器所構(gòu)建的特性的有效性。

39、2、本發(fā)明基于性能驅(qū)動(dòng)的知識(shí)蒸餾訓(xùn)練方法，首先訓(xùn)練教師模型，然后對(duì)高性能的教師模型分配更高的權(quán)重，使學(xué)生模型能夠?qū)W習(xí)到高性能教師模型的特征表示，并在軟測(cè)量任務(wù)的指導(dǎo)下進(jìn)一步提升模型的性能。

40、3、綜上，本發(fā)明基于孿生lstm網(wǎng)絡(luò)結(jié)構(gòu)對(duì)工業(yè)生產(chǎn)運(yùn)行過程中數(shù)據(jù)所反映的時(shí)間和空間維度的狀態(tài)信息特征變化進(jìn)行有效提取。在訓(xùn)練多個(gè)孿生lstm后，利用性能驅(qū)動(dòng)的知識(shí)蒸餾策略，從多個(gè)教師模型中選擇性能優(yōu)越的模型進(jìn)行學(xué)習(xí)，并以軟測(cè)量任務(wù)指導(dǎo)和微調(diào)學(xué)生模型的特征構(gòu)建過程，最終使得學(xué)生模型具有穩(wěn)定且優(yōu)越的性能。較傳統(tǒng)方法相比，該方法對(duì)工業(yè)過程生產(chǎn)質(zhì)量指標(biāo)預(yù)測(cè)的穩(wěn)定性更好，準(zhǔn)確性更高。

技術(shù)特征：

1.一種基于性能驅(qū)動(dòng)知識(shí)蒸餾的生產(chǎn)過程出口質(zhì)量預(yù)測(cè)方法，其特征在于：包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于性能驅(qū)動(dòng)知識(shí)蒸餾的生產(chǎn)過程出口質(zhì)量預(yù)測(cè)方法，其特征在于，所述步驟2中，清洗過程使用樣條插值法對(duì)缺失數(shù)據(jù)進(jìn)行填充，對(duì)異常數(shù)據(jù)進(jìn)行替換，并在清洗后依據(jù)z-score的方式對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化。

3.根據(jù)權(quán)利要求2所述的一種基于性能驅(qū)動(dòng)知識(shí)蒸餾的生產(chǎn)過程出口質(zhì)量預(yù)測(cè)方法，其特征在于，依據(jù)z-score的方式對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化的表達(dá)式如下：

4.根據(jù)權(quán)利要求1至3任一所述的一種基于性能驅(qū)動(dòng)知識(shí)蒸餾的生產(chǎn)過程出口質(zhì)量預(yù)測(cè)方法，其特征在于，所述訓(xùn)練集、驗(yàn)證集與測(cè)試集的占比分別為70％、15％與15％。

5.根據(jù)權(quán)利要求1所述的一種基于性能驅(qū)動(dòng)知識(shí)蒸餾的生產(chǎn)過程出口質(zhì)量預(yù)測(cè)方法，其特征在于，所述步驟3中，將兩個(gè)不同的原始數(shù)據(jù)輸入孿生神經(jīng)網(wǎng)絡(luò)的子網(wǎng)絡(luò)，并獲得兩個(gè)不同的隱藏空間特征映射，然后使用損失函數(shù)來保證特征空間中兩個(gè)相似樣本之間的距離最小化。

6.根據(jù)權(quán)利要求5所述的一種基于性能驅(qū)動(dòng)知識(shí)蒸餾的生產(chǎn)過程出口質(zhì)量預(yù)測(cè)方法，其特征在于，所述損失函數(shù)的表達(dá)式如下：

7.根據(jù)權(quán)利要求1所述的一種基于性能驅(qū)動(dòng)知識(shí)蒸餾的生產(chǎn)過程出口質(zhì)量預(yù)測(cè)方法，其特征在于，在所述步驟4中，所述基礎(chǔ)孿生lstm質(zhì)量預(yù)測(cè)器由在孿生神經(jīng)網(wǎng)絡(luò)的lstm模塊輸出的特征后添加全連接層組成，并通過如下預(yù)測(cè)損失確保特征適合于質(zhì)量預(yù)測(cè)任務(wù)：

8.根據(jù)權(quán)利要求7所述的一種基于性能驅(qū)動(dòng)知識(shí)蒸餾的生產(chǎn)過程出口質(zhì)量預(yù)測(cè)方法，其特征在于，在所述步驟5中，將相同的訓(xùn)練樣本輸入到教師模型中，分別獲取特征向量與質(zhì)量預(yù)測(cè)結(jié)果且計(jì)算真實(shí)值與預(yù)測(cè)值之間的偏差的倒數(shù)，再基于倒數(shù)計(jì)算教師模型的權(quán)重，并將每個(gè)教師模型的權(quán)重乘以其特征表示，使學(xué)生模型基于kl散度來學(xué)習(xí)優(yōu)秀教師模型的特征表示。

9.根據(jù)權(quán)利要求7所述的一種基于性能驅(qū)動(dòng)知識(shí)蒸餾的生產(chǎn)過程出口質(zhì)量預(yù)測(cè)方法，其特征在于，計(jì)算真實(shí)值與預(yù)測(cè)值之間的偏差的倒數(shù)的表達(dá)式如下：

10.根據(jù)權(quán)利要求9所述的一種基于性能驅(qū)動(dòng)知識(shí)蒸餾的生產(chǎn)過程出口質(zhì)量預(yù)測(cè)方法，其特征在于，步驟6中，訓(xùn)練過程所采用的損失函數(shù)為最小均方誤差損失函數(shù)：

技術(shù)總結(jié)
本發(fā)明涉及化工生產(chǎn)過程控制技術(shù)領(lǐng)域，具體公開了一種基于性能驅(qū)動(dòng)知識(shí)蒸餾的生產(chǎn)過程出口質(zhì)量預(yù)測(cè)方法，包括以下步驟：步驟1，采集工業(yè)生產(chǎn)過程的可觀測(cè)過程數(shù)據(jù)和出口質(zhì)量指標(biāo)的化驗(yàn)數(shù)據(jù)，并構(gòu)成數(shù)據(jù)集；步驟2，對(duì)數(shù)據(jù)集進(jìn)行清洗和標(biāo)準(zhǔn)化，并按照一定比例隨機(jī)劃分為訓(xùn)練集、驗(yàn)證集與測(cè)試集；步驟3，搭建基礎(chǔ)質(zhì)量預(yù)測(cè)器，以孿生神經(jīng)網(wǎng)絡(luò)框架，將LSTM模塊嵌入其中；步驟4，訓(xùn)練多個(gè)基礎(chǔ)孿生LSTM質(zhì)量預(yù)測(cè)器，獲得教師模型；步驟5，以性能作為驅(qū)動(dòng)，結(jié)合知識(shí)蒸餾與有監(jiān)督學(xué)習(xí)，訓(xùn)練具有相同結(jié)構(gòu)的學(xué)生模型；步驟6，輸入測(cè)試樣本的過程數(shù)據(jù)，獲取輸出的預(yù)測(cè)值，以在保證模型穩(wěn)定性的基礎(chǔ)上提高對(duì)工業(yè)過程生產(chǎn)質(zhì)量指標(biāo)軟測(cè)量的準(zhǔn)確性。

技術(shù)研發(fā)人員：朱紅求,越鉑淳,王凱,候曉雙,王思佳,程賽葛,王雅琳,陽春華
受保護(hù)的技術(shù)使用者：中南大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15