本申請(qǐng)涉及化工生產(chǎn)過(guò)程控制，具體公開了一種基于偽標(biāo)簽置信度評(píng)估的半監(jiān)督工業(yè)生產(chǎn)質(zhì)量指標(biāo)預(yù)測(cè)方法。

背景技術(shù)：

1、大多數(shù)工業(yè)現(xiàn)場(chǎng)均依靠人工進(jìn)行生產(chǎn)監(jiān)管，在產(chǎn)品質(zhì)量和生產(chǎn)效率等方面難以滿足生產(chǎn)需求，并且整個(gè)生產(chǎn)過(guò)程的實(shí)時(shí)優(yōu)化和控制依賴于關(guān)鍵產(chǎn)品變量的質(zhì)量進(jìn)行操作調(diào)整。然而，由于實(shí)際工業(yè)生產(chǎn)中測(cè)量條件苛刻、成本較高，大多數(shù)關(guān)鍵質(zhì)量變量往往通過(guò)離線的實(shí)驗(yàn)室分析獲得。隨著信息技術(shù)的不斷進(jìn)步，質(zhì)量預(yù)測(cè)建模被選擇用于解決這個(gè)問(wèn)題。然而，受限于生產(chǎn)過(guò)程能質(zhì)耦合轉(zhuǎn)換的復(fù)雜性，建立基于機(jī)理的質(zhì)量預(yù)測(cè)模型是不可靠的。而數(shù)據(jù)驅(qū)動(dòng)的基于深度學(xué)習(xí)質(zhì)量預(yù)測(cè)模型，因其具有出色的高維大數(shù)據(jù)處理能力和對(duì)復(fù)雜函數(shù)的高效表示能力，已被廣泛應(yīng)用于工業(yè)過(guò)程系統(tǒng)的質(zhì)量預(yù)測(cè)建模中。

2、然而在實(shí)際建模過(guò)程中，只有極少數(shù)的有標(biāo)記的質(zhì)量樣本可以用于質(zhì)量預(yù)測(cè)建模，但這些稀缺的樣本并不能完全反應(yīng)過(guò)程本身的變化情況。雖然基于半監(jiān)督的方法可以通過(guò)為無(wú)標(biāo)簽數(shù)據(jù)添加偽標(biāo)簽，以此對(duì)數(shù)據(jù)集進(jìn)行增廣進(jìn)而用于模型訓(xùn)練。然而，這類型的方法目前缺乏一個(gè)被廣泛認(rèn)可的偽標(biāo)簽置信度評(píng)估標(biāo)準(zhǔn)，這可能會(huì)造成添加到訓(xùn)練集中的新樣本的偽標(biāo)簽并不準(zhǔn)確，進(jìn)而會(huì)誤導(dǎo)模型的學(xué)習(xí)和訓(xùn)練。因此，如何設(shè)計(jì)一個(gè)合理的偽標(biāo)簽置信度判別策略，對(duì)于提升質(zhì)量預(yù)測(cè)模型的性能是至關(guān)重要的。

3、基于分位數(shù)的區(qū)間預(yù)測(cè)方法具有兩個(gè)特點(diǎn)。特點(diǎn)一：訓(xùn)練的過(guò)程僅有針對(duì)于真實(shí)值的分位數(shù)約束。特點(diǎn)二：模型輸出結(jié)果區(qū)間寬度是根據(jù)樣本的不同而不斷變化的?；谔攸c(diǎn)一，根據(jù)預(yù)先設(shè)定的分位數(shù)為評(píng)估訓(xùn)練好的模型是否符合分位數(shù)假設(shè)提供了可能性?；谔攸c(diǎn)二，輸入不同樣本時(shí)模型會(huì)輸出的具有不同寬度的區(qū)間，為衡量質(zhì)量指標(biāo)真實(shí)值可能分布的范圍提供了可能性?；谔攸c(diǎn)一和特點(diǎn)二，若訓(xùn)練好的模型符合假設(shè)，則為使用質(zhì)量指標(biāo)真實(shí)值可能的分布區(qū)間和基礎(chǔ)質(zhì)量預(yù)測(cè)模型提供的偽標(biāo)簽來(lái)衡量置信度提供了可能性。然而現(xiàn)有的半監(jiān)督算法并沒(méi)有對(duì)偽標(biāo)簽的置信度進(jìn)行衡量，大多數(shù)方法會(huì)將具有偽標(biāo)簽的樣本全部用于質(zhì)量預(yù)測(cè)模型的進(jìn)一步訓(xùn)練中，導(dǎo)致對(duì)半監(jiān)督軟測(cè)量模型的訓(xùn)練過(guò)程造成誤導(dǎo)，無(wú)法獲得最優(yōu)性能。發(fā)明人有鑒于此，提供了一種基于偽標(biāo)簽置信度評(píng)估的半監(jiān)督工業(yè)生產(chǎn)質(zhì)量指標(biāo)預(yù)測(cè)方法，以便解決上述問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于偽標(biāo)簽置信度評(píng)估的半監(jiān)督工業(yè)生產(chǎn)質(zhì)量指標(biāo)預(yù)測(cè)方法，以在保證模型穩(wěn)定性的基礎(chǔ)上提高對(duì)工業(yè)過(guò)程生產(chǎn)質(zhì)量指標(biāo)軟測(cè)量的準(zhǔn)確性。

2、為了達(dá)到上述目的，本發(fā)明的基礎(chǔ)方案提供一種基于偽標(biāo)簽置信度評(píng)估的半監(jiān)督工業(yè)生產(chǎn)質(zhì)量指標(biāo)預(yù)測(cè)方法，包括以下步驟：

3、步驟1，從工業(yè)生產(chǎn)過(guò)程中收集歷史過(guò)程數(shù)據(jù)和歷史質(zhì)量化驗(yàn)數(shù)據(jù)；

4、步驟2，將數(shù)據(jù)依據(jù)是否含有標(biāo)簽進(jìn)行第一次劃分，再對(duì)劃分后的數(shù)據(jù)集中按照一定比例劃分訓(xùn)練集和測(cè)試集；

5、步驟3，搭建基礎(chǔ)質(zhì)量預(yù)測(cè)模型和基礎(chǔ)區(qū)間預(yù)測(cè)器，使用有標(biāo)簽過(guò)程數(shù)據(jù)進(jìn)行訓(xùn)練；

6、步驟4，依據(jù)基礎(chǔ)質(zhì)量預(yù)測(cè)模型為無(wú)標(biāo)簽數(shù)據(jù)賦予偽標(biāo)簽，依據(jù)基礎(chǔ)區(qū)間預(yù)測(cè)器的輸出結(jié)果計(jì)算偽標(biāo)簽的置信度；

7、步驟5，將具有高置信度偽標(biāo)簽的無(wú)標(biāo)簽數(shù)據(jù)加入到原始訓(xùn)練集中，并以此對(duì)基礎(chǔ)質(zhì)量預(yù)測(cè)模型進(jìn)行參數(shù)微調(diào)；

8、步驟6，輸入測(cè)試樣本的過(guò)程數(shù)據(jù)，獲取輸出的預(yù)測(cè)值。

9、進(jìn)一步，在所述步驟2中先將含有標(biāo)簽的數(shù)據(jù)按比例隨機(jī)劃分為訓(xùn)練集和測(cè)試集，再將將不含標(biāo)簽的數(shù)據(jù)作為額外訓(xùn)練集添加到所述訓(xùn)練集中。

10、進(jìn)一步，所述訓(xùn)練集和測(cè)試集分別為含有標(biāo)簽的數(shù)據(jù)的80％和20％。

11、進(jìn)一步，在所述步驟3中，通過(guò)給定的過(guò)程數(shù)據(jù)和對(duì)應(yīng)的質(zhì)量指標(biāo)，基于lstm和全連接神經(jīng)網(wǎng)絡(luò)搭建基礎(chǔ)質(zhì)量預(yù)測(cè)模型和基礎(chǔ)區(qū)間預(yù)測(cè)模型。

12、進(jìn)一步，所述基礎(chǔ)質(zhì)量預(yù)測(cè)模型的輸出為質(zhì)量指標(biāo)預(yù)測(cè)值，所述基礎(chǔ)區(qū)間預(yù)測(cè)模型的輸出為一定分位數(shù)條件下預(yù)測(cè)真實(shí)值可能分布的上下限，對(duì)基礎(chǔ)質(zhì)量預(yù)測(cè)模型進(jìn)行訓(xùn)練的損失函數(shù)表達(dá)式如下：

13、

14、過(guò)程數(shù)據(jù)與真實(shí)值可能分布的上下限之間的關(guān)系的表達(dá)式如下：

15、

16、其中qy(i)(τ|xl(i))是對(duì)于輸入xl(i)在分位數(shù)τ處的條件分位數(shù)，代表p(y(i)＜qy(i)(τ|xl(i)))＝τ，f(·)是是回歸計(jì)算的映射，為回歸參數(shù)，通過(guò)最小化下式的損失函數(shù)獲得：

17、

18、其中是的估計(jì)，函數(shù)g(·)的表達(dá)式如下：

19、

20、訓(xùn)練模型得到真實(shí)值可能分布的上下限區(qū)間表達(dá)式如下：

21、qi＝[qy(i)(τ/2|xl(i)),qy(i)(1-τ/2|xl(i))]

22、訓(xùn)練過(guò)程中采用l2正則化以防止過(guò)擬合。

23、進(jìn)一步，所述步驟s3中，分位數(shù)τ為0.1，訓(xùn)練過(guò)程中的學(xué)習(xí)率為0.001。

24、進(jìn)一步，在所述步驟4中，包括以下子步驟：

25、步驟4.1：針對(duì)無(wú)標(biāo)簽的過(guò)程數(shù)據(jù){xu(1),xu(2),...xu(nu)}，利用基礎(chǔ)質(zhì)量預(yù)測(cè)計(jì)算對(duì)應(yīng)的預(yù)測(cè)值利用基礎(chǔ)區(qū)間預(yù)測(cè)模型計(jì)算對(duì)應(yīng)的區(qū)間序列{qu(1),qu(2),...qu(nu)}；

26、步驟4.2：通過(guò)下式計(jì)算每個(gè)無(wú)標(biāo)簽樣本對(duì)應(yīng)的區(qū)間的寬度：

27、

28、步驟4.3：使用核密度估計(jì)并基于高斯核對(duì)區(qū)間來(lái)表示區(qū)間寬度的分布情況：

29、

30、其中δ是帶寬，是核密度估計(jì)函數(shù)；

31、步驟4.4：利用偽標(biāo)簽和區(qū)間qu計(jì)算偽標(biāo)簽的置信度：

32、

33、若在區(qū)間qu(i)之外，則對(duì)應(yīng)樣本xu(i)偽標(biāo)簽的置信度設(shè)為0。

34、進(jìn)一步，在所述步驟5中，將偽標(biāo)簽置信度高于80％的無(wú)標(biāo)簽數(shù)據(jù)添加到有標(biāo)簽訓(xùn)練集中，并使用擴(kuò)增的訓(xùn)練集對(duì)基礎(chǔ)質(zhì)量預(yù)測(cè)模型進(jìn)行參數(shù)微調(diào)。

35、本方案的原理及效果在于：

36、1、本發(fā)明基于分位數(shù)回歸的思想，在一定假設(shè)的條件下建立了原始過(guò)程數(shù)據(jù)和質(zhì)量真實(shí)值可能分布的區(qū)間之間的預(yù)測(cè)模型。該模型預(yù)測(cè)的區(qū)間有助于為衡量偽標(biāo)簽的置信度提供假設(shè)和理論基礎(chǔ)。

37、2、本發(fā)明基于預(yù)測(cè)區(qū)間和已有的偽標(biāo)簽，設(shè)計(jì)了一種衡量偽標(biāo)簽置信度的策略。該策略有利于幫助選擇具有高置信度偽標(biāo)簽的樣本加入訓(xùn)練集，以避免模型由于偽標(biāo)簽不準(zhǔn)確而在訓(xùn)練過(guò)程中受到誤導(dǎo)。

38、3、綜上，本發(fā)明基于分位數(shù)回歸的思想建立了區(qū)間預(yù)測(cè)模型，利用預(yù)測(cè)區(qū)間和基于基礎(chǔ)質(zhì)量預(yù)測(cè)模型提供的偽標(biāo)簽來(lái)衡量偽標(biāo)簽的置信度。然后，選擇具有高置信度偽標(biāo)簽的樣本加入訓(xùn)練集，以增強(qiáng)數(shù)據(jù)表征工業(yè)生產(chǎn)過(guò)程變化情況的能力。利用這些新的數(shù)據(jù)來(lái)對(duì)基礎(chǔ)的質(zhì)量預(yù)測(cè)模型進(jìn)行參數(shù)微調(diào)，最終使得質(zhì)量預(yù)測(cè)模型具有更高的性能。較傳統(tǒng)方法相比，該方法操作簡(jiǎn)單，訓(xùn)練時(shí)間短，新加入訓(xùn)練集的數(shù)據(jù)偽標(biāo)簽置信度高，適合應(yīng)用于過(guò)程數(shù)據(jù)和質(zhì)量數(shù)據(jù)采樣率不平衡的工業(yè)生產(chǎn)過(guò)程質(zhì)量預(yù)測(cè)。

技術(shù)特征：

1.一種基于偽標(biāo)簽置信度評(píng)估的半監(jiān)督工業(yè)生產(chǎn)質(zhì)量指標(biāo)預(yù)測(cè)方法，其特征在于：包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于偽標(biāo)簽置信度評(píng)估的半監(jiān)督工業(yè)生產(chǎn)質(zhì)量指標(biāo)預(yù)測(cè)方法，其特征在于，在所述步驟2中先將含有標(biāo)簽的數(shù)據(jù)按比例隨機(jī)劃分為訓(xùn)練集和測(cè)試集，再將將不含標(biāo)簽的數(shù)據(jù)作為額外訓(xùn)練集添加到所述訓(xùn)練集中。

3.根據(jù)權(quán)利要求2所述的一種基于偽標(biāo)簽置信度評(píng)估的半監(jiān)督工業(yè)生產(chǎn)質(zhì)量指標(biāo)預(yù)測(cè)方法，其特征在于，所述訓(xùn)練集和測(cè)試集分別為含有標(biāo)簽的數(shù)據(jù)的80％和20％。

4.根據(jù)權(quán)利要求1至3任一所述的一種基于偽標(biāo)簽置信度評(píng)估的半監(jiān)督工業(yè)生產(chǎn)質(zhì)量指標(biāo)預(yù)測(cè)方法，其特征在于，在所述步驟3中，通過(guò)給定的過(guò)程數(shù)據(jù)和對(duì)應(yīng)的質(zhì)量指標(biāo)，基于lstm和全連接神經(jīng)網(wǎng)絡(luò)搭建基礎(chǔ)質(zhì)量預(yù)測(cè)模型和基礎(chǔ)區(qū)間預(yù)測(cè)模型。

5.根據(jù)權(quán)利要求4所述的一種基于偽標(biāo)簽置信度評(píng)估的半監(jiān)督工業(yè)生產(chǎn)質(zhì)量指標(biāo)預(yù)測(cè)方法，其特征在于，所述基礎(chǔ)質(zhì)量預(yù)測(cè)模型的輸出為質(zhì)量指標(biāo)預(yù)測(cè)值，所述基礎(chǔ)區(qū)間預(yù)測(cè)模型的輸出為一定分位數(shù)條件下預(yù)測(cè)真實(shí)值可能分布的上下限，對(duì)基礎(chǔ)質(zhì)量預(yù)測(cè)模型進(jìn)行訓(xùn)練的損失函數(shù)表達(dá)式如下：

6.根據(jù)權(quán)利要求5所述的一種基于偽標(biāo)簽置信度評(píng)估的半監(jiān)督工業(yè)生產(chǎn)質(zhì)量指標(biāo)預(yù)測(cè)方法，其特征在于，所述步驟s3中，分位數(shù)τ為0.1，訓(xùn)練過(guò)程中的學(xué)習(xí)率為0.001。

7.根據(jù)權(quán)利要求5或6所述的一種基于偽標(biāo)簽置信度評(píng)估的半監(jiān)督工業(yè)生產(chǎn)質(zhì)量指標(biāo)預(yù)測(cè)方法，其特征在于，在所述步驟4中，包括以下子步驟：

8.根據(jù)權(quán)利要求5或6所述的一種基于偽標(biāo)簽置信度評(píng)估的半監(jiān)督工業(yè)生產(chǎn)質(zhì)量指標(biāo)預(yù)測(cè)方法，其特征在于，在所述步驟5中，將偽標(biāo)簽置信度高于80％的無(wú)標(biāo)簽數(shù)據(jù)添加到有標(biāo)簽訓(xùn)練集中，并使用擴(kuò)增的訓(xùn)練集對(duì)基礎(chǔ)質(zhì)量預(yù)測(cè)模型進(jìn)行參數(shù)微調(diào)。

技術(shù)總結(jié)
本發(fā)明涉及化工生產(chǎn)過(guò)程控制技術(shù)領(lǐng)域，具體公開了一種基于偽標(biāo)簽置信度評(píng)估的半監(jiān)督工業(yè)生產(chǎn)質(zhì)量指標(biāo)預(yù)測(cè)方法，包括以下步驟：步驟1，從工業(yè)生產(chǎn)過(guò)程中收集歷史過(guò)程數(shù)據(jù)和歷史質(zhì)量化驗(yàn)數(shù)據(jù)；步驟2，將數(shù)據(jù)依據(jù)是否含有標(biāo)簽進(jìn)行第一次劃分，再對(duì)劃分后的數(shù)據(jù)集中按照一定比例劃分訓(xùn)練集和測(cè)試集；步驟3，搭建基礎(chǔ)質(zhì)量預(yù)測(cè)模型和基礎(chǔ)區(qū)間預(yù)測(cè)器，使用有標(biāo)簽過(guò)程數(shù)據(jù)進(jìn)行訓(xùn)練；步驟4，依據(jù)基礎(chǔ)質(zhì)量預(yù)測(cè)模型為無(wú)標(biāo)簽數(shù)據(jù)賦予偽標(biāo)簽，依據(jù)基礎(chǔ)區(qū)間預(yù)測(cè)器的輸出結(jié)果計(jì)算偽標(biāo)簽的置信度；步驟5，將具有高置信度偽標(biāo)簽的無(wú)標(biāo)簽數(shù)據(jù)加入到原始訓(xùn)練集中，并以此對(duì)基礎(chǔ)質(zhì)量預(yù)測(cè)模型進(jìn)行參數(shù)微調(diào)；步驟6，輸入測(cè)試樣本的過(guò)程數(shù)據(jù)，獲取輸出的預(yù)測(cè)值。

技術(shù)研發(fā)人員：朱紅求,越鉑淳,候曉雙,王凱,夏斯博,劉銘輝,曾思恒,陽(yáng)春華
受保護(hù)的技術(shù)使用者：中南大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15