本發(fā)明涉及深度學(xué)習(xí)工業(yè)過(guò)程軟測(cè)量，特別是指一種潛在可預(yù)測(cè)性嵌入深度學(xué)習(xí)的工業(yè)過(guò)程軟測(cè)量方法及裝置。

背景技術(shù)：

1、隨著對(duì)產(chǎn)品質(zhì)量和經(jīng)濟(jì)效益的要求越來(lái)越高，現(xiàn)代工業(yè)過(guò)程變得非常復(fù)雜和大規(guī)模。在這樣的過(guò)程中，淺層學(xué)習(xí)模型很難從高維過(guò)程數(shù)據(jù)中提取強(qiáng)非線性特征。為了克服這些固有的局限性，人們開(kāi)始使用深度架構(gòu)來(lái)對(duì)復(fù)雜的工業(yè)數(shù)據(jù)進(jìn)行建模。因此，使用深度學(xué)習(xí)進(jìn)行軟傳感器開(kāi)發(fā)變得越來(lái)越重要。

2、在各種深度學(xué)習(xí)模型中，sae(stacked?auto-encoders，堆疊式自動(dòng)編碼器)是最廣泛使用的神經(jīng)網(wǎng)絡(luò)之一。為了增強(qiáng)原始編碼器的功能，引入了stae(stacked?auto-encoders，堆疊式目標(biāo)相關(guān)自動(dòng)編碼器)。stae旨在提取與期望輸出預(yù)測(cè)特別相關(guān)的深度特征。然而，stae主要用于過(guò)程變量和質(zhì)量變量的自我重構(gòu)，因此難以描述動(dòng)態(tài)工業(yè)過(guò)程，因?yàn)閯?dòng)態(tài)過(guò)程背后隱藏的趨勢(shì)信息會(huì)丟失。

3、傳統(tǒng)的數(shù)據(jù)驅(qū)動(dòng)建模方法主要包括各種多元統(tǒng)計(jì)分析方法和機(jī)器學(xué)習(xí)模型。隨著人們對(duì)產(chǎn)品質(zhì)量和環(huán)境保護(hù)要求的不斷提高，現(xiàn)代工業(yè)過(guò)程變得非常復(fù)雜和大規(guī)模。淺層學(xué)習(xí)模型很難處理這些強(qiáng)非線性、高維、強(qiáng)耦合、動(dòng)態(tài)的過(guò)程數(shù)據(jù)。因此需要能將過(guò)程數(shù)據(jù)輸入至端到端的軟測(cè)量模型，深度學(xué)習(xí)方法不同于傳統(tǒng)淺層技術(shù)，其模擬人腦神經(jīng)元的信息傳遞模式，通過(guò)部署多層、非線性的感知和映射提取隱藏在數(shù)據(jù)中的深度特征，減少了對(duì)信號(hào)處理和人工特征提取的依賴，允許端到端學(xué)習(xí)，應(yīng)用于工業(yè)過(guò)程軟測(cè)量領(lǐng)域。

4、近年來(lái)，大多數(shù)工作使用的模型都是基于靜態(tài)假設(shè)的模型，在工業(yè)過(guò)程軟測(cè)量的應(yīng)用中存在著忽略過(guò)程數(shù)據(jù)中動(dòng)態(tài)自相關(guān)性和丟失趨勢(shì)信息的弊端，如何捕捉過(guò)程數(shù)據(jù)中動(dòng)態(tài)自相關(guān)性和挖掘過(guò)程的趨勢(shì)信息應(yīng)用于軟測(cè)量建模是值得研究的問(wèn)題。同時(shí)深度學(xué)習(xí)模型的潛在特征層具有復(fù)雜的分布和時(shí)間依賴關(guān)系，因此需要特定的方法建立潛在可預(yù)測(cè)性模型來(lái)設(shè)計(jì)正則化項(xiàng)以提取平滑的、可預(yù)測(cè)的潛在特征。動(dòng)態(tài)模型方法主要分為動(dòng)態(tài)矩陣擴(kuò)展、時(shí)間序列模型和動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)，諸如動(dòng)態(tài)主成分分析模型、自回歸滑動(dòng)平均模型、循環(huán)神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期記憶等。雖然目前大多數(shù)工作能一定程度上實(shí)現(xiàn)動(dòng)態(tài)特征提取，但是上述動(dòng)態(tài)模型專注于動(dòng)態(tài)特征提取，應(yīng)將潛在特征的動(dòng)態(tài)特性約束引入到基于堆疊自編碼器的軟測(cè)量中。

5、現(xiàn)今，arae(autoregressive?autoencoder，自回歸自編碼器)模型受到涉及顯式動(dòng)態(tài)模型和與內(nèi)部動(dòng)態(tài)模型結(jié)構(gòu)兼容的外部模型的方法的啟發(fā)，該模型被設(shè)計(jì)用于長(zhǎng)期依賴過(guò)程系統(tǒng)中的非線性動(dòng)態(tài)隱變量提取。然而，由于在確定隱空間之前不會(huì)停止迭代訓(xùn)練，因此網(wǎng)絡(luò)可能通過(guò)重建損失和自回歸損失的交叉訓(xùn)練陷入局部最小值。因此，與在ae(autoencoder，自編碼器)中顯式引入自回歸模型相比，與流形學(xué)習(xí)相關(guān)的ae在動(dòng)態(tài)特征提取方面具有更好的效果。為了確定相鄰樣本之間的動(dòng)態(tài)鄰域關(guān)系，使用時(shí)間距離權(quán)重構(gòu)建鄰接圖。然而，由于時(shí)間依賴性只是粗略估計(jì)，這種方法可能會(huì)產(chǎn)生冗余或假鄰居節(jié)點(diǎn)。同樣，沒(méi)有考慮由周期性或滯后引起的動(dòng)態(tài)關(guān)系。這些問(wèn)題限制了自動(dòng)編碼器在動(dòng)態(tài)過(guò)程軟傳感器中的應(yīng)用。

技術(shù)實(shí)現(xiàn)思路

1、為了解決現(xiàn)有技術(shù)存在的1、工業(yè)過(guò)程軟測(cè)量模型中深度學(xué)習(xí)模型基于靜態(tài)假設(shè)，忽略了過(guò)程數(shù)據(jù)的動(dòng)態(tài)自相關(guān)性，丟失了過(guò)程中的趨勢(shì)信息；2、潛在特征的復(fù)雜的時(shí)間依賴關(guān)系和分布；3、傳統(tǒng)的交替訓(xùn)練可預(yù)測(cè)性損失和監(jiān)督深度網(wǎng)絡(luò)損失導(dǎo)致無(wú)法保證整體網(wǎng)絡(luò)收斂性、易陷入局部最小的技術(shù)問(wèn)題，本發(fā)明實(shí)施例提供了一種潛在可預(yù)測(cè)性嵌入深度學(xué)習(xí)的工業(yè)過(guò)程軟測(cè)量方法及裝置。所述技術(shù)方案如下：

2、一方面，提供了一種潛在可預(yù)測(cè)性嵌入深度學(xué)習(xí)的工業(yè)過(guò)程軟測(cè)量方法，該方法由工業(yè)過(guò)程軟測(cè)量設(shè)備實(shí)現(xiàn)，該方法包括：

3、s1、獲取工業(yè)生產(chǎn)過(guò)程數(shù)據(jù)，對(duì)工業(yè)生產(chǎn)過(guò)程數(shù)據(jù)進(jìn)行預(yù)處理，得到訓(xùn)練數(shù)據(jù)集。

4、s2、對(duì)訓(xùn)練數(shù)據(jù)集的時(shí)間相關(guān)性進(jìn)行分析，選取時(shí)間滯后常數(shù)。

5、s3、根據(jù)變分循環(huán)網(wǎng)絡(luò)構(gòu)建的潛在特征的概率動(dòng)態(tài)模型、訓(xùn)練數(shù)據(jù)集構(gòu)造的時(shí)間圖以及時(shí)間滯后常數(shù)，設(shè)計(jì)可預(yù)測(cè)性正則化項(xiàng)，根據(jù)可預(yù)測(cè)性正則化項(xiàng)構(gòu)建概率潛在可預(yù)測(cè)性模型嵌入的目標(biāo)相關(guān)自編碼器。

6、s4、將多個(gè)概率潛在可預(yù)測(cè)性模型嵌入的目標(biāo)相關(guān)自編碼器進(jìn)行堆疊，搭建概率潛在可預(yù)測(cè)性模型嵌入的監(jiān)督深度網(wǎng)絡(luò)，對(duì)概率潛在可預(yù)測(cè)性模型嵌入的監(jiān)督深度網(wǎng)絡(luò)進(jìn)行逐層訓(xùn)練，得到經(jīng)過(guò)驗(yàn)證的概率潛在可預(yù)測(cè)性模型嵌入的監(jiān)督深度網(wǎng)絡(luò)。

7、s5、獲取工業(yè)生產(chǎn)過(guò)程中的過(guò)程變量，輸入到經(jīng)過(guò)驗(yàn)證的概率潛在可預(yù)測(cè)性模型嵌入的監(jiān)督深度網(wǎng)絡(luò)，得到工業(yè)生產(chǎn)過(guò)程的質(zhì)量變量預(yù)測(cè)值。

8、可選地，s3中的根據(jù)變分循環(huán)網(wǎng)絡(luò)構(gòu)建的潛在特征的概率動(dòng)態(tài)模型、訓(xùn)練數(shù)據(jù)集構(gòu)造的時(shí)間圖以及時(shí)間滯后常數(shù)，設(shè)計(jì)可預(yù)測(cè)性正則化項(xiàng)，包括：

9、將訓(xùn)練數(shù)據(jù)集輸入到目標(biāo)相關(guān)自編碼器的編碼層，經(jīng)過(guò)變換獲得一個(gè)潛在特征空間最小化潛在特征空間中投影隨機(jī)變量的方差之和。

10、其中，根據(jù)訓(xùn)練數(shù)據(jù)集構(gòu)造的時(shí)間圖以及變分循環(huán)網(wǎng)絡(luò)構(gòu)建的潛在特征的概率動(dòng)態(tài)模型，構(gòu)建潛在特征的跨時(shí)間的自相關(guān)性，利用負(fù)對(duì)數(shù)似然設(shè)計(jì)可預(yù)測(cè)性正則化項(xiàng)。

11、將可預(yù)測(cè)性正則化項(xiàng)加入到目標(biāo)相關(guān)自編碼器的損失函數(shù)中，得到概率潛在可預(yù)測(cè)性模型嵌入的監(jiān)督深度網(wǎng)絡(luò)的損失函數(shù)。

12、可選地，潛在特征的跨時(shí)間的自相關(guān)性，如下式(1)所示：

13、

14、式中，p(·｜·)表示條件概率，表示第i時(shí)刻的潛在特征，τ表示時(shí)間滯后常數(shù)，表示服從均值為μi-1、方差為的正態(tài)分布。

15、可選地，可預(yù)測(cè)性正則化項(xiàng)，如下式(2)所示：

16、

17、式中，表示可預(yù)測(cè)性正則化項(xiàng)，n表示樣本數(shù)量，τ表示時(shí)間滯后常數(shù)，表示服從均值為μi-1、方差為的正態(tài)分布。

18、可選地，概率潛在可預(yù)測(cè)性模型嵌入的監(jiān)督深度網(wǎng)絡(luò)的損失函數(shù)，如下式(3)所示：

19、

20、式中，表示概率潛在可預(yù)測(cè)性模型嵌入的監(jiān)督深度網(wǎng)絡(luò)的損失函數(shù)，表示監(jiān)督深度網(wǎng)絡(luò)的損失函數(shù)，表示可預(yù)測(cè)性正則化項(xiàng)，λp表示可預(yù)測(cè)性正則化項(xiàng)的可調(diào)系數(shù)。

21、可選地，潛在特征的概率動(dòng)態(tài)模型，用于描述堆疊目標(biāo)相關(guān)自編碼器的潛在空間中潛在特征之間的時(shí)間依賴關(guān)系。

22、s3中的根據(jù)變分循環(huán)網(wǎng)絡(luò)構(gòu)建潛在特征的概率動(dòng)態(tài)模型，包括：

23、根據(jù)變分循環(huán)網(wǎng)絡(luò)構(gòu)建潛在特征的概率動(dòng)態(tài)模型，在變分自編碼器的證據(jù)下限的基礎(chǔ)上，將時(shí)間因子引入潛在特征的概率動(dòng)態(tài)模型中，根據(jù)因式分解公式，得到變分下界，設(shè)定潛在特征的概率動(dòng)態(tài)模型的目標(biāo)為最大化證據(jù)下限，得到經(jīng)驗(yàn)損失函數(shù)。

24、可選地，時(shí)間圖，用于引導(dǎo)正則化項(xiàng)，使得潛在特征的概率動(dòng)態(tài)模型中重構(gòu)的潛在特征能夠盡可能地保持原始數(shù)據(jù)中的時(shí)間圖結(jié)構(gòu)。

25、s3中的訓(xùn)練數(shù)據(jù)集構(gòu)造時(shí)間圖，包括：

26、對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行增廣，得到增廣后的數(shù)據(jù)根據(jù)增廣后的數(shù)據(jù)中的原始數(shù)據(jù)向量與其τ個(gè)時(shí)間步長(zhǎng)的原始數(shù)據(jù)向量的概率分布差異，度量τ個(gè)時(shí)間步長(zhǎng)的原始數(shù)據(jù)向量之間的距離，進(jìn)而構(gòu)造時(shí)間圖；其中，τ表示時(shí)間滯后常數(shù)。

27、另一方面，提供了一種潛在可預(yù)測(cè)性嵌入深度學(xué)習(xí)的工業(yè)過(guò)程軟測(cè)量裝置，該裝置應(yīng)用于潛在可預(yù)測(cè)性嵌入深度學(xué)習(xí)的工業(yè)過(guò)程軟測(cè)量方法，該裝置包括：

28、獲取模塊，用于獲取工業(yè)生產(chǎn)過(guò)程數(shù)據(jù)，對(duì)工業(yè)生產(chǎn)過(guò)程數(shù)據(jù)進(jìn)行預(yù)處理，得到訓(xùn)練數(shù)據(jù)集。

29、選取模塊，用于對(duì)訓(xùn)練數(shù)據(jù)集的時(shí)間相關(guān)性進(jìn)行分析，選取時(shí)間滯后常數(shù)。

30、設(shè)計(jì)模塊，用于根據(jù)變分循環(huán)網(wǎng)絡(luò)構(gòu)建的潛在特征的概率動(dòng)態(tài)模型、訓(xùn)練數(shù)據(jù)集構(gòu)造的時(shí)間圖以及時(shí)間滯后常數(shù)，設(shè)計(jì)可預(yù)測(cè)性正則化項(xiàng)，根據(jù)可預(yù)測(cè)性正則化項(xiàng)構(gòu)建概率潛在可預(yù)測(cè)性模型嵌入的目標(biāo)相關(guān)自編碼器。

31、訓(xùn)練模塊，用于將多個(gè)概率潛在可預(yù)測(cè)性模型嵌入的目標(biāo)相關(guān)自編碼器進(jìn)行堆疊，搭建概率潛在可預(yù)測(cè)性模型嵌入的監(jiān)督深度網(wǎng)絡(luò)，對(duì)概率潛在可預(yù)測(cè)性模型嵌入的監(jiān)督深度網(wǎng)絡(luò)進(jìn)行逐層訓(xùn)練，得到經(jīng)過(guò)驗(yàn)證的概率潛在可預(yù)測(cè)性模型嵌入的監(jiān)督深度網(wǎng)絡(luò)。

32、輸出模塊，用于獲取工業(yè)生產(chǎn)過(guò)程中的過(guò)程變量，輸入到經(jīng)過(guò)驗(yàn)證的概率潛在可預(yù)測(cè)性模型嵌入的監(jiān)督深度網(wǎng)絡(luò)，得到工業(yè)生產(chǎn)過(guò)程的質(zhì)量變量預(yù)測(cè)值。

33、可選地，設(shè)計(jì)模塊，進(jìn)一步用于：

34、將訓(xùn)練數(shù)據(jù)集輸入到目標(biāo)相關(guān)自編碼器的編碼層，經(jīng)過(guò)變換獲得一個(gè)潛在特征空間最小化潛在特征空間中投影隨機(jī)變量的方差之和。

35、其中，根據(jù)訓(xùn)練數(shù)據(jù)集構(gòu)造的時(shí)間圖以及變分循環(huán)網(wǎng)絡(luò)構(gòu)建的潛在特征的概率動(dòng)態(tài)模型，構(gòu)建潛在特征的跨時(shí)間的自相關(guān)性，利用負(fù)對(duì)數(shù)似然設(shè)計(jì)可預(yù)測(cè)性正則化項(xiàng)。

36、將可預(yù)測(cè)性正則化項(xiàng)加入到目標(biāo)相關(guān)自編碼器的損失函數(shù)中，得到概率潛在可預(yù)測(cè)性模型嵌入的監(jiān)督深度網(wǎng)絡(luò)的損失函數(shù)。

37、可選地，潛在特征的跨時(shí)間的自相關(guān)性，如下式(1)所示：

38、

39、式中，p(·|·)表示條件概率，表示第i時(shí)刻的潛在特征，τ表示時(shí)間滯后常數(shù)，表示服從均值為μi-1、方差為的正態(tài)分布。

40、可選地，可預(yù)測(cè)性正則化項(xiàng)，如下式(2)所示：

41、

42、式中，lp表示可預(yù)測(cè)性正則化項(xiàng)，n表示樣本數(shù)量，τ表示時(shí)間滯后常數(shù)，表示服從均值為μi-1、方差為的正態(tài)分布。

43、可選地，概率潛在可預(yù)測(cè)性模型嵌入的監(jiān)督深度網(wǎng)絡(luò)的損失函數(shù)，如下式(3)所示：

44、

45、式中，表示概率潛在可預(yù)測(cè)性模型嵌入的監(jiān)督深度網(wǎng)絡(luò)的損失函數(shù)，表示監(jiān)督深度網(wǎng)絡(luò)的損失函數(shù)，表示可預(yù)測(cè)性正則化項(xiàng)，λp表示可預(yù)測(cè)性正則化項(xiàng)的可調(diào)系數(shù)。

46、可選地，潛在特征的概率動(dòng)態(tài)模型，用于描述堆疊目標(biāo)相關(guān)自編碼器的潛在空間中潛在特征之間的時(shí)間依賴關(guān)系。

47、設(shè)計(jì)模塊，進(jìn)一步用于：

48、根據(jù)變分循環(huán)網(wǎng)絡(luò)構(gòu)建潛在特征的概率動(dòng)態(tài)模型，在變分自編碼器的證據(jù)下限的基礎(chǔ)上，將時(shí)間因子引入潛在特征的概率動(dòng)態(tài)模型中，根據(jù)因式分解公式，得到變分下界，設(shè)定潛在特征的概率動(dòng)態(tài)模型的目標(biāo)為最大化證據(jù)下限，得到經(jīng)驗(yàn)損失函數(shù)。

49、可選地，時(shí)間圖，用于引導(dǎo)正則化項(xiàng)，使得潛在特征的概率動(dòng)態(tài)模型中重構(gòu)的潛在特征能夠盡可能地保持原始數(shù)據(jù)中的時(shí)間圖結(jié)構(gòu)。

50、設(shè)計(jì)模塊，進(jìn)一步用于：

51、對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行增廣，得到增廣后的數(shù)據(jù)根據(jù)增廣后的數(shù)據(jù)中的原始數(shù)據(jù)向量與其τ個(gè)時(shí)間步長(zhǎng)的原始數(shù)據(jù)向量的概率分布差異，度量τ個(gè)時(shí)間步長(zhǎng)的原始數(shù)據(jù)向量之間的距離，進(jìn)而構(gòu)造時(shí)間圖；其中，τ表示時(shí)間滯后常數(shù)。

52、另一方面，提供一種工業(yè)過(guò)程軟測(cè)量設(shè)備，所述工業(yè)過(guò)程軟測(cè)量設(shè)備包括：處理器；存儲(chǔ)器，所述存儲(chǔ)器上存儲(chǔ)有計(jì)算機(jī)可讀指令，所述計(jì)算機(jī)可讀指令被所述處理器執(zhí)行時(shí)，實(shí)現(xiàn)如上述潛在可預(yù)測(cè)性嵌入深度學(xué)習(xí)的工業(yè)過(guò)程軟測(cè)量方法中的任一項(xiàng)方法。

53、另一方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)中存儲(chǔ)有至少一條指令，所述至少一條指令由處理器加載并執(zhí)行以實(shí)現(xiàn)上述潛在可預(yù)測(cè)性嵌入深度學(xué)習(xí)的工業(yè)過(guò)程軟測(cè)量方法中的任一項(xiàng)方法。

54、本發(fā)明實(shí)施例提供的技術(shù)方案帶來(lái)的有益效果至少包括：

55、本發(fā)明中，能有效的挖掘過(guò)程數(shù)據(jù)中的動(dòng)態(tài)自相關(guān)性和趨勢(shì)信息對(duì)質(zhì)量變量的影響，利用圖引導(dǎo)的潛在概率動(dòng)態(tài)模型建模潛在特征的時(shí)間依賴關(guān)系，利用來(lái)自先前多步時(shí)間點(diǎn)的潛在特征對(duì)當(dāng)前時(shí)間點(diǎn)的潛在特征的提取實(shí)施約束，并將所有的優(yōu)化器合并以訓(xùn)練整個(gè)網(wǎng)絡(luò)的參數(shù)，提高潛在特征的平滑性和可預(yù)測(cè)性，保證網(wǎng)絡(luò)的收斂性，提高了軟測(cè)量的精度。