本發(fā)明屬于人工智能領(lǐng)域，深度學(xué)習(xí)方向，發(fā)明了一種基于損失曲面的改進(jìn)物理信息神經(jīng)網(wǎng)絡(luò)(pinns)訓(xùn)練的方法。

背景技術(shù)：

1、近年來(lái)，隨著深度學(xué)習(xí)技術(shù)的迅猛發(fā)展，基于深度學(xué)習(xí)的物理信息神經(jīng)網(wǎng)絡(luò)(physics-informed?neural?networks，簡(jiǎn)稱pinns)在求解偏微分方程(partialdifferential?equations，簡(jiǎn)稱pdes)方面的應(yīng)用逐漸受到廣泛關(guān)注。pinns利用神經(jīng)網(wǎng)絡(luò)的強(qiáng)大表達(dá)能力，通過(guò)訓(xùn)練來(lái)最小化殘差損失與邊界/初始條件損失的加權(quán)和，從而有效解決復(fù)雜的物理問題。這一方法的成功不僅提升了對(duì)多種物理現(xiàn)象的建模能力，還為解決流體力學(xué)、醫(yī)學(xué)成像、氣候模擬等多個(gè)科學(xué)領(lǐng)域的重要問題提供了新的工具。這些實(shí)際問題的解決不僅有助于推動(dòng)基礎(chǔ)研究的進(jìn)展，也對(duì)工業(yè)應(yīng)用和社會(huì)發(fā)展產(chǎn)生了深遠(yuǎn)的影響。

2、盡管pinns在多個(gè)領(lǐng)域已經(jīng)取得了顯著的進(jìn)展，但其在優(yōu)化過(guò)程中仍然面臨諸多挑戰(zhàn)。首先，pinns的訓(xùn)練損失通常包含多個(gè)損失項(xiàng)，這使得損失曲面變得極為復(fù)雜，給優(yōu)化過(guò)程帶來(lái)了困難。理解這些損失曲面的結(jié)構(gòu)對(duì)于識(shí)別和解決pinns優(yōu)化問題的根本原因具有重要意義。一旦能夠深入理解損失曲面的特點(diǎn)和行為，便可以開發(fā)出更加有效的優(yōu)化策略，提高訓(xùn)練的穩(wěn)定性和收斂速度。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明要解決的問題是：盡管pinns具有顯著優(yōu)勢(shì)，但在實(shí)踐中，研究者發(fā)現(xiàn)其損失函數(shù)，尤其是殘差損失的損失曲面，往往較為復(fù)雜，具有多個(gè)局部最小值和不光滑的特性。這種復(fù)雜性會(huì)導(dǎo)致訓(xùn)練過(guò)程中的收斂性問題，影響模型的最終性能。由于傳統(tǒng)的訓(xùn)練方法在面對(duì)復(fù)雜的損失曲面時(shí)表現(xiàn)不佳，探索新的訓(xùn)練策略以提高pinns的收斂速度和解的精度變得極為迫切。本發(fā)明基于對(duì)殘差損失的損失曲面的深入分析，設(shè)計(jì)出一種改進(jìn)pinns訓(xùn)練的方法，該方法極大的提高了模型的預(yù)測(cè)精度。以下是與pinns相關(guān)的幾個(gè)重要概念和它們的數(shù)學(xué)表達(dá)式：

2、(1)偏微分方程(pdes)

3、偏微分方程是指包含未知函數(shù)的偏導(dǎo)數(shù)的方程，在科學(xué)和工程領(lǐng)域上有廣泛的應(yīng)用，形式如下：

4、f(u(x,t))＝0,x∈ω,t∈[0,t]；

5、

6、i(u(x,0))＝0,x∈ω,

7、其中u(x,t)是偏微分方程的解，即要進(jìn)行求解的值，f是微分算子，b是邊界條件算子，i是初始條件算子。ω是空間域，是邊界，[0,t]是時(shí)間域。

8、本發(fā)明實(shí)驗(yàn)使用的偏微分方程為對(duì)流方程。對(duì)流方程主要用于模擬流體流動(dòng)，傳熱和生物過(guò)程。對(duì)流方程的形式如下：

9、

10、u(0,t)＝u(2π,t)；

11、u(x,0)＝sin(x)；

12、其中，β為對(duì)流系數(shù)，本發(fā)明的實(shí)驗(yàn)取值為β＝40。

13、(2)物理信息神經(jīng)網(wǎng)絡(luò)(pinns)

14、為了解決偏微分方程，pinns通過(guò)訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)近似u(x,t)。通過(guò)在內(nèi)部域ζres：＝ω×(0,t)采集nres個(gè)內(nèi)部點(diǎn)，在邊界域采集nb個(gè)邊界點(diǎn)，在初始域ζi：＝ω采集ni個(gè)初始點(diǎn)。pinns使用以下?lián)p失函數(shù)來(lái)強(qiáng)制執(zhí)行pdes約束以及邊界和初始條件：

15、ltotal(θ)＝lres(θ)+lb(θ)+li(θ)，

16、其中，θ是神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)，pinns采用的是全連接神經(jīng)網(wǎng)絡(luò)，所以θ是連接全連接神經(jīng)網(wǎng)絡(luò)不同的層之間的連接權(quán)重，是偏微分方程對(duì)應(yīng)的殘差損失，是邊界條件對(duì)應(yīng)的邊界條件損失，是初始條件對(duì)應(yīng)的初始條件損失。

17、(3)相對(duì)l2誤差

18、本發(fā)明的實(shí)驗(yàn)的預(yù)測(cè)精度表現(xiàn)采用相對(duì)l2誤差，其形式如下：

19、

20、其中為神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)解，u(x,t)為真實(shí)解。

21、本發(fā)明總體分為三大部分：

22、(1)首先對(duì)于某個(gè)偏微分方程，它的邊界以及初始條件都是可以變化的，這就相當(dāng)于在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，偏微分方程的殘差損失的損失曲面是固定的，通過(guò)給予不同的邊界以及初始條件的約束，會(huì)使神經(jīng)網(wǎng)絡(luò)在不同的殘差損失的損失曲面的全局極小值點(diǎn)中進(jìn)行選擇。

23、于是闡明殘差損失lres(θ)的損失曲面中不同的全局極小值點(diǎn)對(duì)應(yīng)著不同的邊界/初始條件所約束的偏微分方程的解，并且可以在損失曲面中形成具有低損失值的連通區(qū)域。

24、(2)使用全連接神經(jīng)網(wǎng)絡(luò)對(duì)邊界以及初始條件損失lb(θ)+li(θ)進(jìn)行訓(xùn)練，訓(xùn)練10000輪以上后，將此時(shí)的神經(jīng)網(wǎng)絡(luò)權(quán)重參數(shù)記為model*。

25、(3)對(duì)邊界以及初始條件損失lb(θ)+li(θ)與殘差損失lres(θ)進(jìn)行加權(quán)和,從而得到總損失ltotal(θ)＝lres(θ)+λ(lb(θ)+li(θ))，用同一神經(jīng)網(wǎng)絡(luò)從model*處訓(xùn)練總損失ltotal(θ)。其中通過(guò)給予lb(θ)+li(θ)一個(gè)大權(quán)值λ(λ取值通常為1≤λ≤105，)固定住邊界以及初始條件，從而使殘差損失lres(θ)進(jìn)入到當(dāng)前邊界以及初始條件對(duì)應(yīng)的殘差損失的全局極小值點(diǎn)。

技術(shù)特征：

1.一種基于損失曲面的改進(jìn)物理信息神經(jīng)網(wǎng)絡(luò)訓(xùn)練的方法，其特征在于：

技術(shù)總結(jié)
本發(fā)明涉及一種基于損失曲面的改進(jìn)物理信息神經(jīng)網(wǎng)絡(luò)訓(xùn)練的方法，用于提高PINNs的預(yù)測(cè)精度。包括以下步驟：首次發(fā)現(xiàn)PINNs殘差損失的損失曲面中不同全局極小值點(diǎn)對(duì)應(yīng)著不同邊界與初始條件的解，并且在損失曲面中可以形成低損失值的連通區(qū)域；用全連接神經(jīng)網(wǎng)絡(luò)只優(yōu)化邊界與初始條件損失至網(wǎng)絡(luò)權(quán)重參數(shù)model<supgt;*</supgt;；用同一神經(jīng)網(wǎng)絡(luò)從權(quán)重參數(shù)model<supgt;*</supgt;開始訓(xùn)練邊界與初始條件損失與殘差損失的加權(quán)和，其中通過(guò)一個(gè)大權(quán)值λ固定住邊界/初始條件，從而在殘差損失曲面中找到當(dāng)前邊界與初始條件對(duì)應(yīng)的殘差損失的全局極小值點(diǎn)。將本發(fā)明在不同的偏微分方程上進(jìn)行驗(yàn)證，實(shí)驗(yàn)結(jié)果顯示本發(fā)明可以降低PINNs的預(yù)測(cè)誤差。

技術(shù)研發(fā)人員：劉波,劉通順,袁彤彤
受保護(hù)的技術(shù)使用者：北京工業(yè)大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15