本發(fā)明涉及工業(yè)大模型異常檢測(cè)領(lǐng)域，尤其涉及一種基于混合專家領(lǐng)域自適應(yīng)工業(yè)大模型的異常檢測(cè)方法。

背景技術(shù)：

1、隨著工業(yè)自動(dòng)化和智能制造的快速發(fā)展，工業(yè)領(lǐng)域?qū)θ斯ぶ悄埽╝i）和大規(guī)模模型的需求不斷增長(zhǎng)，尤其是在工業(yè)數(shù)據(jù)分析、故障預(yù)測(cè)、質(zhì)量控制和優(yōu)化決策等方面。然而，傳統(tǒng)的工業(yè)模型在實(shí)際應(yīng)用中面臨諸多挑戰(zhàn)，包括數(shù)據(jù)的異質(zhì)性、領(lǐng)域間的知識(shí)差異以及大規(guī)模計(jì)算的成本問題。特別是，工業(yè)數(shù)據(jù)通常具有高知識(shí)占比、低數(shù)據(jù)總量的特點(diǎn)，與通用大模型依賴的海量數(shù)據(jù)訓(xùn)練方式存在顯著差異，導(dǎo)致工業(yè)大模型在異常檢測(cè)等任務(wù)中易出現(xiàn)泛化能力不足、計(jì)算效率低下的問題。

2、現(xiàn)有工業(yè)大模型主要依賴大規(guī)模歷史數(shù)據(jù)進(jìn)行訓(xùn)練，但由于工業(yè)數(shù)據(jù)稀缺且高質(zhì)量標(biāo)注難以獲取，單純的數(shù)據(jù)驅(qū)動(dòng)方法難以在復(fù)雜工業(yè)環(huán)境中取得理想效果。同時(shí)，工業(yè)知識(shí)往往是顯性且高度專業(yè)化的，傳統(tǒng)數(shù)據(jù)驅(qū)動(dòng)模型難以充分挖掘和利用這些知識(shí)，容易導(dǎo)致模型過擬合或適應(yīng)性不足。此外，工業(yè)大模型在處理多模態(tài)數(shù)據(jù)（如圖像、文本、傳感器數(shù)據(jù)等）時(shí)，還面臨多源數(shù)據(jù)融合和跨模態(tài)特征對(duì)齊的挑戰(zhàn)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明目的在于針對(duì)現(xiàn)有技術(shù)的不足，提出一種基于混合專家領(lǐng)域自適應(yīng)工業(yè)大模型的異常檢測(cè)方法。

2、本發(fā)明的目的是通過以下技術(shù)方案來實(shí)現(xiàn)的：一種基于混合專家領(lǐng)域自適應(yīng)工業(yè)大模型的異常檢測(cè)方法，包括如下步驟：

3、s1、在工業(yè)環(huán)境中采集不同領(lǐng)域的多模態(tài)數(shù)據(jù)，根據(jù)數(shù)據(jù)類型進(jìn)行預(yù)處理；

4、s2、將預(yù)處理后不同領(lǐng)域的數(shù)據(jù)投射到一個(gè)統(tǒng)一的特征空間，使用預(yù)訓(xùn)練的領(lǐng)域判別器進(jìn)行特征對(duì)齊，使用預(yù)訓(xùn)練的領(lǐng)域自編碼器進(jìn)行特征轉(zhuǎn)換，使不同領(lǐng)域數(shù)據(jù)的分布更為接近；

5、s3、通過顯性工業(yè)知識(shí)將工業(yè)知識(shí)與處理后的多模態(tài)工業(yè)數(shù)據(jù)融合；

6、s4、構(gòu)建混合專家模型并進(jìn)行訓(xùn)練，所述混合專家模型由若干個(gè)混合專家模塊組成，每個(gè)混合專家模塊包括線性投影層、自注意力層、門控網(wǎng)絡(luò)、混合專家層和輸出層，所述混合專家層為針對(duì)不同數(shù)據(jù)處理方式的專家層；

7、s5、針對(duì)智算平臺(tái)進(jìn)行調(diào)優(yōu)和硬件兼容，使用優(yōu)化后的混合專家模型對(duì)多模態(tài)工業(yè)數(shù)據(jù)融合后的數(shù)據(jù)進(jìn)行異常檢測(cè)推理。

8、進(jìn)一步地，所述多模態(tài)數(shù)據(jù)包括：文本記錄、工業(yè)圖像、視頻流、傳感器數(shù)據(jù)中的一種或多種。

9、進(jìn)一步地，所述根據(jù)數(shù)據(jù)類型進(jìn)行預(yù)處理具體為：

10、針對(duì)時(shí)間序列數(shù)據(jù)，采用滑動(dòng)窗口方法進(jìn)行分片，并利用傅里葉變換或小波變換提取時(shí)頻特征；

11、針對(duì)文本數(shù)據(jù)，進(jìn)行分詞、詞性標(biāo)注，并利用詞向量模型進(jìn)行向量化；

12、針對(duì)圖像數(shù)據(jù)，采用卷積神經(jīng)網(wǎng)絡(luò)提取視覺特征，并利用數(shù)據(jù)增強(qiáng)技術(shù)提升數(shù)據(jù)多樣性。

13、進(jìn)一步地，所述領(lǐng)域判別器的預(yù)訓(xùn)練過程具體包括：通過對(duì)抗訓(xùn)練使領(lǐng)域判別器無法區(qū)分源領(lǐng)域和目標(biāo)領(lǐng)域的數(shù)據(jù)分布，采用梯度反轉(zhuǎn)層優(yōu)化損失函數(shù)。

14、進(jìn)一步地，所述領(lǐng)域自編碼器在預(yù)訓(xùn)練過程中進(jìn)行多領(lǐng)域的聯(lián)合訓(xùn)練。

15、進(jìn)一步地，所述通過顯性工業(yè)知識(shí)將工業(yè)知識(shí)與處理后的多模態(tài)工業(yè)數(shù)據(jù)融合具體為：

16、s3.1、從工業(yè)領(lǐng)域的知識(shí)庫(kù)中提取顯性工業(yè)知識(shí)，轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)、規(guī)則集或構(gòu)建工業(yè)知識(shí)圖譜；

17、s3.2、利用多模態(tài)編碼器分別對(duì)不同數(shù)據(jù)類型進(jìn)行特征提取，將多種模態(tài)的數(shù)據(jù)映射到一個(gè)統(tǒng)一的特征空間，

18、s3.3、通過構(gòu)建基于領(lǐng)域知識(shí)圖譜的上下文學(xué)習(xí)架構(gòu)，結(jié)合領(lǐng)域知識(shí)圖譜進(jìn)行上下文學(xué)習(xí)。

19、進(jìn)一步地，所述混合專家模型中，針對(duì)不同數(shù)據(jù)處理方式的專家層具體包括下列專家：

20、全連接專家：包含一個(gè)或多個(gè)全連接層

21、卷積專家：包含一個(gè)或多個(gè)卷積層

22、transformer專家：包含具有注意力機(jī)制的transformer架構(gòu)

23、零專家：對(duì)輸入進(jìn)行直接丟棄；

24、復(fù)制專家：跳過當(dāng)前混合專家層；

25、常數(shù)專家：對(duì)輸入執(zhí)行常量修正和替換；

26、每個(gè)混合專家模塊中的專家層包括其中的四種。

27、進(jìn)一步地，所述門控神經(jīng)網(wǎng)絡(luò)對(duì)輸入特征進(jìn)行評(píng)分，計(jì)算每個(gè)專家的激活概率，選擇激活的top-2專家，激活概率具體為：

28、。

29、

30、另一方面，說明書還提供了一種基于混合專家領(lǐng)域自適應(yīng)工業(yè)大模型的異常檢測(cè)裝置，包括存儲(chǔ)器和一個(gè)或多個(gè)處理器，所述存儲(chǔ)器中存儲(chǔ)有可執(zhí)行代碼，所述處理器執(zhí)行所述可執(zhí)行代碼時(shí)，實(shí)現(xiàn)所述的一種基于混合專家領(lǐng)域自適應(yīng)工業(yè)大模型的異常檢測(cè)方法。

31、另一方面，說明書還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有程序，所述程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)所述的一種基于混合專家領(lǐng)域自適應(yīng)工業(yè)大模型的異常檢測(cè)方法。

32、本發(fā)明的有益效果：

33、第一方面，本發(fā)明首先通過上下文學(xué)習(xí)架構(gòu)融合顯性工業(yè)知識(shí)和多模態(tài)工業(yè)數(shù)據(jù)。該架構(gòu)基于預(yù)訓(xùn)練和上下文學(xué)習(xí)推理的連續(xù)訓(xùn)練階段（即模型預(yù)熱），在提升大模型上下文學(xué)習(xí)能力的基礎(chǔ)上，進(jìn)一步優(yōu)化模型的知識(shí)表達(dá)。通過將顯性工業(yè)知識(shí)（如行業(yè)規(guī)范、操作手冊(cè)等）與工業(yè)領(lǐng)域的多模態(tài)數(shù)據(jù)（如圖像、文本、傳感器數(shù)據(jù)等）結(jié)合，顯著減少了數(shù)據(jù)驅(qū)動(dòng)模型中的過擬合現(xiàn)象。

34、第二方面，本發(fā)明提出了創(chuàng)新性的混合專家（moe）模型，通過引入多個(gè)專家網(wǎng)絡(luò)和動(dòng)態(tài)選擇機(jī)制，使得模型在面對(duì)多種工業(yè)任務(wù)時(shí)能夠動(dòng)態(tài)激活合適的專家網(wǎng)絡(luò)進(jìn)行推理，從而提高計(jì)算效率和任務(wù)適應(yīng)性。在混合專家架構(gòu)中，通過設(shè)計(jì)多類神經(jīng)網(wǎng)絡(luò)專家，提高運(yùn)行效率并降低計(jì)算開銷并提升推理效率。第三方面，為了在不同智算平臺(tái)上實(shí)現(xiàn)高效訓(xùn)練和推理，本發(fā)明將所述大模型訓(xùn)練與推理過程在國(guó)產(chǎn)智算平臺(tái)上進(jìn)行了優(yōu)化。一方面，本發(fā)明可適配國(guó)產(chǎn)芯片（如ascend、kunlun）及深度學(xué)習(xí)框架（如mindspore、paddlepaddle），并優(yōu)化編譯選項(xiàng)和計(jì)算庫(kù)。例如，在ascend芯片上，使用cann算子庫(kù)優(yōu)化矩陣計(jì)算，以減少計(jì)算延遲。另一方面，本發(fā)明針對(duì)底層算子進(jìn)行調(diào)整，采取了如算子融合（將batchnorm與conv融合，減少內(nèi)存訪問，可在圖像異常檢測(cè)任務(wù)中加速卷積計(jì)算）、精度優(yōu)化（使用bf16/int8加速推理，在時(shí)序異常檢測(cè)任務(wù)中采用低精度計(jì)算提升推理速度）、計(jì)算并行化（采用數(shù)據(jù)并行和模型并行策略，在多卡訓(xùn)練環(huán)境下提高計(jì)算效率）等手段。本發(fā)明的工業(yè)大模型能夠在具有高性能計(jì)算集群和大規(guī)模數(shù)據(jù)存儲(chǔ)的國(guó)產(chǎn)平臺(tái)上進(jìn)行高效的多任務(wù)并行訓(xùn)練和推理。

35、第四方面，本發(fā)明的模型通過領(lǐng)域自適應(yīng)技術(shù)，能夠有效地從一個(gè)工業(yè)領(lǐng)域遷移到另一個(gè)領(lǐng)域。該方法通過聯(lián)合訓(xùn)練多個(gè)領(lǐng)域的數(shù)據(jù)，利用共享知識(shí)和跨領(lǐng)域?qū)W習(xí)，提升模型在未知領(lǐng)域的適應(yīng)性和泛化能力。具體來說，模型在處理不同工業(yè)場(chǎng)景時(shí)，可以動(dòng)態(tài)調(diào)整其專家網(wǎng)絡(luò)的激活模式，從而提高對(duì)不同任務(wù)和數(shù)據(jù)的處理能力。第五方面，本發(fā)明的方法采用大規(guī)模預(yù)訓(xùn)練與微調(diào)相結(jié)合的策略。首先通過自監(jiān)督學(xué)習(xí)或生成式模型對(duì)大模型進(jìn)行預(yù)訓(xùn)練，學(xué)習(xí)數(shù)據(jù)的通用特征。然后，利用領(lǐng)域自適應(yīng)技術(shù)，將預(yù)訓(xùn)練的模型應(yīng)用于具體的工業(yè)任務(wù)，如設(shè)備故障診斷、生產(chǎn)線優(yōu)化等，進(jìn)一步提升模型的表現(xiàn)。