本申請(qǐng)屬于一種知識(shí)遷移方法，具體涉及一種電力跨模態(tài)知識(shí)遷移方法、系統(tǒng)、電子設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、電力跨模態(tài)知識(shí)遷移是指將在一個(gè)模態(tài)下學(xué)習(xí)到的知識(shí)應(yīng)用到另一個(gè)模態(tài)的過(guò)程。在電力領(lǐng)域，通常涉及到將文本、圖像、聲音等多模態(tài)數(shù)據(jù)融合起來(lái)，以便更有效地利用各種信息，提高運(yùn)營(yíng)效率，提升服務(wù)質(zhì)量。電力跨模態(tài)知識(shí)遷移在電力領(lǐng)域的應(yīng)用前景廣闊，為業(yè)務(wù)場(chǎng)景帶來(lái)了革命性的改進(jìn)。以智能巡檢為例，該技術(shù)能夠通過(guò)圖像識(shí)別手段精準(zhǔn)捕捉電力設(shè)備的狀態(tài)，如輸電線(xiàn)路和變壓器等的狀態(tài)，同時(shí)結(jié)合文本數(shù)據(jù)中的設(shè)備維護(hù)歷史和參數(shù)信息，可以大幅提高故障診斷的準(zhǔn)確性和效率。此外，聲音識(shí)別技術(shù)的應(yīng)用也使得電力設(shè)備的異常聲音得以被及時(shí)識(shí)別，與文本描述的設(shè)備特征相輔相成，進(jìn)一步增強(qiáng)了故障檢測(cè)的精確度。這些技術(shù)的融合運(yùn)用，不僅優(yōu)化了電力設(shè)備的運(yùn)維管理，也為電力系統(tǒng)的安全穩(wěn)定運(yùn)行提供了有力保障。

2、但是，現(xiàn)有方法多致力于學(xué)習(xí)各個(gè)模態(tài)的粗粒度信息，適用于僅包含一個(gè)對(duì)象的簡(jiǎn)單場(chǎng)景。對(duì)于包含多個(gè)對(duì)象的復(fù)雜場(chǎng)景，無(wú)法較好地捕捉到精細(xì)粒度的特征。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)針對(duì)現(xiàn)有電力系統(tǒng)多模態(tài)知識(shí)遷移方法，存在不適用包含多個(gè)對(duì)象的復(fù)雜場(chǎng)景，以及無(wú)法較好地捕捉到精細(xì)粒度特征的技術(shù)問(wèn)題，提供一種電力跨模態(tài)知識(shí)遷移方法、系統(tǒng)、電子設(shè)備和存儲(chǔ)介質(zhì)。

2、為了實(shí)現(xiàn)上述目的，本申請(qǐng)采用以下技術(shù)方案予以實(shí)現(xiàn)：

3、第一方面，本申請(qǐng)?zhí)岢鲆环N電力跨模態(tài)知識(shí)遷移方法，包括：

4、分別獲取電力系統(tǒng)的巡檢視頻和巡檢文本；

5、對(duì)巡檢視頻的響應(yīng)輸出進(jìn)行細(xì)顆粒度數(shù)據(jù)劃分，自適應(yīng)校準(zhǔn)巡檢視頻的響應(yīng)輸出中不同幀之間的特征關(guān)聯(lián)性，得到校準(zhǔn)后的視頻幀；

6、根據(jù)校準(zhǔn)后的視頻幀，生成包括對(duì)象節(jié)點(diǎn)集和結(jié)構(gòu)節(jié)點(diǎn)集的細(xì)粒度關(guān)系節(jié)點(diǎn)集；

7、分別對(duì)對(duì)象節(jié)點(diǎn)集中的對(duì)象節(jié)點(diǎn)和結(jié)構(gòu)節(jié)點(diǎn)集中的結(jié)構(gòu)節(jié)點(diǎn)進(jìn)行特征編碼，完成巡檢視頻的知識(shí)遷移；

8、分別針對(duì)巡檢文本的對(duì)象路徑和結(jié)構(gòu)路徑進(jìn)行細(xì)粒度特征提取，得到對(duì)象路徑特征和結(jié)構(gòu)路徑特征，完成巡檢文本的知識(shí)遷移。

9、第二方面，本申請(qǐng)?zhí)岢鲆环N電力跨模態(tài)知識(shí)遷移系統(tǒng)，包括：

10、數(shù)據(jù)獲取模塊，用于分別獲取電力系統(tǒng)的巡檢視頻和巡檢文本；

11、校準(zhǔn)模塊，用于對(duì)巡檢視頻的響應(yīng)輸出進(jìn)行細(xì)顆粒度數(shù)據(jù)劃分，自適應(yīng)校準(zhǔn)巡檢視頻的響應(yīng)輸出中不同幀之間的特征關(guān)聯(lián)性，得到校準(zhǔn)后的視頻幀；

12、細(xì)粒度關(guān)系模塊，用于根據(jù)校準(zhǔn)后的視頻幀，生成包括對(duì)象節(jié)點(diǎn)集和結(jié)構(gòu)節(jié)點(diǎn)集的細(xì)粒度關(guān)系節(jié)點(diǎn)集；

13、視頻特征編碼模塊，用于分別對(duì)對(duì)象節(jié)點(diǎn)集中的對(duì)象節(jié)點(diǎn)和結(jié)構(gòu)節(jié)點(diǎn)集中的結(jié)構(gòu)節(jié)點(diǎn)進(jìn)行特征編碼，完成巡檢視頻的知識(shí)遷移；

14、文本特征提取模塊，用于分別針對(duì)巡檢文本的對(duì)象路徑和結(jié)構(gòu)路徑進(jìn)行細(xì)粒度特征提取，得到對(duì)象路徑特征和結(jié)構(gòu)路徑特征，完成巡檢文本的知識(shí)遷移。

15、第三方面，本申請(qǐng)?zhí)岢鲆环N電子設(shè)備，包括：存儲(chǔ)器、一個(gè)或多個(gè)處理器；所述存儲(chǔ)器與所述處理器耦合；其中，所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序代碼，所述計(jì)算機(jī)程序代碼包括計(jì)算機(jī)指令，當(dāng)所述計(jì)算機(jī)指令被所述處理器執(zhí)行時(shí)，所述電子設(shè)備執(zhí)行上述電力跨模態(tài)知識(shí)遷移方法的步驟。

16、第四方面，本申請(qǐng)?zhí)岢鲆环N計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述電力跨模態(tài)知識(shí)遷移方法的步驟。

17、與現(xiàn)有技術(shù)相比，本申請(qǐng)具有以下有益效果：

18、本申請(qǐng)?zhí)岢鲆环N電力跨模態(tài)知識(shí)遷移方法，針對(duì)電力系統(tǒng)的巡檢視頻的響應(yīng)輸出進(jìn)行細(xì)顆粒度數(shù)據(jù)劃分，自適應(yīng)校準(zhǔn)巡檢視頻的響應(yīng)輸出中不同幀之間的特征關(guān)聯(lián)性，得到校準(zhǔn)后的視頻幀，再根據(jù)校準(zhǔn)后的視頻幀，生成細(xì)粒度關(guān)系節(jié)點(diǎn)集，然后分別對(duì)對(duì)象節(jié)點(diǎn)集中的對(duì)象節(jié)點(diǎn)和結(jié)構(gòu)節(jié)點(diǎn)集中的結(jié)構(gòu)節(jié)點(diǎn)進(jìn)行特征編碼，完成巡檢視頻的知識(shí)遷移；同時(shí)分別針對(duì)巡檢文本的對(duì)象路徑和結(jié)構(gòu)路徑進(jìn)行細(xì)粒度特征提取，得到對(duì)象路徑特征和結(jié)構(gòu)路徑特征，完成巡檢文本的知識(shí)遷移，將巡檢文本和巡檢視頻均遷移至向量空間。本申請(qǐng)中，針對(duì)巡檢視頻提出細(xì)顆粒度自適應(yīng)幀校準(zhǔn)方法，能夠融合多個(gè)視頻幀以提取關(guān)鍵幀，然后分別提取了關(guān)鍵幀的細(xì)粒度關(guān)系特征，包括語(yǔ)義層面的對(duì)象特征以及多種對(duì)象之間的結(jié)構(gòu)特征。接下來(lái)，生成細(xì)粒度關(guān)系節(jié)點(diǎn)，能夠進(jìn)一步提升特征的表征能力。與此同時(shí)，對(duì)于巡檢文本，分別采用語(yǔ)義路徑和結(jié)構(gòu)路徑來(lái)捕捉完整的依賴(lài)關(guān)系，確保文本細(xì)粒度關(guān)系得到有效提取。因此，本申請(qǐng)的方法適用包含多個(gè)對(duì)象的復(fù)雜場(chǎng)景，在復(fù)雜場(chǎng)景下也能夠較好地捕捉到精細(xì)粒度特征。

19、本申請(qǐng)還提出一種電力跨模態(tài)知識(shí)遷移系統(tǒng)，一種電子設(shè)備和一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，具備上述電力跨模態(tài)知識(shí)遷移方法的全部?jī)?yōu)勢(shì)。

技術(shù)特征：

1.一種電力跨模態(tài)知識(shí)遷移方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述電力跨模態(tài)知識(shí)遷移方法，其特征在于，所述對(duì)巡檢視頻的響應(yīng)輸出進(jìn)行細(xì)顆粒度數(shù)據(jù)劃分，自適應(yīng)校準(zhǔn)巡檢視頻的響應(yīng)輸出中不同幀之間的特征關(guān)聯(lián)性，包括：

3.根據(jù)權(quán)利要求1所述電力跨模態(tài)知識(shí)遷移方法，其特征在于，所述生成包括對(duì)象節(jié)點(diǎn)和結(jié)構(gòu)節(jié)點(diǎn)的細(xì)粒度關(guān)系節(jié)點(diǎn)，包括：采用場(chǎng)景圖生成方法生成細(xì)粒度關(guān)系節(jié)點(diǎn)。

4.根據(jù)權(quán)利要求1所述電力跨模態(tài)知識(shí)遷移方法，其特征在于，所述對(duì)對(duì)象節(jié)點(diǎn)集中的對(duì)象節(jié)點(diǎn)和結(jié)構(gòu)節(jié)點(diǎn)集中的結(jié)構(gòu)節(jié)點(diǎn)進(jìn)行特征編碼，包括：

5.根據(jù)權(quán)利要求4所述電力跨模態(tài)知識(shí)遷移方法，其特征在于，所述得到對(duì)象節(jié)點(diǎn)的聯(lián)合學(xué)習(xí)結(jié)果和結(jié)構(gòu)節(jié)點(diǎn)的聯(lián)合學(xué)習(xí)結(jié)果之后，還包括：

6.根據(jù)權(quán)利要求1所述電力跨模態(tài)知識(shí)遷移方法，其特征在于，所述分別針對(duì)巡檢文本的對(duì)象路徑和結(jié)構(gòu)路徑進(jìn)行細(xì)粒度特征提取，包括：

7.根據(jù)權(quán)利要求6所述電力跨模態(tài)知識(shí)遷移方法，其特征在于，預(yù)訓(xùn)練的bert模型的邊界損失函數(shù)為：

8.一種電力跨模態(tài)知識(shí)遷移系統(tǒng)，其特征在于，包括：

9.根據(jù)權(quán)利要求8所述電力跨模態(tài)知識(shí)遷移系統(tǒng)，其特征在于，所述校準(zhǔn)模塊中，對(duì)巡檢視頻的響應(yīng)輸出進(jìn)行細(xì)顆粒度數(shù)據(jù)劃分，自適應(yīng)校準(zhǔn)巡檢視頻的響應(yīng)輸出中不同幀之間的特征關(guān)聯(lián)性，包括：

10.根據(jù)權(quán)利要求8所述電力跨模態(tài)知識(shí)遷移系統(tǒng)，其特征在于，所述視頻特征編碼模塊中，對(duì)對(duì)象節(jié)點(diǎn)集中的對(duì)象節(jié)點(diǎn)和結(jié)構(gòu)節(jié)點(diǎn)集中的結(jié)構(gòu)節(jié)點(diǎn)進(jìn)行特征編碼，包括：

11.根據(jù)權(quán)利要求10所述電力跨模態(tài)知識(shí)遷移系統(tǒng)，其特征在于，所述視頻特征編碼模塊中，得到對(duì)象節(jié)點(diǎn)的聯(lián)合學(xué)習(xí)結(jié)果和結(jié)構(gòu)節(jié)點(diǎn)的聯(lián)合學(xué)習(xí)結(jié)果之后，還包括：

12.根據(jù)權(quán)利要求8所述電力跨模態(tài)知識(shí)遷移系統(tǒng)，其特征在于，所述文本特征提取模塊中，分別針對(duì)巡檢文本的對(duì)象路徑和結(jié)構(gòu)路徑進(jìn)行細(xì)粒度特征提取，包括：

13.根據(jù)權(quán)利要求12所述電力跨模態(tài)知識(shí)遷移系統(tǒng)，其特征在于，預(yù)訓(xùn)練的bert模型的邊界損失函數(shù)為：

14.一種電子設(shè)備，其特征在于，包括：存儲(chǔ)器、一個(gè)或多個(gè)處理器；所述存儲(chǔ)器與所述處理器耦合；其中，所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序代碼，所述計(jì)算機(jī)程序代碼包括計(jì)算機(jī)指令，當(dāng)所述計(jì)算機(jī)指令被所述處理器執(zhí)行時(shí)，所述電子設(shè)備執(zhí)行如權(quán)利要求1-7中任一項(xiàng)所述電力跨模態(tài)知識(shí)遷移方法的步驟。

15.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-7中任一項(xiàng)所述電力跨模態(tài)知識(shí)遷移方法的步驟。

技術(shù)總結(jié)
本申請(qǐng)屬于一種知識(shí)遷移方法，針對(duì)現(xiàn)有電力系統(tǒng)多模態(tài)知識(shí)遷移方法，存在不適用包含多個(gè)對(duì)象的復(fù)雜場(chǎng)景，以及無(wú)法較好地捕捉到精細(xì)粒度特征的問(wèn)題，提供一種電力跨模態(tài)知識(shí)遷移方法、系統(tǒng)、電子設(shè)備和存儲(chǔ)介質(zhì)，針對(duì)電力系統(tǒng)的巡檢視頻的響應(yīng)輸出進(jìn)行細(xì)顆粒度數(shù)據(jù)劃分，自適應(yīng)校準(zhǔn)巡檢視頻的響應(yīng)輸出中不同幀之間的特征關(guān)聯(lián)性，得到校準(zhǔn)后的視頻幀，再根據(jù)校準(zhǔn)后的視頻幀，生成細(xì)粒度關(guān)系節(jié)點(diǎn)集，然后分別對(duì)對(duì)象節(jié)點(diǎn)集中的對(duì)象節(jié)點(diǎn)和結(jié)構(gòu)節(jié)點(diǎn)集中的結(jié)構(gòu)節(jié)點(diǎn)進(jìn)行特征編碼，完成巡檢視頻的知識(shí)遷移；同時(shí)分別針對(duì)巡檢文本的對(duì)象路徑和結(jié)構(gòu)路徑進(jìn)行細(xì)粒度特征提取，得到對(duì)象路徑特征和結(jié)構(gòu)路徑特征，完成巡檢文本的知識(shí)遷移。

技術(shù)研發(fā)人員：鄭敏,王岳,吳春鵬,劉衛(wèi)衛(wèi),周飛,馬超,徐彬泰,張聞彬
受保護(hù)的技術(shù)使用者：中國(guó)電力科學(xué)研究院有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15