本發(fā)明涉及圖像處理，尤其涉及一種船舶運(yùn)動(dòng)下三維波面實(shí)時(shí)重構(gòu)方法。

背景技術(shù)：

1、一直以來高精度的水面波浪重構(gòu)算法都是國內(nèi)外研究的熱點(diǎn)，其實(shí)現(xiàn)過程面臨諸多挑戰(zhàn)。最顯著的問題就是實(shí)景采集的波面圖像曝光強(qiáng)度往往并不理想，過明或過暗的光線都會(huì)直接影響到波面重構(gòu)算法的精度，故如何將實(shí)景波面歸一化至統(tǒng)一報(bào)光強(qiáng)度是研究的關(guān)鍵。近年來隨著人工智能技術(shù)的發(fā)展，圖像處理技術(shù)不再局限于簡單的濾波去噪等技術(shù)，基于計(jì)算機(jī)視覺的低/高光照圖像增強(qiáng)技術(shù)蓬勃發(fā)展，在夜間監(jiān)控、自動(dòng)駕駛和醫(yī)學(xué)成像等領(lǐng)域展開了廣泛的應(yīng)用和研究。但低/高光照圖像通常存在亮度過低/高、對比度低和噪聲多等問題，給圖像增強(qiáng)帶來了巨大挑戰(zhàn)。傳統(tǒng)的方法包括直方圖均衡化、retinex理論等在處理復(fù)雜場景時(shí)效果有限，深度學(xué)習(xí)方法在圖像增強(qiáng)領(lǐng)域表現(xiàn)出色，值得注意的是因?yàn)樾枰罅康某蓪?shù)據(jù)來訓(xùn)練模型，這些算法往往需要拍攝同一時(shí)間地點(diǎn)的不同曝光強(qiáng)度的波面數(shù)據(jù)，這在實(shí)景拍攝條件下很難做到，這使得無監(jiān)督模型成為了三維波面重構(gòu)的首選，他不再需要成對數(shù)據(jù)來完成模型訓(xùn)練，神經(jīng)網(wǎng)絡(luò)的搭建變得更簡單，這讓我們在改進(jìn)模型時(shí)可以更關(guān)注算法的使用范圍，具體來講就是更關(guān)注海浪的波譜類型對三維重構(gòu)精度的影響。

2、另一方面，船舶操縱狀態(tài)也會(huì)對波面狀態(tài)產(chǎn)生影響，尤其是進(jìn)船波面，通過計(jì)算流體動(dòng)力學(xué)(cfd)技術(shù)可對船舶運(yùn)動(dòng)和波浪相互作用進(jìn)行模擬，結(jié)合實(shí)際海洋試驗(yàn)數(shù)據(jù)用于模型校正，對波面重構(gòu)模型進(jìn)行驗(yàn)證和優(yōu)化。麻省理工學(xué)院(mit)成功實(shí)現(xiàn)了對復(fù)雜水面波浪的實(shí)時(shí)重構(gòu)。他們采用多視角立體視覺(multi-view?stereo?vision)和光流法(opticalflow)等技術(shù)，從不同角度捕捉水面圖像，并通過深度學(xué)習(xí)模型進(jìn)行數(shù)據(jù)融合和特征提取，生成高精度的三維波浪模型。此外，歐洲的一些研究機(jī)構(gòu)如eth?zurich也在這一領(lǐng)域取得了重要成果，特別是在結(jié)合物理模型和數(shù)據(jù)驅(qū)動(dòng)方法方面提出了創(chuàng)新性方法。

3、在國內(nèi)，多所高校的研究團(tuán)隊(duì)也在積極探索計(jì)算機(jī)視覺在水面波浪重構(gòu)中的應(yīng)用。山東科技大學(xué)的研究人員通過結(jié)合計(jì)算機(jī)視覺與物理模型，提出了一種基于深度學(xué)習(xí)的水面波浪重構(gòu)方法，顯著提高了重構(gòu)精度和計(jì)算效率。哈爾濱工程大學(xué)的研究團(tuán)隊(duì)則側(cè)重于多傳感器融合技術(shù)，通過結(jié)合激光雷達(dá)和攝像頭數(shù)據(jù)，提高了水面波浪重構(gòu)的魯棒性和實(shí)時(shí)性。此外，中國科學(xué)院自動(dòng)化研究所也在這一領(lǐng)域開展了大量研究，特別是在水面波浪的動(dòng)態(tài)監(jiān)測和預(yù)測方面，取得了重要進(jìn)展?？傮w來看，國內(nèi)外在計(jì)算機(jī)視覺的水面波浪重構(gòu)領(lǐng)域的研究各有側(cè)重，國際上更多關(guān)注算法的創(chuàng)新和多視角數(shù)據(jù)融合技術(shù)，而國內(nèi)則在結(jié)合物理模型和多傳感器數(shù)據(jù)方面有獨(dú)特的優(yōu)勢。隨著技術(shù)的不斷發(fā)展，這一領(lǐng)域的研究將繼續(xù)深化，并在海洋工程、環(huán)境監(jiān)測和虛擬現(xiàn)實(shí)等領(lǐng)域發(fā)揮越來越重要的作用。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述問題，本發(fā)明采用的技術(shù)方案是：一種船舶運(yùn)動(dòng)下三維波面實(shí)時(shí)重構(gòu)方法，包括以下步驟：

2、獲取船載波浪圖像、虛擬波浪圖像；

3、基于無監(jiān)督的生成對抗網(wǎng)絡(luò)來實(shí)現(xiàn)船載波浪圖像低亮度或高亮度條件下的增強(qiáng)；

4、基于增強(qiáng)后的圖像以及虛擬波浪圖像，進(jìn)行船舶操縱運(yùn)動(dòng)下的波浪特征識別和參數(shù)提?。?/p>

5、基于波浪驗(yàn)證數(shù)據(jù)以及波浪識別后和提取的參數(shù)，進(jìn)行波浪三維波面實(shí)時(shí)重構(gòu)。

6、進(jìn)一步地：所述無監(jiān)督的生成對抗網(wǎng)絡(luò)包括生成器用于將低光圖像或高光圖像轉(zhuǎn)換為增強(qiáng)圖像，

7、判別器用于區(qū)分增強(qiáng)圖像和高質(zhì)量參考圖像；

8、通過聯(lián)合訓(xùn)練生成器和判別器，使生成器能夠生成逼真的高質(zhì)量圖像，將訓(xùn)練好的生成器應(yīng)用于復(fù)雜光照圖像，實(shí)現(xiàn)增強(qiáng)效果。

9、進(jìn)一步地：所述鑒別器的標(biāo)準(zhǔn)函數(shù)為

10、

11、

12、其中c為判別器網(wǎng)絡(luò)，xr為從真實(shí)分布中采樣，xf為從虛假分布中采樣。

13、進(jìn)一步地：所述基于增強(qiáng)后的圖像以及虛擬波浪圖像，進(jìn)行船舶操縱運(yùn)動(dòng)下的波浪特征識別和參數(shù)提取的過程如下：

14、利用船舶姿態(tài)數(shù)據(jù)對雙目相機(jī)采集的數(shù)據(jù)進(jìn)行預(yù)處理和校正，修正船舶俯仰對波高測量的影響，橫搖/縱搖對波浪方向測量的影響；

15、基于船舶運(yùn)動(dòng)引起的波浪反射、繞射和干涉效應(yīng)，建立船尾波、船首波、船舷波與船舶運(yùn)動(dòng)狀態(tài)之間的定量化模型；

16、使用harris角點(diǎn)檢測算法選擇圖像中強(qiáng)度變化較大的點(diǎn)作為特征點(diǎn)，即以便于之后的光流跟蹤，在每對相鄰圖像幀之間，采用lucas-kanade光流法計(jì)算特征點(diǎn)的運(yùn)動(dòng)矢量，通過最小化局部區(qū)域內(nèi)的誤差來估計(jì)光流值，最終得到海面各點(diǎn)的波高、波長、波速和波向的波浪特征參數(shù)。

17、進(jìn)一步地：所述船尾波、船首波、船舷波與船舶運(yùn)動(dòng)狀態(tài)之間的定量化模型；

18、

19、其中為速度勢函數(shù)，a為待定的波幅系數(shù)，ω是對應(yīng)波浪的圓頻率，是初始相位，f(y)是用于描述波浪在y方向的分布特性且僅與y相關(guān)的函數(shù)。

20、進(jìn)一步地：所述基于波浪驗(yàn)證數(shù)據(jù)以及波浪識別后和提取的參數(shù)，進(jìn)行波浪三維波面實(shí)時(shí)重構(gòu)的過程如下：

21、根據(jù)像素坐標(biāo)系、圖像坐標(biāo)系、相機(jī)坐標(biāo)系以及世界坐標(biāo)系相互之間的轉(zhuǎn)換關(guān)系，將圖像上二維點(diǎn)轉(zhuǎn)化為世界坐標(biāo)系下三維點(diǎn)，結(jié)合實(shí)際測量的波浪參數(shù)，初步構(gòu)建波面的三維模型；

22、通過梯度下降法和集合卡爾曼濾波法對初步構(gòu)建波面的三維模型進(jìn)行修正和優(yōu)化，對波浪成分進(jìn)行重構(gòu)；

23、通過對重構(gòu)后的波浪成分進(jìn)行快速傅里葉變換，實(shí)現(xiàn)波浪三維波面實(shí)時(shí)重構(gòu)。

24、進(jìn)一步地：所述采用lucas-kanade光流法計(jì)算特征點(diǎn)的運(yùn)動(dòng)矢量的過程如下：

25、通過對圖像序列中特征點(diǎn)的跟蹤，計(jì)算出特征點(diǎn)在時(shí)間序列中的運(yùn)動(dòng)軌跡，基本約束方程為：

26、ixu+iyv+it＝0

27、其中ix、iy、it分別為圖像中限速點(diǎn)的灰度沿著x軸方向、y軸方向、t時(shí)間維度方向的偏導(dǎo)數(shù)，u、v分別為光流沿x軸和沿y軸的速度矢量。

28、一種船舶運(yùn)動(dòng)下三維波面實(shí)時(shí)重構(gòu)裝置，包括：

29、獲取模塊：用于獲取船載波浪圖像、虛擬波浪圖像；

30、增強(qiáng)模塊：用于基于無監(jiān)督的生成對抗網(wǎng)絡(luò)來實(shí)現(xiàn)船載波浪圖像低亮度或高亮度條件下的增強(qiáng)；

31、波浪特征識別和參數(shù)提取：用于基于增強(qiáng)后的圖像以及虛擬波浪圖像，進(jìn)行船舶操縱運(yùn)動(dòng)下的波浪特征識別和參數(shù)提??；

32、重構(gòu)模塊：用于基于波浪驗(yàn)證數(shù)據(jù)以及波浪識別后和提取的參數(shù)，進(jìn)行波浪三維波面實(shí)時(shí)重構(gòu)。

33、本發(fā)明提供的一種船舶運(yùn)動(dòng)下三維波面實(shí)時(shí)重構(gòu)方法，針對高海況下船舶操縱性智能化預(yù)報(bào)的需求，以人工智能技術(shù)為牽引，研發(fā)一套涵蓋波面圖像增強(qiáng)、波浪特征識別、波浪參數(shù)提取和波面三維重構(gòu)的全流程波浪場智能化還原方法，該方法通過集成先進(jìn)的圖像處理和人工智能算法，能夠?qū)崟r(shí)對船舶在高海況下操縱運(yùn)動(dòng)時(shí)采集的波面圖像進(jìn)行波浪特征識別和參數(shù)提取，進(jìn)而實(shí)現(xiàn)船舶近、遠(yuǎn)場波面三維重構(gòu)。

技術(shù)特征：

1.一種船舶運(yùn)動(dòng)下三維波面實(shí)時(shí)重構(gòu)方法，其特征在于：包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種船舶運(yùn)動(dòng)下三維波面實(shí)時(shí)重構(gòu)方法，其特征在于：所述無監(jiān)督的生成對抗網(wǎng)絡(luò)包括生成器用于將低光圖像或高光圖像轉(zhuǎn)換為增強(qiáng)圖像，

3.根據(jù)權(quán)利要求2所述的一種船舶運(yùn)動(dòng)下三維波面實(shí)時(shí)重構(gòu)方法，其特征在于：所述鑒別器的標(biāo)準(zhǔn)函數(shù)為

4.根據(jù)權(quán)利要求1所述的一種船舶運(yùn)動(dòng)下三維波面實(shí)時(shí)重構(gòu)方法，其特征在于：所述基于增強(qiáng)后的圖像以及虛擬波浪圖像，進(jìn)行船舶操縱運(yùn)動(dòng)下的波浪特征識別和參數(shù)提取的過程如下：

5.根據(jù)權(quán)利要求1所述的一種船舶運(yùn)動(dòng)下三維波面實(shí)時(shí)重構(gòu)方法，其特征在于：所述船尾波、船首波、船舷波與船舶運(yùn)動(dòng)狀態(tài)之間的定量化模型；

6.根據(jù)權(quán)利要求1所述的一種船舶運(yùn)動(dòng)下三維波面實(shí)時(shí)重構(gòu)方法，其特征在于：所述基于波浪驗(yàn)證數(shù)據(jù)以及波浪識別后和提取的參數(shù)，進(jìn)行波浪三維波面實(shí)時(shí)重構(gòu)的過程如下：

7.根據(jù)權(quán)利要求1所述的一種船舶運(yùn)動(dòng)下三維波面實(shí)時(shí)重構(gòu)方法，其特征在于：所述采用lucas-kanade光流法計(jì)算特征點(diǎn)的運(yùn)動(dòng)矢量的過程如下：

8.一種船舶運(yùn)動(dòng)下三維波面實(shí)時(shí)重構(gòu)裝置，其特征在于：包括：

技術(shù)總結(jié)
本發(fā)明公開了一種船舶運(yùn)動(dòng)下三維波面實(shí)時(shí)重構(gòu)方法，包括以下步驟：獲取船載波浪圖像、虛擬波浪圖像；基于無監(jiān)督的生成對抗網(wǎng)絡(luò)來實(shí)現(xiàn)船載波浪圖像低亮度或高亮度條件下的增強(qiáng)；基于增強(qiáng)后的圖像以及虛擬波浪圖像，進(jìn)行船舶操縱運(yùn)動(dòng)下的波浪特征識別和參數(shù)提??；基于波浪驗(yàn)證數(shù)據(jù)以及波浪識別后和提取的參數(shù)，進(jìn)行波浪三維波面實(shí)時(shí)重構(gòu)。該方法通過集成先進(jìn)的圖像處理和人工智能算法，能夠?qū)崟r(shí)對船舶在高海況下操縱運(yùn)動(dòng)時(shí)采集的波面圖像進(jìn)行波浪特征識別和參數(shù)提取，進(jìn)而實(shí)現(xiàn)船舶近、遠(yuǎn)場波面三維重構(gòu)。

技術(shù)研發(fā)人員：何遒,李穎,張振鐸,趙米
受保護(hù)的技術(shù)使用者：大連海事大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15