本發(fā)明涉及無(wú)人機(jī)低空巡航拍攝視頻處理和圖像合成，特別是涉及一種基于無(wú)人機(jī)低空巡航拍攝視頻和opencv+gan模型的施工現(xiàn)場(chǎng)全景圖合成方法及系統(tǒng)。

背景技術(shù)：

1、在建筑施工、工程監(jiān)理和安全監(jiān)測(cè)等領(lǐng)域，高質(zhì)量的施工現(xiàn)場(chǎng)全景圖對(duì)于項(xiàng)目管理和決策具有重要意義。傳統(tǒng)的全景圖合成方法通常依賴(lài)于地面拍攝設(shè)備，存在視角受限、拍攝難度大等問(wèn)題。近年來(lái)，隨著無(wú)人機(jī)技術(shù)的發(fā)展，無(wú)人機(jī)低空巡航拍攝成為獲取施工現(xiàn)場(chǎng)全景圖的有效手段。然而，無(wú)人機(jī)拍攝的視頻和圖像質(zhì)量不穩(wěn)定，拼接誤差大，直接影響到最終生成的全景圖的質(zhì)量。

技術(shù)實(shí)現(xiàn)思路

1、為了解決現(xiàn)有無(wú)人機(jī)拍攝的視頻和圖像質(zhì)量不穩(wěn)定，導(dǎo)致拼接誤差大，影響最終全景圖質(zhì)量的問(wèn)題，本發(fā)明提供一種基于無(wú)人機(jī)低空巡航拍攝視頻和opencv+gan模型的施工現(xiàn)場(chǎng)全景圖合成方法，通過(guò)opencv+gan模型的結(jié)合，顯著提高了全景圖的質(zhì)量，減少了拼接誤差，為項(xiàng)目管理提供更加準(zhǔn)確和可靠的視覺(jué)信息。

2、根據(jù)本發(fā)明說(shuō)明書(shū)的一方面，提供一種基于無(wú)人機(jī)低空巡航拍攝視頻和opencv+gan模型的現(xiàn)場(chǎng)全景圖合成方法，包括：

3、獲取無(wú)人機(jī)低空巡航拍攝的施工現(xiàn)場(chǎng)視頻；

4、基于opencv對(duì)獲取的視頻數(shù)據(jù)進(jìn)行預(yù)處理，得到預(yù)處理后的圖片分塊；

5、將所述預(yù)處理后的圖片分塊輸入訓(xùn)練后的gan神經(jīng)網(wǎng)絡(luò)模型，輸出施工現(xiàn)場(chǎng)全景圖分塊；其中，所述gan神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練，包括：

6、獲取無(wú)人機(jī)巡航拍攝的施工現(xiàn)場(chǎng)視頻；

7、利用opencv對(duì)視頻進(jìn)行處理，形成若干施工現(xiàn)場(chǎng)圖片作為目標(biāo)域圖片；

8、根據(jù)所述目標(biāo)域圖片，拼接形成施工現(xiàn)場(chǎng)的初步全景圖，并根據(jù)所述初步全景圖進(jìn)行分割，形成源域圖片；

9、根據(jù)所述目標(biāo)域圖片和源域圖片構(gòu)建訓(xùn)練集，對(duì)gna神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，輸出訓(xùn)練好的gna神經(jīng)網(wǎng)絡(luò)模型。

10、作為進(jìn)一步的技術(shù)方案，基于opencv對(duì)獲取的視頻數(shù)據(jù)進(jìn)行預(yù)處理，包括：

11、基于opencv對(duì)施工現(xiàn)場(chǎng)視頻進(jìn)行逐幀讀取并保存得到若干施工現(xiàn)場(chǎng)圖片；

12、對(duì)保存的若干所述施工現(xiàn)場(chǎng)圖片進(jìn)行opencv拼接，形成初步的施工現(xiàn)場(chǎng)全景圖；

13、對(duì)所述初步的施工現(xiàn)場(chǎng)全景圖進(jìn)行opencv分割，形成初步的施工現(xiàn)場(chǎng)全景圖分塊。

14、作為進(jìn)一步的技術(shù)方案，對(duì)所述初步的施工現(xiàn)場(chǎng)全景圖進(jìn)行opencv分割，還包括：

15、使分割后的全景圖分塊大小與gan神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練時(shí)的源域圖片大小相同。

16、作為進(jìn)一步的技術(shù)方案，對(duì)保存的若干所述施工現(xiàn)場(chǎng)圖片進(jìn)行opencv拼接時(shí)，還包括：

17、采用特征點(diǎn)匹配的拼接算法，進(jìn)行opencv拼接，形成初步的施工現(xiàn)場(chǎng)全景圖。

18、作為進(jìn)一步的技術(shù)方案，對(duì)所述初步的施工現(xiàn)場(chǎng)全景圖進(jìn)行opencv分割時(shí)，還包括：

19、采用均勻分割或基于內(nèi)容的智能分割算法，進(jìn)行opencv分割。

20、作為進(jìn)一步的技術(shù)方案，在得到gan神經(jīng)網(wǎng)絡(luò)模型輸出的施工現(xiàn)場(chǎng)全景圖分塊后，還包括：

21、采用邊緣檢測(cè)和對(duì)齊技術(shù)，進(jìn)行opencv邊緣拼接，形成最終的施工現(xiàn)場(chǎng)全景圖。

22、作為進(jìn)一步的技術(shù)方案，在形成最終的施工現(xiàn)場(chǎng)全景圖后，還包括：

23、對(duì)所述最終的施工現(xiàn)場(chǎng)全景圖進(jìn)行實(shí)時(shí)傳輸和存儲(chǔ)。

24、作為進(jìn)一步的技術(shù)方案，獲取無(wú)人機(jī)低空巡航拍攝的施工現(xiàn)場(chǎng)視頻，還包括：

25、獲取無(wú)人機(jī)在拍攝視頻時(shí)的地理位置信息。

26、作為進(jìn)一步的技術(shù)方案，所述方法還包括：

27、對(duì)最終的施工現(xiàn)場(chǎng)全景圖進(jìn)行質(zhì)量評(píng)估，評(píng)估指標(biāo)包括分辨率、色彩還原度和/或細(xì)節(jié)清晰度。

28、根據(jù)本發(fā)明說(shuō)明書(shū)的一方面，提供一種基于無(wú)人機(jī)低空巡航拍攝視頻和opencv+gan模型的現(xiàn)場(chǎng)全景圖合成系統(tǒng)，包括：

29、數(shù)據(jù)獲取模塊，用于獲取無(wú)人機(jī)低空巡航拍攝的施工現(xiàn)場(chǎng)視頻；

30、預(yù)處理模塊，用于基于opencv對(duì)獲取的視頻數(shù)據(jù)進(jìn)行預(yù)處理，得到預(yù)處理后的圖片分塊；

31、全景圖處理模塊，用于將所述預(yù)處理后的圖片分塊輸入訓(xùn)練后的gan神經(jīng)網(wǎng)絡(luò)模型，輸出施工現(xiàn)場(chǎng)全景圖分塊；其中，所述gan神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練，包括：

32、獲取無(wú)人機(jī)巡航拍攝的施工現(xiàn)場(chǎng)視頻；

33、利用opencv對(duì)視頻進(jìn)行處理，形成若干施工現(xiàn)場(chǎng)圖片作為目標(biāo)域圖片；

34、根據(jù)所述目標(biāo)域圖片，拼接形成施工現(xiàn)場(chǎng)的初步全景圖，并根據(jù)所述初步全景圖進(jìn)行分割，形成源域圖片；

35、根據(jù)所述目標(biāo)域圖片和源域圖片構(gòu)建訓(xùn)練集，對(duì)gna神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，輸出訓(xùn)練好的gna神經(jīng)網(wǎng)絡(luò)模型。

36、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于：

37、本發(fā)明利用opencv對(duì)無(wú)人機(jī)低空巡航拍攝的視頻進(jìn)行讀取、拼接和分割，得到質(zhì)量較差的施工現(xiàn)場(chǎng)全景圖分塊，再將質(zhì)量較差的施工現(xiàn)場(chǎng)全景圖分塊輸入訓(xùn)練好的gan神經(jīng)網(wǎng)絡(luò)模型，得到質(zhì)量?jī)?yōu)秀的施工現(xiàn)場(chǎng)全景圖分塊，進(jìn)而基于opencv邊緣拼接得到質(zhì)量?jī)?yōu)秀的施工現(xiàn)場(chǎng)全景圖，解決了現(xiàn)有技術(shù)中無(wú)人機(jī)拍攝視頻質(zhì)量不穩(wěn)定、拼接誤差大的問(wèn)題，提高了全景圖的質(zhì)量，減少了拼接誤差，為建筑施工、工程監(jiān)理和安全監(jiān)測(cè)等領(lǐng)域提供更加準(zhǔn)確和可靠的視覺(jué)信息。

技術(shù)特征：

1.基于無(wú)人機(jī)低空巡航拍攝視頻和opencv+gan模型的現(xiàn)場(chǎng)全景圖合成方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述基于無(wú)人機(jī)低空巡航拍攝視頻和opencv+gan模型的現(xiàn)場(chǎng)全景圖合成方法，其特征在于，基于opencv對(duì)獲取的視頻數(shù)據(jù)進(jìn)行預(yù)處理，包括：

3.根據(jù)權(quán)利要求2所述基于無(wú)人機(jī)低空巡航拍攝視頻和opencv+gan模型的現(xiàn)場(chǎng)全景圖合成方法，其特征在于，對(duì)所述初步的施工現(xiàn)場(chǎng)全景圖進(jìn)行opencv分割，還包括：

4.根據(jù)權(quán)利要求2所述基于無(wú)人機(jī)低空巡航拍攝視頻和opencv+gan模型的現(xiàn)場(chǎng)全景圖合成方法，其特征在于，對(duì)保存的若干所述施工現(xiàn)場(chǎng)圖片進(jìn)行opencv拼接時(shí)，還包括：

5.根據(jù)權(quán)利要求1所述基于無(wú)人機(jī)低空巡航拍攝視頻和opencv+gan模型的現(xiàn)場(chǎng)全景圖合成方法，其特征在于，對(duì)所述初步的施工現(xiàn)場(chǎng)全景圖進(jìn)行opencv分割時(shí)，還包括：

6.根據(jù)權(quán)利要求1所述基于無(wú)人機(jī)低空巡航拍攝視頻和opencv+gan模型的現(xiàn)場(chǎng)全景圖合成方法，其特征在于，在得到gan神經(jīng)網(wǎng)絡(luò)模型輸出的施工現(xiàn)場(chǎng)全景圖分塊后，還包括：

7.根據(jù)權(quán)利要求6所述基于無(wú)人機(jī)低空巡航拍攝視頻和opencv+gan模型的現(xiàn)場(chǎng)全景圖合成方法，其特征在于，在形成最終的施工現(xiàn)場(chǎng)全景圖后，還包括：

8.根據(jù)權(quán)利要求1所述基于無(wú)人機(jī)低空巡航拍攝視頻和opencv+gan模型的現(xiàn)場(chǎng)全景圖合成方法，其特征在于，獲取無(wú)人機(jī)低空巡航拍攝的施工現(xiàn)場(chǎng)視頻，還包括：

9.根據(jù)權(quán)利要求1所述基于無(wú)人機(jī)低空巡航拍攝視頻和opencv+gan模型的現(xiàn)場(chǎng)全景圖合成方法，其特征在于，所述方法還包括：

10.基于無(wú)人機(jī)低空巡航拍攝視頻和opencv+gan模型的現(xiàn)場(chǎng)全景圖合成系統(tǒng)，其特征在于，包括：

技術(shù)總結(jié)
本發(fā)明公開(kāi)一種基于無(wú)人機(jī)低空巡航拍攝視頻和OpenCV+GAN模型的現(xiàn)場(chǎng)全景圖合成方法。該方法通過(guò)無(wú)人機(jī)拍攝施工現(xiàn)場(chǎng)視頻，使用OpenCV逐幀讀取并保存圖片，這些圖片將作為CycleGAN神經(jīng)網(wǎng)絡(luò)訓(xùn)練的目標(biāo)域圖片，拼接成質(zhì)量較低的全景圖，再通過(guò)OpenCV分割成多張圖片作為源域圖片，與目標(biāo)域圖片一起訓(xùn)練CycleGAN神經(jīng)網(wǎng)絡(luò)。訓(xùn)練完成后，實(shí)際應(yīng)用中無(wú)人機(jī)低空巡航拍攝拍攝視頻，利用OpenCV合成質(zhì)量較差的全景圖，并進(jìn)行全景圖分塊，輸入訓(xùn)練好的CycleGAN神經(jīng)網(wǎng)絡(luò)生成高質(zhì)量的全景圖分塊，最后通過(guò)OpenCV邊緣拼接生成高質(zhì)量的施工現(xiàn)場(chǎng)全景圖。本發(fā)明實(shí)現(xiàn)了通過(guò)無(wú)人機(jī)低空巡航視頻生成高質(zhì)量全景圖的可行方法，適用于建筑施工、工程監(jiān)理和安全監(jiān)測(cè)等領(lǐng)域。

技術(shù)研發(fā)人員：韓斌,龍葉天,王惠朝,羅果,馬騰,戴超,范亦靈,王丹,魯樹(shù)銘
受保護(hù)的技術(shù)使用者：中建三局集團(tuán)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15