本發(fā)明涉及視覺圖像處理，特別是涉及一種基于3d高斯渲染的內(nèi)窺鏡視野場景重建方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)：

1、腹腔鏡引導(dǎo)微創(chuàng)手術(shù)具有創(chuàng)傷小、恢復(fù)快、對器官組織功能損傷小的優(yōu)勢，對于機器人輔助微創(chuàng)手術(shù)至關(guān)重要。該技術(shù)可以幫助模擬手術(shù)環(huán)境并用于術(shù)前規(guī)劃和增強現(xiàn)實/虛擬現(xiàn)實手術(shù)導(dǎo)航。

2、由于腹腔內(nèi)部組織結(jié)構(gòu)復(fù)雜，視野范圍狹小且解剖位置深，受腔內(nèi)狹窄的運動空間和視覺障礙的限制，很難通過傳統(tǒng)方法實現(xiàn)高質(zhì)量的3d表面重建。

3、隨著神經(jīng)輻射場(nerf)和神經(jīng)隱式曲面(neus)的出現(xiàn)，近年來場景重建和視圖合成領(lǐng)域得到了很大的發(fā)展。此外，最近更多的努力集中在將手術(shù)場景表示為輻射場上，該輻射場可以學(xué)習(xí)連續(xù)函數(shù)，這些函數(shù)隱含地表示從2d圖像和配對相機姿勢訓(xùn)練的3d場景。基于神經(jīng)場的方法利用深度神經(jīng)網(wǎng)絡(luò)對復(fù)雜的幾何和外觀進(jìn)行隱式建模，優(yōu)于基于離散表示的方法。

4、然而，雖然基于神經(jīng)場的方法取得了相當(dāng)好的結(jié)果，但在每個圖像的渲染過程中，需要從輻射場中反復(fù)查詢大量的點和射線。這種方法需要極大地限制渲染速度，并為實際的術(shù)中應(yīng)用帶來了巨大的障礙。

5、為了解決這些局限性，可以采用3d高斯?jié)姙R(3d?gauss?ian?splatt?ing,3dgs)方法擴(kuò)展了nerf中的體積渲染以適應(yīng)高質(zhì)量的點云。3dgs可以將場景描述為各向異性表示，并使用高效的基于平鋪的光柵化器渲染圖像，從而實現(xiàn)具有卓越重建質(zhì)量的實時渲染。

6、盡管如此，由于腹腔鏡視野下場景更復(fù)雜，通過跟蹤設(shè)備獲取運動很麻煩。此外，腹腔鏡的運動通常受到儀器特性的限制，這使得內(nèi)窺鏡難以觀察到腔體的全貌。典型的3dgs主要依賴于運動恢復(fù)結(jié)構(gòu)(structure?from?mot?ion,sfm)算法來初始化高斯位置，但對腹腔鏡的運動軌跡和視野范圍有嚴(yán)格的要求。此外，醫(yī)生很難通過在患者器官周圍操縱手持腹腔鏡來獲取腹腔內(nèi)部的全景圖。因此腹腔鏡的視場通常被限制在有限的運動范圍內(nèi)，這使得使用sfm管道恢復(fù)稀疏點云和估計絕對相機姿態(tài)變得困難。

技術(shù)實現(xiàn)思路

1、鑒于上述問題，本發(fā)明提供用于克服上述問題或者至少部分地解決上述問題的一種內(nèi)窺鏡視野場景重建方法、裝置、設(shè)備及介質(zhì)。

2、本發(fā)明提供了如下方案：

3、一種內(nèi)窺鏡視野場景重建方法，包括：

4、獲取通過內(nèi)窺鏡采集到的若干連續(xù)幀rgb器官圖像；

5、采用單目深度預(yù)測網(wǎng)絡(luò)對若干連續(xù)幀所述rgb器官圖像分別進(jìn)行估計獲得若干局部深度圖；

6、利用相鄰兩幀所述局部深度圖采用幀間位姿估計模塊估計和優(yōu)化獲得前后幀相機變換位姿矩陣；

7、根據(jù)具有內(nèi)參矩陣的上一幀的所述局部深度圖計算獲得上一幀高斯模型的xyz參數(shù)；

8、利用所述前后幀相機變換位姿矩陣將所述上一幀高斯模型的坐標(biāo)系從上一幀的局部相機坐標(biāo)系變換為下一幀的局部相機坐標(biāo)系；

9、利用動態(tài)高斯增長模塊對下一幀所述rgb器官圖像和預(yù)測的對應(yīng)局部深度圖進(jìn)行處理，將下一幀視點下新區(qū)域出現(xiàn)的局部高斯集從所述上一幀高斯模型擴(kuò)展到下一幀高斯模型，以實現(xiàn)高斯模型的順序動態(tài)生長獲得每一幀所述rgb器官圖像對應(yīng)的局部高斯模型；

10、將獲得的每一幀所述rgb器官圖像對應(yīng)的所述局部高斯模型進(jìn)行融合獲得全局高斯模型。

11、優(yōu)選地：利用相鄰兩幀所述局部深度圖采用幀間位姿估計模塊估計和優(yōu)化獲得前后幀相機變換位姿矩陣包括：

12、利用特征匹配網(wǎng)絡(luò)的密集關(guān)鍵點匹配和密集深度估計網(wǎng)絡(luò)所計算的相對深度，利用前一幀所述器官圖的3d坐標(biāo)和下一幀所述器官圖的2d對應(yīng)位置建立2d-3d位移場；

13、通過將優(yōu)化目標(biāo)設(shè)置為通過最小化位移場的高斯渲染變分梯度來學(xué)習(xí)獲得所述前后幀相機變換位姿矩陣。

14、優(yōu)選地：在局部相機坐標(biāo)系上使用固有矩陣和失真參數(shù)轉(zhuǎn)換獲得相應(yīng)的點云；

15、通過所述局部深度圖和所述點云構(gòu)建獲得前一幀所述器官圖的3d位移矢量場，通過kpn和kpn+1構(gòu)建出2d位移矢量場；

16、通過位移矢量場變分優(yōu)化以及確定的矢量場在不同變換矩陣位姿下的能量泛函數(shù)，基于3d矢量場優(yōu)化后的2d矢量實現(xiàn)變換矩陣位姿的初始估計；

17、基于變換矩陣位姿的初始估計的初始值，確定變分優(yōu)化的能量函數(shù)目標(biāo)為當(dāng)前視角下高斯渲染圖像與原始rgb器官圖像之間的最小圖像相似性差異作為泛化函數(shù)，計算出優(yōu)化后的所述前后幀相機變換位姿矩陣。

18、優(yōu)選地：利用動態(tài)高斯增長模塊對下一幀所述rgb器官圖像和預(yù)測的對應(yīng)局部深度圖進(jìn)行處理包括：

19、基于下一幀的所述局部深度圖，在下一幀新視點下的空白區(qū)域中以局部深度信息和對應(yīng)的rgb球諧函數(shù)信息作為初始高斯屬性新建獲得新建的高斯橢球；

20、基于微分梯度場優(yōu)化算法優(yōu)化所述新建的高斯橢球的屬性，并將傳遞深度和rgb的損失函數(shù)作為優(yōu)化目標(biāo)；

21、基于下一幀局部視角下的增長高斯集將增長后的高斯與全局高斯對齊，從而實現(xiàn)在下一幀新幀視點下高斯模型的增長。

22、優(yōu)選地：在訓(xùn)練的過程中采用前向重建和反向優(yōu)化的策略保證序列幀的連貫性，并實現(xiàn)高斯模型的全局對齊。

23、優(yōu)選地：所述前向重建和反向優(yōu)化的策略包括：

24、對于初始幀，將視點初始化為第一幀的局部相機坐標(biāo)系，并基于局部深度圖計算相應(yīng)的點云；高斯模型的xyz屬性用點云來初始化，球諧函數(shù)shs參數(shù)用幀的rgb值初始化；

25、在順序視頻幀的正向處理過程中，采用所述幀間位姿估計模塊來估計幀間的位姿變換矩陣，采用所述動態(tài)高斯增長模塊實現(xiàn)高斯模型的逐步增長；

26、在順序視頻幀的反向處理過程中，通過顛倒視頻幀的順序來實現(xiàn)循環(huán)訓(xùn)練，以便在正向重建過程中對估計的高斯參數(shù)進(jìn)行優(yōu)化，并反向傳播梯度。

27、一種內(nèi)窺鏡視野場景重建裝置，用于執(zhí)行上述的內(nèi)窺鏡視野場景重建方法，所述裝置包括：

28、圖像獲取單元，用于獲取通過內(nèi)窺鏡采集到的若干連續(xù)幀rgb器官圖像；

29、深度圖估計單元，用于采用單目深度預(yù)測網(wǎng)絡(luò)對若干連續(xù)幀所述rgb器官圖像分別進(jìn)行估計獲得若干局部深度圖；

30、位姿變換矩陣確定單元，用于利用相鄰兩幀所述局部深度圖采用幀間位姿估計模塊估計和優(yōu)化獲得前后幀相機變換位姿矩陣；

31、初始高斯模型參數(shù)確定單元，用于根據(jù)具有內(nèi)參矩陣的上一幀的所述局部深度圖計算獲得上一幀高斯模型的xyz參數(shù)；

32、高斯模型坐標(biāo)系變換單元，用于利用所述前后幀相機變換位姿矩陣將所述上一幀高斯模型的坐標(biāo)系從上一幀的局部相機坐標(biāo)系變換為下一幀的局部相機坐標(biāo)系；

33、高斯模型順序動態(tài)增長單元，用于利用動態(tài)高斯增長模塊對下一幀所述rgb器官圖像和預(yù)測的對應(yīng)局部深度圖進(jìn)行處理，將下一幀視點下新區(qū)域出現(xiàn)的局部高斯集從所述上一幀高斯模型擴(kuò)展到下一幀高斯模型，以實現(xiàn)高斯模型的順序動態(tài)生長獲得每一幀所述rgb器官圖像對應(yīng)的局部高斯模型；

34、全局高斯模型獲取單元，用于將獲得的每一幀所述rgb器官圖像對應(yīng)的所述局部高斯模型進(jìn)行融合獲得全局高斯模型。

35、一種內(nèi)窺鏡視野場景重建設(shè)備，所述設(shè)備包括處理器以及存儲器：

36、所述存儲器用于存儲程序代碼，并將所述程序代碼傳輸給所述處理器；

37、所述處理器用于根據(jù)所述程序代碼中的指令執(zhí)行上述的內(nèi)窺鏡視野場景重建方法。

38、一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)用于存儲程序代碼，所述程序代碼用于執(zhí)行上述的內(nèi)窺鏡視野場景重建方法。

39、根據(jù)本發(fā)明提供的具體實施例，本發(fā)明公開了以下技術(shù)效果：

40、本技術(shù)實施例提供的一種內(nèi)窺鏡視野場景重建方法、裝置、設(shè)備及介質(zhì)，該方法通過原始腹腔鏡視頻流圖像，通過學(xué)習(xí)和優(yōu)化高斯光柵化的變分梯度，設(shè)計了一種新的幀間姿態(tài)估計模塊，以進(jìn)行精確的微小姿態(tài)估計?；谖⒎痔荻葓鰞?yōu)化，設(shè)計了一種新的動態(tài)高斯生長策略，用于在約束內(nèi)窺鏡視圖內(nèi)進(jìn)行新的高斯合成。結(jié)合上述兩個模塊，提出了一種具有前向重建和后向優(yōu)化策略的新型3d高斯訓(xùn)練架構(gòu)，用于順序生成高斯模型并解決sfm先驗的局限性。改進(jìn)的相對姿態(tài)估計和新的高斯增長策略帶來了更好的新視圖合成質(zhì)量和腹腔鏡視野下器官組織模型幾何重建。從而在術(shù)中提供給醫(yī)生更加立體的腹腔鏡視野內(nèi)器官組織3d形狀信息，輔助醫(yī)生實現(xiàn)更加精準(zhǔn)有效的腹腔鏡引導(dǎo)微創(chuàng)式手術(shù)。

41、當(dāng)然，實施本發(fā)明的任一產(chǎn)品并不一定需要同時達(dá)到以上所述的所有優(yōu)點。