本發(fā)明屬于空間碎片三維重建,特別涉及一種基于掠飛觀測成像的空間碎片三維重建方法。
背景技術:
1、由于太空中衛(wèi)星數(shù)量的不斷增長,開展空間態(tài)勢感知(space?situationalawareness,ssa)任務,監(jiān)測和獲取空間碎片的姿態(tài)信息以避免航天器之間發(fā)生碰撞成為維護太空安全的關鍵一環(huán),與此同時,各類空間活動也對航天器交會對接、故障衛(wèi)星在軌診斷與維修、空間碎片清理等方面的技術能力提出了更高的要求,因此,對空間碎片進行成像與三維重建的方法研究迫在眉睫,有助于提高航天系統(tǒng)整體的自主性與探測能力。
2、目前我國對空間碎片的成像觀測方式主要有雷達探測成像和光學探測成像兩種,雷達探測屬于主動成像方式,但由于其接收信號的能量幅值與空間碎片距離的平方成反比,經(jīng)常受到探測距離的限制,難以對高軌道帶的空間碎片進行成像探測。因此,針對高軌(geo)衛(wèi)星,目前主流還是采用光學成像探測方式,作為一種被動探測方式,又分為天基和地基兩類平臺。但地基光學成像受限于大氣擾動、天氣條件、地理位置和時間窗口等因素,導致圖像質量不穩(wěn)定、分辨率受限,難以進行高質量、高頻率的觀測。如,地基光學探測易受到大氣湍流、云團氣象等因素干擾,觀測窗口時長有限,造成成像質量較差;
3、與地基光學觀測相比,天基光學探測不受地理位置和氣象條件的限制,可以提供更加穩(wěn)定、清晰的圖像,不受大氣層的影響,可以實現(xiàn)全球覆蓋、全天候和高時間分辨率的觀測,從而在空間碎片監(jiān)視領域展現(xiàn)出顯著優(yōu)勢;并且目前我國的探測設備能力已經(jīng)具備中遠距離高分辨率成像功能。除此之外,光學觀測和紅外觀測相比,具有被動無源、能量消耗小、適合長期工作的優(yōu)勢。因此,天基光學探測對空間碎片成像的數(shù)據(jù),是空間碎片三維結構、姿態(tài)變化以及運動狀態(tài)估計等空間碎片監(jiān)視領域的重要數(shù)據(jù)來源。基于時序天基可見光圖像,探索高效、準確的三維重建方法,能夠實時提供在軌服務所需的結構尺寸、表面紋理細節(jié)等信息,有助于提高空間系統(tǒng)整體的自主化、無人化和智能化。
4、根據(jù)被觀測對象的軌道高度和運動特性的不同,天基光學成像主要分為以下三種典型場景的成像模式:低軌交會觀測、高軌掠飛觀測和高軌繞飛觀測;其中,光學觀測衛(wèi)星在滿足成像條件的軌道位置對目標衛(wèi)星進行光學成像。其中,公開號為cn114970180a,發(fā)明名稱為:一種航天器掠飛觀測的在軌優(yōu)化方法中,將成像過程受到的約束條件分為成像部位角度約束、太陽光約束、姿態(tài)角速度約束、觀測距離約束和安全距離約束等,這對于成像模式的設計有一定啟發(fā)。李孟錫.基于天基光學成像的空間目標姿態(tài)估計技術研究[d].國防科技大學,2022中,為了估計航天器的在軌三維姿態(tài),主要考慮了兩種基于天基光學成像的空間目標姿態(tài)估計問題,分別是對低軌(leo)空間目標的交會場景和對地球同步軌道(geo)空間目標的掠飛場景下的姿態(tài)估計問題進行研究,構建了目標與已知三維模型的特征關聯(lián)進行結算出目標姿態(tài),但并未完全重建出空間目標的三維結構與表面紋理細節(jié)。公開號為cn118604840a,發(fā)明名稱為:一種從低軌軌道協(xié)同對低軌目標探測及成像的衛(wèi)星系統(tǒng)及方法中,提供了衛(wèi)星具備掠飛成像、繞飛成像及聯(lián)合探測定位模式三種工作模式,但是僅討論了成像模式,并未涉及對于可見光圖像的進一步處理。
5、獲得天基可見光圖像之后,對其進行圖像預處理、三維重建和姿態(tài)估計是在軌服務的關鍵技術,近年來,基于序列可見光圖像的空間碎片三維重建技術逐漸成為空間碎片識別和監(jiān)測領域的研究熱點。相關研究對于提升空間碎片的態(tài)勢感知能力和精確識別水平具有重要意義??臻g碎片三維重建的本質是通過多視角二維可見光圖像,重建空間碎片的三維模型,實現(xiàn)對空間碎片表面材料、結構和紋理等特征的識別。三維重建從1963年第一次被roberts提出開始,經(jīng)歷了從傳統(tǒng)方法、深度學習方法到端到端方法的發(fā)展。
6、下述流程是傳統(tǒng)三維重建方法的主要步驟,參考:趙淑佳.空間目標低光照影像三維重建關鍵技術研究[d].西安電子科技大學,2022中,梳理了傳統(tǒng)三維重建的方法,主要包括運動恢復結構(sfm)以及多視圖系統(tǒng)(mvs)結合的方法,對空間目標的主要表達形式為點云稀疏和稠密重建。常用的空間目標三維重建的過程包括但不限于以下步驟:(1)圖像獲取:通過多視角相機獲取目標的圖像;(2)相機標定:確定相機的內外參數(shù);(3)特征提取與匹配:從圖像中提取特征并進行匹配;(4)相機位姿估計:通過匹配特征點估計相機的相對位姿;(5)三角化:計算三維空間中特征點的位置;(6)稀疏點云構建:生成稀疏三維點云;(7)密集點云生成:通過多視圖匹配生成密集點云;(8)網(wǎng)格重建:將點云轉換為三角網(wǎng)格模型;(9)紋理映射:將圖像的紋理信息映射到網(wǎng)格表面;(10)模型優(yōu)化:對三維模型進行去噪、平滑等優(yōu)化;(11)結果評估:評估模型的重建質量。公開號:cn106408650a,發(fā)明名稱為:一種在軌掠飛成像對空間目標三維重建與測量的方法公開的技術方案的優(yōu)點是天基成像可以快速響應偵查需要,沒有嚴苛的觀測氣候條件和觀測窗口,但是采用的方法主要基于傳統(tǒng)方法,在重建效果和時效性上略遜一籌。
7、從2021年開始,在國際計算機視覺會議上,研究最為廣泛的方法是神經(jīng)輻射場(nerf)方法,積累至今已有一定的成熟度。馬漢聲,祝玉華,李智慧,閻磊,司藝藝,連一萌,張鈺涵.神經(jīng)輻射場多視圖合成技術綜述[j].計算機工程與應用,2024,60(4):21-38中,對近年來神經(jīng)輻射場領域的關鍵算法進行回顧和綜述,首先介紹了神經(jīng)輻射場的產(chǎn)生背景及原理,隨后對后續(xù)關鍵改進模型進行分類探討。神經(jīng)輻射場(nerf,neural?radiancefields)是一種基于神經(jīng)網(wǎng)絡的端到端三維重建方法,它通過學習場景的輻射場來生成高質量的三維視圖。nerf的核心思想是將場景的每個位置和方向映射為顏色和體積密度,通過對從不同角度采集的圖像進行訓練,模型可以學習到完整的三維場景結構,并實現(xiàn)從任意視角生成逼真的渲染結果。與傳統(tǒng)的三維重建方法不同,nerf并不依賴顯式的幾何數(shù)據(jù)或網(wǎng)格模型,而是通過隱式表示的方式生成三維場景,這種方法可以更好地處理復雜的細節(jié)和光照變化,使得其在視圖合成、場景重建和虛擬現(xiàn)實等領域表現(xiàn)出色。
8、然而,上述方案在實際應用的時候,存在以下技術缺陷:
9、1.觀測平臺
10、與地基光學探測相比,天基光學探測不受地理位置和氣象條件的限制,是空間碎片三維結構、姿態(tài)變化以及運動狀態(tài)估計的重要數(shù)據(jù)來源。地基光學成像受限于大氣擾動、天氣條件、地理位置和時間窗口等因素,導致圖像質量不穩(wěn)定、分辨率受限,難以進行高質量、高頻率的觀測。相比之下,天基光學成像能夠突破這些限制,提供更加穩(wěn)定、清晰的圖像,不受大氣層的影響,可以實現(xiàn)全球覆蓋、全天候和高時間分辨率的觀測,從而在空間碎片監(jiān)視領域展現(xiàn)出顯著優(yōu)勢。
11、2.天基光學成像模式
12、天基光學成像模式主要分為交會、繞飛和掠飛觀測成像3種工作模式。
13、(1)交會觀測成像
14、交會觀測衛(wèi)星只能在特定的時間窗口內觀測到空間碎片,通常需要多顆衛(wèi)星協(xié)作才能實現(xiàn)全面覆蓋,存在有限的覆蓋范圍;每次過境的觀測時間較短,僅為十幾秒,導致獲取的觀測圖像數(shù)量少且碎片在觀測圖像中的有效像素占比小,難以滿足三維重建所需的圖像視角條件;并且為了保持對碎片的持續(xù)觀測,需要通過連續(xù)小推力能形式采取軌道機動,觀測的成本較大,耗費一定資源。
15、(2)繞飛觀測成像
16、繞飛觀測成像雖然可以對特定區(qū)域內的碎片進行持續(xù)跟蹤和觀測,但是由于距離碎片較遠,圖像分辨率低,碎片在圖像中所占的比率較低;難以快速調整軌道對突發(fā)事件進行應急響應觀測;發(fā)射和運維管理的成本較高。
17、(3)掠飛觀測成像
18、掠飛觀測衛(wèi)星每次過境的觀測時間較長,可以進行復雜的觀測任務,比如多次成像和高精度跟蹤;結合了低軌交會和高軌繞飛成像模式的優(yōu)點,可以頻繁地訪問同一碎片,提供較高的時間分辨率,適合檢測空間碎片的動態(tài)變化;靈活機動性強,可以快速調整軌道和觀測角度,適應不同任務的觀測需求;可以拍攝高分辨率可見光圖像,圖像質量達到三維重建的要求。
19、3.三維重建方法
20、基于稠密點云的三維重建在精度和魯棒性方面表現(xiàn)較好,能夠捕捉到物體的細節(jié),尤其在復雜場景中,算法能夠一定程度上自適應地處理噪聲和遮擋,保證了三維重建的精度,并且具有較好的適應能力。此外,點云數(shù)據(jù)無需預定義網(wǎng)格,因此適合處理復雜形狀的物體,并且其無序性和稀疏性使得并行處理成為可能,提高了計算效率。然而,點云數(shù)據(jù)的稀疏性常常會導致重建精度的降低,尤其是在遠距離或復雜場景中,因此在空間非合作目標領域圖像較為稀疏的場景中可能效果欠佳;點云數(shù)據(jù)的無序性使得特征提取更為復雜,由于缺乏拓撲信息,重建時可能無法有效展現(xiàn)復雜幾何形狀的紋理細節(jié),在復雜光照條件下,基于深度點云的三維重建精度可能受到很大制約;標注數(shù)據(jù)的匱乏也是一個極大的挑戰(zhàn),點云數(shù)據(jù)數(shù)量龐大,人工標注非常耗時且成本高昂,尤其在高精度任務中,標注數(shù)據(jù)的不足可能限制模型的性能和應用效果。
21、三維重建中的多視圖立體匹配(multi-view?stereo,mvs)作為計算機視覺以及攝影測量的核心問題被廣泛研究。傳統(tǒng)mvs方法在理想的環(huán)境(朗伯曲面和豐富的紋理)中已經(jīng)表現(xiàn)出很好的結果,然而,在實際應用中,因為弱紋理、非朗伯曲面、光度變化等變量的存在,尤其針對復雜的空間環(huán)境時,經(jīng)常導致重建效果不佳,因此該方法仍有很大的提升空間。
22、綜上所述,地球同步軌道上分布著上千顆廢棄衛(wèi)星、火箭上面級以及一些其他物體,這些空間碎片對衛(wèi)星的正常工作構成了一定的威脅。因此,天基態(tài)勢感知對于保證未來航天器的安全穩(wěn)定運行顯得尤為重要。本發(fā)明主要采用掠飛成像對空間碎片觀測的天基光學成像模式,并在此基礎上進行基于神經(jīng)輻射場算法的三維重建方法研究。
技術實現(xiàn)思路
1、在常用的空間碎片監(jiān)視手段中,天基光學測量所獲得的高分辨率可見光圖像,適用于姿態(tài)估計和三維重建,對提升空間視覺感知能力具有重要意義。此外,光學探測系統(tǒng)具備強大的被動監(jiān)測能力,無需主動發(fā)射信號,在復雜或需要隱蔽探測的環(huán)境中表現(xiàn)尤為出色。因此,為了維護空間利益和空間安全,保障空間活動,輔助空間決策,亟需獲取空間碎片當前的特征信息,預測空間碎片未來的活動趨勢,以光學探測為主要手段的空間特性分析方法是太空態(tài)勢感知的關鍵技術之一。
2、為了解決如何獲取空間碎片當前的特征信息,預測空間碎片未來的活動趨勢的技術問題,本發(fā)明提供了一種基于掠飛觀測成像的空間碎片三維重建方法,該方法將神經(jīng)輻射場算法作為基礎原理,以天基光學掠飛成像作為典型場景的工作模式,提供一種端到端的典型場景天基光學成像方法,以及基于運動恢復結構(sfm)和改進的神經(jīng)輻射場算法相結合的三維重建流程與方法,為在軌服務提供重要參考。天基平臺通過在軌掠飛近距離對碎片特定視角部位高清晰成像,可以通過構建空間碎片的部件級精細特征,從而對碎片的工作狀態(tài)進行評估,預測空間目標未來的活動趨勢。本發(fā)明公開的技術方案,維護了空間利益和空間安全,保障空間活動,同時可以輔助空間決策。
3、為達到上述目的,本發(fā)明提供了一種基于掠飛觀測成像的空間碎片三維重建方法,包括以下步驟:
4、步驟一、由觀測距離約束、觀測幾何約束、光照條件約束和探測極限約束構成掠飛觀測約束,天基平臺的掠飛觀測成像模式滿足所述掠飛觀測約束后獲取空間碎片的光學觀測圖像,并將光學觀測圖像下傳至地面站;
5、步驟二、通過運動恢復結構算法對接收到的光學觀測圖像進行圖像增強和圖像復原的預處理操作后得到預處理圖像;由多尺度特征提取網(wǎng)絡對預處理圖像進行多視圖內特征點提取;采用orb算法對提取的特征點進行多視圖間特征點匹配后通過光束法平差得到稀疏點云和位姿信息;
6、步驟三、將預處理圖像按照預設比例劃分為訓練集、測試集和驗證集;由置信度損失函數(shù)剪枝稀疏點云的外部點得到優(yōu)化點云;將優(yōu)化點云和位姿信息作為初始條件與訓練集同時輸入用于表示掠飛觀測場景的神經(jīng)輻射場的隱式神經(jīng)表達函數(shù)中,經(jīng)過位置編碼關聯(lián)定位后將所有的輸入映射為特征向量,并將特征向量輸入神經(jīng)輻射場算法的全連接網(wǎng)絡中進行訓練得到訓練好的全連接網(wǎng)絡模型,通過測試集和驗證集對訓練好的全連接網(wǎng)絡模型測試和驗證后輸出最優(yōu)擬合結果;使用體渲染技術在三維空間上對最優(yōu)擬合結果進行渲染,輸出空間碎片的三維重建光學觀測圖像。
7、步驟一中,所述觀測距離約束包括:觀測位置約束、光軸夾角約束和通訊安全距離約束;其中,觀測位置約束為:式中,dmin為最小有效觀測距離,ξ是空間可變換尺度系數(shù),rtarget是空間碎片的觀測范圍半徑,afov是光學相機的視場角;
8、光軸夾角約束為:式中,β為光軸與光學相機間的光軸夾角,βob為觀測平臺的視場半角,且β小于βob;rcm為光軸連線,即觀測視線,rtc為空間碎片到光學相機的距離矢量;
9、通訊安全距離約束為:各觀測平臺之間的距離小于有效通訊安全距離閾值;
10、步驟一中,所述觀測幾何約束包括觀測平臺約束以及觀測平臺與空間碎片的夾角約束;其中,觀測平臺約束為:
11、觀測平臺與空間碎片的夾角約束為:
12、式中,rc為搭載光學相機的觀測平臺的地心矢量,rtc為空間碎片到光學相機的距離矢量,re為地球半徑,θ為地心-光學相機-空間碎片之間的夾角,夾角范圍為0~180°;
13、步驟一中,所述光照條件約束包括:避免太陽直射約束、避免空間碎片處于地影區(qū)域約束和觀測姿態(tài)約束;其中,
14、避免太陽直射約束為:處于順光條件,光照角符合閾值,觀測時太陽不直射觀測平臺的鏡頭,滿足0<α<β<π或式中,α為太陽的視半徑與光散射角之和且為非負銳角,rcs為觀測平臺到太陽的距離矢量,rtc為空間碎片到光學相機的距離矢量,β為光軸與光學相機間的光軸夾角,即為rcs與rtc的夾角;
15、避免空間碎片處于地影區(qū)域約束為:或式中,λ為空間碎片的地心矢量rt和太陽地心矢量rs的夾角,re為地球半徑;
16、觀測姿態(tài)約束為:各觀測平臺搭載的光學相機的光軸與理想觀測視線間的夾角小于角度閾值,保證空間碎片活動區(qū)域在光學相機視場內;
17、步驟一中,所述探測極限約束為:
18、
19、式中,m為空間碎片對應的星等值,rs,n,0為達到系統(tǒng)探測極限時系統(tǒng)的信噪比,為零星等的平均光子通量,a為接收器通光口徑面積,η為探測器對空間碎片光譜的量子效率,te為積分時間,τ為光學系統(tǒng)對空間碎片信號的透過率,nd為暗信號電子數(shù),nr為讀出噪聲電子數(shù),ns為在光學相機探測時間,即積分時間內,光學相機輸出信號電子數(shù),為信號光子通量。
20、步驟二中,通過運動恢復結構算法對接收到的光學觀測圖像進行圖像增強的預處理操作的方法包括:
21、將圖像亮度未達到閾值的光學觀測圖像作為低光照圖像;
22、將低光圖像輸入運動恢復結構算法sfm的編碼器中,生成照明不變的顏色圖;
23、將正常曝光圖像映射到潛在代碼的可逆網(wǎng)絡中;
24、利用最大似然估計優(yōu)化可逆網(wǎng)絡,利用照明不變的顏色圖,通過優(yōu)化后的可逆網(wǎng)絡學習低光圖像與正常曝光圖像之間的潛在映射進行圖像增強,并通過端到端的迭代訓練使回歸損失函數(shù)達到收斂,輸出圖像亮度達到閾值的光學觀測圖像;
25、步驟二中,通過運動恢復結構算法對接收到的光學觀測圖像進行圖像復原的預處理操作的方法包括:
26、通過回歸損失簡化估計的模糊核,采用自適應最小二乘濾波器去除光學觀測圖像中存在噪聲、模糊和/或偽影特征,輸出圖像復原后的光學觀測圖像;
27、待所有的光學觀測圖像均進行圖像增強和圖像復原的預處理操作后得到預處理圖像。
28、步驟二中,利用最大似然估計優(yōu)化可逆網(wǎng)絡,利用照明不變的顏色圖,通過優(yōu)化后的可逆網(wǎng)絡學習低光圖像與正常曝光圖像之間的潛在映射進行圖像增強的方法包括:
29、
30、其中,l(xl,xref)為低光圖像和正常曝光圖像之間的圖像相似度,fflow(xref|xl)為正常曝光圖像的概率密度函數(shù),xl為低光圖像,xref為正常曝光圖像,θ為可逆網(wǎng)絡,分為n個可逆層序列{θ1,θ2,...θi...,θn},n=1到n,i=0到n-1;hi+1=θi(hi;gi(xl))是第i個可逆層θi的輸出,hi為第i-1個可逆層的輸出,gi(xl)為編碼器g生成的第i個照明不變的顏色圖;h0=xref且z=hn;hn為第n-1個可逆層的輸出,zn為第n個潛在代碼,gn(xl)是編碼器g生成的第n個照明不變的顏色圖,其形狀與第n個可逆層θn兼容;fz是潛在代碼z的概率密度函數(shù);
31、通過端到端的迭代訓練使回歸損失函數(shù)達到收斂,輸出圖像亮度達到閾值的光學觀測圖像的方法包括:
32、收集成對樣本(xl,xref),通過最小化l1重建回歸損失函數(shù)來訓練θ:
33、回歸損失函數(shù)為:argmine[l1(θ(xl),xref)]=argmaxe[logf(θ(xl)|xref)];
34、其中,e為期望值,l1為l1范數(shù)距離,又被稱為絕對值距離,是一種度量兩組向量或點之間距離的方法;θ(xl)是由θ輸出的圖像亮度達到閾值的光學觀測圖像,f(θ(xl)|xref)是以xref為條件的概率密度函數(shù),定義如下:
35、
36、其中,b是學習率常數(shù);
37、通過回歸損失簡化估計的模糊核,采用自適應最小二乘濾波器去除光學觀測圖像中存在噪聲、模糊和/或偽影特征,輸出圖像復原后的光學觀測圖像的方法包括:
38、da=hay;
39、
40、其中,dα是對應于xh↓s的去噪聲、去模糊和/或去偽影特征,xh是輸出的圖像復原后的光學觀測圖像,↓s表示下采樣;hα是特征特定運算符,a為光學觀測圖像的編號;y是退化圖像,f(·)表示傅里葉變換,f-1(·)表示傅里葉逆變換,f(·)表示f(·)的共軛,kb是通過回歸損失簡化估計的模糊核,pb表示濾波參數(shù);b為模糊核的編號,表示卷積運算,kh表示高分辨率空間上的模糊核,μ是指噪聲。
41、步驟二中,由多尺度特征提取網(wǎng)絡對預處理圖像進行多視圖內特征點提取的方法包括:
42、將預處理圖像輸入多尺度特征提取網(wǎng)絡msfe中;
43、從最初輸入的預處理圖像分辨率開始,按照預設不同尺度多次進行降采樣;到最低分辨率后開始上采樣并結合上一層的特征作為下一次上采樣的輸入,得到高質量的特征圖;通過非極大值抑制(non-maximum?suppression,nms)去除高質量的特征圖中重疊的角點得到多視圖內提取的特征點。
44、步驟二中,采用orb算法對提取的特征點進行多視圖間特征點匹配后通過光束法平差得到稀疏點云和位姿信息的方法包括:
45、使用orb算法計算每個特征點對應的特征描述符之間的距離,通過特征描述符的距離范圍是否在閾值內將對應的特征點在多視圖間匹配,得到匹配特征點對;
46、對匹配特征點對進行幾何驗證,確保匹配點滿足觀測幾何約束;
47、使用epnp算法估計滿足觀測幾何約束的每對匹配特征點對的預處理圖像之間的相對姿態(tài);計算相對姿態(tài)的均值得到初始相機姿態(tài);利用初始相機姿態(tài)和匹配特征點對,通過三角測量方法計算出三維點的位置;
48、通過光束法平差ba優(yōu)化三維點的位置和初始相機姿態(tài)的重投影誤差,輸出稀疏點云與位姿信息。
49、步驟三中,由置信度損失函數(shù)剪枝稀疏點云的外部點得到優(yōu)化點云的方法包括:
50、p={(pj,fj,γj)|j=1,2,...,np};
51、
52、其中,p為優(yōu)化點云,pj代表稀疏點云的三維點的位置,fj代表稀疏點云的三維點的特征向量,γj∈[0,1]代表稀疏點云的三維點的置信度值,j為稀疏點云的數(shù)量,np為稀疏點云的總數(shù);lsparse為置信度損失函數(shù)的置信度損失值,γ為置信度或概率值,介于0,1之間。
53、步驟三中,神經(jīng)輻射場的隱式神經(jīng)表達函數(shù)為:
54、fβ:(γ(x),γ(d))→(c,σ);
55、其中,fβ為神經(jīng)輻射場關于坐標x和視線方向特征向量d的隱式神經(jīng)表達函數(shù);γ(x)為空間位置的置信度,γ(d)為沿光線方向的置信度,權重參數(shù)β被優(yōu)化以生成體積密度σ和定向發(fā)射顏色c,γ是置信度或概率值,介于0,1之間,應用于坐標x和視線方向特征向量d的預定義位置嵌入,將輸入映射到更高維度的空間;
56、經(jīng)過位置編碼關聯(lián)定位后將所有的輸入映射為特征向量的方法包括:
57、x′=[x,γl(x)];
58、γl(x)=[sin(x),cos(x),...,sin(2l-1x),cos(2l-1x)];
59、式中,x′為特征向量,x為坐標,γl(x)為映射函數(shù),l是控制最大編碼頻率的超參數(shù)。
60、步驟三中,將特征向量輸入神經(jīng)輻射場算法的全連接網(wǎng)絡中進行訓練得到訓練好的全連接網(wǎng)絡模型的方法包括:
61、特征向量中的每個像素選擇采樣點;
62、使用神經(jīng)輻射場算法nerf的全連接網(wǎng)絡mlp生成采樣點的密度和顏色,使用體渲染技術渲染每個采樣點的顏色并沿采樣光線積分生成渲染圖像;
63、全連接網(wǎng)絡分為第一層網(wǎng)絡采樣和第二層網(wǎng)絡采樣,單條采樣光線樣本的總采樣數(shù)為nc+nf,nc為第一層網(wǎng)絡分層采樣位置的數(shù)量;nf為第二層網(wǎng)絡分層采樣位置的數(shù)量;第一層網(wǎng)絡分層采樣nc個位置,得到第一層網(wǎng)絡分層采樣樣本的權重;第二層網(wǎng)絡依據(jù)第一層網(wǎng)絡分層采樣樣本的權重繼續(xù)采樣出nf個位置,得到第二層網(wǎng)絡分層采樣樣本的權重;由第二層網(wǎng)絡分層采樣樣本的權重通過l2范數(shù)距離損失函數(shù)最小化渲染圖像和真實圖像之間的l2范數(shù)距離損失值優(yōu)化場景表示,得到訓練好的全連接網(wǎng)絡模型;
64、其中,權重的計算方法為:式中,為權重的實際值,wn為權重的理論值,wm為網(wǎng)絡中每條采樣光線樣本的權重初始值;
65、l2范數(shù)距離損失函數(shù)為:
66、其中,l為l2范數(shù)距離損失值,r表示單條采樣光線樣本,表示所有采樣光線;c(r)為真實圖像,為渲染圖像。
67、步驟三中,體渲染技術為:
68、
69、式中,c(r)為真實圖像,在三維空間中,r(t)代表一個點,d則表示視線方向特征向量;該場景的近端為tn,遠端為tf;c(r(t),d)是從視線方向特征向量d觀察r(t)點所看到的顏色值;而σ(r(t))代表體密度函數(shù),反映了r(t)點處材質對光線的吸收能力;t(t)則表示從起始tn到t位置的累積透射率,σ(r(s))為體密度函數(shù)積分計算過程中積分路徑區(qū)域的變化值,s是積分上限變量,t為單個積分步長。
70、本發(fā)明具有如下有益效果:
71、1.本發(fā)明設計了一種典型場景的天基平臺的掠飛觀測成像模式并詳細分析了觀測衛(wèi)星光學可見的掠飛觀測約束,囿于真實的空間環(huán)境限制,結合不同軌道的工作特點,天基平臺的掠飛觀測成像模式能兼具較高的重訪覆蓋率、較小的能量消耗率以及長期工作的優(yōu)勢,能重點針對空間碎片和故障衛(wèi)星進行高分辨率成像與三維重建。
72、2.本發(fā)明提出的通過運動恢復結構算法sfm對接收到的光學觀測圖像進行圖像增強和圖像復原的預處理操作后得到預處理圖像,通過迭代最小化重投影誤差生成稀疏點云和位姿信息,基于學習模型的方法比傳統(tǒng)的迭代遍歷方法存在明顯的優(yōu)勢,在于算法強大的自適應能力和泛化性,在未見過的數(shù)據(jù)集上所獲得的點云坐標和位姿矩陣精度較高,解決了復雜場景中因為遮擋和測量誤差引起的點云丟失的問題。
73、3.本發(fā)明考慮了空間浪費問題,在空白區(qū)域,由于數(shù)據(jù)的不確定性,可能會產(chǎn)生重建缺陷,例如漂浮物等。通過運動恢復結構算法sfm獲得的稀疏點云,作為nerf方法的優(yōu)化輸入條件,得到了初始位姿信息,在此基礎上結合神經(jīng)輻射場方法,通過神經(jīng)點云將所有場景屬性信息存儲在點上,通過位置編碼和3d分割,連續(xù)生成空間任意點的特征查詢方式,并渲染得到新視角圖像,大幅提升了空間目標三維重建的渲染速度,節(jié)省了數(shù)據(jù)傳輸和地面站數(shù)據(jù)處理的資源消耗。
74、4.神經(jīng)輻射場結合點云大幅提升了三維重建的渲染速度,這對于有限的星載資源和傳輸速率,具有重大現(xiàn)實意義,為實現(xiàn)星上輕量化自動處理奠定基礎。