本發(fā)明實施例涉及圖像處理，特別涉及一種視覺定位方法、裝置、設備及存儲介質(zhì)。
背景技術：
：：1、隨著我國低空經(jīng)濟的發(fā)展，低空圖像采集設備在城市數(shù)字化過程中的重要性日益提升，在監(jiān)控場景下，全球導航衛(wèi)星系統(tǒng)(global?navigation?satellite?system，gnss)和無線網(wǎng)絡(wi-fi)信號往往不可用，僅有離散的視頻數(shù)據(jù)作為參考。為了解決這一問題，學者們開始研究基于純視覺的相機定位技術。2、視覺定位旨在分析圖像中的視覺線索用于確定相機位姿，是計算機視覺領域的熱門研究?，F(xiàn)有技術中的視覺定位算法方向的輸入是待測圖像和預先制備的參考數(shù)據(jù)庫，輸出是相機的六自由度位姿，包含三維旋轉角度和位置分量。目前，視覺定位算法普遍存在的問題是數(shù)據(jù)隱私泄露問題，對于復雜多變的室外監(jiān)控場景，視覺定位仍然難以精準。一方面，前端用戶將待定位圖像傳輸?shù)胶蠖硕ㄎ环掌鲿r，未加處理的圖像容易泄露人物、車輛等敏感信息；另一方面，后端服務器在呈現(xiàn)可視化定位結果時，容易泄露三維模型信息，造成數(shù)字資產(chǎn)權益受損。技術實現(xiàn)思路1、本發(fā)明的目的在于至少提供一種視覺定位方法、裝置、設備及存儲介質(zhì)，至少可以解決難以在復雜多變的室外監(jiān)控場景下視覺定位以及造成隱私泄露的問題，至少可以對復雜監(jiān)控圖像進行視覺定位，并能夠在保持定位精度的同時，對場景敏感信息進行隱藏，提高視覺定位效果。2、為解決上述技術問題，本技術的至少一個實施例提供了一種視覺定位方法，包括前端處理階段和后端定位階段；3、所述前端處理階段包括：4、獲取目標圖像；5、對所述目標圖像進行特征提取，得到所述目標圖像的靜態(tài)圖像特征；6、將目標圖像輸入預訓練的多模態(tài)生成模型進行風格遷移處理，得到對所述目標圖像敏感信息隱藏后的風格遷移圖像；7、所述后端定位階段包括：8、基于所述風格遷移圖像在預先構建的參考數(shù)據(jù)庫進行檢索粗定位，確定與所述風格遷移圖像最相似的候選參考圖像作為粗定位結果；9、根據(jù)所述粗定位結果以及所述目標圖像的靜態(tài)圖像特征結合進行特征匹配，得到特征匹配結果，并基于特征匹配結果確定所述目標圖像對應的位姿信息。10、本技術的至少一個實施例還提供了一種視覺定位裝置，包括：前端處理模塊與后端定位模塊；所述前端處理模塊包括：數(shù)據(jù)獲取單元，用于獲取目標圖像，并對所述目標圖像進行特征提取，得到所述目標圖像的靜態(tài)圖像特征；風格遷移單元，用于將目標圖像輸入預訓練的多模態(tài)生成模型進行風格遷移處理，得到對所述目標圖像敏感信息隱藏后的風格遷移圖像；11、所述后端定位模塊包括：檢索粗定位單元，用于基于所述風格遷移圖像在預先構建的參考數(shù)據(jù)庫進行檢索粗定位，確定與所述風格遷移圖像最相似的候選參考圖像作為粗定位結果；精確定位單元，用于根據(jù)所述粗定位結果以及所述目標圖像的靜態(tài)圖像特征結合進行特征匹配，得到特征匹配結果，并基于特征匹配結果確定所述目標圖像對應的位姿信息。12、本技術的至少一個實施例還提供了一種電子設備，包括：至少一個處理器；以及，與所述至少一個處理器通信連接的存儲器；其中，所述存儲器存儲有可被所述至少一個處理器執(zhí)行的指令，所述指令被所述至少一個處理器執(zhí)行，以使所述至少一個處理器能夠執(zhí)行上述的視覺定位方法。13、本技術的至少一個實施例還提供了一種計算機可讀存儲介質(zhì)，存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)上述的視覺定位方法。14、本技術的實施例提供的視覺定位方法、裝置、設備及存儲介質(zhì)，通過多模態(tài)生成模型對目標圖像采取風格遷移，能夠隱藏目標圖像中的敏感信息，避免視覺定位后造成泄露，并提取特征進行視覺定位，通過利用風格遷移圖像進行粗定位后，結合目標圖像進行精確的細化定位，能夠提高位姿信息確定的準確性，提高視覺定位效果。15、在一些可選的實施例中，所述前端處理階段還包括：獲取風格遷移提示以及敏感信息隱藏提示；16、所述將目標圖像輸入預訓練的多模態(tài)生成模型對所述目標圖像進行風格遷移處理，得到對所述目標圖像隱藏敏感信息后的風格遷移圖像，包括：17、對所述獲取風格遷移提示以及敏感信息隱藏提示進行分解并向量化為所述多模態(tài)生成模型的文本編碼；18、將轉化的所述多模態(tài)生成模型的文本編碼以及所述將目標圖像輸入預訓練的多模態(tài)生成模型中進行風格遷移處理，得到對所述目標圖像隱藏敏感信息后的風格遷移圖像。19、在一些可選的實施例中，所述多模態(tài)生成模型包括stable?diffusion模型，所述stable?diffusion模型中插入有預訓練的controlne插件網(wǎng)絡，用于對多模態(tài)生成模型提供條件約束控制。20、在一些可選的實施例中，所述參考數(shù)據(jù)庫中的各個參考圖像均采用三維重建模型通過渲染器對目標空間進行遍歷渲染而成。21、在一些可選的實施例中，所述基于所述風格遷移圖像在預先構建的參考數(shù)據(jù)庫進行檢索粗定位，確定與所述風格遷移圖像最相似的候選參考圖像作為粗定位結果，包括：22、基于所述風格遷移圖像在預先構建的參考數(shù)據(jù)庫進行檢索，得到多個與所述風格遷移圖像最相似的候選參考圖像作為檢索推薦結果；23、對所述檢索推薦結果利用余弦相似度計算公式進行相似度由高到底進行排序，確定所述粗定位結果。24、在一些可選的實施例中，所述根據(jù)所述粗定位結果以及所述目標圖像的靜態(tài)圖像特征結合進行特征匹配，得到特征匹配結果，并基于特征匹配結果確定所述目標圖像對應的位姿信息，包括：25、基于所述粗定位結果利用渲染器進行渲染，得到渲染后的參考圖像；26、對所述渲染后的參考圖像進行特征提取，得到參考圖像特征，并將所述參考圖像特征與所述靜態(tài)圖像特征融合，得到融合特征圖像；27、將所述特征圖像輸入預設的視覺定位算法中進行計算，以獲取所述視覺定位算法輸出的位姿信息。28、在一些可選的實施例中，所述將所述特征圖像輸入預設的視覺定位算法中進行計算，以獲取所述視覺定位算法輸出的位姿信息，包括：29、基于預設的回溯條件判斷所述視覺定位算法輸出的位姿信息是否成功定位所述目標圖像對應的位姿信息；30、若否，則根據(jù)所述回溯條件重新進入步驟基于所述風格遷移圖像在預先構建的參考數(shù)據(jù)庫進行檢索粗定位，確定與所述風格遷移圖像最相似的候選參考圖像作為粗定位結果中更新所述粗定位結果。31、在一些可選的實施例中，所述基于預設的回溯條件判斷所述視覺定位算法輸出的位姿信息是否成功定位所述目標圖像對應的位姿信息，包括：32、根據(jù)所述特征圖像的特征匹配結果以及當前特征匹配結果對應的位姿信息確定所述渲染后的參考圖像的特征點與所述位姿信息的特征點之間的重投影誤差值；33、將所述重投影誤差值與預設閾值范圍進行比較，得到比較結果；34、根據(jù)所述比較結果判定是否成功定位所述目標圖像對應的位姿信息。35、在一些可選的實施例中，所述根據(jù)所述比較結果判定是否成功定位所述目標圖像對應的位姿信息，包括：36、當比較結果為所述重投影誤差值小于所述預設閾值范圍的最小值，則判定為定位成功，并輸出所述位姿信息；37、當比較結果為所述重投影誤差值位于所述預設閾值范圍內(nèi)，則記錄為回溯點，并以當前確定的位姿信息對所述視覺優(yōu)化算法進行迭代優(yōu)化，直至所述重投影誤差值小于所述預設閾值范圍的最小值；38、當比較結果為所述重投影誤差值大于所述預設閾值范圍的最大值，則進一步判斷當前是否為記錄過的回溯點，若否，則判定定位失敗并結束迭代，重新循環(huán)至步驟基于所述風格遷移圖像在預先構建的參考數(shù)據(jù)庫進行檢索粗定位中；若是，則以對應的回溯點對所述視覺優(yōu)化算法進行迭代優(yōu)化，直至所述重投影誤差值小于所述預設閾值范圍的最小值。當前第1頁12當前第1頁12