本公開涉及基于系統(tǒng)姿態(tài)來確定車輛的位置。

背景技術(shù)：

1、計(jì)算機(jī)可以用來操作系統(tǒng)，包括車輛、機(jī)器人、無人機(jī)和/或?qū)ο蟾櫹到y(tǒng)。包括圖像的數(shù)據(jù)可以由傳感器獲取并使用計(jì)算機(jī)進(jìn)行處理以確定系統(tǒng)相對(duì)于系統(tǒng)周圍的環(huán)境中的對(duì)象的位置。計(jì)算機(jī)可以使用所述位置來確定用于在環(huán)境中移動(dòng)系統(tǒng)的軌跡。然后，計(jì)算機(jī)可以確定要傳輸?shù)较到y(tǒng)部件以控制系統(tǒng)部件根據(jù)所確定的軌跡來移動(dòng)部件的控制數(shù)據(jù)。

技術(shù)實(shí)現(xiàn)思路

1、系統(tǒng)(包括車輛、機(jī)器人、無人機(jī)等)可以通過獲取關(guān)于系統(tǒng)周圍的環(huán)境的傳感器數(shù)據(jù)并處理所述傳感器數(shù)據(jù)以確定在其上操作系統(tǒng)或所述系統(tǒng)的部分的路徑來操作?？梢蕴幚韨鞲衅鲾?shù)據(jù)以確定環(huán)境中的對(duì)象的位置。對(duì)象可以包括道路、建筑物、輸送機(jī)、車輛、制造零件等?？梢蕴幚韨鞲衅鲾?shù)據(jù)以確定系統(tǒng)的姿態(tài)，其中“姿態(tài)”指定對(duì)象(諸如系統(tǒng)和/或其部件)的位置和取向。可以基于完整的六自由度(dof)姿態(tài)來確定系統(tǒng)姿態(tài)，所述六自由度姿態(tài)包括x、y和z位置坐標(biāo)，以及分別相對(duì)于x、y和z軸的側(cè)傾、俯仰和橫擺旋轉(zhuǎn)坐標(biāo)?？梢韵鄬?duì)于諸如笛卡爾坐標(biāo)系的全局坐標(biāo)系來確定六dof姿態(tài)，其中可以根據(jù)緯度、經(jīng)度和海拔或一些其他x、y和z軸來指定點(diǎn)。

2、車輛在本文中用作系統(tǒng)的非限制性示例。可以使用更簡(jiǎn)單的三dof姿態(tài)來相對(duì)于車輛周圍的環(huán)境定位車輛，所述三dof姿態(tài)假設(shè)車輛被支撐在諸如道路的平面表面上，所述道路固定車輛的z、俯仰和側(cè)傾坐標(biāo)以匹配道路?？梢酝ㄟ^x和y位置坐標(biāo)以及橫擺旋轉(zhuǎn)坐標(biāo)來描述車輛姿態(tài)，以提供限定車輛相對(duì)于支撐表面的位置和取向的三dof姿態(tài)。

3、車輛傳感器可以提供數(shù)據(jù)，所述數(shù)據(jù)可以用來確定車輛姿態(tài)并且進(jìn)而可以用來相對(duì)于包括全局坐標(biāo)中的位置數(shù)據(jù)的航拍圖像來定位車輛。例如，車輛傳感器可以提供數(shù)據(jù)以根據(jù)基于衛(wèi)星的全球定位系統(tǒng)(gps)和/或基于加速度計(jì)的慣性測(cè)量單元(imu)來確定位置和/或姿態(tài)。例如，包括在航拍圖像中的位置數(shù)據(jù)可以用來確定航拍圖像中的任何像素地址位置在全局坐標(biāo)中的位置。航拍圖像可以通過衛(wèi)星、飛機(jī)、無人機(jī)或其他空中平臺(tái)獲得。衛(wèi)星數(shù)據(jù)在本文中將用作航拍圖像數(shù)據(jù)的非限制性示例。例如，可以通過從互聯(lián)網(wǎng)下載googletm地圖等來獲得衛(wèi)星圖像。

4、使用包括在衛(wèi)星圖像中或與衛(wèi)星圖像一起的全局坐標(biāo)數(shù)據(jù)來相對(duì)于衛(wèi)星圖像數(shù)據(jù)確定對(duì)象(諸如車輛)的姿態(tài)通?？梢蕴峁┰?/-3米位置和+/-3度取向分辨率內(nèi)的姿態(tài)數(shù)據(jù)。操作車輛可以依賴于姿態(tài)數(shù)據(jù)，所述姿態(tài)數(shù)據(jù)包括一米或更小的位置分辨率和一度或更小的取向分辨率。例如，+/-3米位置數(shù)據(jù)可能不足以確定車輛相對(duì)于道路上的行車道的位置。如本文所討論的用于衛(wèi)星圖像引導(dǎo)的地理定位的技術(shù)可以確定在指定分辨率內(nèi)的車輛姿態(tài)，所述指定分辨率通常在一米或更小的位置分辨率和一度或更小的取向分辨率內(nèi)，例如，足以在道路上操作車輛的分辨率。在指定分辨率內(nèi)確定(即，超過一個(gè)或多個(gè)指定分辨率閾值，例如，在示例性實(shí)現(xiàn)方式中為一米或更小的位置分辨率和一度或更小的取向分辨率)的車輛姿態(tài)數(shù)據(jù)在本文中被稱為高清晰度姿態(tài)數(shù)據(jù)。

5、本文描述的技術(shù)采用衛(wèi)星圖像引導(dǎo)的地理定位來增強(qiáng)對(duì)車輛的高清晰度姿態(tài)的確定。衛(wèi)星圖像引導(dǎo)的地理定位使用由包括在車輛中的傳感器獲取的圖像來相對(duì)于衛(wèi)星圖像確定高清晰度姿態(tài)，而無需預(yù)定的高清晰度(hd)地圖。將車輛傳感器圖像和衛(wèi)星圖像輸入到一個(gè)或多個(gè)神經(jīng)網(wǎng)絡(luò)，所述神經(jīng)網(wǎng)絡(luò)從圖像中提取特征以及置信度和/或注意力圖。在一些示例中，一個(gè)或多個(gè)神經(jīng)網(wǎng)絡(luò)可以是相同的神經(jīng)網(wǎng)絡(luò)。將來自車輛圖像的3d特征點(diǎn)與來自衛(wèi)星圖像的3d特征點(diǎn)進(jìn)行匹配，以相對(duì)于衛(wèi)星圖像來確定車輛的高清晰度姿態(tài)。車輛的高清晰度姿態(tài)可以用來通過基于高清晰度姿態(tài)確定車輛路徑來操作車輛。

6、本文公開了一種系統(tǒng)，所述系統(tǒng)包括計(jì)算機(jī)，所述計(jì)算機(jī)包括處理器和存儲(chǔ)器。所述存儲(chǔ)器包括指令，所述指令可由處理器執(zhí)行以從航拍特征圖或一個(gè)或多個(gè)地面特征圖中的一者確定頂部關(guān)鍵點(diǎn)。將頂部關(guān)鍵點(diǎn)投影為航拍特征圖或一個(gè)或多個(gè)地面特征圖中的另一者上的對(duì)應(yīng)線。所述處理器確定頂部關(guān)鍵點(diǎn)在對(duì)應(yīng)線上的深度估計(jì)，并通過迭代地確定所述頂部關(guān)鍵點(diǎn)與所述對(duì)應(yīng)線之間的幾何對(duì)應(yīng)關(guān)系直到全局損失函數(shù)小于用戶確定的閾值來在全局坐標(biāo)中確定地面視角相機(jī)的高清晰度估計(jì)的三自由度姿態(tài)。

7、可以通過對(duì)以下項(xiàng)求和來確定所述全局損失函數(shù)：1)通過計(jì)算所述頂部關(guān)鍵點(diǎn)與所述對(duì)應(yīng)線之間的三元組損失確定的姿態(tài)感知分支損失函數(shù)和2)通過使用levenberg-marquardt算法計(jì)算所述頂部關(guān)鍵點(diǎn)與所述對(duì)應(yīng)線之間的殘差確定的遞歸姿態(tài)細(xì)化分支損失函數(shù)。所述姿態(tài)感知分支損失函數(shù)可基于所述地面視角相機(jī)的所確定的高清晰度估計(jì)的三自由度姿態(tài)和地面實(shí)況三自由度姿態(tài)來確定特征殘差。

8、所述指令還可以包括用于進(jìn)行以下操作的指令：利用一個(gè)或多個(gè)神經(jīng)網(wǎng)絡(luò)從一個(gè)或多個(gè)地面視角圖像確定所述一個(gè)或多個(gè)地面特征圖和一個(gè)或多個(gè)地面注意力圖，以及利用所述一個(gè)或多個(gè)神經(jīng)網(wǎng)絡(luò)從航拍視角圖像確定所述航拍特征圖和航拍注意力圖。

9、所述指令可以包括用于用所述注意力圖對(duì)所述特征圖進(jìn)行加權(quán)的指令。用于確定所述頂部關(guān)鍵點(diǎn)的所述指令可包括用于從所述一個(gè)或多個(gè)地面特征圖確定所述頂部關(guān)鍵點(diǎn)的指令。所述航拍視角圖像可以是衛(wèi)星圖像。

10、用于確定所述地面視角相機(jī)的所述高清晰度估計(jì)的三自由度姿態(tài)的所述指令可包括用于基于所述地面視角相機(jī)的所述三自由度姿態(tài)的初始估計(jì)來確定所述高清晰度估計(jì)的三自由度姿態(tài)的指令。所述指令還可以包括用于輸出所述地面視角相機(jī)的所述高清晰度估計(jì)的三自由度姿態(tài)以操作車輛的指令。所述系統(tǒng)可包括車輛計(jì)算機(jī)，所述車輛計(jì)算機(jī)被配置為基于所述地面視角相機(jī)的所述高清晰度估計(jì)的三自由度姿態(tài)和所述航拍視角圖像來確定在其上操作所述車輛的車輛路徑。

11、本文公開了一種方法，其包括從航拍特征圖或一個(gè)或多個(gè)地面特征圖中的一者確定頂部關(guān)鍵點(diǎn)。將頂部關(guān)鍵點(diǎn)投影為航拍特征圖或一個(gè)或多個(gè)地面特征圖中的另一者上的對(duì)應(yīng)線。所述方法包括確定頂部關(guān)鍵點(diǎn)在對(duì)應(yīng)線上的深度估計(jì)，并通過迭代地確定所述頂部關(guān)鍵點(diǎn)與所述對(duì)應(yīng)線之間的幾何對(duì)應(yīng)關(guān)系直到全局損失函數(shù)小于用戶確定的閾值來在全局坐標(biāo)中確定地面視角相機(jī)的高清晰度估計(jì)的三自由度姿態(tài)。

12、可以通過對(duì)以下項(xiàng)求和來確定所述全局損失函數(shù)：1)通過計(jì)算所述頂部關(guān)鍵點(diǎn)與所述對(duì)應(yīng)線之間的三元組損失確定的姿態(tài)感知分支損失函數(shù)和2)通過使用levenberg-marquardt算法計(jì)算所述頂部關(guān)鍵點(diǎn)與所述對(duì)應(yīng)線之間的殘差確定的遞歸姿態(tài)細(xì)化分支損失函數(shù)。所述姿態(tài)感知分支損失函數(shù)可基于所述地面視角相機(jī)的所確定的高清晰度估計(jì)的三自由度姿態(tài)和地面實(shí)況三自由度姿態(tài)來確定特征殘差。

13、所述方法可包括利用一個(gè)或多個(gè)神經(jīng)網(wǎng)絡(luò)從一個(gè)或多個(gè)地面視角圖像確定所述一個(gè)或多個(gè)地面特征圖和一個(gè)或多個(gè)地面注意力圖，以及利用所述一個(gè)或多個(gè)神經(jīng)網(wǎng)絡(luò)從航拍視角圖像確定所述航拍特征圖和航拍注意力圖。

14、所述方法可包括用所述注意力圖對(duì)所述特征圖進(jìn)行加權(quán)?？梢詮牡孛嫣卣鲌D來確定頂部關(guān)鍵點(diǎn)。一個(gè)或多個(gè)神經(jīng)網(wǎng)絡(luò)可以具有u-net架構(gòu)。

15、可以基于所述地面視角相機(jī)的所述三自由度姿態(tài)的初始估計(jì)來確定所述車輛相機(jī)的所述高清晰度估計(jì)的三自由度姿態(tài)。所述方法可以包括輸出所述地面視角相機(jī)的所述高清晰度估計(jì)的三自由度姿態(tài)以操作車輛。所述方法可以包括基于所述地面視角相機(jī)的所述高清晰度估計(jì)的三自由度姿態(tài)和所述航拍視角圖像來確定在其上操作所述車輛的車輛路徑。