背景技術(shù)：

1、設(shè)計一種無監(jiān)督地自主、安全地駕駛車輛的系統(tǒng)是非常困難的。自主車輛應(yīng)當(dāng)至少能夠作為專注駕駛員的功能等效物來執(zhí)行，該專注駕駛員利用具有在復(fù)雜環(huán)境中識別移動和靜止障礙物并對其作出反應(yīng)的驚人能力的感知和動作系統(tǒng)，以避免與沿著車輛的路徑的其他對象或結(jié)構(gòu)碰撞。因此，檢測有活力的對象(例如汽車、行人等)和環(huán)境的其他部分的能力通常對于自主駕駛感知系統(tǒng)至關(guān)重要。許多傳統(tǒng)的感知方法依賴深度神經(jīng)網(wǎng)絡(luò)(dnn)來評估圖像或其他傳感器數(shù)據(jù)，以用于檢測任務(wù)。

2、自主駕駛的視覺感知中的最重要的挑戰(zhàn)之一源于由不同車輛制造商在不同車型上實現(xiàn)的相機(jī)裝置(rig)配置的多樣性(例如，不同的相機(jī)數(shù)量、視場、位置、取向等)。與二維(2d)計算機(jī)視覺不同(其中dnn可以提供一些平移不變性，因此對相機(jī)位置的某些變化可以具有一定的魯棒性)，多視圖或三維(3d)感知(例如，其依賴于將2d(例如，圖像)特征提升到3d空間)在處理使用不同相機(jī)裝置生成的數(shù)據(jù)時，尤其是在道路非平面時，通常會經(jīng)受性能下降。因此，不同車型(例如，轎車、卡車、運動型多用途車)上相機(jī)裝置配置的多樣性限制了開發(fā)在不同車型上表現(xiàn)良好的通用dnn的能力。理想情況下，dnn將使用由配備有與目標(biāo)車型相同的相機(jī)裝置(例如，相同的相機(jī)數(shù)量、視點、相機(jī)參數(shù))的數(shù)據(jù)收集車輛生成的數(shù)據(jù)進(jìn)行訓(xùn)練，以最小化域差距。然而，這在現(xiàn)實世界中往往是不可行的。例如，為每種車型收集新數(shù)據(jù)并開發(fā)專用的dnn是高度資源密集的且不切實際的，而且對于新車型來說通常是不可能的。因此，存在對能夠支持多視圖或3d感知的改進(jìn)的感知技術(shù)的需求。

技術(shù)實現(xiàn)思路

1、本公開的實施例涉及用于自主機(jī)器和應(yīng)用的視點適應(yīng)的感知。例如，公開了適配(adapt)3d感知網(wǎng)絡(luò)以適應(yīng)不可獲得的(unavailable)目標(biāo)裝置(rig)數(shù)據(jù)的系統(tǒng)和方法。在一些實施例中，通過使用真實源裝置數(shù)據(jù)以及模擬源裝置數(shù)據(jù)和模擬目標(biāo)裝置數(shù)據(jù)來訓(xùn)練作為訓(xùn)練網(wǎng)絡(luò)的一部分的3d感知網(wǎng)絡(luò)的一個或更多個層，3d感知網(wǎng)絡(luò)可以被適配以適應(yīng)不可獲得的目標(biāo)裝置數(shù)據(jù)。從真實源數(shù)據(jù)提取的特征統(tǒng)計數(shù)據(jù)(statistics)可以用于在訓(xùn)練期間變換從模擬數(shù)據(jù)提取的特征。通過訓(xùn)練網(wǎng)絡(luò)的真實數(shù)據(jù)和模擬數(shù)據(jù)的路徑可以在真實數(shù)據(jù)和模擬數(shù)據(jù)上交替地被訓(xùn)練，以更新不同路徑的共享權(quán)重。

2、附加地或替代地，通過使用模擬源裝置數(shù)據(jù)和模擬目標(biāo)裝置數(shù)據(jù)(無真實源裝置數(shù)據(jù))訓(xùn)練作為訓(xùn)練網(wǎng)絡(luò)的一部分的3d感知網(wǎng)絡(luò)的一個或更多個層，3d感知網(wǎng)絡(luò)可以被適配以適應(yīng)不可獲得的目標(biāo)裝置數(shù)據(jù)。比較(例如，自上而下)從模擬源裝置數(shù)據(jù)和模擬目標(biāo)裝置數(shù)據(jù)提取的經(jīng)變換特征圖的一致性損失可被用于最小化跨訓(xùn)練通道的差異。

3、這樣，通過訓(xùn)練網(wǎng)絡(luò)的一條或更多條路徑可被指定為3d感知網(wǎng)絡(luò)，并且目標(biāo)裝置數(shù)據(jù)可以被應(yīng)用于3d感知網(wǎng)絡(luò)以執(zhí)行一項或更多項感知任務(wù)。

技術(shù)特征：

1.一個或更多個處理器，包括處理電路，所述處理電路用于：

2.根據(jù)權(quán)利要求1所述的一個或更多個處理器，其中所述處理電路還用于：將從真實2d傳感器數(shù)據(jù)中提取的風(fēng)格的表示注入到從所述模擬2d傳感器數(shù)據(jù)中提取的一個或更多個特征中。

3.根據(jù)權(quán)利要求1所述的一個或更多個處理器，其中所述處理電路還用于：至少基于在將所述真實2d傳感器數(shù)據(jù)應(yīng)用于所述3d感知網(wǎng)絡(luò)的所述至少一部分的一個或更多個第一路徑與將所述模擬2d傳感器數(shù)據(jù)應(yīng)用于所述3d感知網(wǎng)絡(luò)的所述至少一部分的一個或更多個第二路徑之間交替，來更新所述3d感知網(wǎng)絡(luò)。

4.根據(jù)權(quán)利要求1所述的一個或更多個處理器，其中所述處理電路還用于：至少基于在將所述真實2d傳感器數(shù)據(jù)應(yīng)用于所述3d感知網(wǎng)絡(luò)的所述至少一部分的一個或更多個第一路徑與將所述模擬2d傳感器數(shù)據(jù)應(yīng)用于所述3d感知網(wǎng)絡(luò)的所述至少一部分的一個或更多個第二路徑之間交替，來更新由所述一個或更多個第一路徑和所述一個或更多個第二路徑共享的一個或更多個共享權(quán)重。

5.根據(jù)權(quán)利要求1所述的一個或更多個處理器，其中所述處理電路還用于：至少基于更新視點調(diào)整網(wǎng)絡(luò)來更新所述3d感知網(wǎng)絡(luò)，所述視點調(diào)整網(wǎng)絡(luò)包括跨所述視點調(diào)整網(wǎng)絡(luò)的處理真實2d傳感器數(shù)據(jù)的一個或更多個第一路徑和所述視點調(diào)整網(wǎng)絡(luò)的處理所述模擬2d傳感器數(shù)據(jù)的一個或更多個第二路徑共享的所述3d感知網(wǎng)絡(luò)的一個或更多個層。

6.根據(jù)權(quán)利要求1所述的一個或更多個處理器，其中所述源傳感器裝置和所述模擬源傳感器裝置表示所述自機(jī)器的第一傳感器配置，所述第一傳感器配置不同于所述模擬目標(biāo)傳感器裝置的第二傳感器配置。

7.根據(jù)權(quán)利要求1所述的一個或更多個處理器，其中所述處理電路還用于：在模擬的一個或更多個時間片中的至少一個時間片內(nèi)，為所述模擬源傳感器裝置的一個或更多個傳感器中的至少一個傳感器以及所述模擬目標(biāo)傳感器裝置的至少一個對應(yīng)傳感器生成模擬2d傳感器數(shù)據(jù)幀以及模擬真值數(shù)據(jù)。

8.根據(jù)權(quán)利要求1所述的一個或更多個處理器，其中所述處理電路還用于：至少基于將真實2d傳感器數(shù)據(jù)和所述模擬2d傳感器數(shù)據(jù)應(yīng)用于包括所述3d感知網(wǎng)絡(luò)的一個或更多個層的第一視點調(diào)整網(wǎng)絡(luò)來更新所述第一視點調(diào)整網(wǎng)絡(luò)，之后至少基于將所述模擬2d傳感器數(shù)據(jù)應(yīng)用于包括所述3d感知網(wǎng)絡(luò)的所述一個或更多個層的第二視點調(diào)整網(wǎng)絡(luò)來更新所述第二視點調(diào)整網(wǎng)絡(luò)。

9.根據(jù)權(quán)利要求1所述的一個或更多個處理器，其中所述3d感知網(wǎng)絡(luò)被更新以執(zhí)行2d到3d變換或2d-3d融合中的至少一個。

10.根據(jù)權(quán)利要求1所述的一個或更多個處理器，其中所述3d感知網(wǎng)絡(luò)或所述一個或更多個處理器中的至少一個被包括在以下的至少一項中：

11.一種系統(tǒng)，包括一個或更多個處理器，所述一個或更多個處理器用于：使用三維3d感知網(wǎng)絡(luò)對自機(jī)器執(zhí)行一個或更多個操作，所述3d感知網(wǎng)絡(luò)至少基于在將使用自機(jī)器的源傳感器裝置生成的真實二維2d傳感器數(shù)據(jù)應(yīng)用于所述3d感知網(wǎng)絡(luò)的至少一部分與將模擬2d傳感器數(shù)據(jù)應(yīng)用于所述3d感知網(wǎng)絡(luò)的所述至少一部分之間交替而被更新，所述模擬2d傳感器數(shù)據(jù)是至少基于模擬源傳感器裝置和模擬目標(biāo)傳感器裝置被模擬的。

12.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述一個或更多個處理器還用于：至少基于將所述模擬2d傳感器數(shù)據(jù)應(yīng)用于所述3d感知網(wǎng)絡(luò)的所述至少一部分，來將從所述真實2d傳感器數(shù)據(jù)中提取的風(fēng)格的表示注入到從所述模擬2d傳感器數(shù)據(jù)中提取的特征中。

13.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述一個或更多個處理器還用于：至少基于在將所述真實2d傳感器數(shù)據(jù)應(yīng)用于所述3d感知網(wǎng)絡(luò)的所述至少一部分的一個或更多個第一路徑與將所述模擬2d傳感器數(shù)據(jù)應(yīng)用于所述3d感知網(wǎng)絡(luò)的所述至少一部分的一個或更多個第二路徑之間交替，來更新所述3d感知網(wǎng)絡(luò)。

14.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述一個或更多個處理器還用于：至少基于在將所述真實2d傳感器數(shù)據(jù)應(yīng)用于所述3d感知網(wǎng)絡(luò)的所述至少一部分的一個或更多個第一路徑與將所述模擬2d傳感器數(shù)據(jù)應(yīng)用于所述3d感知網(wǎng)絡(luò)的所述至少一部分的一個或更多個第二路徑之間交替，來更新由所述一個或更多個第一路徑和所述一個或更多個第二路徑共享的共享權(quán)重。

15.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述一個或更多個處理器還用于：至少基于更新視點調(diào)整網(wǎng)絡(luò)來更新所述3d感知網(wǎng)絡(luò)，所述視點調(diào)整網(wǎng)絡(luò)包括跨所述視點調(diào)整網(wǎng)絡(luò)的處理所述真實2d傳感器數(shù)據(jù)的一個或更多個第一路徑和所述視點調(diào)整網(wǎng)絡(luò)的處理所述模擬2d傳感器數(shù)據(jù)的一個或更多個第二路徑共享的所述3d感知網(wǎng)絡(luò)的一個或更多個層。

16.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述源傳感器裝置和所述模擬源傳感器裝置表示所述自機(jī)器的第一傳感器配置，所述第一傳感器配置不同于所述模擬目標(biāo)傳感器裝置的第二傳感器配置。

17.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述一個或更多個處理器還用于：在模擬的一個或更多個時間片中的至少一個時間片內(nèi)，為所述模擬源傳感器裝置的一個或更多個傳感器中的至少一個傳感器以及所述模擬目標(biāo)傳感器裝置的至少一個對應(yīng)傳感器生成模擬2d傳感器數(shù)據(jù)幀以及模擬真值數(shù)據(jù)。

18.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述系統(tǒng)或所述3d感知網(wǎng)絡(luò)中的至少一個被包括在以下的至少一項中：

19.一種方法，包括：

20.根據(jù)權(quán)利要求19所述的方法，其中所述方法由以下中的至少一項執(zhí)行，或3d重建網(wǎng)絡(luò)被包括在以下中的至少一項中：

技術(shù)總結(jié)
本公開涉及使用真實和模擬傳感器數(shù)據(jù)的自主機(jī)器和應(yīng)用的視點自適應(yīng)感知。公開了與自主機(jī)器和應(yīng)用的視點適配的感知相關(guān)的系統(tǒng)和方法。通過使用真實源裝置數(shù)據(jù)以及模擬源裝置數(shù)據(jù)和模擬目標(biāo)裝置數(shù)據(jù)訓(xùn)練作為訓(xùn)練網(wǎng)絡(luò)的一部分的3D感知網(wǎng)絡(luò)的一個或更多個層，該3D感知網(wǎng)絡(luò)可以被適配為應(yīng)對不可獲得的目標(biāo)裝置數(shù)據(jù)。在訓(xùn)練期間，可以使用從真實源數(shù)據(jù)中提取的特征統(tǒng)計數(shù)據(jù)來變換從模擬數(shù)據(jù)中提取的特征。通過所得網(wǎng)絡(luò)的真實數(shù)據(jù)和模擬數(shù)據(jù)的路徑可以交替地在真實數(shù)據(jù)和模擬數(shù)據(jù)上被訓(xùn)練，以更新不同路徑的共享權(quán)重。因此，通過訓(xùn)練網(wǎng)絡(luò)的一個或更多個路徑可以被指定為3D感知網(wǎng)絡(luò)，并且目標(biāo)裝置數(shù)據(jù)可被應(yīng)用于該3D感知網(wǎng)絡(luò)以執(zhí)行一個或更多個感知任務(wù)。

技術(shù)研發(fā)人員：徐娥賢,崔泰銀,樸旻雨,朱柾柾
受保護(hù)的技術(shù)使用者：輝達(dá)公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/19