背景技術(shù)：

1、設(shè)計(jì)一種無監(jiān)督地自主、安全地駕駛車輛的系統(tǒng)是非常困難的。自主車輛應(yīng)當(dāng)至少能夠作為專注駕駛員的功能等效物來執(zhí)行，該專注駕駛員利用具有在復(fù)雜環(huán)境中識(shí)別移動(dòng)和靜止障礙物并對(duì)其作出反應(yīng)的驚人能力的感知和動(dòng)作系統(tǒng)，以避免與沿著車輛的路徑的其他對(duì)象或結(jié)構(gòu)碰撞。因此，檢測有活力的對(duì)象(例如汽車、行人等)和環(huán)境的其他部分的能力通常對(duì)于自主駕駛感知系統(tǒng)至關(guān)重要。許多傳統(tǒng)的感知方法依賴深度神經(jīng)網(wǎng)絡(luò)(dnn)來評(píng)估圖像或其他傳感器數(shù)據(jù)，以用于檢測任務(wù)。

2、自主駕駛的視覺感知中的最重要的挑戰(zhàn)之一源于由不同車輛制造商在不同車型上實(shí)現(xiàn)的相機(jī)裝置(rig)配置的多樣性(例如，不同的相機(jī)數(shù)量、視場、位置、取向等)。與二維(2d)計(jì)算機(jī)視覺不同(其中dnn可以提供一些平移不變性，因此對(duì)相機(jī)位置的某些變化可以具有一定的魯棒性)，多視圖或三維(3d)感知(例如，其依賴于將2d(例如，圖像)特征提升到3d空間)在處理使用不同相機(jī)裝置生成的數(shù)據(jù)時(shí)，尤其是在道路非平面時(shí)，通常會(huì)經(jīng)受性能下降。因此，不同車型(例如，轎車、卡車、運(yùn)動(dòng)型多用途車)上相機(jī)裝置配置的多樣性限制了開發(fā)在不同車型上表現(xiàn)良好的通用dnn的能力。理想情況下，dnn將使用由配備有與目標(biāo)車型相同的相機(jī)裝置(例如，相同的相機(jī)數(shù)量、視點(diǎn)、相機(jī)參數(shù))的數(shù)據(jù)收集車輛生成的數(shù)據(jù)進(jìn)行訓(xùn)練，以最小化域差距。然而，這在現(xiàn)實(shí)世界中往往是不可行的。例如，為每種車型收集新數(shù)據(jù)并開發(fā)專用的dnn是高度資源密集的且不切實(shí)際的，而且對(duì)于新車型來說通常是不可能的。因此，存在對(duì)能夠支持多視圖或3d感知的改進(jìn)的感知技術(shù)的需求。

技術(shù)實(shí)現(xiàn)思路

1、本公開的實(shí)施例涉及用于自主機(jī)器和應(yīng)用的視點(diǎn)適應(yīng)的感知。例如，公開了適配(adapt)3d感知網(wǎng)絡(luò)以適應(yīng)不可獲得的(unavailable)目標(biāo)裝置(rig)數(shù)據(jù)的系統(tǒng)和方法。在一些實(shí)施例中，通過使用真實(shí)源裝置數(shù)據(jù)以及模擬源裝置數(shù)據(jù)和模擬目標(biāo)裝置數(shù)據(jù)來訓(xùn)練作為訓(xùn)練網(wǎng)絡(luò)的一部分的3d感知網(wǎng)絡(luò)的一個(gè)或更多個(gè)層，3d感知網(wǎng)絡(luò)可以被適配以適應(yīng)不可獲得的目標(biāo)裝置數(shù)據(jù)。從真實(shí)源數(shù)據(jù)提取的特征統(tǒng)計(jì)數(shù)據(jù)(statistics)可以用于在訓(xùn)練期間變換從模擬數(shù)據(jù)提取的特征。通過訓(xùn)練網(wǎng)絡(luò)的真實(shí)數(shù)據(jù)和模擬數(shù)據(jù)的路徑可以在真實(shí)數(shù)據(jù)和模擬數(shù)據(jù)上交替地被訓(xùn)練，以更新不同路徑的共享權(quán)重。

2、附加地或替代地，通過使用模擬源裝置數(shù)據(jù)和模擬目標(biāo)裝置數(shù)據(jù)(無真實(shí)源裝置數(shù)據(jù))訓(xùn)練作為訓(xùn)練網(wǎng)絡(luò)的一部分的3d感知網(wǎng)絡(luò)的一個(gè)或更多個(gè)層，3d感知網(wǎng)絡(luò)可以被適配以適應(yīng)不可獲得的目標(biāo)裝置數(shù)據(jù)。比較(例如，自上而下)從模擬源裝置數(shù)據(jù)和模擬目標(biāo)裝置數(shù)據(jù)提取的經(jīng)變換特征圖的一致性損失可被用于最小化跨訓(xùn)練通道的差異。

3、這樣，通過訓(xùn)練網(wǎng)絡(luò)的一條或更多條路徑可被指定為3d感知網(wǎng)絡(luò)，并且目標(biāo)裝置數(shù)據(jù)可以被應(yīng)用于3d感知網(wǎng)絡(luò)以執(zhí)行一項(xiàng)或更多項(xiàng)感知任務(wù)。

技術(shù)特征：

1.一個(gè)或更多個(gè)處理器，包括處理電路，所述處理電路用于使用三維3d感知網(wǎng)絡(luò)對(duì)自機(jī)器執(zhí)行一個(gè)或更多個(gè)操作，所述3d感知網(wǎng)絡(luò)是至少基于將模擬二維2d傳感器數(shù)據(jù)應(yīng)用于所述3d感知網(wǎng)絡(luò)的至少一部分而被更新的，所述模擬2d傳感器數(shù)據(jù)是至少基于模擬目標(biāo)傳感器裝置和自機(jī)器的源傳感器裝置而被生成的。

2.根據(jù)權(quán)利要求1所述的一個(gè)或更多個(gè)處理器，其中所述處理電路還用于：至少基于更新視點(diǎn)調(diào)整網(wǎng)絡(luò)來更新所述3d感知網(wǎng)絡(luò)，所述視點(diǎn)調(diào)整網(wǎng)絡(luò)包括所述3d感知網(wǎng)絡(luò)的被復(fù)制為所述視點(diǎn)調(diào)整網(wǎng)絡(luò)的多個(gè)通道的至少一部分的一個(gè)或更多個(gè)層。

3.根據(jù)權(quán)利要求1所述的一個(gè)或更多個(gè)處理器，其中所述處理電路還用于：至少基于將模擬所述源傳感器裝置的所述模擬2d傳感器數(shù)據(jù)應(yīng)用于所述3d感知網(wǎng)絡(luò)的所述至少一部分的一個(gè)或更多個(gè)第一路徑以及將模擬所述目標(biāo)傳感器裝置的所述模擬2d傳感器數(shù)據(jù)應(yīng)用于所述3d感知網(wǎng)絡(luò)的所述至少一部分的一個(gè)或更多個(gè)第二路徑，來更新所述3d感知網(wǎng)絡(luò)。

4.根據(jù)權(quán)利要求1所述的一個(gè)或更多個(gè)處理器，其中所述3d感知網(wǎng)絡(luò)包括生成變換后的特征的視圖變換，其中所述處理電路還用于：至少基于最小化所述3d感知網(wǎng)絡(luò)的所述至少一部分的一個(gè)或更多個(gè)第一路徑和一個(gè)或更多個(gè)第二路徑的所述變換后的特征之間的差異的損失，來更新所述3d感知網(wǎng)絡(luò)。

5.根據(jù)權(quán)利要求1所述的一個(gè)或更多個(gè)處理器，其中所述處理電路還用于：至少基于最小化處理對(duì)應(yīng)于所述源傳感器裝置的所述模擬2d傳感器數(shù)據(jù)的一個(gè)或更多個(gè)第一路徑的視圖變換后的特征與處理對(duì)應(yīng)于所述目標(biāo)傳感器裝置的所述模擬2d傳感器數(shù)據(jù)的一個(gè)或更多個(gè)第二路徑的視圖變換后的特征之間的差異的損失，來更新所述3d感知網(wǎng)絡(luò)。

6.根據(jù)權(quán)利要求1所述的一個(gè)或更多個(gè)處理器，其中所述源傳感器裝置表示第一傳感器配置，所述第一傳感器配置不同于所述目標(biāo)傳感器裝置的第二傳感器配置。

7.根據(jù)權(quán)利要求1所述的一個(gè)或更多個(gè)處理器，其中所述處理電路還用于：在模擬的一個(gè)或更多個(gè)時(shí)間片中的至少一個(gè)時(shí)間片內(nèi)，為所述源傳感器裝置的一個(gè)或更多個(gè)模擬傳感器中的至少一個(gè)傳感器和所述目標(biāo)傳感器裝置的至少一個(gè)對(duì)應(yīng)傳感器生成模擬2d傳感器數(shù)據(jù)幀以及模擬真值數(shù)據(jù)。

8.根據(jù)權(quán)利要求1所述的一個(gè)或更多個(gè)處理器，其中所述處理電路還用于：至少基于將真實(shí)2d傳感器數(shù)據(jù)和所述模擬2d傳感器數(shù)據(jù)應(yīng)用于包括所述3d感知網(wǎng)絡(luò)的一個(gè)或更多個(gè)層的第一視點(diǎn)調(diào)整網(wǎng)絡(luò)來更新所述第一視點(diǎn)調(diào)整網(wǎng)絡(luò)，之后至少基于將所述模擬2d傳感器數(shù)據(jù)應(yīng)用于包括所述3d感知網(wǎng)絡(luò)的一個(gè)或更多個(gè)層的第二視點(diǎn)調(diào)整網(wǎng)絡(luò)來更新所述第二視點(diǎn)調(diào)整網(wǎng)絡(luò)。

9.根據(jù)權(quán)利要求1所述的一個(gè)或更多個(gè)處理器，其中所述3d感知網(wǎng)絡(luò)被更新以執(zhí)行2d到3d變換或2d-3d融合中的至少一個(gè)。

10.根據(jù)權(quán)利要求1所述的一個(gè)或更多個(gè)處理器，其中所述3d感知網(wǎng)絡(luò)或所述一個(gè)或更多個(gè)處理器中的至少一個(gè)被包括在以下的至少一項(xiàng)中：

11.一種系統(tǒng)，包括一個(gè)或更多個(gè)處理器，所述一個(gè)或更多個(gè)處理器用于：使用三維3d重建網(wǎng)絡(luò)對(duì)自機(jī)器執(zhí)行一個(gè)或更多個(gè)操作，所述3d重建網(wǎng)絡(luò)至少基于將模擬二維2d傳感器數(shù)據(jù)應(yīng)用于所述3d重建網(wǎng)絡(luò)的至少一部分而被更新，所述模擬2d傳感器數(shù)據(jù)是至少基于模擬目標(biāo)傳感器裝置和所述自機(jī)器的源傳感器裝置而被生成的。

12.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述一個(gè)或更多個(gè)處理器還用于：至少基于更新視點(diǎn)調(diào)整網(wǎng)絡(luò)來更新所述3d重建網(wǎng)絡(luò)，所述視點(diǎn)調(diào)整網(wǎng)絡(luò)包括所述3d重建網(wǎng)絡(luò)的被復(fù)制為所述視點(diǎn)調(diào)整網(wǎng)絡(luò)的多個(gè)通道的至少一部分的一個(gè)或更多個(gè)層。

13.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述一個(gè)或更多個(gè)處理器還用于：至少基于將模擬所述源傳感器裝置的所述模擬2d傳感器數(shù)據(jù)應(yīng)用于所述3d重建網(wǎng)絡(luò)的所述至少一部分的一個(gè)或更多個(gè)第一路徑以及將模擬所述目標(biāo)傳感器裝置的所述模擬2d傳感器數(shù)據(jù)應(yīng)用于所述3d重建網(wǎng)絡(luò)的所述至少一部分的一個(gè)或更多個(gè)第二路徑，來更新所述3d重建網(wǎng)絡(luò)。

14.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述3d重建網(wǎng)絡(luò)被更新以執(zhí)行生成變換后的特征的視圖變換，其中所述一個(gè)或更多個(gè)處理器還用于：至少基于最小化所述3d重建網(wǎng)絡(luò)的所述至少一部分的一個(gè)或更多個(gè)第一路徑和一個(gè)或更多個(gè)第二路徑的所述變換后的特征之間的差異的損失，來更新所述3d重建網(wǎng)絡(luò)。

15.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述一個(gè)或更多個(gè)處理器還用于：至少基于最小化處理對(duì)應(yīng)于所述源傳感器裝置的所述模擬2d傳感器數(shù)據(jù)的一個(gè)或更多個(gè)第一路徑的視圖變換后的特征與處理對(duì)應(yīng)于所述目標(biāo)傳感器裝置的所述模擬2d傳感器數(shù)據(jù)的一個(gè)或更多個(gè)第二路徑的視圖變換后的特征之間的差異的損失，來更新所述3d重建網(wǎng)絡(luò)。

16.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述源傳感器裝置表示第一傳感器配置，所述第一傳感器配置不同于所述目標(biāo)傳感器裝置的第二傳感器配置。

17.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述一個(gè)或更多個(gè)處理器還用于：在模擬的一個(gè)或更多個(gè)時(shí)間片中的至少一個(gè)時(shí)間片內(nèi)，為所述源傳感器裝置的一個(gè)或更多個(gè)模擬傳感器中的至少一個(gè)傳感器和所述目標(biāo)傳感器裝置的至少一個(gè)對(duì)應(yīng)傳感器生成模擬2d傳感器數(shù)據(jù)幀以及模擬真值數(shù)據(jù)。

18.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述系統(tǒng)或所述3d重建網(wǎng)絡(luò)中的至少一個(gè)被包括在以下的至少一項(xiàng)中：

19.一種方法，包括：

20.根據(jù)權(quán)利要求19所述的方法，其中所述方法由以下中的至少一項(xiàng)執(zhí)行，或所述3d重建網(wǎng)絡(luò)被包括在以下中的至少一項(xiàng)中：

技術(shù)總結(jié)
本公開涉及使用模擬傳感器數(shù)據(jù)的自主機(jī)器和應(yīng)用的視點(diǎn)自適應(yīng)感知。公開了與自主機(jī)器和應(yīng)用的視點(diǎn)適配的感知相關(guān)的系統(tǒng)和方法。3D感知網(wǎng)絡(luò)可被適配為通過使用模擬源裝置數(shù)據(jù)和模擬目標(biāo)裝置數(shù)據(jù)訓(xùn)練3D感知網(wǎng)絡(luò)的一個(gè)或更多個(gè)層以作為訓(xùn)練網(wǎng)絡(luò)的一部分，來應(yīng)對(duì)不可獲得的目標(biāo)裝置數(shù)據(jù)。比較從模擬源裝置數(shù)據(jù)和模擬目標(biāo)裝置數(shù)據(jù)提取的(自上而下)變換后的特征圖的一致性損失可用于最小化跨訓(xùn)練通道的差異。因此，通過訓(xùn)練網(wǎng)絡(luò)的一個(gè)或更多個(gè)路徑可以被指定為3D感知網(wǎng)絡(luò)，并且目標(biāo)裝置數(shù)據(jù)可被應(yīng)用于該3D感知網(wǎng)絡(luò)以執(zhí)行一個(gè)或更多個(gè)感知任務(wù)。

技術(shù)研發(fā)人員：徐娥賢,崔泰銀,樸旻雨,朱柾柾
受保護(hù)的技術(shù)使用者：輝達(dá)公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/19