背景技術(shù)：

1、環(huán)視系統(tǒng)(svs)為自我機(jī)器的乘員提供圍繞自我機(jī)器的區(qū)域的可視化。例如，svs向駕駛員和/或乘員提供觀看周圍區(qū)域(包括視線被自我機(jī)器的一部分和/或環(huán)境中的其他對(duì)象遮擋的盲點(diǎn))的能力，而無(wú)需重新定位(例如，轉(zhuǎn)動(dòng)他們的頭部、從他們的座位上抬起、傾向某個(gè)方向等)。該可視化可輔助和促進(jìn)各種駕駛操縱，諸如平滑地進(jìn)入或離開停車點(diǎn)而不撞擊諸如路緣、行人或其他車輛或動(dòng)態(tài)對(duì)象之類的對(duì)象。越來(lái)越多的車輛，尤其是豪華品牌和新車型，正在被生產(chǎn)為具有svs能力。

2、現(xiàn)有的svs通常使用魚眼相機(jī)(通常安裝在車身的前側(cè)、左側(cè)、后側(cè)和右側(cè))從多個(gè)方向感知周圍區(qū)域。在特殊情況下可以包括附加相機(jī)，如長(zhǎng)卡車或具有拖車的車輛。使用相機(jī)參數(shù)對(duì)齊幀并且使用混合技術(shù)組合重疊區(qū)域以提供水平360°環(huán)視可視化，來(lái)將來(lái)自各個(gè)相機(jī)的圖像數(shù)據(jù)的幀拼接在一起。

3、然而，相機(jī)的傳感器陣列可以在與人類視覺不同的條件下捕獲光，并且從傳感器數(shù)據(jù)生成的圖像可以以與我們的眼睛感知顏色的方式不同地表示顏色。此外，不同傳感器或適用于相同傳感器類型的不同條件可產(chǎn)生圖像之間看起來(lái)不匹配的環(huán)境圖像。在一些情況下，失配的顏色由于環(huán)境的光照特性而出現(xiàn)。例如，如果太陽(yáng)位于自我車輛的一側(cè)，如果自我車輛正在進(jìn)入停車結(jié)構(gòu)或隧道，或者自我車輛部分地處于陰影中，則自我車輛的一側(cè)可暴露于比另一側(cè)更多的光，使得更亮側(cè)上的相機(jī)可產(chǎn)生不同的曝光或使用不同的自動(dòng)設(shè)置，因此可捕獲與另一側(cè)上的相機(jī)不同的顏色?？赡艹霈F(xiàn)失配顏色的另一種方式是通過(guò)圖像處理，其通常被分別應(yīng)用于圖像數(shù)據(jù)的每個(gè)幀，導(dǎo)致不同圖像的不同改變。示例圖像處理可以包括用于改善顏色范圍的伽馬校正、曝光補(bǔ)償、色調(diào)映射、降噪、去除壞像素、應(yīng)用白平衡、應(yīng)用顏色校正以去除魚眼圖像中的鏡頭陰影偽像和/或其他。然而，因?yàn)閳D像處理獨(dú)立于其他圖像而對(duì)每個(gè)圖像進(jìn)行評(píng)估和操作，所以圖像處理經(jīng)常導(dǎo)致同一環(huán)境的不同圖像中的失配顏色。

4、用于在同一環(huán)境的不同圖像之間協(xié)調(diào)顏色的一種現(xiàn)有技術(shù)選擇這些圖像之一作為參考圖像，確定該參考圖像的全局顏色統(tǒng)計(jì)，并且將該全局顏色統(tǒng)計(jì)遷移(transfer)至其他圖像以使它們的全局顏色統(tǒng)計(jì)與該參考圖像的全局顏色統(tǒng)計(jì)相匹配。然而，這種技術(shù)在協(xié)調(diào)顏色方面通常是無(wú)效的；例如，當(dāng)不同的相機(jī)看不同的對(duì)象或同一對(duì)象的不同部分時(shí)。應(yīng)用使用未經(jīng)協(xié)調(diào)的相機(jī)圖像作為輸入的拼接算法導(dǎo)致在兩個(gè)圖像被拼接在一起的接縫處具有明顯的顏色失配的未經(jīng)協(xié)調(diào)的拼接圖像，這可以被感知為偽影。因此，常規(guī)技術(shù)在拼接圖像的區(qū)域中會(huì)生成令人分散注意力的偽影，其對(duì)于駕駛員或自主系統(tǒng)安全操縱車輛可能是重要的。因此，需要改進(jìn)拼接圖像的視覺質(zhì)量的改進(jìn)的顏色協(xié)調(diào)技術(shù)。

技術(shù)實(shí)現(xiàn)思路

1、本公開的實(shí)施例涉及跨多個(gè)相機(jī)傳感器的顏色協(xié)調(diào)。更具體來(lái)說(shuō)，公開了其中將來(lái)自圖像數(shù)據(jù)的參考幀的地面投影的顏色統(tǒng)計(jì)遷移到圖像數(shù)據(jù)的目標(biāo)幀的系統(tǒng)和方法。

2、與常規(guī)系統(tǒng)(如以上所描述的那些)相比，參考幀和目標(biāo)幀的地面投影的一個(gè)或更多個(gè)顏色統(tǒng)計(jì)可以用于協(xié)調(diào)參考幀與目標(biāo)幀之間的顏色。在高級(jí)別，可從表示環(huán)境(例如，圍繞諸如自我車輛之類的自我對(duì)象的環(huán)境)的重疊視圖的圖像數(shù)據(jù)的幀中識(shí)別參考幀和目標(biāo)幀。參考幀和目標(biāo)幀可被投影到環(huán)境的地面(例如，地平面)的表示上，這些投影之間的重疊區(qū)域可被識(shí)別，并且每個(gè)投影的落(land)在重疊區(qū)域中的部分可被視為對(duì)應(yīng)的地面投影。代替在整個(gè)參考幀和目標(biāo)幀上計(jì)算顏色統(tǒng)計(jì)，可以針對(duì)每個(gè)地面投影(或其一部分，諸如多數(shù)集群)計(jì)算一個(gè)或更多個(gè)顏色統(tǒng)計(jì)(例如，一個(gè)或更多個(gè)顏色通道的統(tǒng)計(jì)矩或?qū)傩?。照此，來(lái)自地面投影的顏色統(tǒng)計(jì)可用于修改目標(biāo)幀的顏色以具有與來(lái)自參考幀的地面投影的顏色統(tǒng)計(jì)相匹配的經(jīng)更新顏色統(tǒng)計(jì)。以此方式遷移來(lái)自地面投影而非來(lái)自整個(gè)圖像的顏色統(tǒng)計(jì)相比于遷移來(lái)自整個(gè)圖像的全局顏色統(tǒng)計(jì)的現(xiàn)有技術(shù)改善了拼接圖像的顏色協(xié)調(diào)和視覺質(zhì)量。

技術(shù)特征：

1.一種方法，包括：使用表示自我對(duì)象周圍的環(huán)境的重疊視圖的圖像數(shù)據(jù)幀，確定參考幀和目標(biāo)幀；生成所述參考幀的地面投影；使用所述參考幀的所述地面投影來(lái)計(jì)算參考顏色統(tǒng)計(jì)；以及將所述參考顏色統(tǒng)計(jì)從所述參考幀的所述地面投影遷移到所述目標(biāo)幀。

2.如權(quán)利要求1所述的方法，其中確定所述參考幀包括：至少基于以下中的一項(xiàng)或更多項(xiàng)來(lái)選擇所述圖像數(shù)據(jù)幀之一：所述自我對(duì)象的自我運(yùn)動(dòng)的方向、觀察所述環(huán)境的活動(dòng)視口或所述自我對(duì)象的操作者的注視。

3.如權(quán)利要求1所述的方法，其中生成所述參考幀的所述地面投影包括：將所述參考幀投影到三維(3d)碗上以生成經(jīng)投影3d碗表示；以及使用與所述環(huán)境的地平面相對(duì)應(yīng)的所述經(jīng)投影3d碗表示的一部分作為所述參考幀的所述地面投影。

4.如權(quán)利要求1所述的方法，其中所述參考幀和所述目標(biāo)幀表示在同一時(shí)間切片中的所述環(huán)境的不同視圖，并且將所述參考顏色統(tǒng)計(jì)從所述參考幀的所述地面投影遷移到所述目標(biāo)幀是至少基于確定所述參考幀的所述地面投影與所述目標(biāo)幀的第二地面投影之間的重疊區(qū)域具有少于或等于閾值數(shù)目的屬于檢測(cè)到的對(duì)象的像素。

5.如權(quán)利要求1所述的方法，其中所述參考幀至少表示來(lái)自先前時(shí)間切片的所述環(huán)境的一部分，并且所述目標(biāo)幀至少表示來(lái)自后續(xù)時(shí)間切片的所述環(huán)境的一部分，以及遷移所述參考顏色統(tǒng)計(jì)包括：至少基于確定來(lái)自所述后續(xù)時(shí)間切片的候選參考幀的第二地面投影與所述目標(biāo)幀的第三地面投影之間的重疊區(qū)域包括多于閾值數(shù)目或百分比的對(duì)應(yīng)于檢測(cè)到的對(duì)象的像素，從所述參考幀的所述地面投影遷移所述參考顏色統(tǒng)計(jì)。

6.如權(quán)利要求1所述的方法，其中從所述參考幀的所述地面投影計(jì)算所述參考顏色統(tǒng)計(jì)包括：從所述參考幀的所述地面投影的多數(shù)集群計(jì)算所述參考顏色統(tǒng)計(jì)，以及遷移所述參考顏色統(tǒng)計(jì)包括：至少基于確定所述參考幀的所述地面投影與所述目標(biāo)幀的第二地面投影之間的重疊區(qū)域包括少于閾值數(shù)目或百分比的屬于檢測(cè)到的對(duì)象的像素，將所述參考顏色統(tǒng)計(jì)從所述參考幀的所述地面投影的所述多數(shù)集群遷移到所述目標(biāo)幀。

7.如權(quán)利要求1所述的方法，其中將所述參考顏色統(tǒng)計(jì)從所述參考幀的所述地面投影遷移到所述目標(biāo)幀生成經(jīng)修改的目標(biāo)幀，并且所述方法進(jìn)一步包括：至少將所述參考幀和所述經(jīng)修改的目標(biāo)幀拼接成拼接圖像以及使得至少基于所述拼接圖像呈現(xiàn)可視化。

8.如權(quán)利要求1所述的方法，其中所述方法由以下中的至少一項(xiàng)執(zhí)行：用于自主或半自主機(jī)器的控制系統(tǒng)；用于自主或半自主機(jī)器的感知系統(tǒng)；用于執(zhí)行模擬操作的系統(tǒng)；用于執(zhí)行實(shí)時(shí)流式傳輸?shù)南到y(tǒng)；用于呈現(xiàn)增強(qiáng)現(xiàn)實(shí)內(nèi)容、虛擬現(xiàn)實(shí)內(nèi)容或混合現(xiàn)實(shí)內(nèi)容中的一個(gè)或更多個(gè)的系統(tǒng)；用于執(zhí)行數(shù)字孿生操作的系統(tǒng)；用于執(zhí)行深度學(xué)習(xí)操作的系統(tǒng)；使用邊緣設(shè)備實(shí)現(xiàn)的系統(tǒng)；使用機(jī)器人實(shí)現(xiàn)的系統(tǒng)；包含一個(gè)或更多個(gè)虛擬機(jī)(vm)的系統(tǒng)；至少部分地在數(shù)據(jù)中心中實(shí)現(xiàn)的系統(tǒng)；用于執(zhí)行光傳輸模擬的系統(tǒng)；用于執(zhí)行3d資產(chǎn)的協(xié)作內(nèi)容創(chuàng)建的系統(tǒng)；用于生成合成數(shù)據(jù)的系統(tǒng)；或至少部分地使用云計(jì)算資源實(shí)現(xiàn)的系統(tǒng)。

9.一種處理器，包括：一個(gè)或更多個(gè)處理單元，所述一個(gè)或更多個(gè)處理單元用于：確定參考幀和目標(biāo)幀；以及使用所述參考幀的第一地面投影和所述目標(biāo)幀的第二地面投影將參考顏色統(tǒng)計(jì)從所述參考幀的所述第一地面投影遷移到所述目標(biāo)幀。

10.如權(quán)利要求9所述的處理器，其中所述參考幀和所述目標(biāo)幀是使用設(shè)置在環(huán)境中的自我對(duì)象上的相機(jī)生成的，并且所述一個(gè)或更多個(gè)處理單元進(jìn)一步用于至少基于以下中的一項(xiàng)或更多項(xiàng)確定所述參考幀：所述自我對(duì)象的自我運(yùn)動(dòng)的方向、觀察所述環(huán)境的活動(dòng)視口或所述自我對(duì)象的操作者的注視。

11.如權(quán)利要求9所述的處理器，其中所述一個(gè)或更多個(gè)處理單元進(jìn)一步用于：至少基于將所述參考幀投影到三維(3d)碗上以生成經(jīng)投影3d碗表示以及將與地平面相對(duì)應(yīng)的所述經(jīng)投影3d碗表示的一部分用作所述參考幀的所述第一地面投影，來(lái)生成所述參考幀的所述第一地面投影。

12.如權(quán)利要求9所述的處理器，其中所述參考幀和所述目標(biāo)幀表示在同一時(shí)間切片中的環(huán)境的不同視圖，并且所述一個(gè)或更多個(gè)處理單元進(jìn)一步用于：至少基于確定所述參考幀的所述第一地面投影與所述目標(biāo)幀的所述第二地面投影之間的重疊區(qū)域不包括任何檢測(cè)到的對(duì)象來(lái)將所述參考顏色統(tǒng)計(jì)從所述參考幀的所述第一地面投影遷移到所述目標(biāo)幀。

13.如權(quán)利要求9所述的處理器，其中所述參考幀表示先前時(shí)間切片，并且所述目標(biāo)幀表示后續(xù)時(shí)間切片，并且所述一個(gè)或更多個(gè)處理單元進(jìn)一步用于：基于確定來(lái)自所述后續(xù)時(shí)間切片的候選參考幀的第三地面投影與所述目標(biāo)幀的所述第二地面投影之間的重疊區(qū)域包括多于閾值數(shù)目或百分比的屬于檢測(cè)到的對(duì)象的像素，從來(lái)自所述先前時(shí)間切片的所述參考幀遷移所述參考顏色統(tǒng)計(jì)。

14.如權(quán)利要求9所述的處理器，所述一個(gè)或更多個(gè)處理單元進(jìn)一步用于：基于確定所述參考幀的所述第一地面投影與所述目標(biāo)幀的所述第二地面投影之間的重疊區(qū)域包括少于閾值數(shù)目或百分比的屬于檢測(cè)到的對(duì)象的像素，確定將所述參考顏色統(tǒng)計(jì)從所述參考幀的多數(shù)集群遷移到所述目標(biāo)幀。

15.如權(quán)利要求9所述的處理器，其中所述處理器被包括在以下中的至少一項(xiàng)中：用于自主或半自主機(jī)器的控制系統(tǒng)；用于自主或半自主機(jī)器的感知系統(tǒng)；用于執(zhí)行模擬操作的系統(tǒng)；用于執(zhí)行數(shù)字孿生操作的系統(tǒng)；用于執(zhí)行深度學(xué)習(xí)操作的系統(tǒng)；用于執(zhí)行實(shí)時(shí)流式傳輸?shù)南到y(tǒng)；用于呈現(xiàn)增強(qiáng)現(xiàn)實(shí)內(nèi)容、虛擬現(xiàn)實(shí)內(nèi)容或混合現(xiàn)實(shí)內(nèi)容中的一個(gè)或更多個(gè)的系統(tǒng)；使用邊緣設(shè)備實(shí)現(xiàn)的系統(tǒng)；使用機(jī)器人實(shí)現(xiàn)的系統(tǒng)；包含一個(gè)或更多個(gè)虛擬機(jī)(vm)的系統(tǒng)；至少部分地在數(shù)據(jù)中心中實(shí)現(xiàn)的系統(tǒng)；用于執(zhí)行光傳輸模擬的系統(tǒng)；用于執(zhí)行3d資產(chǎn)的協(xié)作內(nèi)容創(chuàng)建的系統(tǒng)；用于生成合成數(shù)據(jù)的系統(tǒng)；或至少部分地使用云計(jì)算資源實(shí)現(xiàn)的系統(tǒng)。

16.一種系統(tǒng)，包括：一個(gè)或更多個(gè)處理單元，所述一個(gè)或更多個(gè)處理單元用于：識(shí)別環(huán)境的參考圖像和目標(biāo)圖像；生成所述參考圖像的地面投影；從所述參考圖像的所述地面投影計(jì)算參考顏色統(tǒng)計(jì)；以及修改所述目標(biāo)圖像的一個(gè)或更多個(gè)顏色以與來(lái)自所述參考圖像的所述地面投影的所述參考顏色統(tǒng)計(jì)相對(duì)應(yīng)。

17.如權(quán)利要求16所述的系統(tǒng)，其中所述參考圖像和所述目標(biāo)圖像表示同一時(shí)間切片中的所述環(huán)境的不同視圖，并且所述一個(gè)或更多個(gè)處理單元進(jìn)一步用于：基于確定所述參考圖像的所述地面投影與所述目標(biāo)圖像的第二地面投影之間的重疊區(qū)域具有少于或等于閾值數(shù)目的屬于檢測(cè)到的對(duì)象的像素，將所述目標(biāo)圖像的所述顏色修改為與來(lái)自所述參考圖像的所述地面投影的所述參考顏色統(tǒng)計(jì)相對(duì)應(yīng)。

18.如權(quán)利要求16所述的系統(tǒng)，其中所述參考圖像表示來(lái)自先前時(shí)間切片的所述環(huán)境，并且所述目標(biāo)圖像表示來(lái)自后續(xù)時(shí)間切片的所述環(huán)境，以及所述一個(gè)或更多個(gè)處理單元進(jìn)一步用于：基于確定來(lái)自所述后續(xù)時(shí)間切片的候選參考圖像的第二地面投影與所述目標(biāo)圖像的第三地面投影之間的重疊區(qū)域包括多于閾值數(shù)目或百分比的屬于檢測(cè)到的對(duì)象的像素，將所述目標(biāo)圖像的所述顏色修改為與來(lái)自所述先前時(shí)間切片的所述參考圖像的所述地面投影的所述參考顏色統(tǒng)計(jì)相對(duì)應(yīng)。

19.如權(quán)利要求16所述的系統(tǒng)，其中從所述參考圖像的所述地面投影計(jì)算所述參考顏色統(tǒng)計(jì)包括：從所述參考圖像的所述地面投影的多數(shù)集群計(jì)算所述參考顏色統(tǒng)計(jì)，以及所述一個(gè)或更多個(gè)處理單元進(jìn)一步用于：基于確定所述參考圖像的所述地面投影與所述目標(biāo)圖像的第二地面投影之間的重疊區(qū)域包括少于閾值數(shù)目或百分比的屬于檢測(cè)到的對(duì)象的像素，將所述目標(biāo)圖像的所述顏色修改為與來(lái)自所述參考圖像的所述地面投影的所述多數(shù)集群的所述參考顏色統(tǒng)計(jì)相對(duì)應(yīng)。

20.如權(quán)利要求16所述的系統(tǒng)，其中所述系統(tǒng)被包括在以下中的至少一項(xiàng)中：用于自主或半自主機(jī)器的控制系統(tǒng)；用于自主或半自主機(jī)器的感知系統(tǒng)；用于執(zhí)行模擬操作的系統(tǒng)；用于執(zhí)行數(shù)字孿生操作的系統(tǒng)；用于執(zhí)行深度學(xué)習(xí)操作的系統(tǒng)；用于執(zhí)行實(shí)時(shí)流式傳輸?shù)南到y(tǒng)；用于呈現(xiàn)增強(qiáng)現(xiàn)實(shí)內(nèi)容、虛擬現(xiàn)實(shí)內(nèi)容或混合現(xiàn)實(shí)內(nèi)容中的一個(gè)或更多個(gè)的系統(tǒng)；使用邊緣設(shè)備實(shí)現(xiàn)的系統(tǒng)；使用機(jī)器人實(shí)現(xiàn)的系統(tǒng)；包含一個(gè)或更多個(gè)虛擬機(jī)(vm)的系統(tǒng)；至少部分地在數(shù)據(jù)中心中實(shí)現(xiàn)的系統(tǒng)；用于執(zhí)行光傳輸模擬的系統(tǒng)；用于執(zhí)行3d資產(chǎn)的協(xié)作內(nèi)容創(chuàng)建的系統(tǒng)；用于生成合成數(shù)據(jù)的系統(tǒng)；或至少部分地使用云計(jì)算資源實(shí)現(xiàn)的系統(tǒng)。

技術(shù)總結(jié)
在各個(gè)示例中，來(lái)自地面投影的一個(gè)或更多個(gè)顏色統(tǒng)計(jì)被用于協(xié)調(diào)表示環(huán)境的參考幀與目標(biāo)幀之間的顏色。參考幀和目標(biāo)幀可被投影到環(huán)境的地面(例如，地平面)的表示上，投影之間的重疊區(qū)域可被識(shí)別，并且每個(gè)投影的落在重疊區(qū)域中的部分可被視為對(duì)應(yīng)的地面投影。顏色統(tǒng)計(jì)(例如，均值、方差、標(biāo)準(zhǔn)偏差、峰度、偏斜、顏色通道之間的一個(gè)或更多個(gè)相關(guān)性)可以從地面投影(或其部分，諸如多數(shù)集群)計(jì)算并且用于修改目標(biāo)幀的顏色以具有與來(lái)自參考幀的地面投影的那些顏色統(tǒng)計(jì)相匹配的經(jīng)更新的顏色統(tǒng)計(jì)，從而跨參考幀和目標(biāo)幀協(xié)調(diào)顏色。

技術(shù)研發(fā)人員：任育卓,D·S·帕榮克,N·阿瓦達(dá)汗納姆,戴廣立
受保護(hù)的技術(shù)使用者：輝達(dá)公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15