下面的描述涉及交通燈識別模型的方法和裝置。

背景技術(shù)：

1、其中汽車、飛機、機器人、或其他平臺在沒有人類的實時指令的情況下自主操作的系統(tǒng)可以被稱為自動駕駛系統(tǒng)。自動駕駛系統(tǒng)的實現(xiàn)和操作通?？梢员粍澐譃槿齻€階段：識別、確定和控制。識別階段用于使用安裝到平臺的傳感器來識別周圍環(huán)境，確定階段用于通過使用識別結(jié)果來確定平臺的行為并且生成駕駛路徑，并且控制階段可以用于控制平臺，使得平臺沿所生成的路徑移動。在識別階段，自主車輛的交通燈識別結(jié)果可以用于設(shè)置自主車輛的路徑。由于城市駕駛情況下有很多交通燈，因此交通燈的準確識別可以有利于高效駕駛。

技術(shù)實現(xiàn)思路

1、提供本
技術(shù)實現(xiàn)要素：
以用簡化形式介紹對下面在具體實施方式中進一步描述的構(gòu)思的選擇。本發(fā)明內(nèi)容不意在標識所請求保護的主題的關(guān)鍵特征或基本特征，也不意在用作幫助確定所要求保護的主題的范圍。

2、在一個一般方面中，一種操作被配置為識別交通燈對象的對象識別模型的方法包括：從車輛中包括的相機獲得輸入圖像，該輸入圖像在由相機捕獲的包括先前幀在內(nèi)的幀之中；基于關(guān)于交通燈對象的先驗信息，估計針對輸入圖像的第一感興趣區(qū)域(roi)；基于第一roi并且基于先前幀的檢測結(jié)果，確定第二roi，其中，檢測結(jié)果對應(yīng)于由對象識別模型識別先前幀中的交通燈的識別結(jié)果；以及由對象識別模型來識別輸入圖像中的交通燈，其中，識別基于輸入圖像和第二roi。

3、識別交通燈可以包括：通過提取輸入圖像中與第二roi相對應(yīng)的部分來獲得目標圖像；以及將目標圖像放大至與輸入圖像的大小相對應(yīng)的大小，其中，由對象識別模型進行的識別還基于放大后的目標圖像。

4、關(guān)于交通燈對象的先驗信息可以包括：與基于具有小于閾值的大小而被選擇的交通燈的先前觀察的位置的分布相對應(yīng)的分布數(shù)據(jù)。

5、關(guān)于交通燈對象的先驗信息還可以包括：與基于分布數(shù)據(jù)而生成的第一roi有關(guān)的信息。

6、關(guān)于交通燈對象的先驗信息可以包括：與車輛駕駛的環(huán)境有關(guān)的駕駛環(huán)境信息和相機的規(guī)格。

7、估計第一roi還可以包括：基于來自車輛的傳感器的信息，調(diào)整第一roi。

8、估計第一roi還可以包括：基于相機的規(guī)格，調(diào)整第一roi。

9、確定第二roi可以包括：聚合先前幀的檢測結(jié)果；獲得先前幀的檢測結(jié)果的群集的中心；過濾中心；以及基于過濾后的中心，獲得第二roi。

10、聚合先前幀的檢測結(jié)果可以包括：維護先前幀的滾動窗口的檢測結(jié)果，滾動窗口包括時間窗口或由多個先前幀限定的窗口。

11、確定第二roi可以包括：獲得中心之間的距離函數(shù)；去除不滿足距離函數(shù)中的最小條件的中心；以及基于滿足最小條件的中心，確定第二roi。

12、在另一一般方面中，一種電子設(shè)備可以包括：相機；一個或多個處理器；以及存儲器，存儲指令，指令被配置為使一個或多個處理器執(zhí)行以下操作：從相機獲得輸入圖像；基于關(guān)于交通燈對象的先驗信息，估計針對輸入圖像的第一感興趣區(qū)域(roi)；基于第一roi并且基于相機的先前幀的檢測結(jié)果，確定第二roi，其中，先前幀的檢測結(jié)果對應(yīng)于由對象識別模型識別先前幀中的交通燈的識別結(jié)果，該對象識別模型被配置為識別交通燈；以及由對象識別模型來識別輸入圖像中的交通燈，其中，識別基于輸入圖像和第二roi。

13、該指令還可以被配置為使一個或多個處理器執(zhí)行以下操作：通過提取輸入圖像中與第二roi相對應(yīng)的部分來獲得目標圖像，以及將目標圖像放大至與輸入圖像的大小相對應(yīng)的大小，并且其中，由對象識別模型進行的識別還基于放大后的目標圖像。

14、先驗信息可以包括與基于具有小于閾值的大小而被選擇的交通燈的先前觀察的位置的分布相對應(yīng)的分布數(shù)據(jù)；并且其中，先驗信息還可以包括：與基于分布數(shù)據(jù)而生成的第一roi有關(guān)的信息。

15、電子設(shè)備可以包括在車輛中，并且指令可以還可以被配置為使一個或多個處理器執(zhí)行以下操作：基于車輛的傳感器并且根據(jù)車輛的駕駛環(huán)境，調(diào)整第一roi。

16、指令還可以被配置為使一個或多個處理器執(zhí)行以下操作：按照其時間順序聚合先前幀的檢測結(jié)果，獲得先前幀的檢測結(jié)果的群集的中心，并去除中心中的一些，并且基于此來確定第二roi。

17、指令還可以被配置為使一個或多個處理器執(zhí)行以下操作：更新先前幀的檢測結(jié)果，以包括識別輸入圖像中的交通燈的結(jié)果，并且更新后的檢測結(jié)果可以用于識別由相機捕獲的下一輸入圖像中的交通燈。

18、指令還可以被配置為使一個或多個處理器執(zhí)行以下操作：獲得中心之間的距離函數(shù)，去除除滿足距離函數(shù)中的最小條件的中心之外的中心，并且關(guān)于滿足最小條件的剩余中心來放置第二roi。

19、在另一一般方面中，一種由計算設(shè)備執(zhí)行的方法包括：接收由移動車輛的相機捕獲的輸入圖像；針對輸入圖像中的第一輸入圖像，確定第一感興趣區(qū)域(roi)，其中，第一roi是基于歷史交通燈觀察來確定的；將第一輸入圖像和第一輸入圖像中由第一roi限定的區(qū)域的放大圖像輸入到被配置為識別交通燈的對象識別模型，該對象識別模型基于第一輸入圖像和放大圖像來推斷第一輸入圖像中第一交通燈的位置；針對輸入圖像中在第一輸入圖像之后捕獲的第二輸入圖像，確定第二roi，其中，第二roi是基于第一輸入圖像中第一交通燈的位置來確定的；以及將第二輸入圖像和第二輸入圖像中由第二roi限定的區(qū)域的放大圖像輸入到對象識別模型，該對象識別模型基于第二輸入圖像和放大圖像來推斷第二輸入圖像中第一交通燈或第二交通燈的位置。

20、該方法還可以包括：基于第一roi或基于歷史交通燈觀察，調(diào)整第二roi的位置。

21、對象識別模型可以包括神經(jīng)網(wǎng)絡(luò)，并且所推斷的位置可以包括相應(yīng)的邊界框。

22、其他特征和方面將通過以下詳細描述、附圖和權(quán)利要求變得清楚明白。

技術(shù)特征：

1.一種被配置為識別交通燈對象的對象識別模型的操作方法，所述操作方法包括：

2.根據(jù)權(quán)利要求1所述的操作方法，其中，識別所述交通燈包括：

3.根據(jù)權(quán)利要求1所述的操作方法，其中，所述關(guān)于交通燈對象的先驗信息包括：

4.根據(jù)權(quán)利要求3所述的操作方法，其中，所述關(guān)于交通燈對象的先驗信息還包括：與基于所述分布數(shù)據(jù)而生成的所述第一roi有關(guān)的信息。

5.根據(jù)權(quán)利要求1所述的操作方法，其中，所述關(guān)于交通燈對象的先驗信息包括：與車輛駕駛的環(huán)境有關(guān)的駕駛環(huán)境信息和所述相機的規(guī)格。

6.根據(jù)權(quán)利要求1所述的操作方法，其中，估計所述第一roi還包括：基于來自所述車輛的傳感器的信息，調(diào)整所述第一roi。

7.根據(jù)權(quán)利要求1所述的操作方法，其中，估計所述第一roi還包括：基于所述相機的規(guī)格，調(diào)整所述第一roi。

8.根據(jù)權(quán)利要求1所述的操作方法，其中，確定所述第二roi包括：

9.根據(jù)權(quán)利要求8所述的操作方法，其中，聚合所述先前幀的所述檢測結(jié)果包括：維護所述先前幀的滾動窗口的檢測結(jié)果，所述滾動窗口包括時間窗口或由多個先前幀限定的窗口。

10.根據(jù)權(quán)利要求8所述的操作方法，其中，確定所述第二roi包括：

11.一種電子設(shè)備，包括：

12.根據(jù)權(quán)利要求11所述的電子設(shè)備，其中，所述指令還被配置為使所述一個或多個處理器執(zhí)行以下操作：

13.根據(jù)權(quán)利要求11所述的電子設(shè)備，其中，所述先驗信息包括：

14.根據(jù)權(quán)利要求11所述的電子設(shè)備，其中，所述電子設(shè)備包括在車輛中，并且其中，所述指令還被配置為使所述一個或多個處理器執(zhí)行以下操作：基于所述車輛的傳感器并且根據(jù)所述車輛的駕駛環(huán)境，調(diào)整所述第一roi。

15.根據(jù)權(quán)利要求11所述的電子設(shè)備，其中，所述指令還被配置為使所述一個或多個處理器執(zhí)行以下操作：

16.根據(jù)權(quán)利要求15所述的電子設(shè)備，其中，所述指令還被配置為使所述一個或多個處理器執(zhí)行以下操作：更新所述先前幀的所述檢測結(jié)果，以包括識別所述輸入圖像中的交通燈的結(jié)果，其中，更新后的檢測結(jié)果用于識別由所述相機捕獲的下一輸入圖像中的交通燈。

17.根據(jù)權(quán)利要求15所述的電子設(shè)備，其中，所述指令還被配置為使所述一個或多個處理器執(zhí)行以下操作：

18.一種由計算設(shè)備執(zhí)行的方法，所述方法包括：

19.根據(jù)權(quán)利要求18所述的方法，還包括：

20.根據(jù)權(quán)利要求18所述的方法，其中，所述對象識別模型包括神經(jīng)網(wǎng)絡(luò)，并且其中，所推斷的位置包括相應(yīng)的邊界框。

技術(shù)總結(jié)
公開了一種利用被配置為識別交通燈的對象識別模型來檢測交通燈的方法。該方法包括：從車輛中包括的相機獲得輸入圖像，該輸入圖像在由相機捕獲的包括先前幀在內(nèi)的幀之中；基于關(guān)于交通燈對象的先驗信息，估計針對輸入圖像的第一感興趣區(qū)域(RoI)；基于第一RoI并且基于先前幀的檢測結(jié)果，確定第二RoI，其中，檢測結(jié)果對應(yīng)于由對象識別模型識別先前幀中的交通燈的識別結(jié)果；以及由對象識別模型識別輸入圖像中的交通燈，其中，識別基于輸入圖像和第二RoI。

技術(shù)研發(fā)人員：趙大雄,劉宰旭
受保護的技術(shù)使用者：三星電子株式會社
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/22