本發(fā)明屬于智能駕駛輔助相關(guān)，尤其涉及一種基于毫米波雷達(dá)與視覺(jué)融合的車內(nèi)兒童監(jiān)護(hù)方法及系統(tǒng)。

背景技術(shù)：

1、本部分的陳述僅僅是提供了與本發(fā)明相關(guān)的背景技術(shù)信息，不必然構(gòu)成在先技術(shù)。

2、隨著車輛智能駕駛輔助功能的高速發(fā)展，目前駕駛輔助功能幾乎成為各個(gè)整車廠全部新車型的標(biāo)配；

3、發(fā)明人發(fā)現(xiàn)，現(xiàn)階段多數(shù)兒童檢測(cè)系統(tǒng)更在乎車內(nèi)兒童是否遺落問(wèn)題，而忽略了駕駛過(guò)程中對(duì)兒童的監(jiān)護(hù)功能；由于兒童自制能力較差，而駕駛?cè)藛T由于需要時(shí)刻關(guān)注車輛周圍信息，很難對(duì)車輛行駛過(guò)程中兒童的狀態(tài)信息進(jìn)行有效感知，進(jìn)而極易產(chǎn)生兒童安全隱患。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供了一種基于毫米波雷達(dá)與視覺(jué)融合的車內(nèi)兒童監(jiān)護(hù)方法及系統(tǒng)，以解決傳統(tǒng)方案無(wú)法在駕駛過(guò)程中對(duì)兒童進(jìn)行有效監(jiān)護(hù)的問(wèn)題。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

3、第一方面，本發(fā)明提供了一種基于毫米波雷達(dá)與視覺(jué)融合的車內(nèi)兒童監(jiān)護(hù)方法，包括：

4、在行車狀態(tài)時(shí)，周期性的獲取兒童所在區(qū)域內(nèi)的毫米波雷達(dá)數(shù)據(jù)和紅外圖像；

5、將毫米波雷達(dá)數(shù)據(jù)中的目標(biāo)信息投影至紅外圖像中，確定重點(diǎn)關(guān)注區(qū)域；

6、基于相鄰幀紅外圖像確定的重點(diǎn)關(guān)注區(qū)域，通過(guò)幀差法，獲得檢測(cè)區(qū)域；

7、基于檢測(cè)區(qū)域的圖像，通過(guò)預(yù)先訓(xùn)練基于神經(jīng)網(wǎng)絡(luò)的兒童危險(xiǎn)行為判斷模型，獲得危險(xiǎn)行為判斷結(jié)果；

8、當(dāng)發(fā)生危險(xiǎn)行為時(shí)，發(fā)出告警并對(duì)兒童區(qū)域進(jìn)行實(shí)時(shí)全景展示，直至危險(xiǎn)行為結(jié)束。

9、進(jìn)一步的，所述將毫米波雷達(dá)數(shù)據(jù)中的目標(biāo)信息投影至紅外圖像中，確定重點(diǎn)關(guān)注區(qū)域，具體為：通過(guò)對(duì)毫米波雷達(dá)和攝像頭進(jìn)行聯(lián)合標(biāo)定，實(shí)現(xiàn)雷達(dá)與圖像數(shù)據(jù)的時(shí)空同步，將雷達(dá)檢測(cè)的目標(biāo)信息位置投影到圖像中，實(shí)現(xiàn)毫米波雷達(dá)數(shù)據(jù)和紅外圖像的時(shí)空融合，基于融合結(jié)果確定重點(diǎn)關(guān)注區(qū)域。

10、進(jìn)一步的，所述時(shí)空融合具體為：基于毫米雷達(dá)與攝像頭的位置關(guān)系，以及毫米雷達(dá)坐標(biāo)系與世界坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，獲得毫米波雷達(dá)數(shù)據(jù)中的目標(biāo)信息至紅外圖像的投影矩陣；基于獲得的投影矩陣，實(shí)現(xiàn)毫米波雷達(dá)數(shù)據(jù)和紅外圖像的空間融合；以及，以攝像頭和毫米雷達(dá)中采樣頻率最低的設(shè)備采集數(shù)據(jù)作為基準(zhǔn)，在基準(zhǔn)數(shù)據(jù)對(duì)應(yīng)的采集時(shí)刻，獲取另一設(shè)備的采集數(shù)據(jù)，并執(zhí)行毫米波雷達(dá)數(shù)據(jù)和紅外圖像的時(shí)間融合。

11、進(jìn)一步的，所述通過(guò)預(yù)先訓(xùn)練基于神經(jīng)網(wǎng)絡(luò)的兒童危險(xiǎn)行為判斷模型，獲得危險(xiǎn)行為判斷結(jié)果，具體為：對(duì)檢測(cè)區(qū)域的圖像進(jìn)行特征提取，以提取的特征作為兒童危險(xiǎn)行為判斷模型的輸入，獲得兒童危險(xiǎn)行為判斷結(jié)果。

12、進(jìn)一步的，所述行車狀態(tài)的判斷，具體為：當(dāng)車門信號(hào)關(guān)閉，車輛啟動(dòng)時(shí)，判定為行車狀態(tài)；當(dāng)車門信號(hào)關(guān)閉，車輛下電時(shí)，判定為鎖車狀態(tài)。

13、進(jìn)一步的，對(duì)于非行車狀態(tài)，當(dāng)為鎖車狀態(tài)時(shí)，通過(guò)毫米波雷達(dá)對(duì)車內(nèi)進(jìn)行心跳頻率和呼吸頻率的檢測(cè)；當(dāng)檢測(cè)到呼吸頻率在預(yù)設(shè)第一范圍內(nèi)，且心跳頻率在預(yù)設(shè)第二頻率范圍內(nèi)時(shí)，判定車內(nèi)有兒童并進(jìn)行告警。

14、進(jìn)一步的，所述告警采用級(jí)聯(lián)式告警策略，具體為：鎖車時(shí)間在第一預(yù)設(shè)時(shí)間范圍內(nèi)時(shí)，車燈閃爍并鳴笛告警；鎖車時(shí)間在第二預(yù)設(shè)時(shí)間范圍內(nèi)時(shí)，通過(guò)短信或網(wǎng)絡(luò)電話方式進(jìn)行告警；鎖車時(shí)間超出第二預(yù)設(shè)范圍時(shí)，車燈閃爍并鳴笛告警、通過(guò)短信或網(wǎng)絡(luò)電話方式進(jìn)行告警以及進(jìn)行報(bào)警。

15、第二方面，本發(fā)明提供了一種基于毫米波雷達(dá)與視覺(jué)融合的車內(nèi)兒童監(jiān)護(hù)系統(tǒng)，包括：

16、數(shù)據(jù)采集單元，其用于在行車狀態(tài)時(shí)，周期性的獲取兒童所在區(qū)域內(nèi)的毫米波雷達(dá)數(shù)據(jù)和紅外圖像；

17、重點(diǎn)關(guān)注區(qū)域獲取單元，其用于將毫米波雷達(dá)數(shù)據(jù)中的目標(biāo)信息投影至紅外圖像中，確定重點(diǎn)關(guān)注區(qū)域；

18、檢測(cè)區(qū)域獲取單元，其用于基于相鄰幀紅外圖像確定的重點(diǎn)關(guān)注區(qū)域，通過(guò)幀差法，獲得檢測(cè)區(qū)域；

19、危險(xiǎn)行為判斷單元，其用于基于檢測(cè)區(qū)域的圖像，通過(guò)預(yù)先訓(xùn)練基于神經(jīng)網(wǎng)絡(luò)的兒童危險(xiǎn)行為判斷模型，獲得危險(xiǎn)行為判斷結(jié)果；

20、告警單元，其用于當(dāng)發(fā)生危險(xiǎn)行為時(shí)，發(fā)出告警并對(duì)兒童區(qū)域進(jìn)行實(shí)時(shí)全景展示，直至危險(xiǎn)行為結(jié)束。

21、根據(jù)本發(fā)明實(shí)施例的第三個(gè)方面，提供了一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)所述的一種基于毫米波雷達(dá)與視覺(jué)融合的車內(nèi)兒童監(jiān)護(hù)方法。

22、根據(jù)本發(fā)明實(shí)施例的第四個(gè)方面，提供了一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)所述的一種基于毫米波雷達(dá)與視覺(jué)融合的車內(nèi)兒童監(jiān)護(hù)方法。

23、以上一個(gè)或多個(gè)技術(shù)方案存在以下有益效果：

24、本發(fā)明提供了一種基于毫米波雷達(dá)與視覺(jué)融合的車內(nèi)兒童監(jiān)護(hù)方法及系統(tǒng)，所述方案通過(guò)采用毫米波雷達(dá)與視覺(jué)融合的方式，對(duì)行車狀態(tài)下的車內(nèi)兒童進(jìn)行危險(xiǎn)行為的監(jiān)測(cè)，但檢測(cè)到危險(xiǎn)行為時(shí)及時(shí)告警，并在中控臺(tái)進(jìn)行兒童區(qū)域的全景展示，能夠有效保證行車狀態(tài)下的兒童安全，同時(shí)也避免駕駛員因關(guān)注兒童而分心；同時(shí)，通過(guò)級(jí)聯(lián)式告警策略，有效解決了鎖車狀態(tài)下兒童仍在車內(nèi)導(dǎo)致兒童窒息的風(fēng)險(xiǎn)；

25、所述方案通過(guò)毫米波雷達(dá)對(duì)采集的紅外圖像進(jìn)行重點(diǎn)區(qū)域的標(biāo)定，能夠有效確定需要重點(diǎn)關(guān)注的區(qū)域，進(jìn)而使得兒童危險(xiǎn)行為判別模型能夠更加關(guān)注圖像內(nèi)的重點(diǎn)區(qū)別，提高危險(xiǎn)行為的判別準(zhǔn)確度。

26、本發(fā)明附加方面的優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過(guò)本發(fā)明的實(shí)踐了解到。

技術(shù)特征：

1.基于毫米波雷達(dá)與視覺(jué)融合的車內(nèi)兒童監(jiān)護(hù)方法，其特征在于，包括：

2.如權(quán)利要求1所述的基于毫米波雷達(dá)與視覺(jué)融合的車內(nèi)兒童監(jiān)護(hù)方法，其特征在于，所述將毫米波雷達(dá)數(shù)據(jù)中的目標(biāo)信息投影至紅外圖像中，確定重點(diǎn)關(guān)注區(qū)域，具體為：通過(guò)對(duì)毫米波雷達(dá)和攝像頭進(jìn)行聯(lián)合標(biāo)定，實(shí)現(xiàn)雷達(dá)與圖像數(shù)據(jù)的時(shí)空同步，將雷達(dá)檢測(cè)的目標(biāo)信息位置投影到圖像中，實(shí)現(xiàn)毫米波雷達(dá)數(shù)據(jù)和紅外圖像的時(shí)空融合，基于融合結(jié)果確定重點(diǎn)關(guān)注區(qū)域。

3.如權(quán)利要求2所述的基于毫米波雷達(dá)與視覺(jué)融合的車內(nèi)兒童監(jiān)護(hù)方法，其特征在于，所述時(shí)空融合具體為：基于毫米雷達(dá)與攝像頭的位置關(guān)系，以及毫米雷達(dá)坐標(biāo)系與世界坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，獲得毫米波雷達(dá)數(shù)據(jù)中的目標(biāo)信息至紅外圖像的投影矩陣；基于獲得的投影矩陣，實(shí)現(xiàn)毫米波雷達(dá)數(shù)據(jù)和紅外圖像的空間融合；以及，以攝像頭和毫米雷達(dá)中采樣頻率最低的設(shè)備采集數(shù)據(jù)作為基準(zhǔn)，在基準(zhǔn)數(shù)據(jù)對(duì)應(yīng)的采集時(shí)刻，獲取另一設(shè)備的采集數(shù)據(jù)，并執(zhí)行毫米波雷達(dá)數(shù)據(jù)和紅外圖像的時(shí)間融合。

4.如權(quán)利要求1所述的基于毫米波雷達(dá)與視覺(jué)融合的車內(nèi)兒童監(jiān)護(hù)方法，其特征在于，所述通過(guò)預(yù)先訓(xùn)練基于神經(jīng)網(wǎng)絡(luò)的兒童危險(xiǎn)行為判斷模型，獲得危險(xiǎn)行為判斷結(jié)果，具體為：對(duì)檢測(cè)區(qū)域的圖像進(jìn)行特征提取，以提取的特征作為兒童危險(xiǎn)行為判斷模型的輸入，獲得兒童危險(xiǎn)行為判斷結(jié)果。

5.如權(quán)利要求1所述的基于毫米波雷達(dá)與視覺(jué)融合的車內(nèi)兒童監(jiān)護(hù)方法，其特征在于，所述行車狀態(tài)的判斷，具體為：當(dāng)車門信號(hào)關(guān)閉，車輛啟動(dòng)時(shí)，判定為行車狀態(tài)；當(dāng)車門信號(hào)關(guān)閉，車輛下電時(shí)，判定為鎖車狀態(tài)。

6.如權(quán)利要求1所述的基于毫米波雷達(dá)與視覺(jué)融合的車內(nèi)兒童監(jiān)護(hù)方法，其特征在于，對(duì)于非行車狀態(tài)，當(dāng)為鎖車狀態(tài)時(shí)，通過(guò)毫米波雷達(dá)對(duì)車內(nèi)進(jìn)行心跳頻率和呼吸頻率的檢測(cè)；當(dāng)檢測(cè)到呼吸頻率在預(yù)設(shè)第一范圍內(nèi)，且心跳頻率在預(yù)設(shè)第二頻率范圍內(nèi)時(shí)，判定車內(nèi)有兒童并進(jìn)行告警。

7.如權(quán)利要求6所述的基于毫米波雷達(dá)與視覺(jué)融合的車內(nèi)兒童監(jiān)護(hù)方法，其特征在于，所述告警采用級(jí)聯(lián)式告警策略，具體為：鎖車時(shí)間在第一預(yù)設(shè)時(shí)間范圍內(nèi)時(shí)，車燈閃爍并鳴笛告警；鎖車時(shí)間在第二預(yù)設(shè)時(shí)間范圍內(nèi)時(shí)，通過(guò)短信或網(wǎng)絡(luò)電話方式進(jìn)行告警；鎖車時(shí)間超出第二預(yù)設(shè)范圍時(shí)，車燈閃爍并鳴笛告警、通過(guò)短信或網(wǎng)絡(luò)電話方式進(jìn)行告警以及進(jìn)行報(bào)警。

8.基于毫米波雷達(dá)與視覺(jué)融合的車內(nèi)兒童監(jiān)護(hù)系統(tǒng)，其特征在于，包括：

9.一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如權(quán)利要求1-7任一項(xiàng)所述的一種基于毫米波雷達(dá)與視覺(jué)融合的車內(nèi)兒童監(jiān)護(hù)方法。

10.一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-7任一項(xiàng)所述的一種基于毫米波雷達(dá)與視覺(jué)融合的車內(nèi)兒童監(jiān)護(hù)方法。

技術(shù)總結(jié)
本發(fā)明提供了一種基于毫米波雷達(dá)與視覺(jué)融合的車內(nèi)兒童監(jiān)護(hù)方法及系統(tǒng)，包括：在行車狀態(tài)時(shí)，周期性的獲取兒童所在區(qū)域內(nèi)的毫米波雷達(dá)數(shù)據(jù)和紅外圖像；將毫米波雷達(dá)數(shù)據(jù)中的目標(biāo)信息投影至紅外圖像中，確定重點(diǎn)關(guān)注區(qū)域；基于相鄰幀紅外圖像確定的重點(diǎn)關(guān)注區(qū)域，通過(guò)幀差法，獲得檢測(cè)區(qū)域；基于檢測(cè)區(qū)域的圖像，通過(guò)預(yù)先訓(xùn)練基于神經(jīng)網(wǎng)絡(luò)的兒童危險(xiǎn)行為判斷模型，獲得危險(xiǎn)行為判斷結(jié)果；當(dāng)發(fā)生危險(xiǎn)行為時(shí)，發(fā)出告警并對(duì)兒童區(qū)域進(jìn)行實(shí)時(shí)全景展示，直至危險(xiǎn)行為結(jié)束。

技術(shù)研發(fā)人員：任榮倫
受保護(hù)的技術(shù)使用者：奇瑞汽車股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15