本發(fā)明涉及車(chē)輛相關(guān)，特別是一種車(chē)輛人臉朝向識(shí)別方法、裝置、電子設(shè)備、存儲(chǔ)介質(zhì)及車(chē)輛。

背景技術(shù)：

1、在車(chē)輛的監(jiān)控系統(tǒng)中的分心檢測(cè)功能，例如乘客監(jiān)測(cè)系統(tǒng)(oms，occupancymonitoring?system)中的分心檢測(cè)功能，需要獲取人臉朝向角度，從而判斷駕駛員頭部是否偏離前方，進(jìn)而判斷是否分心。

2、現(xiàn)有的人臉朝向識(shí)別方法，通過(guò)相機(jī)拍攝人臉圖像，然后通過(guò)判斷人臉關(guān)鍵點(diǎn)之間的位置關(guān)系(眼睛、鼻子、嘴巴等)來(lái)預(yù)估大概的朝向角度，然后基于朝向角度判斷人臉朝向。

3、然而，當(dāng)人頭旋轉(zhuǎn)角度很大時(shí)，很容易造成人臉被遮擋，由于人臉關(guān)鍵點(diǎn)是基于整個(gè)人臉進(jìn)行預(yù)測(cè)的，因此當(dāng)人臉被完全遮擋或部分遮擋時(shí)，人臉關(guān)鍵點(diǎn)的預(yù)測(cè)不準(zhǔn)確，導(dǎo)致基于人臉關(guān)鍵點(diǎn)預(yù)測(cè)的朝向角度不準(zhǔn)確，從而無(wú)法判斷人臉朝向。

技術(shù)實(shí)現(xiàn)思路

1、基于此，有必要針對(duì)現(xiàn)有技術(shù)在人頭旋轉(zhuǎn)角度很大時(shí)，無(wú)法確定人臉朝向的技術(shù)問(wèn)題，提供一種車(chē)輛人臉朝向識(shí)別方法、裝置、電子設(shè)備、存儲(chǔ)介質(zhì)及車(chē)輛。

2、本發(fā)明提供一種車(chē)輛人臉朝向識(shí)別方法，包括：

3、獲取通過(guò)相機(jī)拍攝的人臉圖像，從所述人臉圖像中識(shí)別出人頭圖像，對(duì)所述人頭圖像進(jìn)行人頭朝向分類(lèi)操作，通過(guò)所述人頭朝向分類(lèi)操作判斷所述人頭圖像的人頭朝向類(lèi)別，所述人頭朝向類(lèi)別包括正向朝向類(lèi)別以及非正向朝向類(lèi)別；

4、在所述人頭朝向類(lèi)別為非正向朝向類(lèi)別時(shí)，將識(shí)別的所述人頭朝向類(lèi)別作為人臉朝向。

5、進(jìn)一步地，所述從所述人臉圖像中識(shí)別出人頭圖像，包括：

6、從所述人臉圖像中識(shí)別出人頭檢測(cè)框和人臉檢測(cè)框，將所述人頭檢測(cè)框內(nèi)的圖像作為人頭圖像，所述人頭檢測(cè)框的范圍大于所述人臉檢測(cè)框的范圍。

7、進(jìn)一步地，所述對(duì)所述人頭圖像進(jìn)行人頭朝向分類(lèi)操作，通過(guò)所述人頭朝向分類(lèi)操作判斷所述人頭圖像的人頭朝向類(lèi)別，包括：

8、將所述人頭圖像輸入人頭朝向圖像分類(lèi)模型，得到所述人頭朝向圖像分類(lèi)模型輸出的所述人頭圖像的人頭朝向類(lèi)別，所述人頭朝向圖像分類(lèi)模型預(yù)先通過(guò)多個(gè)圖像以及對(duì)應(yīng)的人頭朝向類(lèi)別進(jìn)行訓(xùn)練。

9、進(jìn)一步地，所述方法還包括：

10、在所述人頭朝向類(lèi)別為正向朝向類(lèi)別時(shí)，從所述人臉圖像中識(shí)別出人臉關(guān)鍵點(diǎn)在圖像坐標(biāo)系中的圖像二維坐標(biāo)；

11、根據(jù)人臉圖像中的人臉關(guān)鍵點(diǎn)在圖像坐標(biāo)系中的圖像二維坐標(biāo)，確定人臉朝向角度，所述圖像坐標(biāo)系為在所述人臉圖像上建立的坐標(biāo)系。

12、更進(jìn)一步地，所述從所述人臉圖像中識(shí)別出人臉關(guān)鍵點(diǎn)在圖像坐標(biāo)系中的圖像二維坐標(biāo)，包括：在從所述人臉圖像中識(shí)別出的人臉檢測(cè)框內(nèi)識(shí)別出人臉關(guān)鍵點(diǎn)在圖像坐標(biāo)系中的圖像二維坐標(biāo)。

13、更進(jìn)一步地，所述根據(jù)人臉圖像中的人臉關(guān)鍵點(diǎn)在圖像坐標(biāo)系中的圖像二維坐標(biāo)，確定人臉朝向角度，包括：

14、基于相機(jī)參數(shù)，計(jì)算將人臉關(guān)鍵點(diǎn)在三維空間的世界坐標(biāo)系中的標(biāo)準(zhǔn)三維坐標(biāo)轉(zhuǎn)換為所述圖像二維坐標(biāo)的轉(zhuǎn)換關(guān)系，根據(jù)所述轉(zhuǎn)換關(guān)系，計(jì)算出人臉朝向角度。

15、再進(jìn)一步地，所述基于相機(jī)參數(shù)，計(jì)算將人臉關(guān)鍵點(diǎn)在三維空間的世界坐標(biāo)系中的標(biāo)準(zhǔn)三維坐標(biāo)轉(zhuǎn)換為所述圖像二維坐標(biāo)的轉(zhuǎn)換關(guān)系，根據(jù)所述轉(zhuǎn)換關(guān)系，計(jì)算出人臉朝向角度，包括：

16、將人臉關(guān)鍵點(diǎn)在三維空間的世界坐標(biāo)系中的標(biāo)準(zhǔn)三維坐標(biāo)以及所述圖像二維坐標(biāo)代入公式：s*p＝f*[r|t]p，其中s為尺度系數(shù)，f為相機(jī)內(nèi)參矩陣，p為所述圖像二維坐標(biāo)，p為所述標(biāo)準(zhǔn)三維坐標(biāo)，r為相機(jī)外參的旋轉(zhuǎn)矩陣，t為相機(jī)外參的平移矩陣；

17、計(jì)算所述旋轉(zhuǎn)矩陣和所述平移矩陣；

18、根據(jù)所述旋轉(zhuǎn)矩陣，計(jì)算出人臉朝向角度。

19、再進(jìn)一步地，所述根據(jù)所述旋轉(zhuǎn)矩陣，計(jì)算出人臉朝向角度，包括：

20、根據(jù)所述旋轉(zhuǎn)矩陣，計(jì)算出人臉朝向相對(duì)相機(jī)坐標(biāo)系的旋轉(zhuǎn)角度；

21、計(jì)算人臉朝向角度為所述旋轉(zhuǎn)角度與相機(jī)的安裝角度的差值。

22、本發(fā)明提供一種車(chē)輛人臉朝向識(shí)別裝置，包括：

23、人頭朝向分類(lèi)模塊，用于獲取通過(guò)相機(jī)拍攝的人臉圖像，從所述人臉圖像中識(shí)別出人頭圖像，對(duì)所述人頭圖像進(jìn)行人頭朝向分類(lèi)操作，通過(guò)所述人頭朝向分類(lèi)操作判斷所述人頭圖像的人頭朝向類(lèi)別，所述人頭朝向類(lèi)別包括正向朝向類(lèi)別以及非正向朝向類(lèi)別；

24、人臉朝向確定模塊，用于在所述人頭朝向類(lèi)別為非正向朝向類(lèi)別時(shí)，將識(shí)別的所述人頭朝向類(lèi)別作為人臉朝向。

25、本發(fā)明提供一種電子設(shè)備，包括：

26、至少一個(gè)處理器；以及，

27、與至少一個(gè)所述處理器通信連接的存儲(chǔ)器；其中，

28、所述存儲(chǔ)器存儲(chǔ)有可被至少一個(gè)所述處理器執(zhí)行的指令，所述指令被至少一個(gè)所述處理器執(zhí)行，以使至少一個(gè)所述處理器能夠執(zhí)行如前所述的車(chē)輛人臉朝向識(shí)別方法。

29、本發(fā)明提供一種存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)存儲(chǔ)計(jì)算機(jī)指令，當(dāng)計(jì)算機(jī)執(zhí)行所述計(jì)算機(jī)指令時(shí)，用于執(zhí)行如前所述的車(chē)輛人臉朝向識(shí)別方法的所有步驟。

30、本發(fā)明提供一種車(chē)輛，包括如前所述的車(chē)輛人臉朝向識(shí)別裝置、或者如前所述的電子設(shè)備。

31、本發(fā)明通過(guò)相機(jī)拍攝人臉圖像，并對(duì)人臉圖像進(jìn)行人頭朝向分類(lèi)操作，并在人頭朝向類(lèi)別為非正向朝向類(lèi)別時(shí)，將識(shí)別的人頭朝向類(lèi)別作為人臉朝向。本發(fā)明通過(guò)圖像分類(lèi)來(lái)識(shí)別人頭朝向，由于人頭旋轉(zhuǎn)角度很大時(shí)，會(huì)被識(shí)別為非正向朝向類(lèi)別，此時(shí)將人頭朝向類(lèi)別作為人臉朝向，因此，即使人頭旋轉(zhuǎn)角度很大，也能夠通過(guò)相機(jī)識(shí)別人臉朝向，進(jìn)而為dms的分心檢測(cè)功能提供算法支持，判斷駕駛員是否朝向前方，是否分心。

技術(shù)特征：

1.一種車(chē)輛人臉朝向識(shí)別方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的車(chē)輛人臉朝向識(shí)別方法，其特征在于，所述從所述人臉圖像中識(shí)別出人頭圖像，包括：

3.根據(jù)權(quán)利要求1所述的車(chē)輛人臉朝向識(shí)別方法，其特征在于，所述對(duì)所述人頭圖像進(jìn)行人頭朝向分類(lèi)操作，通過(guò)所述人頭朝向分類(lèi)操作判斷所述人頭圖像的人頭朝向類(lèi)別，包括：

4.根據(jù)權(quán)利要求1所述的車(chē)輛人臉朝向識(shí)別方法，其特征在于，所述方法還包括：

5.根據(jù)權(quán)利要求4所述的車(chē)輛人臉朝向識(shí)別方法，其特征在于，所述從所述人臉圖像中識(shí)別出人臉關(guān)鍵點(diǎn)在圖像坐標(biāo)系中的圖像二維坐標(biāo)，包括：在從所述人臉圖像中識(shí)別出的人臉檢測(cè)框內(nèi)識(shí)別出人臉關(guān)鍵點(diǎn)在圖像坐標(biāo)系中的圖像二維坐標(biāo)。

6.根據(jù)權(quán)利要求4所述的車(chē)輛人臉朝向識(shí)別方法，其特征在于，所述根據(jù)人臉圖像中的人臉關(guān)鍵點(diǎn)在圖像坐標(biāo)系中的圖像二維坐標(biāo)，確定人臉朝向角度，包括：

7.根據(jù)權(quán)利要求6所述的車(chē)輛人臉朝向識(shí)別方法，其特征在于，所述基于相機(jī)參數(shù)，計(jì)算將人臉關(guān)鍵點(diǎn)在三維空間的世界坐標(biāo)系中的標(biāo)準(zhǔn)三維坐標(biāo)轉(zhuǎn)換為所述圖像二維坐標(biāo)的轉(zhuǎn)換關(guān)系，根據(jù)所述轉(zhuǎn)換關(guān)系，計(jì)算出人臉朝向角度，包括：

8.根據(jù)權(quán)利要求7所述的車(chē)輛人臉朝向識(shí)別方法，其特征在于，所述根據(jù)所述旋轉(zhuǎn)矩陣，計(jì)算出人臉朝向角度，包括：

9.一種車(chē)輛人臉朝向識(shí)別裝置，其特征在于，包括：

10.一種電子設(shè)備，其特征在于，包括：

11.一種存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)存儲(chǔ)計(jì)算機(jī)指令，當(dāng)計(jì)算機(jī)執(zhí)行所述計(jì)算機(jī)指令時(shí)，用于執(zhí)行如權(quán)利要求1至8任一項(xiàng)所述的車(chē)輛人臉朝向識(shí)別方法的所有步驟。

12.一種車(chē)輛，其特征在于，包括如權(quán)利要求9所述的車(chē)輛人臉朝向識(shí)別裝置、或者如權(quán)利要求10所述的電子設(shè)備。

技術(shù)總結(jié)
本發(fā)明公開(kāi)一種車(chē)輛人臉朝向識(shí)別方法、裝置、電子設(shè)備、存儲(chǔ)介質(zhì)及車(chē)輛。方法包括：獲取通過(guò)相機(jī)拍攝的人臉圖像，從所述人臉圖像中識(shí)別出人頭圖像，對(duì)所述人頭圖像進(jìn)行人頭朝向分類(lèi)操作，通過(guò)所述人頭朝向分類(lèi)操作判斷所述人頭圖像的人頭朝向類(lèi)別，所述人頭朝向類(lèi)別包括正向朝向類(lèi)別以及非正向朝向類(lèi)別；在所述人頭朝向類(lèi)別為非正向朝向類(lèi)別時(shí)，將識(shí)別的所述人頭朝向類(lèi)別作為人臉朝向。本發(fā)明通過(guò)圖像分類(lèi)來(lái)識(shí)別人頭朝向，由于人頭旋轉(zhuǎn)角度很大時(shí)，會(huì)被識(shí)別為非正向朝向類(lèi)別，此時(shí)將人頭朝向類(lèi)別作為人臉朝向，因此，即使人頭旋轉(zhuǎn)角度很大，也能夠通過(guò)相機(jī)識(shí)別人臉朝向。

技術(shù)研發(fā)人員：饒旭東
受保護(hù)的技術(shù)使用者：北京羅克維爾斯科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/19