本發(fā)明涉及車輛相關(guān)，特別是一種車輛人臉坐標識別方法、裝置、電子設(shè)備、介質(zhì)及車輛。

背景技術(shù)：

1、在車輛的監(jiān)控系統(tǒng)，例如乘客監(jiān)測系統(tǒng)(oms，occupancy?monitoring?system)中，需要獲取人臉三維姿態(tài)，也對乘客進行臉部行為的檢測。

2、然而，通過單目相機直接獲取人臉三維姿態(tài)是比較困難。人臉三維姿態(tài)采用人臉三維坐標表示，現(xiàn)有技術(shù)有兩種方式：

3、1.通過深度獲得人臉三維坐標信息，這種方式需要深度信息，需要采用深度(timeof?flight，tof)相機進行拍攝，成本過高；

4、2.通過機器學(xué)習(xí)模型，例如，利用cnn模型預(yù)測人臉3d關(guān)鍵點，但是這種方法需要進行3d人臉標注，且需要大量的標注數(shù)據(jù)進行訓(xùn)練，需要耗費大量學(xué)習(xí)訓(xùn)練資源。

5、因此，現(xiàn)有技術(shù)在基于單目相機獲取人臉三維坐標時，缺乏不需要深度信息也不需要3d人臉標注的技術(shù)方案。

技術(shù)實現(xiàn)思路

1、基于此，有必要針對現(xiàn)有技術(shù)在基于單目相機獲取人臉三維坐標時，缺乏不需要深度信息也不需要3d人臉標注的技術(shù)方案的技術(shù)問題，提供一種車輛人臉坐標識別方法、裝置、電子設(shè)備、介質(zhì)及車輛。

2、本發(fā)明提供一種車輛人臉坐標識別方法，包括：

3、獲取通過相機拍攝的人臉圖像；

4、從所述人臉圖像中識別出人臉關(guān)鍵點在圖像坐標系中的圖像二維坐標，所述圖像坐標系為在所述人臉圖像上建立的坐標系；

5、根據(jù)相機內(nèi)參矩陣，計算將人臉關(guān)鍵點在三維空間的世界坐標系中的標準三維坐標轉(zhuǎn)換為所述圖像二維坐標的相機外參的旋轉(zhuǎn)矩陣和平移矩陣；

6、根據(jù)所述旋轉(zhuǎn)矩陣和所述平移矩陣，將人臉關(guān)鍵點在三維空間的世界坐標系中的標準三維坐標轉(zhuǎn)換為相機坐標系中的相機三維坐標。

7、進一步地，所述根據(jù)相機內(nèi)參矩陣，計算將人臉關(guān)鍵點在三維空間的世界坐標系中的標準三維坐標轉(zhuǎn)換為所述圖像二維坐標的相機外參的旋轉(zhuǎn)矩陣和平移矩陣，包括：

8、將人臉關(guān)鍵點在三維空間的世界坐標系中的標準三維坐標以及所述圖像二維坐標代入公式：s*p＝f*[r|t]p，其中s為尺度系數(shù)，f為相機內(nèi)參矩陣，p為所述圖像二維坐標，p為所述標準三維坐標，r為相機外參的旋轉(zhuǎn)矩陣，t為相機外參的平移矩陣；

9、計算所述旋轉(zhuǎn)矩陣和所述平移矩陣。

10、進一步地，所述根據(jù)所述旋轉(zhuǎn)矩陣和所述平移矩陣，將人臉關(guān)鍵點在三維空間的世界坐標系中的標準三維坐標轉(zhuǎn)換為相機坐標系中的相機三維坐標，包括：

11、根據(jù)所述旋轉(zhuǎn)矩陣和所述平移矩陣，將人臉關(guān)鍵點在三維空間的世界坐標系中的標準三維坐標轉(zhuǎn)換為相機坐標系中的相機三維坐標。

12、更進一步地，所述根據(jù)所述旋轉(zhuǎn)矩陣和所述平移矩陣，將人臉關(guān)鍵點在三維空間的世界坐標系中的標準三維坐標轉(zhuǎn)換為相機坐標系中的相機三維坐標，包括：

13、計算人臉關(guān)鍵點在相機坐標系中的相機三維坐標為：p′＝r*p+t，其中p’為所述相機三維坐標，r為所述旋轉(zhuǎn)矩陣，t為所述平移矩陣，p為所述標準三維坐標。

14、進一步地，在所述從所述人臉圖像中識別出人臉關(guān)鍵點在圖像坐標系中的圖像二維坐標之前，所述方法還包括：

15、對所述人臉圖像進行分類識別得到所述人臉圖像的識別類別，在所述識別類別為非正臉角度類型時，設(shè)置識別相機三維坐標的置信度為不可信置信度。

16、更進一步地：

17、所述對所述人臉圖像進行分類識別得到所述人臉圖像的識別類別，包括：從所述人臉圖像中識別出人頭檢測框和人臉檢測框，對所述人頭檢測框內(nèi)的圖像進行分類識別得到所述人頭檢測框內(nèi)的圖像的識別類別，所述人頭檢測框的范圍大于所述人臉檢測框的范圍；

18、所述從所述人臉圖像中識別出人臉關(guān)鍵點在圖像坐標系中的圖像二維坐標，包括：在所述人臉檢測框內(nèi)識別出人臉關(guān)鍵點在圖像坐標系中的圖像二維坐標。

19、再進一步地，所述方法還包括：

20、根據(jù)所述相機三維坐標，判斷乘客在車內(nèi)的所處區(qū)域；或者

21、從所述相機三維坐標中獲取乘客嘴唇相機三維坐標，根據(jù)所述乘客嘴唇相機三維坐標，判斷乘客是否說話；或者

22、從所述相機三維坐標中獲取乘客嘴唇相機三維坐標，根據(jù)所述乘客嘴唇相機三維坐標，判斷語音發(fā)生區(qū)域的位置。

23、本發(fā)明提供一種車輛人臉坐標識別裝置，包括：

24、圖像獲取模塊，用于獲取通過相機拍攝的人臉圖像；

25、圖像二維坐標識別模塊，用于從所述人臉圖像中識別出人臉關(guān)鍵點在圖像坐標系中的圖像二維坐標，所述圖像坐標系為在所述人臉圖像上建立的坐標系；

26、轉(zhuǎn)換計算模塊，用于根據(jù)相機內(nèi)參矩陣，計算將人臉關(guān)鍵點在三維空間的世界坐標系中的標準三維坐標轉(zhuǎn)換為所述圖像二維坐標的相機外參的旋轉(zhuǎn)矩陣和平移矩陣；

27、相機三維坐標轉(zhuǎn)換模塊，用于根據(jù)所述旋轉(zhuǎn)矩陣和所述平移矩陣，將人臉關(guān)鍵點在三維空間的世界坐標系中的標準三維坐標轉(zhuǎn)換為相機坐標系中的相機三維坐標。

28、本發(fā)明提供一種電子設(shè)備，包括：

29、至少一個處理器；以及，

30、與至少一個所述處理器通信連接的存儲器；其中，

31、所述存儲器存儲有可被至少一個所述處理器執(zhí)行的指令，所述指令被至少一個所述處理器執(zhí)行，以使至少一個所述處理器能夠執(zhí)行如前所述的車輛人臉坐標識別方法。

32、本發(fā)明提供一種存儲介質(zhì)，所述存儲介質(zhì)存儲計算機指令，當計算機執(zhí)行所述計算機指令時，用于執(zhí)行如前所述的車輛人臉坐標識別方法的所有步驟。

33、本發(fā)明提供一種車輛，包括如前所述的車輛人臉坐標識別裝置、或者如前所述的電子設(shè)備。

34、本發(fā)明通過單目相機獲取人臉圖像，從人臉圖像中識別出人臉關(guān)鍵點在圖像坐標系中的圖像二維坐標，計算將人臉關(guān)鍵點在三維空間的世界坐標系中的標準三維坐標轉(zhuǎn)換為圖像二維坐標的旋轉(zhuǎn)矩陣和平移矩陣，基于旋轉(zhuǎn)矩陣和平移矩陣，將人臉關(guān)鍵點在三維空間的世界坐標系中的標準三維坐標轉(zhuǎn)換為相機坐標系中的相機三維坐標，由于只是基于圖像二維坐標與標準三維坐標的旋轉(zhuǎn)矩陣和平移矩陣來計算相機三維坐標，圖像二維坐標中不需要包含深度信息，也不需要3d人臉標注。因此，本發(fā)明的車輛人臉坐標識別方法，無需要深度信息，也不需要3d人臉標注，能直接基于單目相機獲取的人臉圖像，得到人臉在相機坐標系上的相機三維坐標，為乘客監(jiān)測系統(tǒng)提供真實的相機三維坐標。

技術(shù)特征：

1.一種車輛人臉坐標識別方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的車輛人臉坐標識別方法，其特征在于，所述根據(jù)相機內(nèi)參矩陣，計算將人臉關(guān)鍵點在三維空間的世界坐標系中的標準三維坐標轉(zhuǎn)換為所述圖像二維坐標的相機外參的旋轉(zhuǎn)矩陣和平移矩陣，包括：

3.根據(jù)權(quán)利要求1所述的車輛人臉坐標識別方法，其特征在于，所述根據(jù)所述旋轉(zhuǎn)矩陣和所述平移矩陣，將人臉關(guān)鍵點在三維空間的世界坐標系中的標準三維坐標轉(zhuǎn)換為相機坐標系中的相機三維坐標，包括：

4.根據(jù)權(quán)利要求3所述的車輛人臉坐標識別方法，其特征在于，所述根據(jù)所述旋轉(zhuǎn)矩陣和所述平移矩陣，將人臉關(guān)鍵點在三維空間的世界坐標系中的標準三維坐標轉(zhuǎn)換為相機坐標系中的相機三維坐標，包括：

5.根據(jù)權(quán)利要求1所述的車輛人臉坐標識別方法，其特征在于，在所述從所述人臉圖像中識別出人臉關(guān)鍵點在圖像坐標系中的圖像二維坐標之前，所述方法還包括：

6.根據(jù)權(quán)利要求5所述的車輛人臉坐標識別方法，其特征在于：

7.根據(jù)權(quán)利要求1至6任一項所述的車輛人臉坐標識別方法，其特征在于，所述方法還包括：

8.一種車輛人臉坐標識別裝置，其特征在于，包括：

9.一種電子設(shè)備，其特征在于，包括：

10.一種存儲介質(zhì)，其特征在于，所述存儲介質(zhì)存儲計算機指令，當計算機執(zhí)行所述計算機指令時，用于執(zhí)行如權(quán)利要求1至7任一項所述的車輛人臉坐標識別方法的所有步驟。

11.一種車輛，其特征在于，包括如權(quán)利要求8所述的車輛人臉坐標識別裝置、或者如權(quán)利要求9所述的電子設(shè)備。

技術(shù)總結(jié)
本發(fā)明公開車輛人臉坐標識別方法、裝置、電子設(shè)備、介質(zhì)及車輛。方法包括：獲取通過相機拍攝的人臉圖像；從人臉圖像中識別出人臉關(guān)鍵點在圖像坐標系中的圖像二維坐標，圖像坐標系為在人臉圖像上建立的坐標系；基于相機參數(shù)，計算將人臉關(guān)鍵點在三維空間的世界坐標系中的標準三維坐標轉(zhuǎn)換為圖像二維坐標的旋轉(zhuǎn)矩陣和平移矩陣；根據(jù)旋轉(zhuǎn)矩陣和平移矩陣，將人臉關(guān)鍵點在三維空間的世界坐標系中的標準三維坐標轉(zhuǎn)換為相機坐標系中的相機三維坐標。本發(fā)明的車輛人臉坐標識別方法，無需要深度信息，也不需要3d人臉標注，能直接基于單目相機獲取的人臉圖像，得到人臉在相機坐標系上的相機三維坐標，為乘客監(jiān)測系統(tǒng)提供真實的相機三維坐標。

技術(shù)研發(fā)人員：饒旭東
受保護的技術(shù)使用者：北京羅克維爾斯科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/19