本發(fā)明涉及智能汽車，尤其涉及一種自動(dòng)駕駛車輛人機(jī)交互控制方法、裝置、電子設(shè)備及介質(zhì)。

背景技術(shù)：

1、隨著自動(dòng)駕駛行業(yè)發(fā)展，自動(dòng)駕駛技術(shù)越來(lái)成熟，越來(lái)智能。在與乘客信息交互方面，多是增加大顯示屏來(lái)展示車輛相關(guān)信息，感知信息、車輛數(shù)據(jù)等。也有一些進(jìn)行語(yǔ)音提示的，但這些語(yǔ)音提示多為固定條件觸發(fā)，不夠靈活、智能。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例的主要目的在于提出一種自動(dòng)駕駛車輛人機(jī)交互控制方法、裝置、電子設(shè)備及介質(zhì)，提高了自動(dòng)駕駛的智能性，降低了駕駛?cè)藛T的接管疲勞。

2、本發(fā)明的一方面提供了一種自動(dòng)駕駛車輛人機(jī)交互控制方法，包括：

3、根據(jù)人機(jī)交互控制請(qǐng)求，獲取駕駛?cè)藛T的行為數(shù)據(jù)，所述行為數(shù)據(jù)包括語(yǔ)音數(shù)據(jù)和動(dòng)作數(shù)據(jù)中的一種；

4、對(duì)所述行為數(shù)據(jù)進(jìn)行識(shí)別，確定所述駕駛?cè)藛T的行為意圖，所述行為意圖包括語(yǔ)音行為意圖和動(dòng)作行為意圖中的至少一種；

5、根據(jù)所述行為意圖及車輛環(huán)境感知結(jié)果確定自動(dòng)駕駛車輛的規(guī)劃決策，根據(jù)所述規(guī)劃決策對(duì)自動(dòng)駕駛車輛執(zhí)行控制處理。

6、根據(jù)所述的自動(dòng)駕駛車輛人機(jī)交互控制方法，其中根據(jù)人機(jī)交互控制請(qǐng)求，獲取駕駛?cè)藛T的行為數(shù)據(jù)，包括：

7、通過(guò)聲音采集裝置對(duì)駕駛?cè)藛T的語(yǔ)音信息進(jìn)行實(shí)時(shí)采集，得到第一采集數(shù)據(jù)，以及，采用圖像采集裝置對(duì)駕駛?cè)藛T的動(dòng)作圖像進(jìn)行實(shí)時(shí)采集，得到第二采集數(shù)據(jù)；

8、對(duì)所述第一采集數(shù)據(jù)采用語(yǔ)音識(shí)別模型進(jìn)行識(shí)別，得到所述語(yǔ)音數(shù)據(jù)，以及，對(duì)所述第二采集數(shù)據(jù)采用圖像檢測(cè)模型進(jìn)行識(shí)別，得到所述動(dòng)作數(shù)據(jù)。

9、根據(jù)所述的自動(dòng)駕駛車輛人機(jī)交互控制方法，其中對(duì)所述行為數(shù)據(jù)進(jìn)行識(shí)別，確定所述駕駛?cè)藛T的行為意圖，包括：

10、對(duì)所述語(yǔ)音數(shù)據(jù)中的語(yǔ)音文本與預(yù)設(shè)語(yǔ)音列表進(jìn)行對(duì)比，得到所述語(yǔ)音行為意圖；

11、對(duì)所述動(dòng)作數(shù)據(jù)中的人類動(dòng)作與預(yù)設(shè)行為列表進(jìn)行對(duì)比，得到所述動(dòng)作行為意圖，所述動(dòng)作行為意圖用于表征駕駛?cè)藛T的動(dòng)作方向；

12、通過(guò)所述語(yǔ)音行為意圖及所述動(dòng)作行為意圖中的至少一種得到所述行為意圖。

13、根據(jù)所述的自動(dòng)駕駛車輛人機(jī)交互控制方法，其中所述語(yǔ)音行為意圖表示對(duì)自動(dòng)駕駛車輛的駕駛控制意圖，所述動(dòng)作行為意圖表示對(duì)車輛周圍環(huán)境的檢測(cè)識(shí)別動(dòng)作。

14、根據(jù)所述的自動(dòng)駕駛車輛人機(jī)交互控制方法，其中方法還包括：

15、對(duì)所述動(dòng)作行為意圖的動(dòng)作方向的車輛和環(huán)境進(jìn)行檢測(cè)，其中車輛和環(huán)境通過(guò)采集自動(dòng)駕駛車輛兩側(cè)的環(huán)境圖像和地理位置信息；

16、根據(jù)對(duì)環(huán)境圖像進(jìn)行識(shí)別后得到的環(huán)境圖像，以及，根據(jù)地理位置信息從第三方平臺(tái)獲取環(huán)境圖像的介紹文本，并對(duì)介紹文本進(jìn)行分類和語(yǔ)音播報(bào)。

17、根據(jù)所述的自動(dòng)駕駛車輛人機(jī)交互控制方法，其中根據(jù)所述行為意圖及車輛環(huán)境感知結(jié)果確定自動(dòng)駕駛車輛的規(guī)劃決策，根據(jù)所述規(guī)劃決策對(duì)自動(dòng)駕駛車輛執(zhí)行控制處理，包括：

18、對(duì)自動(dòng)駕駛車輛的當(dāng)前行駛道路、車輛位置、車速及車輛間距進(jìn)行檢測(cè)，得到車輛環(huán)境感知結(jié)果；

19、根據(jù)所述車輛環(huán)境感知結(jié)果對(duì)所述行為意圖基于安全駕駛規(guī)則進(jìn)行檢測(cè)，若行為意圖符合安全駕駛規(guī)則，則確定自動(dòng)駕駛車輛的規(guī)劃決策，若不符合，則進(jìn)行提示，并保持當(dāng)前自動(dòng)駕駛；

20、將所述規(guī)劃決策發(fā)送至車輛決策系統(tǒng)，以使車輛決策系統(tǒng)完成所述規(guī)劃決策的控制處理。

21、根據(jù)所述的自動(dòng)駕駛車輛人機(jī)交互控制方法，其中方法還包括：

22、采用can數(shù)據(jù)或網(wǎng)絡(luò)數(shù)據(jù)中的一種將所述規(guī)劃決策發(fā)送至車輛決策系統(tǒng)，并獲取車輛決策系統(tǒng)的執(zhí)行結(jié)果轉(zhuǎn)換成語(yǔ)音信息進(jìn)行提示和介紹。

23、本發(fā)明實(shí)施例的另一方面提供了一種自動(dòng)駕駛車輛人機(jī)交互控制裝置，包括：

24、第一模塊，用于根據(jù)人機(jī)交互控制請(qǐng)求，獲取駕駛?cè)藛T的行為數(shù)據(jù)，所述行為數(shù)據(jù)包括語(yǔ)音數(shù)據(jù)和動(dòng)作數(shù)據(jù)中的一種；

25、第二模塊，用于對(duì)所述行為數(shù)據(jù)進(jìn)行識(shí)別，確定所述駕駛?cè)藛T的行為意圖，所述行為意圖包括語(yǔ)音行為意圖和動(dòng)作行為意圖中的至少一種；

26、第三模塊，用于根據(jù)所述行為意圖及車輛環(huán)境感知結(jié)果確定自動(dòng)駕駛車輛的規(guī)劃決策，根據(jù)所述規(guī)劃決策對(duì)自動(dòng)駕駛車輛執(zhí)行控制處理。

27、本發(fā)明實(shí)施例的另一方面提供了一種電子設(shè)備，包括處理器以及存儲(chǔ)器；

28、所述存儲(chǔ)器用于存儲(chǔ)程序；

29、所述處理器執(zhí)行所述程序?qū)崿F(xiàn)如前文所描述的方法。

30、本發(fā)明實(shí)施例還公開(kāi)了一種計(jì)算機(jī)程序產(chǎn)品或計(jì)算機(jī)程序，該計(jì)算機(jī)程序產(chǎn)品或計(jì)算機(jī)程序包括計(jì)算機(jī)指令，該計(jì)算機(jī)指令存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中。計(jì)算機(jī)設(shè)備的處理器可以從計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)讀取該計(jì)算機(jī)指令，處理器執(zhí)行該計(jì)算機(jī)指令，使得該計(jì)算機(jī)設(shè)備執(zhí)行前文所描述的方法。

31、本發(fā)明的有益效果為：通過(guò)將駕駛?cè)藛T的語(yǔ)音進(jìn)行識(shí)別后轉(zhuǎn)換成車輛行駛的控制指令，如車輛向左換道、停車、進(jìn)站臺(tái)等，實(shí)現(xiàn)語(yǔ)音方式的人機(jī)共駕，減少安全員的接管疲勞；通過(guò)對(duì)駕駛?cè)藛T的面容、行為進(jìn)行識(shí)別，進(jìn)行指向性感知探索，并結(jié)合互聯(lián)網(wǎng)信息進(jìn)行主動(dòng)語(yǔ)音介紹，提高車輛智能性。

技術(shù)特征：

1.一種自動(dòng)駕駛車輛人機(jī)交互控制方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的自動(dòng)駕駛車輛人機(jī)交互控制方法，其特征在于，所述根據(jù)人機(jī)交互控制請(qǐng)求，獲取駕駛?cè)藛T的行為數(shù)據(jù)，包括：

3.根據(jù)權(quán)利要求1所述的自動(dòng)駕駛車輛人機(jī)交互控制方法，其特征在于，所述對(duì)所述行為數(shù)據(jù)進(jìn)行識(shí)別，確定所述駕駛?cè)藛T的行為意圖，包括：

4.根據(jù)權(quán)利要求3所述的自動(dòng)駕駛車輛人機(jī)交互控制方法，其特征在于，所述語(yǔ)音行為意圖表示對(duì)自動(dòng)駕駛車輛的駕駛控制意圖，所述動(dòng)作行為意圖表示對(duì)車輛周圍環(huán)境的檢測(cè)識(shí)別動(dòng)作。

5.根據(jù)權(quán)利要求3所述的自動(dòng)駕駛車輛人機(jī)交互控制方法，其特征在于，所述方法還包括：

6.根據(jù)權(quán)利要求1所述的自動(dòng)駕駛車輛人機(jī)交互控制方法，其特征在于，所述根據(jù)所述行為意圖及車輛環(huán)境感知結(jié)果確定自動(dòng)駕駛車輛的規(guī)劃決策，根據(jù)所述規(guī)劃決策對(duì)自動(dòng)駕駛車輛執(zhí)行控制處理，包括：

7.根據(jù)權(quán)利要求6所述的自動(dòng)駕駛車輛人機(jī)交互控制方法，其特征在于，所述方法還包括：

8.一種自動(dòng)駕駛車輛人機(jī)交互控制裝置，其特征在于，包括：

9.一種電子設(shè)備，其特征在于，包括處理器以及存儲(chǔ)器；

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)存儲(chǔ)有程序，所述程序被處理器執(zhí)行實(shí)現(xiàn)如權(quán)利要求1-7中任一項(xiàng)所述的自動(dòng)駕駛車輛人機(jī)交互控制方法。

技術(shù)總結(jié)
本發(fā)明提供一種自動(dòng)駕駛車輛人機(jī)交互控制方法、裝置、電子設(shè)備及介質(zhì)，該自動(dòng)駕駛車輛人機(jī)交互控制方法包括：根據(jù)人機(jī)交互控制請(qǐng)求，獲取駕駛?cè)藛T的行為數(shù)據(jù)；對(duì)行為數(shù)據(jù)進(jìn)行識(shí)別，確定駕駛?cè)藛T的行為意圖；根據(jù)行為意圖及車輛環(huán)境感知結(jié)果確定自動(dòng)駕駛車輛的規(guī)劃決策，根據(jù)規(guī)劃決策對(duì)自動(dòng)駕駛車輛執(zhí)行控制處理。本發(fā)明的有益效果為：通過(guò)將駕駛?cè)藛T的語(yǔ)音進(jìn)行識(shí)別后轉(zhuǎn)換成車輛行駛的控制指令，如車輛向左換道、停車、進(jìn)站臺(tái)等，實(shí)現(xiàn)語(yǔ)音方式的人機(jī)共駕，減少安全員的接管疲勞；通過(guò)對(duì)駕駛?cè)藛T的面容、行為進(jìn)行識(shí)別，進(jìn)行指向性感知探索，并結(jié)合互聯(lián)網(wǎng)信息進(jìn)行主動(dòng)語(yǔ)音介紹，提高車輛智能性。

技術(shù)研發(fā)人員：張勇,許星偉,朱田,彭之川,周艷輝,劉修揚(yáng),陳顏寧,李雙林,黃碩,王宇
受保護(hù)的技術(shù)使用者：長(zhǎng)沙中車智馭新能源科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15