本發(fā)明涉及中樞疲勞檢測(cè)，特別涉及基于深度學(xué)習(xí)的中樞疲勞檢測(cè)方法與系統(tǒng)、設(shè)備、介質(zhì)。

背景技術(shù)：

1、中樞疲勞指發(fā)生在中樞神經(jīng)系統(tǒng)內(nèi)的疲勞。長期處于中樞疲勞狀態(tài)不僅會(huì)影響人的反應(yīng)速度、決策能力和專注力，還可能導(dǎo)致交通事故、工業(yè)事故和健康問題。因此，在進(jìn)行某些重要且危險(xiǎn)系數(shù)高的作業(yè)時(shí)，提前進(jìn)行精確的中樞疲勞檢測(cè)變得尤為重要。

2、傳統(tǒng)的疲勞檢測(cè)方法大多數(shù)依賴于生理參數(shù)(如心率、腦電圖)或行為學(xué)特征(如打哈欠頻率、眼睛閉合時(shí)間等)。這些方法要么侵入性強(qiáng)，要么精度不高，且無法及時(shí)反映疲勞的變化。而眼動(dòng)、瞳孔反應(yīng)、面部表情及閃光融合頻率等生理行為信號(hào)都在疲勞檢測(cè)中具有較高的應(yīng)用潛力。尤其是結(jié)合深度學(xué)習(xí)算法，能夠有效提升多模態(tài)信號(hào)的融合與疲勞檢測(cè)的精度。

3、因此，本發(fā)明提出了一種基于深度學(xué)習(xí)的多模態(tài)疲勞檢測(cè)方法，能夠綜合分析眼動(dòng)、瞳孔反應(yīng)、面部表情和閃光融合頻率等信號(hào)，實(shí)現(xiàn)準(zhǔn)確、高效的疲勞狀態(tài)監(jiān)測(cè)。

技術(shù)實(shí)現(xiàn)思路

1、為了實(shí)現(xiàn)本發(fā)明的上述目的和其他優(yōu)點(diǎn)，本發(fā)明的第一目的是提供一種基于深度學(xué)習(xí)的中樞疲勞檢測(cè)方法，包括以下步驟：

2、獲取采集的人臉圖像，并對(duì)所述人臉圖像進(jìn)行特征提??；

3、獲取采集的閃光融合頻率數(shù)據(jù)、眼掃視數(shù)據(jù)、瞳孔對(duì)光反應(yīng)數(shù)據(jù)；

4、將人臉圖像特征提取結(jié)果與所述閃光融合頻率數(shù)據(jù)、所述眼掃視數(shù)據(jù)、所述瞳孔對(duì)光反應(yīng)數(shù)據(jù)進(jìn)行特征融合；

5、將融合后的特征作為疲勞檢測(cè)模型的輸入進(jìn)行中樞疲勞預(yù)測(cè)。

6、進(jìn)一步地，所述對(duì)所述人臉圖像進(jìn)行特征提取步驟包括：

7、通過疲勞/非疲勞二分類模型對(duì)所述人臉圖像進(jìn)行特征提取。

8、進(jìn)一步地，所述疲勞/非疲勞二分類模型利用采集的疲勞和非疲勞的人臉圖像作為訓(xùn)練數(shù)據(jù)，使用cnn網(wǎng)絡(luò)訓(xùn)練得到。

9、進(jìn)一步地，所述閃光融合頻率數(shù)據(jù)被配置為利用閃光融合測(cè)試設(shè)備通過頻率由低變高和由高變低兩種模式測(cè)試受試者眼睛對(duì)光刺激在時(shí)間上的變化的分辨能力，判定對(duì)時(shí)間的視敏度。

10、進(jìn)一步地，所述眼掃視數(shù)據(jù)被配置為通過讓受試者掃視兩顆閃爍的測(cè)試燈，以判斷眼睛移動(dòng)的距離和速度。

11、進(jìn)一步地，還包括步驟：

12、在采集受試者眼掃視數(shù)據(jù)時(shí)，通過瞳孔檢測(cè)模型實(shí)現(xiàn)瞳孔的定位，以利用瞳孔的位置信息和時(shí)間信息得到眼掃視速度。

13、進(jìn)一步地，所述瞳孔對(duì)光反應(yīng)數(shù)據(jù)被配置為在瞳孔反應(yīng)測(cè)試燈閃爍時(shí)，通過對(duì)瞳孔大小的變化以及變化的快慢來判斷受試者對(duì)光的敏感程度以及瞳孔反應(yīng)程度。

14、進(jìn)一步地，還包括步驟：

15、在受試者進(jìn)行瞳孔對(duì)光反應(yīng)測(cè)試時(shí)，利用瞳孔檢測(cè)模型進(jìn)行瞳孔定位，以計(jì)算出最大瞳孔直徑、最小瞳孔直徑、瞳孔收縮速度。

16、進(jìn)一步地，還包括瞳孔檢測(cè)模型訓(xùn)練步驟：

17、獲取采集的瞳孔圖像并進(jìn)行瞳孔的標(biāo)注；

18、將瞳孔圖像和瞳孔的標(biāo)注信息作為訓(xùn)練數(shù)據(jù)，使用yolo深度學(xué)習(xí)檢測(cè)框架訓(xùn)練瞳孔檢測(cè)模型。

19、進(jìn)一步地，所述疲勞檢測(cè)模型將閃光融合頻率數(shù)據(jù)、眼掃視數(shù)據(jù)、瞳孔對(duì)光反應(yīng)數(shù)據(jù)作為輸入數(shù)據(jù)，并將其與所述疲勞/非疲勞二分類模型對(duì)人臉圖像進(jìn)行特征提取的結(jié)果進(jìn)行特征融合，利用隨機(jī)森林進(jìn)行訓(xùn)練得到。

20、進(jìn)一步地，還包括步驟：

21、獲取采集的受試者非疲勞狀態(tài)下的多組數(shù)據(jù)；

22、計(jì)算每個(gè)受試者的非疲勞狀態(tài)下的多組數(shù)據(jù)的均值，進(jìn)行入庫；

23、在進(jìn)行疲勞檢測(cè)的判斷時(shí)，將所述均值作為基礎(chǔ)值，以提高判斷的準(zhǔn)確性。

24、本發(fā)明的第二目的是提供一種基于深度學(xué)習(xí)的中樞疲勞檢測(cè)系統(tǒng)，實(shí)現(xiàn)上述的方法，包括圖像采集設(shè)備、閃光融合測(cè)試設(shè)備、眼掃視測(cè)試設(shè)備、瞳孔反應(yīng)測(cè)試設(shè)備、控制器；其中，

25、所述圖像采集設(shè)備用于采集人臉圖像；

26、所述閃光融合測(cè)試設(shè)備用于通過頻率由低變高和由高變低兩種模式測(cè)試受試者眼睛對(duì)光刺激在時(shí)間上的變化的分辨能力，以判定對(duì)時(shí)間的視敏度，得到閃光融合頻率數(shù)據(jù)；

27、所述眼掃視測(cè)試設(shè)備用于通過閃爍測(cè)試受試者掃視時(shí)眼睛移動(dòng)的距離和速度，得到眼掃視數(shù)據(jù)；

28、所述瞳孔反應(yīng)測(cè)試設(shè)備用于通過閃爍測(cè)試受試者的瞳孔大小的變化以及變化的快慢，得到瞳孔對(duì)光反應(yīng)數(shù)據(jù)；

29、所述控制器用于通過所述人臉圖像、閃光融合頻率數(shù)據(jù)、眼掃視數(shù)據(jù)、瞳孔對(duì)光反應(yīng)數(shù)據(jù)實(shí)現(xiàn)中樞疲勞檢測(cè)的判斷。

30、本發(fā)明的第三目的是提供一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述方法的步驟。

31、本發(fā)明的第四目的是提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述方法的步驟。

32、與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例的有益效果是：

33、本發(fā)明提供基于深度學(xué)習(xí)的中樞疲勞檢測(cè)方法與系統(tǒng)、設(shè)備、介質(zhì)，利用閃光融合頻率、眼掃視信息、瞳孔對(duì)光反應(yīng)信息等生理行為，采用將閃光融合頻率、眼掃視信息、瞳孔對(duì)光反應(yīng)信息等多特征融合的分類方法，能夠有效提升多模態(tài)信號(hào)的融合與疲勞檢測(cè)的精度、準(zhǔn)確度，實(shí)現(xiàn)準(zhǔn)確、高效的疲勞狀態(tài)檢測(cè)，并實(shí)現(xiàn)了個(gè)性化的判別。

34、上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，并可依照說明書的內(nèi)容予以實(shí)施，以下以本發(fā)明的較佳實(shí)施例并配合附圖詳細(xì)說明如后。本發(fā)明的具體實(shí)施方式由以下實(shí)施例及其附圖詳細(xì)給出。

技術(shù)特征：

1.一種基于深度學(xué)習(xí)的中樞疲勞檢測(cè)方法，其特征在于，包括以下步驟：

2.如權(quán)利要求1所述的一種基于深度學(xué)習(xí)的中樞疲勞檢測(cè)方法，其特征在于，所述對(duì)所述人臉圖像進(jìn)行特征提取步驟包括：

3.如權(quán)利要求2所述的一種基于深度學(xué)習(xí)的中樞疲勞檢測(cè)方法，其特征在于：所述疲勞/非疲勞二分類模型利用采集的疲勞和非疲勞的人臉圖像作為訓(xùn)練數(shù)據(jù)，使用cnn網(wǎng)絡(luò)訓(xùn)練得到。

4.如權(quán)利要求1所述的一種基于深度學(xué)習(xí)的中樞疲勞檢測(cè)方法，其特征在于：所述閃光融合頻率數(shù)據(jù)被配置為利用閃光融合測(cè)試設(shè)備通過頻率由低變高和由高變低兩種模式測(cè)試受試者眼睛對(duì)光刺激在時(shí)間上的變化的分辨能力，判定對(duì)時(shí)間的視敏度。

5.如權(quán)利要求1所述的一種基于深度學(xué)習(xí)的中樞疲勞檢測(cè)方法，其特征在于：所述眼掃視數(shù)據(jù)被配置為通過讓受試者掃視兩顆閃爍的測(cè)試燈，以判斷眼睛移動(dòng)的距離和速度。

6.如權(quán)利要求5所述的一種基于深度學(xué)習(xí)的中樞疲勞檢測(cè)方法，其特征在于，還包括步驟：

7.如權(quán)利要求1所述的一種基于深度學(xué)習(xí)的中樞疲勞檢測(cè)方法，其特征在于：所述瞳孔對(duì)光反應(yīng)數(shù)據(jù)被配置為在瞳孔反應(yīng)測(cè)試燈閃爍時(shí)，通過對(duì)瞳孔大小的變化以及變化的快慢來判斷受試者對(duì)光的敏感程度以及瞳孔反應(yīng)程度。

8.如權(quán)利要求7所述的一種基于深度學(xué)習(xí)的中樞疲勞檢測(cè)方法，其特征在于，還包括步驟：

9.如權(quán)利要求6或7所述的一種基于深度學(xué)習(xí)的中樞疲勞檢測(cè)方法，其特征在于，還包括瞳孔檢測(cè)模型訓(xùn)練步驟：

10.如權(quán)利要求2所述的一種基于深度學(xué)習(xí)的中樞疲勞檢測(cè)方法，其特征在于：所述疲勞檢測(cè)模型將閃光融合頻率數(shù)據(jù)、眼掃視數(shù)據(jù)、瞳孔對(duì)光反應(yīng)數(shù)據(jù)作為輸入數(shù)據(jù)，并將其與所述疲勞/非疲勞二分類模型對(duì)人臉圖像進(jìn)行特征提取的結(jié)果進(jìn)行特征融合，利用隨機(jī)森林進(jìn)行訓(xùn)練得到。

11.如權(quán)利要求1所述的一種基于深度學(xué)習(xí)的中樞疲勞檢測(cè)方法，其特征在于，還包括步驟：

12.一種基于深度學(xué)習(xí)的中樞疲勞檢測(cè)系統(tǒng)，實(shí)現(xiàn)如權(quán)利要求1～11任一項(xiàng)所述的方法，其特征在于：包括圖像采集設(shè)備、閃光融合測(cè)試設(shè)備、眼掃視測(cè)試設(shè)備、瞳孔反應(yīng)測(cè)試設(shè)備、控制器；其中，

13.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1～11任一項(xiàng)所述方法的步驟。

14.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1～11任一項(xiàng)所述方法的步驟。

技術(shù)總結(jié)
本發(fā)明提供基于深度學(xué)習(xí)的中樞疲勞檢測(cè)方法與系統(tǒng)、設(shè)備、介質(zhì)，該方法包括以下步驟：獲取采集的人臉圖像，并對(duì)人臉圖像進(jìn)行特征提取；獲取采集的閃光融合頻率數(shù)據(jù)、眼掃視數(shù)據(jù)、瞳孔對(duì)光反應(yīng)數(shù)據(jù)；將人臉圖像特征提取結(jié)果與閃光融合頻率數(shù)據(jù)、眼掃視數(shù)據(jù)、瞳孔對(duì)光反應(yīng)數(shù)據(jù)進(jìn)行特征融合；將融合后的特征作為疲勞檢測(cè)模型的輸入，結(jié)合個(gè)人信息進(jìn)行比對(duì)，實(shí)現(xiàn)中樞疲勞檢測(cè)的判斷。本發(fā)明利用閃光融合頻率、眼掃視信息、瞳孔對(duì)光反應(yīng)信息等生理行為，采用將閃光融合頻率、眼掃視信息、瞳孔對(duì)光反應(yīng)信息等多特征融合的分類方法，能夠有效提升多模態(tài)信號(hào)的融合與疲勞檢測(cè)的精度、準(zhǔn)確度，實(shí)現(xiàn)準(zhǔn)確、高效的疲勞狀態(tài)檢測(cè)，并實(shí)現(xiàn)了個(gè)性化的判別。

技術(shù)研發(fā)人員：楊志暉,葛華,趙安東,吳峰,齊秀梅,袁海龍,詹皓
受保護(hù)的技術(shù)使用者：中國人民解放軍空軍特色醫(yī)學(xué)中心
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15