本發(fā)明涉及bppv診療領(lǐng)域，尤其涉及一種基于人工智能的體位識(shí)別方法、裝置及系統(tǒng)。

背景技術(shù)：

1、在良性陣發(fā)性位置性眩暈(bppv)診斷過(guò)程中，觀察患者在特定動(dòng)作后特定體位眼球的運(yùn)動(dòng)情況是診斷的必要步驟。bppv的診斷和復(fù)位，包含眾多的體位動(dòng)作，每個(gè)不同的方法，會(huì)有不同的特定體位，不同的方法之間，可能特定體位會(huì)有相同的動(dòng)作，使精確識(shí)別診斷和復(fù)位方法，以及每個(gè)方法中間的詳細(xì)分支動(dòng)作，以及各分支動(dòng)作的起止點(diǎn)，成為一個(gè)復(fù)雜的問(wèn)題。

2、在實(shí)際的檢查和復(fù)位過(guò)程中，醫(yī)生多采用頭戴設(shè)備(內(nèi)置陀螺儀)或轉(zhuǎn)椅設(shè)備對(duì)患者進(jìn)行診斷和復(fù)位操作，這些設(shè)備會(huì)記錄頭部的位置，但陀螺儀和轉(zhuǎn)椅的轉(zhuǎn)軸數(shù)據(jù)，和空間的對(duì)應(yīng)關(guān)系，都有不一致性，難以直接識(shí)別出患者在診斷和復(fù)位中的具體體位信息。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述技術(shù)問(wèn)題，本發(fā)明提供一種基于人工智能的體位識(shí)別方法、體位識(shí)別裝置及系統(tǒng)。具體的，本發(fā)明的技術(shù)方案如下：

2、第一方面，本技術(shù)公開了一種基于人工智能的體位識(shí)別方法，包括：獲取bppv變位試驗(yàn)時(shí)受試者的體位數(shù)據(jù)序列；對(duì)所述體位數(shù)據(jù)序列進(jìn)行預(yù)處理，獲得待輸入的標(biāo)準(zhǔn)數(shù)據(jù)序列；將所述標(biāo)準(zhǔn)數(shù)據(jù)序列輸入至訓(xùn)練好的體位識(shí)別模型；通過(guò)所述體位識(shí)別模型進(jìn)行體位識(shí)別，識(shí)別所述體位數(shù)據(jù)序列包含的各特定體位，以及每個(gè)特定體位的起止時(shí)間點(diǎn)；其中，所述體位識(shí)別模型為基于時(shí)間序列的深度學(xué)習(xí)網(wǎng)絡(luò)模型；且所述體位識(shí)別模型采用不同類型bppv變位試驗(yàn)的測(cè)試數(shù)據(jù)樣本構(gòu)成的訓(xùn)練數(shù)據(jù)集；其中，所述訓(xùn)練數(shù)據(jù)集中的每個(gè)測(cè)試數(shù)據(jù)樣本均為帶有時(shí)間戳信息的體位數(shù)據(jù)序列，所述帶有時(shí)間戳信息的體位數(shù)據(jù)序列還標(biāo)記有體位標(biāo)簽、以及每個(gè)特定體位的起止時(shí)間點(diǎn)。

3、優(yōu)選地，所述體位數(shù)據(jù)序列包括受試者的頭部位置數(shù)據(jù)序列；所述的對(duì)所述體位數(shù)據(jù)序列進(jìn)行預(yù)處理，獲得待輸入的標(biāo)準(zhǔn)數(shù)據(jù)序列，具體包括：對(duì)所述頭部位置數(shù)據(jù)序列進(jìn)行數(shù)據(jù)轉(zhuǎn)換，獲取歐拉角數(shù)據(jù)序列；對(duì)所述歐拉角數(shù)據(jù)序列按照設(shè)置的間隔進(jìn)行等長(zhǎng)提取，獲得精簡(jiǎn)后的歐拉角數(shù)據(jù)序列；將所述精簡(jiǎn)后的歐拉角數(shù)據(jù)序列中的每個(gè)數(shù)據(jù)進(jìn)行歸一化或標(biāo)準(zhǔn)化處理，得到體位識(shí)別模型可接受格式的標(biāo)準(zhǔn)數(shù)據(jù)序列。

4、優(yōu)選地，在對(duì)所述體位數(shù)據(jù)序列進(jìn)行預(yù)處理之前還包括：對(duì)所述體位數(shù)據(jù)序列進(jìn)行變化檢測(cè)，根據(jù)檢測(cè)結(jié)果將所述體位數(shù)據(jù)序列劃分為多個(gè)體位保持時(shí)間段和多個(gè)體位變化時(shí)間段；其中，每個(gè)體位保持時(shí)間段內(nèi)的各數(shù)據(jù)點(diǎn)相等，每個(gè)體位變化數(shù)據(jù)段內(nèi)的各數(shù)據(jù)點(diǎn)不等；將所述體位數(shù)據(jù)序列中的體位保持時(shí)間段對(duì)應(yīng)的子序列分別標(biāo)記為待識(shí)別的特定體位；

5、或在對(duì)所述體位數(shù)據(jù)序列進(jìn)行預(yù)處理之后還包括：

6、對(duì)所述標(biāo)準(zhǔn)數(shù)據(jù)序列進(jìn)行變化檢測(cè)，根據(jù)檢測(cè)結(jié)果將所述標(biāo)準(zhǔn)數(shù)據(jù)序列劃分為多個(gè)體位保持時(shí)間段和多個(gè)體位變化時(shí)間段；其中，每個(gè)體位保持時(shí)間段內(nèi)的各數(shù)據(jù)點(diǎn)相同，每個(gè)體位變化數(shù)據(jù)段內(nèi)的各數(shù)據(jù)點(diǎn)不同；將所述標(biāo)準(zhǔn)數(shù)據(jù)序列中的各特定體位保持時(shí)間段對(duì)應(yīng)的子序列分別標(biāo)記為待識(shí)別的特定體位。

7、優(yōu)選地，所述體位識(shí)別模型的模型架構(gòu)包括：若干卷積神經(jīng)網(wǎng)絡(luò)、時(shí)間序列神經(jīng)網(wǎng)絡(luò)和/或注意力機(jī)制網(wǎng)絡(luò)、以及轉(zhuǎn)置輸出層；其中：所述若干卷積神經(jīng)網(wǎng)絡(luò)，用于提取輸入的體位數(shù)據(jù)序列的特征；所述時(shí)間序列神經(jīng)網(wǎng)絡(luò)和/或注意力機(jī)制網(wǎng)絡(luò)，用于在所述若干卷積神經(jīng)網(wǎng)絡(luò)提取的特征基礎(chǔ)上進(jìn)行前后時(shí)間關(guān)聯(lián)，進(jìn)一步提取所述體位數(shù)據(jù)序列的時(shí)間關(guān)聯(lián)特征；輸出層，用于輸出所述體位數(shù)據(jù)序列中每個(gè)數(shù)據(jù)點(diǎn)對(duì)應(yīng)的結(jié)構(gòu)化的體位數(shù)據(jù)。

8、進(jìn)一步優(yōu)選地，所述時(shí)間序列神經(jīng)網(wǎng)絡(luò)包括雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)、循環(huán)卷積神經(jīng)網(wǎng)絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)、門控循環(huán)單元之中的任意一種。

9、優(yōu)選地，在識(shí)別所述體位數(shù)據(jù)序列包含的各特定體位，以及每個(gè)特定體位的起止時(shí)間點(diǎn)之后，還包括：根據(jù)各特定體位的起止時(shí)間按順序排列各特定體位，獲得第一體位變化序列；基于各類型的bppv變位試驗(yàn)的體位變化參考序列，確定所述第一體位變化序列的bppv試驗(yàn)類型。

10、優(yōu)選地，所述體位識(shí)別方法還包括：通過(guò)攝像頭采集受試者在做bppv變位試驗(yàn)時(shí)體位變化的視頻數(shù)據(jù)；并在對(duì)所述體位數(shù)據(jù)序列進(jìn)行預(yù)處理，獲得待輸入的標(biāo)準(zhǔn)數(shù)據(jù)序列之后，還包括：獲取所述標(biāo)準(zhǔn)數(shù)據(jù)序列的各數(shù)據(jù)點(diǎn)的時(shí)間戳信息；并基于所述時(shí)間戳信息，從所述視頻數(shù)據(jù)中提取對(duì)應(yīng)時(shí)間點(diǎn)的視頻幀，獲得視頻幀序列；將所述視頻幀序列與所述標(biāo)準(zhǔn)數(shù)據(jù)序列進(jìn)行時(shí)間對(duì)齊；

11、所述體位識(shí)別模型的模型架構(gòu)包括：多模態(tài)輸入層，用于分別接收對(duì)齊后的所述標(biāo)準(zhǔn)數(shù)據(jù)序列、視頻幀序列并通過(guò)若干一維卷積神經(jīng)網(wǎng)絡(luò)提取所述標(biāo)準(zhǔn)數(shù)據(jù)序列的特征，以及通過(guò)若干二維卷積神經(jīng)網(wǎng)絡(luò)提取所述視頻幀序列的特征；特征融合層，用于將所述標(biāo)準(zhǔn)數(shù)據(jù)序列提取的特征向量和所述視頻幀序列中提取的特征向量進(jìn)行融合；其中，所述特征融合層采用注意力機(jī)制動(dòng)態(tài)調(diào)整所述標(biāo)準(zhǔn)數(shù)據(jù)序列和所述視頻幀序列各自的特征權(quán)重；輸出層，用于根據(jù)所述特征融合層輸出的融合特征，輸出所述體位數(shù)據(jù)序列中每個(gè)數(shù)據(jù)點(diǎn)對(duì)應(yīng)的結(jié)構(gòu)化的體位數(shù)據(jù)。

12、優(yōu)選地，所述體位識(shí)別方法還包括：通過(guò)攝像頭采集受試者在做bppv變位試驗(yàn)時(shí)體位變化的視頻數(shù)據(jù)；且，所述體位識(shí)別模型包括第一識(shí)別模型和第二識(shí)別模型；所述的將所述體位數(shù)據(jù)序列輸入至訓(xùn)練好的所述體位識(shí)別模型進(jìn)行識(shí)別，具體包括：將所述標(biāo)準(zhǔn)數(shù)據(jù)序列輸入所述第一識(shí)別模型，識(shí)別輸出所述標(biāo)準(zhǔn)數(shù)據(jù)序列中的每個(gè)數(shù)據(jù)點(diǎn)對(duì)應(yīng)的體位標(biāo)簽；以及每個(gè)特定體位的起止時(shí)間點(diǎn)；所述第一識(shí)別模型為基于時(shí)間序列的深度學(xué)習(xí)網(wǎng)絡(luò)模型；基于各特定體位，及其對(duì)應(yīng)的起止時(shí)間點(diǎn)，從體位視頻幀序列中提取關(guān)鍵視頻幀數(shù)據(jù)；其中，所述關(guān)鍵視頻幀數(shù)據(jù)帶時(shí)間戳信息；將所述關(guān)鍵視頻幀數(shù)據(jù)輸入至第二識(shí)別模型，識(shí)別輸出所述關(guān)鍵視頻幀數(shù)據(jù)的體位信息；所述第二識(shí)別模型通過(guò)大量標(biāo)注有不同特定體位的圖片樣本訓(xùn)練而來(lái)；根據(jù)所述圖像識(shí)別模型的識(shí)別結(jié)果以及所述體位識(shí)別模型的識(shí)別結(jié)果，確定所述bppv變位試驗(yàn)時(shí)包含的各特定體位及對(duì)應(yīng)的起止時(shí)間點(diǎn)。

13、第二方面，本技術(shù)還公開了一種基于人工智能的體位識(shí)別裝置，包括：一個(gè)或多個(gè)處理器；存儲(chǔ)裝置，用于存儲(chǔ)一個(gè)或多個(gè)程序；當(dāng)所述一個(gè)或多個(gè)程序被所述一個(gè)或多個(gè)處理器執(zhí)行，使得所述一個(gè)或多個(gè)處理器實(shí)現(xiàn)上述任一項(xiàng)所述的體位識(shí)別方法。

14、第三方面，本技術(shù)還公開了一種基于人工智能的體位識(shí)別系統(tǒng)，包括上述的體位識(shí)別裝置；以及：體位數(shù)據(jù)采集設(shè)備，用于采集受試者在bppv變位試驗(yàn)時(shí)的體位數(shù)據(jù)序列；所述體位識(shí)別裝置，被配置為執(zhí)行步驟：接收所述體位數(shù)據(jù)序列；對(duì)所述體位數(shù)據(jù)序列進(jìn)行預(yù)處理，獲得待輸入的標(biāo)準(zhǔn)數(shù)據(jù)序列；將所述標(biāo)準(zhǔn)數(shù)據(jù)序列輸入至訓(xùn)練好的體位識(shí)別模型；通過(guò)所述體位識(shí)別模型進(jìn)行體位識(shí)別，識(shí)別所述體位數(shù)據(jù)序列包含的各特定體位，以及每個(gè)特定體位的起止時(shí)間點(diǎn)；其中，所述體位識(shí)別模型為基于時(shí)間序列的深度學(xué)習(xí)網(wǎng)絡(luò)模型；且所述體位識(shí)別模型采用不同類型bppv變位試驗(yàn)的測(cè)試數(shù)據(jù)樣本構(gòu)成的訓(xùn)練數(shù)據(jù)集；其中，所述訓(xùn)練數(shù)據(jù)集中的每個(gè)測(cè)試數(shù)據(jù)樣本均為帶有時(shí)間戳信息的體位數(shù)據(jù)序列，所述帶有時(shí)間戳信息的體位數(shù)據(jù)序列還標(biāo)記有體位標(biāo)簽、以及每個(gè)特定體位的起止時(shí)間點(diǎn)。

15、優(yōu)選地，所述體位數(shù)據(jù)采集設(shè)備為頭戴設(shè)備，所述頭戴設(shè)備中設(shè)置有運(yùn)動(dòng)傳感器。

16、優(yōu)選地，所述體位數(shù)據(jù)采集設(shè)備為bppv轉(zhuǎn)椅，所述bppv轉(zhuǎn)椅用于根據(jù)操作者指令對(duì)受試者進(jìn)行bppv變位實(shí)驗(yàn)，并在變位試驗(yàn)過(guò)程中實(shí)時(shí)將轉(zhuǎn)椅轉(zhuǎn)動(dòng)信息傳輸給所述體位識(shí)別裝置。

17、與現(xiàn)有技術(shù)相比，本發(fā)明至少具有以下一項(xiàng)有益效果：

18、1、本技術(shù)的體位識(shí)別方案中，采用了基于時(shí)間序列的深度學(xué)習(xí)網(wǎng)絡(luò)模型--體位識(shí)別模型來(lái)進(jìn)行體位識(shí)別，從而除了提取體位數(shù)據(jù)本身特征外，還可以捕捉體位數(shù)據(jù)序列中的各體位數(shù)據(jù)的前后時(shí)間關(guān)聯(lián)特征，從而可準(zhǔn)確識(shí)別各bppv變位試驗(yàn)包含的各特定體位及其對(duì)應(yīng)的起止時(shí)間。從而為醫(yī)生進(jìn)行bppv診斷或復(fù)位時(shí)提供重要參考。

19、2、本技術(shù)的體位識(shí)別方案中，采用的輸入模型的數(shù)據(jù)是預(yù)處理后的體位數(shù)據(jù)序列，該體位數(shù)據(jù)序列并不是圖像數(shù)據(jù)或者視頻數(shù)據(jù)，其來(lái)源于非視覺傳感器，比如陀螺儀，加速度計(jì)等。該體位數(shù)據(jù)序列的數(shù)據(jù)量遠(yuǎn)小于常規(guī)的視頻數(shù)據(jù)，且在bppv診斷或復(fù)位過(guò)程中，可能涉及多個(gè)bppv變位試驗(yàn)，每個(gè)bppv試驗(yàn)中都需要在不同的特定體位下觀察眼震情況，故整個(gè)持續(xù)時(shí)間比較長(zhǎng)，若整個(gè)過(guò)程全部通過(guò)視頻進(jìn)行采集，則數(shù)據(jù)量更是驚人，且不論識(shí)別的準(zhǔn)確率怎樣，單是識(shí)別效率明顯低于本技術(shù)的方案。

20、3、采用本技術(shù)的體位識(shí)別方案識(shí)別到體位后可進(jìn)行可視化處理，在展示眼震信息時(shí)，還可同步展示基于時(shí)間維度的患者的體位變化信息，從而更有助于醫(yī)生進(jìn)行bppv診斷。對(duì)比顯示位置曲線的方式，本方案可以直觀地反映每個(gè)時(shí)刻頭部所在的具體的體位。