本發(fā)明涉及醫(yī)學信息,尤其涉及一種病灶距離測量方法和系統(tǒng)。
背景技術:
1、在經(jīng)自然腔道活檢或治療等介入手術中,內(nèi)窺鏡沿著預先設定好的路徑導航到目標病灶附近,在確認病灶的準確位置后,活檢或治療工具從內(nèi)窺鏡的工作通道進入并伸出,直至與病灶接觸或插入病灶。準確的插入對于獲得良好的診療效果至關重要。為了保證診療工具的精準插入,需要知道病灶位置、病灶大小、病灶與工具之間距離等參數(shù)的準確信息。病灶的位置用于指明工具的插入方向;病灶的大小和體積用于指明工具的作用范圍;病灶與工具之間的距離則用于指明工具插入的深度。
2、目前,針對病灶位置和大小的測量方法的研究已經(jīng)有很多,而對于病灶與工具之間距離的測量方法的研究則較少。一篇名為《機器人輔助微創(chuàng)心臟外科手術導航及視覺定位的研究》的碩士學位論文,提到利用單目視覺技術來測量病灶距內(nèi)窺鏡的縱向深度,先利用術中定位儀獲取內(nèi)窺鏡移動的距離,再通過內(nèi)窺鏡不斷地向前移動所看到的圖像來測距。此方法只能測得內(nèi)窺鏡而非工具與病灶之間的距離,而且只有在病灶處于攝像頭視野的情況下才能應用。
3、公開號為wo2015072744a1的專利“endoscope?device?including?distancemeasurement?module,?and?lesion?size?measuring?system?and?method?using?same”提出了一種內(nèi)窺鏡設備,包含距離測量模塊,用于測量內(nèi)窺鏡和體內(nèi)病變之間的距離。所述距離測量模塊包括照射單元、接收單元和計算單元,所述照射單元設置在內(nèi)窺鏡裝置一端且向病變部位照射光或超聲波,所述接收單元設置在內(nèi)窺鏡一端且接收從病變部位反射的光或超聲波,所述計算單元通過分析照射單元的照射信號和接收單元的接收信號來計算內(nèi)窺鏡裝置一端到病變部位的距離。該方案需要在內(nèi)窺鏡之外額外配置包含照射單元、接收單元和計算單元的距離測量模塊,增加了系統(tǒng)成本和復雜性,而且也只能測量內(nèi)窺鏡而非工具與病灶之間的距離。
技術實現(xiàn)思路
1、本發(fā)明的目的在于提供一種病灶距離測量方法和系統(tǒng),以解決上述背景技術中提出的問題。
2、為實現(xiàn)上述發(fā)明目的,本發(fā)明的一個方面提供一種病灶距離測量方法,包括以下步驟:
3、步驟s1,基于醫(yī)學影像獲取患者病變區(qū)域的三維模型;
4、步驟s2,將內(nèi)窺鏡導航至目標病灶處,期間利用所述內(nèi)窺鏡的攝像頭獲取實時的鏡下圖像;
5、步驟s3,利用深度估計算法,基于所述鏡下圖像生成深度點云;
6、步驟s4,將所述深度點云與所述三維模型進行匹配,獲得工具前端的位置信息,所述工具穿過所述內(nèi)窺鏡的工作通道并從所述內(nèi)窺鏡的前端伸出;
7、步驟s5,基于所述三維模型和所述工具前端的位置信息,計算得到所述目標病灶與所述工具前端之間的距離。
8、進一步地,步驟s1中,使用路徑規(guī)劃算法規(guī)劃從器械到病灶的行進路線,所述路徑規(guī)劃算法包括基于中心線提取的方法、a*算法、快速擴展隨機樹算法、基于深度學習的算法。
9、進一步地,步驟s3中采用基于深度學習的單目深度估計算法生成深度點云,所述單目深度估計算法采用編碼器-解碼器結構,其中編碼器用于提取圖像的特征,解碼器用于將特征映射回深度圖。
10、進一步地,步驟s4包括以下步驟:
11、步驟s401,將所述深度點云與所述三維模型進行匹配,得到變換矩陣;
12、步驟s402,利用工具識別模型,從所述鏡下圖像中識別出工具,獲得工具前端在所述深度點云中的第一工具坐標;
13、步驟s403,基于所述變換矩陣,將所述第一工具坐標映射到所述三維模型的坐標系中,得到所述工具前端在所述三維模型中的第二工具坐標,作為所述工具前端的位置信息。
14、進一步地,步驟s401中點云配準算法包括迭代最近點算法、正太分布變換、隨機抽樣一致算法。
15、進一步地,步驟s402中從所述鏡下圖像中采用基于深度學習的目標識別模型來識別工具,目標識別模型包括基于區(qū)域的卷積神經(jīng)網(wǎng)絡,yolo(you?only?look?once)系列模型。
16、進一步地,步驟s4包括以下步驟:
17、步驟s411,將所述深度點云與所述三維模型進行匹配,得到變換矩陣;
18、步驟s412,選定攝像頭的位置基準點,獲得所述攝像頭在所述深度點云中的鏡頭坐標;
19、步驟s413,根據(jù)工具固有尺寸參數(shù),以及工具插入內(nèi)窺鏡中固定后與攝像頭的相對位置關系,得到工具前端在所述深度點云中的第一工具坐標;
20、步驟s414,基于所述變換矩陣,將所述第一工具坐標映射到所述三維模型的坐標系中,得到所述工具前端在所述三維模型中的第二工具坐標,作為所述工具前端的位置信息。
21、進一步地,選擇攝像頭視野的中心作為攝像頭的位置基準點,在所述深度點云所在的坐標系中找到所述位置基準點并確定該點的坐標,記為所述攝像頭在所述深度點云中的鏡頭坐標,以確定工具前端與內(nèi)窺鏡乃至攝像頭之間的相對位置關系,通過內(nèi)窺鏡的尺寸結構和工具的尺寸參數(shù),確定工具前端的坐標與攝像頭的坐標之間的變換矩陣,則工具前端在所述深度點云中的第一工具坐標為,基于變換矩陣和第一工具坐標,根據(jù)公式得到所述工具前端在所述三維模型中的第二工具坐標,做為所述工具前端的位置信息。
22、進一步地,步驟s5中,假設所述目標病灶的中心點在所述三維模型中的坐標是,所述目標病灶的中心點和所述工具前端的連線與所述目標病灶的表面的交點在所述三維模型中的坐標是,所述工具前端在所述三維模型中的第二工具坐標為,如果所述工具為活檢工具,則所述目標病灶和所述工具前端之間的距離為;如果所述工具為治療工具,則所述目標病灶和所述工具前端之間的距離為。
23、本發(fā)明的另一個方面提供一種病灶距離測量系統(tǒng),包括三維模型模塊,圖像獲取模塊,深度點云模塊,圖像匹配模塊,距離計算模塊,其中,
24、三維模型模塊用于基于醫(yī)學影像獲取患者病變區(qū)域的三維模型;
25、圖像獲取模塊用于將內(nèi)窺鏡導航至目標病灶處,期間利用所述內(nèi)窺鏡的攝像頭獲取實時的鏡下圖像;
26、深度點云模塊用于利用深度估計算法,基于所述鏡下圖像生成深度點云;
27、圖像匹配模塊用于將所述深度點云與所述三維模型進行匹配,獲得工具前端的位置信息,所述工具穿過所述內(nèi)窺鏡的工作通道并從所述內(nèi)窺鏡的前端伸出;
28、距離計算模塊用于基于所述三維模型和所述工具前端的位置信息,計算得到所述目標病灶與所述工具前端之間的距離。
29、由于采用本系統(tǒng)和方法,與現(xiàn)有技術相比,具有以下優(yōu)點:
30、本發(fā)明提出一種病灶距離測量方法,能夠對病灶與工具之間的距離進行準確且實時的測量,使診療工具精準插入目標病灶中,從而有助于后續(xù)診斷或治療的順利和高效開展。與現(xiàn)有測量方法相比,本方法不僅能直接測量病灶與診療工具之間的距離,而且只需利用內(nèi)窺鏡自帶攝像頭進行針對工具的目標識別或基于固有尺寸的坐標變換,無須增加額外的測量裝置,從而避免增加成本和系統(tǒng)復雜度。