本發(fā)明涉及醫(yī)療機(jī)器人，尤其涉及一種基于超聲圖像機(jī)器人的掃查定位方法、系統(tǒng)及介質(zhì)。

背景技術(shù)：

1、在現(xiàn)有的醫(yī)療實(shí)踐中，肝臟超聲檢查是評估肝臟健康狀況的重要手段。醫(yī)師通常需要手動操作超聲探頭，根據(jù)經(jīng)驗判斷圖像質(zhì)量，并在必要時進(jìn)行圖像分割以識別腫瘤等異常區(qū)域。依賴醫(yī)師的主觀判斷，導(dǎo)致評估結(jié)果的一致性和準(zhǔn)確性受限；手動操作超聲探頭依賴于醫(yī)師的主觀判斷，難以實(shí)現(xiàn)精確的圖像分割和腫瘤區(qū)域的識別。

2、針對人工操作的不足，一些技術(shù)方案提出了采用超聲機(jī)器人來進(jìn)行超聲掃描。例如，公布號為cn118303908a的中國專利申請?zhí)峁┝艘环N基于超聲機(jī)器人的手法復(fù)現(xiàn)方法，在獲取醫(yī)師操作的執(zhí)行信息之后，經(jīng)過進(jìn)行無效信息的篩除以準(zhǔn)確地以保證醫(yī)生手法復(fù)現(xiàn)的準(zhǔn)確性，但該方案無法直接應(yīng)用于超聲機(jī)器人全自動超聲掃描。

3、再例如，公布號為cn118567230a的中國專利申請公開了一種面向超聲機(jī)器人的自適應(yīng)控制方法及系統(tǒng)，基于超聲圖像、機(jī)械臂末端的接觸力和當(dāng)前位置計算超聲圖像的置信度；并且根據(jù)置信度、接觸力和機(jī)械臂末端當(dāng)前位置進(jìn)行阻抗迭代學(xué)習(xí)以確定機(jī)械臂末端的期望位置，用以實(shí)現(xiàn)超聲機(jī)器人的自適應(yīng)控制。

4、可見，現(xiàn)有的自動化超聲圖像處理技術(shù)普遍局限于圖像質(zhì)量的初步評估，缺乏對超聲視野遮擋情況的細(xì)致分析，更沒有對腫瘤區(qū)域的精確分割和高亮提示等信息。尤其是在肝臟穿刺手術(shù)中，缺乏有效的技術(shù)手段來指導(dǎo)機(jī)器人進(jìn)行精確的探頭定位。

5、以上背景技術(shù)內(nèi)容的公開僅用于輔助理解本發(fā)明的發(fā)明構(gòu)思及技術(shù)方案，其并不必然屬于本專利申請的現(xiàn)有技術(shù)，也不必然會給出技術(shù)教導(dǎo)；在沒有明確的證據(jù)表明上述內(nèi)容在本專利申請的申請日之前已經(jīng)公開的情況下，上述背景技術(shù)不應(yīng)當(dāng)用于評價本技術(shù)的新穎性和創(chuàng)造性。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是提供一種基于超聲圖像機(jī)器人的掃查定位方法、系統(tǒng)及介質(zhì)，能夠自動、客觀且準(zhǔn)確地確定最佳超聲切面，保證超聲圖像評估的客觀性和準(zhǔn)確性。

2、為達(dá)到上述目的，本發(fā)明采用的技術(shù)方案如下：

3、一種基于超聲圖像機(jī)器人的掃查定位方法，所述方法包括以下步驟：

4、獲取待進(jìn)行超聲掃查的目標(biāo)對象的多個體表點(diǎn)的坐標(biāo)信息，并根據(jù)所述體表點(diǎn)的坐標(biāo)信息確定機(jī)械臂的掃查路徑；

5、控制所述機(jī)械臂按照所述掃查路徑移動并利用超聲探頭獲取相應(yīng)的超聲圖像；

6、利用預(yù)先構(gòu)建的分類分割模型對所述超聲圖像進(jìn)行視野分類以得到相應(yīng)的視野評價結(jié)果，以及對所述超聲圖像進(jìn)行腫瘤分割以得到相應(yīng)的腫瘤分割結(jié)果；

7、根據(jù)所述視野分類結(jié)果以及腫瘤分割結(jié)果計算所述超聲圖像的評價得分，所述評價得分與所述視野分類的優(yōu)良級別以及腫瘤占比正相關(guān)；

8、確定所述機(jī)械臂按照所述掃查路徑進(jìn)行移動得到的所有超聲圖像中評價得分最高的超聲圖像為最佳超聲圖像，并確定所述最佳超聲圖像對應(yīng)于最佳超聲切面。

9、進(jìn)一步地，承前所述的任一技術(shù)方案或多個技術(shù)方案的組合，還包括：

10、在控制所述機(jī)械臂按照所述掃查路徑移動并利用超聲探頭獲取相應(yīng)的超聲圖像時，同步記錄所述超聲圖像與所述機(jī)械臂的位姿的對應(yīng)關(guān)系，所述機(jī)械臂的位姿包括所述機(jī)械臂在所述掃查路徑上的位置坐標(biāo)以及所述機(jī)械臂的姿態(tài)；

11、根據(jù)所述超聲圖像與所述機(jī)械臂的位姿的對應(yīng)關(guān)系，確定所述最佳超聲切面對應(yīng)的所述機(jī)械臂的位姿以作為最佳得分位姿；

12、控制所述機(jī)械臂返回所述最佳得分位姿。

13、進(jìn)一步地，承前所述的任一技術(shù)方案或多個技術(shù)方案的組合，利用以下公式根據(jù)所述視野分類結(jié)果以及腫瘤分割結(jié)果計算所述評價得分：

14、s＝α·pview+β·pn

15、其中，s表示所述評價得分，pview表示所述視野分類結(jié)果，pn表示所述腫瘤分割結(jié)果，α表示所述視野分類結(jié)果的權(quán)重，β表示所述腫瘤分割結(jié)果的權(quán)重。

16、進(jìn)一步地，承前所述的任一技術(shù)方案或多個技術(shù)方案的組合，通過以下方式確定所述視野分類結(jié)果：

17、預(yù)先按照視野的優(yōu)良情況將超聲圖像劃分為多個視野等級，不同的視野等級對應(yīng)的視野優(yōu)良情況不同；

18、為每個視野等級對應(yīng)的超聲圖像賦予相應(yīng)的視野得分，視野優(yōu)的超聲圖像對應(yīng)的視野得分大于視野差的超聲圖像對應(yīng)的視野得分；

19、判斷所述超聲圖像對應(yīng)的視野等級，并根據(jù)所述超聲圖像對應(yīng)的視野等級確定所述超聲圖像對應(yīng)的視野得分。

20、進(jìn)一步地，承前所述的任一技術(shù)方案或多個技術(shù)方案的組合，還包括：

21、預(yù)先按照從優(yōu)到差的規(guī)則將超聲圖像劃分為a、b、c三個視野等級；

22、給a視野等級對應(yīng)的超聲圖像賦予視野得分為3，給b視野等級對應(yīng)的超聲圖像賦予視野得分為2，給c視野等級對應(yīng)的超聲圖像賦予視野得分為2。

23、進(jìn)一步地，承前所述的任一技術(shù)方案或多個技術(shù)方案的組合，通過以下方式確定所述視野分類結(jié)果：

24、預(yù)先確定一用于評價超聲圖像的視野評分規(guī)則，所述視野評分規(guī)則被配置為按照視野優(yōu)的超聲圖像的視野得分高于視野差的超聲圖像的視野得分確定所述超聲圖像的視野得分；

25、根據(jù)所述視野評分規(guī)則確定所述超聲圖像對應(yīng)的視野得分。

26、進(jìn)一步地，承前所述的任一技術(shù)方案或多個技術(shù)方案的組合，按照以下方式確定所述腫瘤分割結(jié)果，所述腫瘤分割結(jié)果的計算公式表達(dá)為：

27、

28、其中，pn為所述腫瘤分割結(jié)果，其表示腫瘤面積占比，ntumor表示超聲圖像中腫瘤區(qū)域?qū)?yīng)的像素總數(shù)，ntotal表示整個超聲圖像的像素總數(shù)。

29、進(jìn)一步地，承前所述的任一技術(shù)方案或多個技術(shù)方案的組合，按照以下方式確定所述腫瘤分割結(jié)果，所述腫瘤分割結(jié)果的計算公式表達(dá)為：

30、

31、其中，pn為所述腫瘤分割結(jié)果，ntumor表示超聲圖像中腫瘤區(qū)域?qū)?yīng)的像素總數(shù)，ntotal表示整個超聲圖像的像素總數(shù)，表示腫瘤面積占比，q表示超聲圖像中的腫瘤數(shù)量，γ表示腫瘤面積占比的權(quán)重，μ表示腫瘤數(shù)量的權(quán)重。

32、進(jìn)一步地，承前所述的任一技術(shù)方案或多個技術(shù)方案的組合，所述分類分割模型通過以下步驟進(jìn)行建立：

33、收集學(xué)習(xí)樣本集，所述學(xué)習(xí)樣本集中的每一個學(xué)習(xí)樣本包括超聲圖像、第一標(biāo)簽和第二標(biāo)簽，所述第一標(biāo)簽包括對所述超聲圖像進(jìn)行人工標(biāo)注的視野分類結(jié)果，所述第二標(biāo)簽包括對所述超聲圖像進(jìn)行人工標(biāo)注的腫瘤區(qū)域或腫瘤分割結(jié)果；

34、設(shè)計一基礎(chǔ)模型，所述基礎(chǔ)模型包括resnet-50模型和deeplabv3+模型，其中，所述resnet-50模型被配置為確定所述超聲圖像的視野評價結(jié)果，所述deeplabv3+模型模型被配置對所述超聲圖像進(jìn)行腫瘤分割以得到腫瘤分割結(jié)果；

35、將所述學(xué)習(xí)樣本集輸入所述基礎(chǔ)模型以對所述基礎(chǔ)模型進(jìn)行訓(xùn)練以得到訓(xùn)練后的模型并作為所述分類分割模型。

36、進(jìn)一步地，承前所述的任一技術(shù)方案或多個技術(shù)方案的組合，所述分類分割模型的建立還包括以下步驟：

37、所述學(xué)習(xí)樣本集中至少存在一個學(xué)習(xí)樣本還包括第三標(biāo)簽，所述第三標(biāo)簽被配置為最佳超聲圖像；

38、所述基礎(chǔ)模型還包括評價得分計算模塊，所述評價得分計算模塊被配置確定所述視野分類結(jié)果以及腫瘤分割結(jié)果分別對應(yīng)的權(quán)重值，并根據(jù)所述視野分類結(jié)果、腫瘤分割結(jié)果以及所述權(quán)重值計算超聲圖像的評價得分；

39、將所述學(xué)習(xí)樣本集輸入所述基礎(chǔ)模型以對所述基礎(chǔ)模型進(jìn)行以得到訓(xùn)練后的模型并作為所述分類分割模型。

40、進(jìn)一步地，承前所述的任一技術(shù)方案或多個技術(shù)方案的組合，還包括：

41、對所述目標(biāo)對象進(jìn)行ct掃描以獲得ct圖像，根據(jù)所述ct圖像獲取所述目標(biāo)對象的多個體表點(diǎn)的坐標(biāo)信息；和/或，

42、基于以下公式根據(jù)所述體表點(diǎn)的坐標(biāo)信息確定機(jī)械臂的掃查路徑：其中，pct表示所述體表點(diǎn)位置坐標(biāo)，pur表示機(jī)械臂的掃查路徑，表示體表點(diǎn)所在坐標(biāo)系到機(jī)械臂所在坐標(biāo)系的變化矩陣；和/或，

43、對所述超聲圖像進(jìn)行腫瘤分割以后并且對分割得到的腫瘤區(qū)域進(jìn)行標(biāo)記和/或顯示。

44、根據(jù)本發(fā)明的另一方面，本發(fā)明提供了一種基于超聲圖像機(jī)器人的掃查定位方法系統(tǒng)，其特征在于，根據(jù)如上任一技術(shù)方案或多個技術(shù)方案的組合所述的基于超聲圖像機(jī)器人的掃查定位方法確定所述目標(biāo)對象的最佳超聲切面。

45、根據(jù)本發(fā)明的另一方面，本發(fā)明提供了一種計算機(jī)可讀存儲介質(zhì)，用于存儲程序指令，所述程序指令被配置為調(diào)用而執(zhí)行如上任一技術(shù)方案或多個技術(shù)方案的組合所述的方法的步驟。

46、本發(fā)明提供的技術(shù)方案帶來的有益效果如下：

47、a.本發(fā)明通過預(yù)先構(gòu)建的分類分割模型，能夠?qū)崟r地對超聲圖像進(jìn)行評估和分割，根據(jù)評價得分最高的超聲圖像，能夠自動地讓超聲探頭到達(dá)最佳超聲切面，不僅提高了對超聲圖像評估的客觀性和準(zhǔn)確性，還能夠減輕了醫(yī)師的工作負(fù)擔(dān)；

48、b.本發(fā)明根據(jù)超聲圖像對應(yīng)的視野優(yōu)良情況確定其對應(yīng)的視野得分，并且結(jié)合腫瘤面積占比來確定超聲圖像的評價得分，能夠兼顧視野優(yōu)和腫瘤最大面積占比，并且在對基礎(chǔ)模型的訓(xùn)練過程中自動地確定視野分類結(jié)果的權(quán)重和腫瘤分割結(jié)果的權(quán)重匹配以最佳超聲切面，進(jìn)一步保證了超聲圖像評估的客觀性和準(zhǔn)確性；

49、c.本發(fā)明基于resnet-50模型和deeplabv3+模型構(gòu)建分類分割模型，基于訓(xùn)練后的resnet-50模型能夠準(zhǔn)確地獲取超聲圖像的視野評價結(jié)果，基于訓(xùn)練后的deeplabv3+模型能夠?qū)Τ晥D像準(zhǔn)確地分割出圖像中的腫瘤區(qū)域進(jìn)而得到準(zhǔn)確的腫瘤分割結(jié)果，因此，本發(fā)明提供的掃查定位方法能夠準(zhǔn)確地定位最佳超聲掃描切面。