一種基于rgb-d傳感器的機器人輔助超聲掃描系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及光電技術(shù)領(lǐng)域，是一種集計算機視覺技術(shù)、計算機輔助醫(yī)療技術(shù)、機器 人控制理論于一體的基于RGB-D傳感器的機器人輔助超聲掃描系統(tǒng)。能夠?qū)崿F(xiàn)機器人輔助 的超聲掃描操作，用于輔助醫(yī)療器械研發(fā)、血液循環(huán)、醫(yī)療影像研宄及培訓醫(yī)生。
【背景技術(shù)】
[0002] 機器人輔助診斷和治療一直是國際上醫(yī)療領(lǐng)域內(nèi)的研宄熱點，很多研宄機構(gòu)一 直致力于利用機器人技術(shù)的高準確度、高靈敏度、可規(guī)劃性及可操作性，為患者提供微創(chuàng) 和精細的診斷和治療。目前已經(jīng)有daVinci、RoboDoc等多套機器人系統(tǒng)應用于臨床中， 還有各種解決不同臨床問題的機器人處于在研發(fā)之中。超聲掃描機器人（RUS，Robots Ultrasound)是利用機器人或者機械臂、視覺伺服系統(tǒng)、空間定位設備及工作站進行機器人 輔助超聲掃描的系統(tǒng)，通過視覺伺服系統(tǒng)的定位，引導機械臂到達指定的位置執(zhí)行超聲掃 描操作。
[0003] 視覺伺服系統(tǒng)在機器人輔助超聲掃描系統(tǒng)中占據(jù)著非常重要的地位。在機器人輔 助醫(yī)療領(lǐng)域，如何正確定位機器人手臂的位置和動作、并回饋位置信息進行機器人控制及 規(guī)劃機器人路徑，是實現(xiàn)機器人輔助外科手術(shù)的關(guān)鍵。基于圖像的視覺伺服采用誤差信號 定義在圖像特征空間的方式，通過圖像采集、特征提取等一系列圖像處理方法對機械臂進 行定位、導航，進而實現(xiàn)機器人控制。
[0004] 目前，很多超聲圖像的采集仍然由醫(yī)生全程手工操作，為了準確評估病患罹患疾 病的風險和發(fā)展情況，超聲醫(yī)師需要連續(xù)工作數(shù)小時以上才能完成對患者的超聲掃描檢 查，無法滿足我國巨大的患者基數(shù)的需求。由于全面掃描的工作量比較繁重，所以超聲醫(yī)師 往往僅根據(jù)經(jīng)驗選擇掃描幾個關(guān)鍵位置來完成超聲圖像的采集及診斷工作。這種以點帶面 的做法直接導致嚴重的漏檢風險，阻礙了疾病的早期診斷。采用機器人來輔助超聲掃描主 要目的是希望通過機器人的精準操作把醫(yī)生從繁重的勞動中解放出來，把注意力集中到更 高層次的決策方面。
[0005] 目前常用的超聲機器人定位導航系統(tǒng)主要是基于光學的跟蹤系統(tǒng)，主要有NDI公 司的Polaris系統(tǒng)、Optotrack系統(tǒng)和雙目視覺系統(tǒng)等，目前的定位導航系統(tǒng)在醫(yī)療機器人 導航領(lǐng)域已經(jīng)得到廣泛應用。光學跟蹤系統(tǒng)的優(yōu)勢是精度高、定位迅速和穩(wěn)定，但是跟蹤器 與標識物之間的光學可視路徑易受術(shù)中物體的遮擋，也無法跟蹤靶目標的形貌，而且價格 曰蟲 印貝〇
[0006] 針對以上問題，本發(fā)明采用一種用戶級別的3D測量儀一一微軟公司開發(fā)的 Kinect傳感器一一作為視覺伺服系統(tǒng)，采用圖像拼接及圖像重構(gòu)等技術(shù)，實時計算超聲探 頭的3D形貌和位姿，并將當前探頭位姿信息及解算出的控制指令發(fā)給機器人，以控制及引 導機器人夾持超聲探頭到達指定位置，實現(xiàn)機器人輔助超聲掃描的目的。本發(fā)明是針對 超聲檢測特殊且緊迫的臨床需求，對人機協(xié)同操作方式的全新探索，有望大大提高病患的 檢出率，提升檢測效率，降低勞動強度，減少系統(tǒng)成本，為國民的健康護航，造福百萬患者群 體。

【發(fā)明內(nèi)容】

[0007] 針對目前超聲檢測時間長、勞動繁重等問題，提出了一種基于RGB-D傳感器的機 器人輔助超聲掃描系統(tǒng)，集合計算機視覺技術(shù)、計算機輔助醫(yī)療技術(shù)和機器人控制理論，采 用圖像拼接及圖像重構(gòu)等技術(shù)，實時計算超聲探頭的3D形貌和位姿，并將當前探頭位姿信 息及解算出的控制指令發(fā)給機器人，以控制及引導機器人夾持超聲探頭到達指定位置，實 現(xiàn)機器人輔助超聲掃描的目的。
[0008] 本發(fā)明的目的是依據(jù)以下技術(shù)方案實現(xiàn)的：一種基于RGB-D傳感器的機器人輔助 超聲掃描系統(tǒng)，它包括Kinect傳感器、機器人、超聲探頭、標示物和主機，其特征在于：以所 述的Kinect傳感器作為機器人的視覺伺服系統(tǒng)，在所述的機器人機械臂上夾持所述的超 聲探頭，在所述的超聲探頭上固定標示物，采用機器人的視覺伺服系統(tǒng)同時進行RGB彩色 圖像和點云深度圖像的采集，并將RGB彩色圖像和深度圖像傳給主機，由主機完成圖像的 3D拼接、3D重構(gòu)處理，獲得物體的3D位置信息，根據(jù)視覺伺服系統(tǒng)采集的圖像對，由主機對 固定在超聲探頭的標示物進行識別和定位，根據(jù)識別定位結(jié)果計算超聲探頭位姿，由主機 發(fā)出對機器人的控制指令，再由主機控制機器人的機械臂到達指定位置進行超聲掃描操 作。
[0009] 所述的基于RGB-D傳感器的機器人輔助超聲掃描系統(tǒng)，其特征在于：所述的超聲 探頭采用二維線性超聲探頭。
[0010] 本發(fā)明提出的基于RGB-D的機器人輔助超聲掃描系統(tǒng)，采用圖像3D拼接及圖像重 構(gòu)等技術(shù)，實時計算超聲探頭的3D形貌和位姿，并將當前探頭位姿信息及解算出的控制指 令發(fā)給機器人，以控制及引導機器人夾持超聲探頭到達指定位置，實現(xiàn)機器人輔助超聲掃 描的目的。具有結(jié)構(gòu)合理，性能可靠，自動化程度高，檢測效率高，成本低等優(yōu)點。
【附圖說明】
[0011] 圖1為基于RGB-D視覺伺服的機器人輔助超聲掃描系統(tǒng)的組成框圖；
[0012] 圖2為基于RGB-D視覺伺服的機器人輔助超聲掃描系統(tǒng)的工作流程圖；
[0013] 圖3為圖像拼接及三維重構(gòu)處理流程圖。
【具體實施方式】
[0014] 下面利用附圖和實施例對本發(fā)明作進一步說明。
[0015] 參考圖1，本發(fā)明的一種基于RGB-D傳感器的機器人輔助超聲掃描系統(tǒng)，包括 Kinect傳感器11、機器人12、超聲探頭13、標識物14和主機15。采用Kinect傳感器11進 行超聲探頭13和標識物14的RGB彩色圖像和深度圖像的采集，并將圖像信息傳給主機15， 由主機15進行諸如圖像3D拼接及圖像重構(gòu)等處理，并實時計算的超聲探頭13的3D形貌 和位姿，處理結(jié)束后，將當前探頭14位姿信息及解算出的控制指令發(fā)給機器人12,以控制 及引導機器人12夾持超聲探頭13到達指定位置，實現(xiàn)機器人輔助超聲掃描的目的。
[0016] 參考圖2,本發(fā)明的一種基于RGB-D傳感器的機器人輔助超聲掃描系統(tǒng)，整個工作 過程分為術(shù)前規(guī)劃和術(shù)中操作兩部分。術(shù)前規(guī)劃主要是采用Kinect傳感器將實時獲取的 RGB圖像和深度圖像經(jīng)過相機標定、圖像預處理、圖像分割和標識物提取等圖像處理后，將 醫(yī)生事先規(guī)劃好的預掃描3D位置傳給機器人，并結(jié)合機器人軌跡規(guī)劃確定機器人的掃描 路徑；術(shù)中操作過程需要對Kinect傳感器的坐標系與機器人坐標系進行實時的坐標配準， 并實時計算超聲探頭的3D位姿，以便對機械臂進行導航、引導，機械臂夾持超聲探頭沿著 術(shù)前規(guī)劃好的路徑進行超聲掃描，Kinect傳感器對機器人的運動位置進行視覺反饋，控制 機器人從初始位置運動到掃描點處，由視覺系統(tǒng)計算出的探頭與患者下肢表面的距離來控 制超聲探頭的擠壓深度，并保證超聲圖像的質(zhì)量及操作的安全性。
[0017] 參考圖3,本發(fā)明的一種基于RGB-D傳感器的機器人輔助超聲掃描系統(tǒng)，從Kinect 傳感器進行超聲探頭和標識物的RGB圖像和深度圖像的采集，并將圖像信息傳給主機，由 主機進行諸如圖像拼接及圖像重構(gòu)等處理，并實時計算的超聲探頭的3D形貌和位姿，其中 涉及的圖像拼接及三維重構(gòu)處理流程為：首先，從采集的RGB彩色圖像中，提取出標識物的 特征，生成彩色圖像的特征集合；其次，為了實現(xiàn)特征點云數(shù)據(jù)的自動提取，對點云圖像進 行深度分割，提取目標區(qū)域的點云數(shù)據(jù)，采用最小二乘擬合方法將目標區(qū)域點云投影到深 度圖像平面上，在深度圖像模板中提取深度圖像中的目標的特征點；然后，將深度圖像中的 特征點映射到目標區(qū)域的點云中，形成特征點云；最后，將特征點云與彩色圖像的特征點集 合進行特征配準，實現(xiàn)圖像拼接及重構(gòu)操作，并得到標識物的3D空間坐標，并根據(jù)幾幀圖 像間的標識物的空間坐標值，計算出標識物的位姿轉(zhuǎn)換矩陣，根據(jù)矩陣求得超聲探頭的當 前位姿。
[0018] 參考圖1-圖3,本發(fā)明的一種基于RGB-D傳感器的機器人輔助超聲掃描系統(tǒng)，在計 算出標識物14和超聲探頭13在Kinect傳感器11坐標系中的空間坐標及位姿，需要進行 坐標系配準，將3D位置轉(zhuǎn)換到機器人12坐標系，才能得到機器人的空間位置信息，從而實 現(xiàn)對機器人12位置的控制及機器人12定位導航。
[0019] 定義Σ R，Σ Κ，Σ Ρ，Σ Q，Σ M分別表示機器人坐標系、Kinect坐標系、超聲探頭 坐標頂端、超聲探頭底端及標示物坐標系。Tpm代表探頭與標示物坐標系之間的轉(zhuǎn)換矩陣， Tpq表示超聲探頭頂端與底端之間的轉(zhuǎn)換矩陣，T κκ表示Kinect坐標系到機器人坐標系的轉(zhuǎn) 換矩陣，Tpk表示Kinect坐標系到超聲探頭坐標系的轉(zhuǎn)換矩陣，T ?κ表示Kinect坐標系到標 示物坐標系的轉(zhuǎn)換矩陣，Tkq表示Kinect坐標系到超聲探頭底端的轉(zhuǎn)換矩陣，Tkp表示超聲 探頭坐標系到機器人坐標系的轉(zhuǎn)換矩陣。由于超聲探頭是固定在機械臂上，標識物也是唯 一固定的，因此，TPM、TpjP T ΚΡ已知的，而且是唯一確定的，T κ在設計標識物的過程中通過設 計得到，因此可以公式（1)來計算Tkk:
[0020]
【主權(quán)項】
1. 一種基于RGB-D傳感器的機器人輔助超聲掃描系統(tǒng)，它包括Kinect傳感器、機器人、 超聲探頭、標示物和主機，其特征在于：以所述的Kinect傳感器作為機器人的視覺伺服系 統(tǒng)，在所述的機器人機械臂上夾持所述的超聲探頭，在所述的超聲探頭上固定標示物，采用 機器人的視覺伺服系統(tǒng)同時進行RGB彩色圖像和點云深度圖像的采集，并將RGB彩色圖像 和深度圖像傳給主機，由主機完成圖像的3D拼接、3D重構(gòu)處理，獲得物體的3D位置信息，根 據(jù)視覺伺服系統(tǒng)采集的圖像對，由主機對固定在超聲探頭的標示物進行識別和定位，根據(jù) 識別定位結(jié)果計算超聲探頭位姿，由主機發(fā)出對機器人的控制指令，再由主機控制機器人 的機械臂到達指定位置進行超聲掃描操作。
2. 根據(jù)權(quán)利要求1所述的基于RGB-D傳感器的機器人輔助超聲掃描系統(tǒng)，其特征在于： 所述的超聲探頭采用二維線性超聲探頭。
【專利摘要】一種基于RGB-D傳感器的機器人輔助超聲掃描系統(tǒng)，包括Kinect傳感器、機器人、超聲探頭、標示物和主機，其特征是：以Kinect傳感器作為機器人的視覺伺服系統(tǒng)，在機器人機械臂上夾持超聲探頭，在超聲探頭上固定標示物，采用機器人的視覺伺服系統(tǒng)同時進行RGB彩色圖像和深度圖像的采集，并將圖像傳給主機，由主機完成圖像拼接、圖像三維重構(gòu)等處理，根據(jù)視覺伺服系統(tǒng)采集的圖像對，由主機對固定在超聲探頭的標示物進行識別和定位，根據(jù)識別定位結(jié)果計算超聲探頭位姿，再由主機發(fā)出對機器人的控制指令,控制機器人的機械臂到達指定位置進行超聲掃描操作。具有結(jié)構(gòu)合理,性能可靠,自動化程度高,檢測效率高，成本低等優(yōu)點。
【IPC分類】A61B19-00, A61B8-00
【公開號】CN104856720
【申請?zhí)枴緾N201510226888
【發(fā)明人】孟勃
【申請人】東北電力大學
【公開日】2015年8月26日
【申請日】2015年5月7日