專利名稱：內(nèi)窺鏡圖像處理裝置以及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及內(nèi)窺鏡圖像處理裝置以及程序等。
背景技術(shù)：
近年來，廣泛應(yīng)用了如下這樣的內(nèi)窺鏡圖像處理裝置，可將細(xì)長的插入部插入體腔內(nèi)，將設(shè)置到插入部的前端部的固體攝像元件等用于攝像單元并通過監(jiān)視器畫面觀察、檢查或診斷體腔內(nèi)臟器等。另外，在最近的內(nèi)窺鏡圖像處理裝直中，隨著聞畫質(zhì)化、固體攝像兀件((XD等)的高像素化以及既保持與通常內(nèi)窺鏡同等的外徑和操作性又具有放大觀察(縮放)功能的放大內(nèi)窺鏡的出現(xiàn)和普及，而能夠觀察到粘膜表面的極細(xì)微的毛細(xì)血管或胃、大腸的腺管開口分型(pit pattern)。因此,能夠獲得對U m級別的極細(xì)微構(gòu)造的觀察結(jié)果,并能夠應(yīng)用到病變種類或癌的深度診斷等。具體地說，已知有大腸的腺管開口分型的觀察或食道的粘膜內(nèi)細(xì)微血管觀察即IPCL (上皮乳頭內(nèi)血管)。另一方 面，采用這些內(nèi)窺鏡圖像處理裝置的最終診斷大多要依賴于醫(yī)師的主觀判斷，從而希望實(shí)現(xiàn)能直接結(jié)合客觀的數(shù)據(jù)診斷的內(nèi)窺鏡圖像處理裝置。例如，在專利文獻(xiàn)I所述的內(nèi)窺鏡圖像處理裝置中，采用基于圖像內(nèi)的粘膜細(xì)微構(gòu)造成分的相互關(guān)系的排列特征量來進(jìn)行客觀的診斷輔助?，F(xiàn)有技術(shù)文獻(xiàn)專利文獻(xiàn)專利文獻(xiàn)1:日本特開2006 — 141734號公報

發(fā)明內(nèi)容
發(fā)明所要解決的課題但是，專利文獻(xiàn)I中診斷輔助僅停留在粘膜細(xì)微構(gòu)造的排列評價，拿到評價結(jié)果后怎樣進(jìn)行處置大多還是要依據(jù)醫(yī)師的主觀以及經(jīng)驗(yàn)。另外，當(dāng)放大觀察后醫(yī)師決定進(jìn)行處置時，需要根據(jù)放大觀察時的記憶使放大觀察圖像中的處置范圍與實(shí)際進(jìn)行處置的通常觀察圖像相對應(yīng)，從而處置的正確性或處置所需的時間非常受醫(yī)師的能力影響。根據(jù)本發(fā)明的幾個方式，可提供能夠基于圖像處理后的內(nèi)窺鏡圖像的評價結(jié)果進(jìn)行高效處置的內(nèi)窺鏡圖像處理裝置以及程序等。另外，根據(jù)本發(fā)明的幾個方式，可提供能夠使放大觀察圖像中的關(guān)注區(qū)域的邊界與實(shí)際進(jìn)行處置的圖像即通常觀察圖像相對應(yīng)的內(nèi)窺鏡圖像處理裝置以及程序等。用于解決課題的手段本發(fā)明的一個方式涉及內(nèi)窺鏡圖像處理裝置，其特征是包含:圖像取得部，其取得包含被攝體像的圖像作為通常觀察圖像，取得使作為上述通常觀察圖像內(nèi)的一部分的觀察區(qū)域內(nèi)的被攝體像放大后的圖像作為放大觀察圖像；關(guān)注區(qū)域確定部，其在上述放大觀察圖像上確定應(yīng)該關(guān)注的區(qū)域即關(guān)注區(qū)域；以及邊界設(shè)定部，其根據(jù)上述放大觀察圖像內(nèi)的像素值，檢測與所確定的上述放大觀察圖像上的關(guān)注區(qū)域的邊界對應(yīng)的上述通常觀察圖像上的邊界的位置，并在檢測到的上述通常觀察圖像上的邊界的位置設(shè)定表示是上述關(guān)注區(qū)域的邊界的邊界圖像。在本發(fā)明的一個方式中，取得放大觀察圖像和通常觀察圖像，并根據(jù)放大觀察圖像來確定關(guān)注區(qū)域，然后在與放大觀察圖像的關(guān)注區(qū)域的邊界對應(yīng)的通常觀察圖像上的邊界的位置處設(shè)定邊界圖像。由此，能夠使在放大觀察圖像上獲得的信息與通常觀察圖像相對應(yīng)等。本發(fā)明的其它方式涉及種程序，其特征是使計算機(jī)作為如下的部件發(fā)揮功能:圖像取得部，其取得包含被攝體像的圖像作為通常觀察圖像，取得使作為上述通常觀察圖像內(nèi)的一部分的觀察區(qū)域內(nèi)的被攝體像放大后的圖像作為放大觀察圖像；關(guān)注區(qū)域確定部，其在上述放大觀察圖像上確定應(yīng)該關(guān)注的區(qū)域即關(guān)注區(qū)域；以及邊界設(shè)定部，其根據(jù)上述放大觀察圖像內(nèi)的像素值，檢測與所確定的上述放大觀察圖像上的關(guān)注區(qū)域的邊界對應(yīng)的上述通常觀察圖像上的邊界的位置，并在檢測到的上述通常觀察圖像上的邊界的位置設(shè)定表示是上述關(guān)注區(qū)域的邊界的邊界圖像。


圖1是本實(shí)施方式的系統(tǒng)結(jié)構(gòu)例。圖2是說明通常觀察圖像和放大觀察圖像的按時序的取得例的圖。圖3是關(guān)注區(qū)域確定部的結(jié)構(gòu)例。圖4是放大觀察時關(guān)注區(qū)域檢測部的結(jié)構(gòu)例。圖5是圖像分割部的塊分割的例子。
·
圖6是邊界設(shè)定部的結(jié)構(gòu)例。圖7 (A) 圖7 (C)是在通常觀察時關(guān)注區(qū)域的邊界上設(shè)定控制點(diǎn)并求出關(guān)注區(qū)域邊界候選的方法的說明圖。圖8 (A) 圖8 (D)是說明根據(jù)放大觀察的結(jié)果來更新通常觀察圖像上的邊界圖像的例子的圖。圖9是觀察方向設(shè)定部的結(jié)構(gòu)例。圖10是觀察候選區(qū)域的設(shè)定例。圖11是說明沒有完成放大觀察的觀察候選區(qū)域的圖。圖12是觀察優(yōu)先級和觀察方向信息的例子。圖13是說明通常觀察圖像與放大觀察圖像的對應(yīng)的圖。圖14是觀察區(qū)域位置的信息的數(shù)據(jù)結(jié)構(gòu)的例子。圖15是說明在第I時刻與第2時刻之間不取得放大觀察圖像時的邊界的移動方法的圖。圖16是說明在第I時刻與第2時刻之間取得放大觀察圖像時的邊界的移動方法的圖。圖17是關(guān)注區(qū)域確定部的其它結(jié)構(gòu)例。圖18是放大觀察時的由用戶進(jìn)行的關(guān)注區(qū)域以及非關(guān)注區(qū)域的輸入例。
圖19 (A)、圖19 (B)是通常觀察時的由用戶進(jìn)行的關(guān)注區(qū)域的輸入例。
具體實(shí)施例方式下面對本實(shí)施方式進(jìn)行說明。另外，以下說明的本實(shí)施方式并不對權(quán)利要求書中記載的本發(fā)明的內(nèi)容進(jìn)行不恰當(dāng)?shù)南薅?。另外，本?shí)施方式所說明的所有結(jié)構(gòu)并非都是本發(fā)明所必須的構(gòu)成要件。1.本實(shí)施方式的方法首先，說明本實(shí)施方式的方法。本實(shí)施方式中的內(nèi)窺鏡圖像處理裝置如后所述包含具有可變更光學(xué)系統(tǒng)放大率的放大功能的物鏡230。由此，可進(jìn)行基于通常倍率的觀察模式即通常觀察模式和比通常觀察倍率高的觀察模式即放大觀察模式這兩種模式的觀察。在通常觀察模式中取得通常觀察圖像，在放大觀察模式中取得放大觀察圖像。用戶(醫(yī)生)采用通常觀察圖像進(jìn)行寬范圍的粗略觀察或病變部的搜索等，如果發(fā)現(xiàn)目標(biāo)區(qū)域則變更為放大觀察模式，采用放大觀察圖像來詳細(xì)地觀察被攝體。然后，采用在放大觀察圖像中取得的被攝體的詳細(xì)信息在通常觀察模式下實(shí)際地進(jìn)行處置(病變部的切除等)。但是，對于現(xiàn)有的內(nèi)窺鏡圖像處理裝置來說，只能由用戶自身來進(jìn)行在放大觀察圖像中取得的信息和通常觀察圖像之間的對應(yīng)。即，例如，即使在放大觀察圖像中發(fā)現(xiàn)了病變部與正常部的邊界，也需要在實(shí)際進(jìn)行處置(與邊界對應(yīng)的區(qū)域的切除等)的通常觀察圖像中由用戶進(jìn)行所發(fā)現(xiàn)的邊界位于哪里這樣的判斷。因此，用戶需要記憶在放大觀察圖像中所取得的信息，并且由自身進(jìn)行與通常觀察圖像的對應(yīng)并進(jìn)行處置，所以具有為了適當(dāng)?shù)貞?yīng)用內(nèi)窺鏡圖像處理裝置所提示的信息而需要熟練這樣的課題。因此，本申請人提出了如下這樣的內(nèi)窺鏡圖像處理裝置，通過在通常觀察圖像內(nèi)也反映在放大觀察圖像中取得的病變部的邊界信息并提示給用戶，可順暢地進(jìn)行通常觀察圖像與放大觀察圖像的對應(yīng)。如圖2所示，采用在時刻tx至tx+k之間取得通常觀察圖像、然后在時刻ty至ty+m之間取得放大觀察圖像、然后在時刻tz至tz+n之間再次取得通常觀察圖像的例子來說明具體的方法。將對應(yīng)的處理分為進(jìn)行放大觀察期間的更新處理和進(jìn)行通常觀察期間的移動處理。1.1更新處理首先，在從時刻tx到tx+k的期間沒有取得放大觀察圖像，所以不進(jìn)行對應(yīng)等的處理(這里，為從時刻tx開始觀察的處理)。然后，在時刻ty，當(dāng)開始放大觀察時，使在ty至ty+m期間取得的信息反映到tx+k的通常觀察圖像中。這里，雖然反映放大觀察結(jié)果的通常觀察圖像(參照通常觀察圖像)不限于tx+k的通常觀察圖像，但鑒于進(jìn)行放大觀察的區(qū)域包含在緊前的通常觀察區(qū)域內(nèi)的可能性高，希望采用ty緊前即tx+k的通常觀察圖像。使放大觀察圖像的信息反映到通常觀察圖像中的方法具體地說為后述圖8 (A) 圖8 (D)這樣的更新處理。作為前提，在通常觀察圖像x+k中進(jìn)行關(guān)注區(qū)域的檢測，并預(yù)先設(shè)定作為關(guān)注區(qū)域和非關(guān)注區(qū)域的邊界候選的關(guān)注區(qū)域邊界候選(顯而易見精度比放大觀察低)。然后，通過 如圖8 (A) 圖8 (D)那樣更新已設(shè)定的關(guān)注區(qū)域邊界候選來決定邊界。具體地說，當(dāng)利用放大觀察圖像判斷出在關(guān)注區(qū)域邊界候選的內(nèi)部存在非關(guān)注區(qū)域時，如圖8 (B)那樣進(jìn)行縮小被關(guān)注區(qū)域邊界候選包圍的圖形面積的更新處理。另外，當(dāng)利用放大觀察圖像判斷出在關(guān)注區(qū)域邊界候選的外部存在關(guān)注區(qū)域時，如圖8 (D)那樣進(jìn)行擴(kuò)大被關(guān)注區(qū)域邊界候選包圍的圖形面積的更新處理。1.2移動處理在放大觀察結(jié)束并再次返回通常觀察的時刻tz，根據(jù)已反映放大觀察中的信息的圖像即參照通常觀察圖像(X+k)的信息來設(shè)定邊界。具體地說，根據(jù)tx+k與tz之間的運(yùn)動信息(表示被攝體與內(nèi)窺鏡裝置的攝像部相對地運(yùn)動多少的信息)，使通常觀察圖像x+k中的邊界移動，由此成為通常觀察圖像Z中的邊界。實(shí)際上如后述的圖16所示，只要通過使邊界移動與放大觀察圖像I對應(yīng)的x+k的位置和與放大觀察圖像y+m對應(yīng)的x+k的位置之間的距離來求出z的邊界的位置即可。另外，在持續(xù)通常觀察的時刻tz+1 tz+n期間，根據(jù)在通常觀察圖像間的運(yùn)動信息使邊界移動。例如，只要通過求出通常觀察圖像z與通常觀察圖像z+1之間的運(yùn)動信息并根據(jù)所求出的運(yùn)動信息使Z的邊界移動，來設(shè)定在時刻tz+1的通常觀察圖像Z+1中的邊界即可。關(guān)于以后的處理也是同樣的。如果在時刻z+n之后開始放大觀察，則只要將通常觀察圖像z+n作為參照通常觀察圖像進(jìn)行上述更新處理即可，此后在返回通常觀察時只要進(jìn)行上述移動處理即可。以下，在第I實(shí)施方式中說明系統(tǒng)自動進(jìn)行關(guān)注區(qū)域檢測的例子，在第2實(shí)施方式中說明通過用戶的輸入來決定關(guān)注區(qū)域的例子。2.第I實(shí)施方式參照圖1來說明本發(fā)明第I實(shí)施方式的內(nèi)窺鏡圖像處理裝置。本實(shí)施方式的內(nèi)窺鏡圖像處理裝置具備光源部100、插入部200、信號處理部300、輸出部400和外部I/F部500。 光源部100具備白色光源110、旋轉(zhuǎn)濾色器120、聚光透鏡130。白色光源110發(fā)出白色光。在該白色光源110發(fā)出的白色光的光路上配置旋轉(zhuǎn)濾色器120，透過特定波長。更具體地說，具備:透過一般的3原色光R、G、B的通常光濾色器和透過窄帶光G2、B2的特殊光濾色器，可利用未圖示的旋轉(zhuǎn)濾色器切換機(jī)構(gòu)來切換各個濾色器。聚光透鏡130將透過該旋轉(zhuǎn)濾色器120的光會聚到后述的光纖210。插入部200為了例如能夠插入到體腔而形成為細(xì)長且可彎曲。插入部200具備光纖210、照明透鏡220、物鏡230和攝像元件240。光纖210將在光源部100會聚的光導(dǎo)向插入部200的前端。照明透鏡220利用該光纖210使已導(dǎo)向前端的光擴(kuò)散后照射到觀察對象。物鏡230將從觀察對象返回的反射光會聚到攝像元件240。另外，物鏡230具有可變更光學(xué)系統(tǒng)的放大率的放大功能，用戶可通過操作外部I/F部500來在任意的時刻變更該放大率。更具體地說，后述的控制部350通過外部I/F部500的操作來生成控制信號，該物鏡230根據(jù)該控制信號變更該放大率。攝像元件240將基于檢測出的反射光的模擬信號輸出到后述的A/D轉(zhuǎn)換部310。信號處理部300具備A/D轉(zhuǎn)換部310、圖像取得部320、關(guān)注區(qū)域確定部330、邊界設(shè)定部340和控制部350。將圖像取得部320與關(guān)注區(qū)域確定部330、邊界設(shè)定部340和輸出部400連接。將關(guān)注區(qū)域確定部330與邊界設(shè)定部340連接。將邊界設(shè)定部340與輸出部400連接。將控制部350與白色光源110、旋轉(zhuǎn)濾色器120、A/D轉(zhuǎn)換部310、圖像取得部320、關(guān)注區(qū)域確定部330、邊界設(shè)定部340、輸出部400和外部I/F部500進(jìn)行雙向連接，并對它們進(jìn)行相互控制。A/D轉(zhuǎn)換部310將從攝像元件240輸出的模擬信號轉(zhuǎn)換為數(shù)字信號后輸出至圖像取得部320。圖像取得部320根據(jù)由控制部350輸出的控制信號來識別是通常光觀察還是特殊光觀察，根據(jù)各個觀察方法對從A/D轉(zhuǎn)換部310輸出的數(shù)字信號進(jìn)行現(xiàn)有的插值處理、白平衡、色轉(zhuǎn)換、灰度轉(zhuǎn)換等圖像處理，生成通常光圖像或特殊光圖像。此外，還根據(jù)上述控制信號，來識別所生成的圖像是在放大觀察中取得的放大觀察圖像還是在通常觀察中取得的通常觀察圖像。即，圖像取得部320所取得的圖像根據(jù)已取得該圖像的觀察狀態(tài)，具備通常光圖像或特殊光圖像以及放大觀察圖像或通常觀察圖像這樣的2個屬性。圖2示出按照時序連續(xù)地由上述圖像取得部320取得放大觀察圖像以及通常觀察圖像的情況。這里，在從開始觀察的時間tx到時間tx+k為止取得通常觀察圖像X至通常觀察圖像x+k，在從時間ty到時間ty+m為止取得放大觀察圖像y至放大觀察圖像y+m。另夕卜，在從時間tz到時間tz+n為止，由上述圖像取得部320取得通常觀察圖像z至通常觀察圖像z+n，關(guān)于此情況以 下說明本實(shí)施例中的各構(gòu)成要件的作用。關(guān)注區(qū)域確定部330當(dāng)根據(jù)上述控制部350生成的控制信號在時間ty檢測到放大觀察開始時，根據(jù)通常觀察圖像x+k的像素值從通常觀察圖像x+k中檢測關(guān)注區(qū)域。接著，根據(jù)從放大觀察圖像y到放大觀察圖像y+m的各個放大觀察圖像的像素值，針對每個放大觀察圖像來檢測關(guān)注區(qū)域。邊界設(shè)定部340在基于上述控制信號檢測到放大觀察執(zhí)行的期間，根據(jù)從通常觀察圖像x+k檢測出的關(guān)注區(qū)域以及從放大觀察圖像I至放大觀察圖像y+m檢測出的關(guān)注區(qū)域在通常觀察圖像x+k上設(shè)定邊界圖像。接著，在時間tz中，關(guān)注區(qū)域確定部330根據(jù)上述控制信號檢測到放大觀察結(jié)束并停止。邊界設(shè)定部340當(dāng)基于上述控制信號檢測到放大觀察結(jié)束時，根據(jù)放大率、放大觀察圖像I與放大觀察圖像y+m之間的移動量以及在通常觀察圖像x+k上設(shè)定的上述關(guān)注區(qū)域以及上述邊界圖像，在通常觀察圖像z上設(shè)定上述關(guān)注區(qū)域以及上述邊界圖像。接著，在時間tz+1中，邊界設(shè)定部340根據(jù)通常觀察圖像z與通常觀察圖像z+1之間的移動量以及在通常觀察圖像z上設(shè)定的上述關(guān)注區(qū)域以及上述邊界圖像，在通常觀察圖像Z+1上設(shè)定上述關(guān)注區(qū)域以及上述邊界圖像。以后，邊界設(shè)定部340在基于上述控制信號檢測到通常觀察執(zhí)行的期間，同樣在通常觀察圖像上設(shè)定上述關(guān)注區(qū)域以及上述邊界圖像。當(dāng)在其以后的觀察中進(jìn)行放大觀察時，根據(jù)在開始放大觀察緊前的通常觀察圖像上設(shè)定的上述關(guān)注區(qū)域以及上述邊界圖像以及利用放大觀察設(shè)定的關(guān)注區(qū)域，在放大觀察后取得的通常觀察圖像上設(shè)定關(guān)注區(qū)域以及邊界圖像。對關(guān)注區(qū)域確定部330的具體結(jié)構(gòu)進(jìn)行說明。圖3是說明第I實(shí)施方式中的關(guān)注區(qū)域確定部330的結(jié)構(gòu)的一例的框圖。如圖3所示，關(guān)注區(qū)域確定部330具備觀察方法判定部331、放大觀察時關(guān)注區(qū)域檢測部332和通常觀察時關(guān)注區(qū)域檢測部333。由圖像取得部320取得的放大觀察圖像輸出到放大觀察時關(guān)注區(qū)域檢測部332。由圖像取得部320取得的通常觀察圖像輸出到觀察方法判定部331和通常觀察時關(guān)注區(qū)域檢測部333。由控制部350生成的控制信號輸出到觀察方法判定部331、放大觀察時關(guān)注區(qū)域檢測部332和通常觀察時關(guān)注區(qū)域檢測部333，并控制它們。將觀察方法判定部331與放大觀察時關(guān)注區(qū)域檢測部332和通常觀察時關(guān)注區(qū)域檢測部333連接。將放大觀察時關(guān)注區(qū)域檢測部332與邊界設(shè)定部340連接。將通常觀察時關(guān)注區(qū)域檢測部333與邊界設(shè)定部340連接。觀察方法判定部331根據(jù)上述控制信號來判定是通常光觀察以及特殊光觀察中的哪個觀察方法。在該觀察方法是通常光觀察的情況下，利用上述通常觀察圖像的色調(diào)來進(jìn)一步判定是否是色素法或染色法這樣的使用藥劑的觀察方法。更具體地說，上述通常觀察圖像的色度為一定以上，將色相處于-10° (350° ) 20°范圍的像素數(shù)設(shè)為a，將色相處于20° 350°范圍的像素數(shù)設(shè)為P，如果a >2.0X0則判定為非染色觀察，如果a <2.0X ^則判定為基于色素法或染色法的觀察。與像素數(shù)P對應(yīng)的色相范圍可以是與觀察中使用的藥劑相應(yīng)的值。對放大觀察時關(guān)注區(qū)域檢測部332的具體結(jié)構(gòu)進(jìn)行說明。圖4是說明第I實(shí)施方式中的放大觀察時關(guān)注區(qū)域檢測部332的結(jié)構(gòu)的一例的框圖。如圖4所示，放大觀察時關(guān)注區(qū)域檢測部332具備圖像分割部3321、特征量計算部3322、基準(zhǔn)值取得部3323和特征量比較部3324。由圖像取得部320取得的放大觀察圖像輸出到圖像分割部3321。由觀察方法判定部331判定的觀察方法輸出到特征量計算部3322和基準(zhǔn)值取得部3323。由控制部350生成的控制信號輸出到圖像分割部3321、特征量計算部3322、基準(zhǔn)值取得部3323和特征量比較部3324，并控制它們。將圖像分割部3321與特征量計算部3322連接。將特征量計算部3322與特征量比較部3324連接。將基準(zhǔn)值取得部3323與特征量比較部3324連接。將特征量比較部3324與邊界設(shè)定部340連接。圖像分割部3321將上述放大觀察圖像分割為多個塊圖像。例如，將尺寸是MXN的上述放大觀察圖像分割為在圖5所示的水平方向上為4 [個]、垂直方向上為4 [個]的塊圖像(尺寸(M/4)X (N/4))。通過這樣分割上述放大觀察圖像并按照每個塊圖像計算后述的特征量，來高精度地設(shè)定關(guān)注區(qū)域與非關(guān)注區(qū)域的邊界。

特征量計算部3322針對由上述圖像分割部3321分割的每塊圖像，計算與上述觀察方法判定部331所判定的觀察方法對應(yīng)的特征量。例如，在上述觀察方法是特殊光觀察的情況下，在放大觀察中計算基于對癌的深度診斷有用的IPCL形態(tài)的特征量。另外，在上述觀察方法是通常觀察的情況下，計算基于在專利文獻(xiàn)I中記載的腺管開口分型的特征量。這里，上述觀察方法根據(jù)非染色觀察或者基于色素法或染色法的觀察，在專利文獻(xiàn)I的
所記載的二值化處理中采用不同的閾值。基準(zhǔn)值取得部3323針對每種上述觀察方法將癌的各種深度的代表性的上述特征量作為基準(zhǔn)值進(jìn)行記錄保存，取得與觀察方法對應(yīng)的基準(zhǔn)值。這里，根據(jù)在已知的病變圖像中可顯著地判定上述深度的病變圖像來預(yù)先計算與上述觀察方法對應(yīng)的上述特征量并設(shè)為基準(zhǔn)值。然后，根據(jù)上述觀察方法判定部331所判定的上述觀察方法來取得該基準(zhǔn)值。特征量比較部3324在每個上述塊圖像中比較上述特征量以及上述基準(zhǔn)值并進(jìn)行是否是放大觀察時關(guān)注區(qū)域的判定。具體地說，計算與上述特征量以及上述基準(zhǔn)值的差值，將該差值是預(yù)定的閾值以上的塊圖像判定為放大觀察時關(guān)注區(qū)域。將該放大觀察時關(guān)注區(qū)域輸出到邊界設(shè)定部340。通常觀察時關(guān)注區(qū)域檢測部333利用與觀察方法判定部331所判定的上述觀察方法對應(yīng)的方法，根據(jù)上述通常觀察圖像的像素值來檢測上述關(guān)注區(qū)域，并針對上述通常觀察圖像將該關(guān)注區(qū)域設(shè)定為通常觀察時關(guān)注區(qū)域。具體地說，當(dāng)判定為上述觀察方法是特殊光觀察時，將例如全部像素的色相處于5° 35°范圍且面積是一定以上的區(qū)域設(shè)定為該通常觀察時關(guān)注區(qū)域。這是因?yàn)樵诨谔厥夤獾耐ǔＳ^察中，上述IPCL是被稱為褐斑病(brown spot)的褐色區(qū)域。當(dāng)判定為上述觀察方法是通常光觀察時，用戶可以設(shè)定該通常觀察時關(guān)注區(qū)域。另外，當(dāng)用戶不設(shè)定該通常觀察時關(guān)注區(qū)域時，例如在上述通常觀察圖像上將像素值的R通道是閾值以上且最接近于圖像中央的區(qū)域設(shè)定為該通常觀察時關(guān)注區(qū)域。另外，在本實(shí)施例中，通常觀察時關(guān)注區(qū)域檢測部333針對上述通常觀察圖像始終設(shè)定該通常觀察時關(guān)注區(qū)域，但也可以僅針對在根據(jù)上述控制信號檢測到通常觀察結(jié)束的時刻輸出的通常觀察圖像設(shè)定該通常觀察時關(guān)注區(qū)域。另外，也可以僅針對沒有設(shè)定上述邊界圖像的通常觀察圖像設(shè)定該通常觀察時關(guān)注區(qū)域。對邊界設(shè)定部340的具體結(jié)構(gòu)進(jìn)行說明。圖6是說明第I實(shí)施方式中的邊界設(shè)定部340的結(jié)構(gòu)的一例的框圖。如圖6所示，邊界設(shè)定部340具備觀察區(qū)域位置檢測部341、放大觀察結(jié)果保存部342、邊界候選設(shè)定部343、運(yùn)動信息計算部344、放大觀察結(jié)果移動部345、邊界更新部346、邊界移動部347和觀察方向設(shè)定部348。將由圖像取得部320取得的放大觀察圖像輸出到觀察區(qū)域位置檢測部341。將由圖像取得部320取得的通常觀察圖像輸出到觀察區(qū)域位置檢測部341和運(yùn)動信息計算部344。將由關(guān)注區(qū)域確定部330檢測到的放大觀察時關(guān)注區(qū)域輸出至放大觀察結(jié)果保存部342。將由關(guān)注區(qū)域確定部330檢測到的通常觀察時關(guān)注區(qū)域輸出至邊界候選設(shè)定部343。將由控制部350生成的控制信號輸出至觀察區(qū)域位置檢測部341、放大觀察結(jié)果保存部342、邊界候選設(shè)定部343、運(yùn)動信息計算部344、放大觀察結(jié)果移動部345、邊界更新部346、邊界移動部347和觀察方向設(shè)定部348，并控制它們。將觀察區(qū)域位置檢測部341與放大觀察結(jié)果保存部342和觀察方向設(shè)定部348連接。將放大觀察結(jié)果保存部342與運(yùn)動信息計算部344、放大觀察結(jié)果移動部345、邊界更新部346和觀察方向設(shè)定部348連接。將邊界候選設(shè)定部343與邊界更新部346連接。將運(yùn)動信息計算部344與放大觀察結(jié)果移動部345和邊界移動部347連接。將放大觀察結(jié)果移動部345與邊界更新部346連接。將邊界更新部346與邊界移動部347和觀察方向設(shè)定部348連接。將邊界移動部347與邊界候選設(shè)定部343和輸出部400連接。將觀察 方向設(shè)定部348與輸出部400連接。觀察區(qū)域位置檢測部341當(dāng)根據(jù)上述控制信號檢測到放大觀察開始時，將在緊前的時刻取得的上述通常觀察圖像保持為參照通常觀察圖像，檢測根據(jù)上述控制信號檢測到放大觀察結(jié)束之前取得的全部上述放大觀察圖像分別放大了該參照通常觀察圖像的哪個位置。具體地說，利用公知的方法對該參照通常觀察圖像和根據(jù)放大率來降低析像度后的上述放大觀察圖像進(jìn)行圖像匹配，將與上述放大觀察圖像的中心對應(yīng)的該參照通常觀察圖像上的座標(biāo)檢測為觀察區(qū)域位置。這里，當(dāng)在上述放大觀察圖像緊前取得的圖像也是放大觀察圖像的情況下(分別與圖2的放大觀察圖像I以及在時刻ty+1取得的放大觀察圖像y+1相對應(yīng))，使在放大觀察圖像y中檢測出的觀察區(qū)域位置與按照上述方法降低析像度后的放大觀察圖像y+1的中心一致后開始圖像匹配，并檢測該參照通常觀察圖像中的放大觀察圖像y+1的觀察區(qū)域位置。另一方面，當(dāng)在上述放大觀察圖像緊前取得的圖像是通常觀察圖像時(分別與圖2的通常觀察圖像x+k以及放大觀察圖像y相對應(yīng))，使該參照通常觀察圖像的中心與按照上述方法降低析像度后的放大觀察圖像y的中心一致后開始圖像匹配，并檢測該參照通常觀察圖像中的放大觀察圖像y的觀察區(qū)域位置。觀察區(qū)域位置檢測部341當(dāng)檢測到放大觀察開始時將該參照通常觀察圖像輸出至放大觀察結(jié)果保存部342。另外，將在檢測到放大觀察結(jié)束之前檢測出的該觀察區(qū)域位置輸出至放大觀察結(jié)果保存部342。另外，將在放大觀察開始時檢測到的該觀察區(qū)域位置以及在放大觀察結(jié)束時檢測到的該觀察區(qū)域位置分別作為放大開始位置以及放大結(jié)束位置輸出至放大觀察結(jié)果保存部342。放大觀察結(jié)果保存部342保存由上述觀察區(qū)域位置檢測部341輸出的與在上述參照通常觀察圖像上對哪個區(qū)域進(jìn)行了放大觀察以及放大觀察結(jié)果中哪個區(qū)域是上述關(guān)注區(qū)域相關(guān)的信息。具體地說，將以各個上述觀察區(qū)域位置為中心按照放大率Z使上述放大觀察圖像中的上述放大觀察時關(guān)注區(qū)域縮小的區(qū)域作為關(guān)注區(qū)域，將以各個上述觀察區(qū)域位置為中心的(M/Z) X (N/Z)的區(qū)域作為放大觀察完成區(qū)域，并將它們保存為放大觀察結(jié)果。其中，圖像的尺寸是MXN。另外，在輸出上述放大結(jié)束位置之前保存上述觀察區(qū)域位置檢測部341所輸出的上述放大開始位置，當(dāng)輸出上述放大結(jié)束位置時與上述放大開始位置一起輸出到運(yùn)動信息計算部344。邊界候選設(shè)定部343當(dāng)利用后述的邊界移動部347在上述通常觀察圖像上移動上述邊界圖像時(即，設(shè)定已經(jīng)反映了放大觀察結(jié)果的邊界時)，將上述邊界圖像設(shè)定為邊界圖像候選。當(dāng)不是上述這樣的情況時，將上述通常觀察時關(guān)注區(qū)域的輪廓設(shè)定為邊界圖像候選。更具體地說，如圖7 (A)所示，首先檢測上述通常觀察時關(guān)注區(qū)域的輪廓線。接著，根據(jù)構(gòu)成輪廓線的像素數(shù)Ne來決定控制點(diǎn)的個數(shù)Np。這里，成為Np=Nc/10。接著，如圖7(B)所示，從構(gòu)成輪廓線的像素中以等間隔提取Np個像素作為控制點(diǎn)。然后如圖7 (C)所示，將利用線段連結(jié)控制點(diǎn)之間而得到的Np角形的區(qū)域設(shè)定為邊界圖像候選。運(yùn)動信息計算部344計算2個上述通常觀察圖像的移動量。首先，以前面在圖2中記述的通常觀察圖像x+k以及通常觀察圖像z為例，對在取得2個上述通常觀察圖像的時刻間僅進(jìn)行放大觀察的情況進(jìn)行說明。在此情況下，將觀察區(qū)域位置Py與觀察區(qū)域位置Py+m的差值作為移動量，所述觀察區(qū)域位置Py從上述放大觀察結(jié)果保存部342中作為放大開始位置輸出，根據(jù)前面圖2敘述的放大觀察圖像y由上述觀察區(qū)域位置檢測部341檢測，所述觀察區(qū)域位置Py+m從上述放大觀察結(jié)果保存部342中作為放大結(jié)束位置輸出，根據(jù)前面圖2敘述的放大觀察·圖像y+m由上述觀察區(qū)域位置檢測部341檢測。接著，以前面圖2敘述的通常觀察圖像z以及在時刻tz+1取得的通常觀察圖像z+1為例，說明在取得2個上述通常觀察圖像的時刻間僅進(jìn)行通常觀察的情況。根據(jù)通常觀察圖像z以及通常觀察圖像z+1，利用公知的方法例如圖像匹配來計算移動量。接著，對在已取得用于計算移動量的2個通常觀察圖像的時刻間雙方都進(jìn)行放大觀察以及通常觀察的情況進(jìn)行說明。在此情況下，將在用于計算移動量的2個上述通常觀察圖像之間取得的圖像分解為僅放大觀察圖像、僅通常觀察圖像的區(qū)間，對根據(jù)上述情況計算出的各個區(qū)間中的移動量進(jìn)行總和計算。放大觀察結(jié)果移動部345在通常觀察中根據(jù)上述移動量使上述放大觀察結(jié)果移動。具體地說，使作為上述放大觀察結(jié)果保存的上述放大觀察完成區(qū)域以及上述關(guān)注區(qū)域根據(jù)上述移動量進(jìn)行移動。這樣，在放大觀察之后進(jìn)行通常觀察，并可以利用再次進(jìn)行放大觀察時之前進(jìn)行的放大觀察的結(jié)果。邊界更新部346在放大觀察中，首先根據(jù)上述放大觀察結(jié)果保存部342所保存的上述放大觀察結(jié)果、由上述放大觀察結(jié)果移動部345輸出的上述放大觀察結(jié)果以及由上述邊界候選設(shè)定部343設(shè)定的上述邊界圖像候選來設(shè)定邊界圖像。具體地說，根據(jù)構(gòu)成上述邊界圖像候選的控制點(diǎn)的附近是否是上述關(guān)注區(qū)域來更新上述邊界圖像候選。對更新的具體方法進(jìn)行說明。如上述那樣利用Np個控制點(diǎn)表示邊界圖像候選。這里，將各個控制點(diǎn)作為2維矢量pi。其中，p1-1和p1、pi和pi+1是鄰接的控制點(diǎn)，i=0 Np-1, pO=pNp。另夕卜，針對上述邊界圖像的輪廓以順時針增加的方式分配控制點(diǎn)的后綴i。當(dāng)前，利用以下的式子將控制點(diǎn)Pi更新為pi’。 p I p- + CiJP^)
'' Ia.1 -/7Z-1I
fo -1lT Ap, = ^j( I )a是表示控制點(diǎn)更新的大小以及方向的系數(shù)。如果a的絕對值大，則意味著大幅更新控制點(diǎn)。另外，如果a >0則向上述邊界圖像內(nèi)部的面積增大的方向更新控制點(diǎn)，如果a〈O則向上述邊界圖像內(nèi)部的面積減少的方向更新控制點(diǎn)。這里，成為a =±10。另外，當(dāng)利用I個來更新控制點(diǎn)時，以全部鄰接的控制點(diǎn)之間的距離為等間隔的方式更新全部控制點(diǎn)。接著，對更新上述邊界圖像候選或上述邊界圖像的情況分別進(jìn)行說明。如圖8(A)所示，當(dāng)與上述邊界圖像候選內(nèi)接的上述觀察區(qū)域位置不是上述放大觀察時關(guān)注區(qū)域時，設(shè)為a =-10，使上述邊界圖像候選的內(nèi)部面積減少，并如圖8 (B)所示更新上述觀察區(qū)域位置附近的上述邊界圖像候選，成為上述邊界圖像。另一方面，如圖8 (C)所示，當(dāng)與上述邊界圖像候選外接的上述觀察區(qū)域位置是上述放大觀察時關(guān)注區(qū)域時，設(shè)為a =+10，使上述邊界圖像候選的內(nèi)部面積增 大，并如圖8 (D)所示更新上述觀察區(qū)域位置附近的上述邊界圖像候選，設(shè)為上述邊界圖像。接著，同樣根據(jù)上述放大觀察結(jié)果來更新該邊界圖像。邊界移動部347在通常觀察中根據(jù)由上述運(yùn)動信息計算部344計算出的上述移動量，移動上述邊界更新部346所更新的上述邊界圖像。具體地說，使構(gòu)成上述邊界圖像的控制點(diǎn)座標(biāo)根據(jù)上述移動量進(jìn)行移動。這樣，在通常觀察中即使內(nèi)窺鏡移動，也能夠跟蹤利用放大觀察設(shè)定的上述邊界圖像。然后，通過內(nèi)窺鏡的移動將全部上述控制點(diǎn)座標(biāo)移動至上述通常觀察圖像外，當(dāng)全部上述控制點(diǎn)座標(biāo)從上述通常觀察圖像離開預(yù)定的距離以上時，邊界移動部347刪除上述邊界圖像。觀察方向設(shè)定部348在根據(jù)上述控制信號檢測到放大觀察開始時啟動，在進(jìn)行放大觀察的期間，設(shè)定與接著應(yīng)該觀察的方向相關(guān)的信息并輸出至輸出部400。對觀察方向設(shè)定部348的具體結(jié)構(gòu)進(jìn)行說明。圖9是說明第I實(shí)施方式中的觀察方向設(shè)定部348的結(jié)構(gòu)的一例的框圖。如圖9所示，觀察方向設(shè)定部348具備觀察候選區(qū)域設(shè)定部3481、觀察優(yōu)先級設(shè)定部3482、觀察區(qū)域選擇部3483和觀察方向信息輸出部3484。將上述邊界更新部346所更新的上述邊界圖像輸出至觀察候選區(qū)域設(shè)定部3481。將上述放大觀察結(jié)果保存部342所保存的上述放大觀察結(jié)果輸出至觀察優(yōu)先級設(shè)定部3482。將上述觀察區(qū)域位置檢測部341所檢測到的上述觀察區(qū)域位置輸出至觀察區(qū)域選擇部3483和觀察方向信息輸出部3484。將由控制部350生成的控制信號輸出至觀察候選區(qū)域設(shè)定部3481、觀察優(yōu)先級設(shè)定部3482、觀察區(qū)域選擇部3483和觀察方向信息輸出部3484，并控制它們。將觀察候選區(qū)域設(shè)定部3481與觀察優(yōu)先級設(shè)定部3482和觀察區(qū)域選擇部3483連接。將觀察優(yōu)先級設(shè)定部3482與觀察區(qū)域選擇部3483連接。將觀察區(qū)域選擇部3483與觀察方向信息輸出部3484連接。將觀察方向信息輸出部3484與輸出部400連接。觀察候選區(qū)域設(shè)定部3481將在上述邊界圖像上應(yīng)該觀察的區(qū)域的候選設(shè)定為觀察候選區(qū)域。更具體地說，在上述邊界圖像上以一定的間隔設(shè)定觀察候選區(qū)域。例如圖10所示，將構(gòu)成上述邊界圖像的控制點(diǎn)作為觀察候選區(qū)域的中心。當(dāng)將該觀察候選區(qū)域的尺寸設(shè)為縱LM、橫LN時，LM和LN根據(jù)以下的式子由上述塊圖像的尺寸M、N以及上述放大率Z來決定。LM=M/Z.....(2)LN=N/Z.....(3)另外，這里雖然取觀察候選區(qū)域的形狀為矩形，但也可以取為圓或橢圓等形狀。觀察優(yōu)先級設(shè)定部3482根據(jù)上述邊界圖像以及上述放大觀察結(jié)果對上述觀察候選區(qū)域設(shè)定應(yīng)該 觀察的優(yōu)先級。更具體地說，根據(jù)上述放大觀察結(jié)果所保存的上述放大觀察完成區(qū)域來判定是否對上述觀察候選區(qū)域分別進(jìn)行了放大觀察，對沒有進(jìn)行放大觀察的觀察候選區(qū)域設(shè)定上述觀察優(yōu)先級。因?yàn)榕卸橐堰M(jìn)行放大觀察的觀察候選區(qū)域不需要進(jìn)一步的放大觀察，所以不設(shè)定上述觀察優(yōu)先級。例如圖11所示，在上述觀察候選區(qū)域中其面積僅有不足30%的包含于上述放大觀察完成區(qū)域內(nèi)的上述觀察候選區(qū)域被判定為沒有進(jìn)行放大觀察，設(shè)定上述觀察優(yōu)先級。在具有多個⑶個)沒有進(jìn)行放大觀察的觀察候選區(qū)域時，將從上述放大觀察完成區(qū)域到各個觀察候選區(qū)域的最小距離作為第I觀察優(yōu)先級判別指標(biāo)，從第I該觀察優(yōu)先級判別指標(biāo)大的觀察候選區(qū)域開始依次將第I觀察優(yōu)先級設(shè)定為1、2、3…N。上述第I觀察優(yōu)先級表示值越小越是應(yīng)該優(yōu)先觀察的觀察候選區(qū)域。當(dāng)存在多個第I觀察優(yōu)先級判別指標(biāo)相等的觀察候選區(qū)域時，進(jìn)一步增加鄰接的觀察候選區(qū)域中的上述第I觀察優(yōu)先級判別指標(biāo)后進(jìn)行比較，將觀察優(yōu)先級判別指標(biāo)更大的上述觀察候選區(qū)域的上述第I觀察優(yōu)先級設(shè)定為上位。觀察區(qū)域選擇部3483在放大觀察中選擇接下來應(yīng)該觀察的上述觀察候選區(qū)域。更具體地說，選擇上述第I觀察優(yōu)先級高且與當(dāng)前正在進(jìn)行放大觀察的上述觀察區(qū)域位置近的上述觀察候選區(qū)域。例如，上述觀察候選區(qū)域存在N個，當(dāng)將上述第I觀察優(yōu)先級分配到I N時，針對上述觀察候選區(qū)域從上述觀察區(qū)域位置到各個觀察候選區(qū)域中心的距離小的上述觀察候選區(qū)域開始依次將第2觀察優(yōu)先級分配到I N，并選擇上述第I觀察優(yōu)先級以及上述第2觀察優(yōu)先級之和最小的上述觀察候選區(qū)域。例如，當(dāng)將第I觀察優(yōu)先級設(shè)為xi Cxi=I N, 1:識別觀察候選區(qū)域的后綴,i=l N)、將第2觀察優(yōu)先級設(shè)為yi Cyi=I N，1:識別觀察候選區(qū)域的后綴，i=l N)時，按照各個觀察候選區(qū)域來計算xi+yi，并選擇其值最小的觀察候選區(qū)域。如圖12所示，觀察方向信息輸出部3484根據(jù)由上述觀察區(qū)域選擇部3483選擇的上述觀察候選區(qū)域的位置以及當(dāng)前正在進(jìn)行放大觀察的上述觀察區(qū)域位置，輸出與接下來應(yīng)該觀察的方向相關(guān)的方向信息。具體地說，當(dāng)將所選擇的觀察候選區(qū)域的位置以及當(dāng)前正在進(jìn)行放大觀察的上述觀察區(qū)域位置分別設(shè)為2維矢量s、t時，用以下的式子表示應(yīng)該觀察的方向d。
權(quán)利要求
1.一種內(nèi)窺鏡圖像處理裝置，其特征在于，包含: 圖像取得部，其取得包含被攝體像的圖像作為通常觀察圖像，取得使作為所述通常觀察圖像內(nèi)的一部分的觀察區(qū)域內(nèi)的被攝體像放大后的圖像作為放大觀察圖像； 關(guān)注區(qū)域確定部，其在所述放大觀察圖像上確定應(yīng)該關(guān)注的區(qū)域即關(guān)注區(qū)域；以及 邊界設(shè)定部，其根據(jù)所述放大觀察圖像內(nèi)的像素值，檢測與所確定的所述放大觀察圖像上的關(guān)注區(qū)域的邊界對應(yīng)的所述通常觀察圖像上的邊界的位置，并在檢測到的所述通常觀察圖像上的邊界的位置設(shè)定表示是所述關(guān)注區(qū)域的邊界的邊界圖像。
2.根據(jù)權(quán)利要求1所述的內(nèi)窺鏡圖像處理裝置，其特征在于， 所述邊界設(shè)定部根據(jù)所述放大觀察圖像內(nèi)的像素值和所述通常觀察圖像內(nèi)的像素值來檢測所述通常觀察圖像上的邊界的位置。
3.根據(jù)權(quán)利要求2所述的內(nèi)窺鏡圖像處理裝置，其特征在于， 所述邊界設(shè)定部包含觀察區(qū)域位置檢測部，該觀察區(qū)域位置檢測部根據(jù)所述放大觀察圖像內(nèi)的像素值和所述通 常觀察圖像內(nèi)的像素值，在所述通常觀察圖像上檢測與利用所述放大觀察圖像觀察的區(qū)域?qū)?yīng)的所述通常觀察圖像上的區(qū)域即所述觀察區(qū)域的位置， 所述邊界設(shè)定部根據(jù)所述放大觀察圖像內(nèi)的像素值和所述觀察區(qū)域內(nèi)的像素值在所述觀察區(qū)域中檢測所述邊界的位置。
4.根據(jù)權(quán)利要求3所述的內(nèi)窺鏡圖像處理裝置，其特征在于， 所述觀察區(qū)域位置檢測部通過根據(jù)所述放大圖像內(nèi)的像素值和所述通常觀察圖像內(nèi)的像素值進(jìn)行匹配處理，來在所述通常觀察圖像上檢測所述觀察區(qū)域。
5.根據(jù)權(quán)利要求1所述的內(nèi)窺鏡圖像處理裝置，其特征在于， 所述邊界設(shè)定部包含: 運(yùn)動信息計算部，其計算表示在所述通常觀察圖像上檢測到的所述邊界的運(yùn)動的運(yùn)動"[目息;以及 邊界移動部，其根據(jù)算出的所述邊界的所述運(yùn)動信息來使在所述邊界的位置上設(shè)定的所述邊界圖像移動。
6.根據(jù)權(quán)利要求5所述的內(nèi)窺鏡圖像處理裝置，其特征在于， 所述圖像取得部在第I時刻取得第I通常觀察圖像，并且在第2時刻取得第2通常觀察圖像， 所述邊界設(shè)定部檢測所述第I通常觀察圖像上的邊界的位置，在檢測到的所述邊界的位置設(shè)定所述邊界圖像， 所述運(yùn)動信息計算部計算所述運(yùn)動信息，該運(yùn)動信息是表示在所述第I通常觀察圖像上檢測到的所述邊界的所述第I時刻與所述第2時刻之間的移動量的信息， 所述邊界移動部根據(jù)計算出的所述運(yùn)動信息，來求出與在所述第I通常觀察圖像上檢測到的所述邊界的位置對應(yīng)的所述第2通常觀察圖像上的所述邊界的位置，并針對所求出的所述邊界的位置設(shè)定所述邊界圖像。
7.根據(jù)權(quán)利要求6所述的內(nèi)窺鏡圖像處理裝置，其特征在于， 所述運(yùn)動信息計算部根據(jù)所述第I通常觀察圖像以及所述第2通常觀察圖像來計算所述運(yùn)動信息。
8.根據(jù)權(quán)利要求7所述的內(nèi)窺鏡圖像處理裝置，其特征在于，所述運(yùn)動信息計算部根據(jù)所述第I通常觀察圖像以及所述第2通常觀察圖像之間的運(yùn)動矢量來計算所述運(yùn)動信息。
9.根據(jù)權(quán)利要求6所述的內(nèi)窺鏡圖像處理裝置，其特征在于， 所述圖像取得部在第I時刻與第2時刻之間連續(xù)地取得與使作為所述第I通常觀察圖像內(nèi)的一部分的所述觀察區(qū)域內(nèi)的被攝體像放大后的圖像對應(yīng)的放大觀察圖像， 所述運(yùn)動信息計算部根據(jù)與所述放大觀察圖像內(nèi)的基準(zhǔn)點(diǎn)對應(yīng)的所述第I通常觀察圖像上的對應(yīng)基準(zhǔn)點(diǎn)的運(yùn)動來計算所述邊界的運(yùn)動信息。
10.根據(jù)權(quán)利要求9所述的內(nèi)窺鏡圖像處理裝置，其特征在于， 所述運(yùn)動信息計算部根據(jù)與在連續(xù)取得的所述放大觀察圖像中的最初取得的放大觀察圖像內(nèi)的基準(zhǔn)點(diǎn)對應(yīng)的所述第I通常觀察圖像上的對應(yīng)基準(zhǔn)點(diǎn)的位置和與最后取得的放大觀察圖像內(nèi)的基準(zhǔn)點(diǎn)對應(yīng)的所述第I通常觀察圖像上的對應(yīng)基準(zhǔn)點(diǎn)的位置，來計算所述邊界的所述運(yùn)動信息。
11.根據(jù)權(quán)利要求1所述的內(nèi)窺鏡圖像處理裝置，其特征在于， 所述邊界設(shè)定部包含邊界更新部，該邊界更新部根據(jù)所述放大觀察圖像中的所述關(guān)注區(qū)域的信息來更新所述通常觀察圖像中的所述邊界圖像的設(shè)定位置。
12.根據(jù)權(quán)利要求11所述的內(nèi)窺鏡圖像處理裝置，其特征在于， 所述邊界更新部判定與在所述放大觀察圖像中觀察的區(qū)域?qū)?yīng)的所述通常觀察圖像上的區(qū)域即所述觀察區(qū)域是否接近于在所述通常觀察圖像上設(shè)定的所述邊界圖像，來作為第I判定處理， 所述關(guān)注區(qū)域確定部判定所述·觀察區(qū)域是否是關(guān)注區(qū)域，來作為第2判定處理， 所述邊界更新部根據(jù)所述第I判定處理的結(jié)果以及所述第2判定處理的結(jié)果，在所述觀察區(qū)域中更新所述邊界圖像的設(shè)定位置。
13.根據(jù)權(quán)利要求12所述的內(nèi)窺鏡圖像處理裝置，其特征在于， 所述關(guān)注區(qū)域確定部根據(jù)與所述觀察區(qū)域?qū)?yīng)的所述放大觀察圖像內(nèi)的像素值，來判定所述觀察區(qū)域是否是關(guān)注區(qū)域。
14.根據(jù)權(quán)利要求12所述的內(nèi)窺鏡圖像處理裝置，其特征在于， 所述邊界更新部在通過所述第I判定處理判定為所述觀察區(qū)域與所述邊界圖像接近且通過所述第2判定處理判定為所述觀察區(qū)域是關(guān)注區(qū)域時，更新所述邊界圖像的設(shè)定位置，使被所設(shè)定的所述邊界圖像包圍而形成的圖形的面積變大。
15.根據(jù)權(quán)利要求12所述的內(nèi)窺鏡圖像處理裝置，其特征在于， 所述邊界更新部在通過所述第I判定處理判定為所述觀察區(qū)域與所述邊界圖像接近且通過所述第2判定處理判定為所述觀察區(qū)域不是關(guān)注區(qū)域時，更新所述邊界圖像的設(shè)定位置，使被所設(shè)定的所述邊界圖像包圍而形成的圖形的面積變小。
16.根據(jù)權(quán)利要求12所述的內(nèi)窺鏡圖像處理裝置，其特征在于， 所述邊界更新部選擇在所述通常觀察圖像上設(shè)定的邊界圖像上的點(diǎn)作為控制點(diǎn)，判定所述觀察區(qū)域與所述控制點(diǎn)是否接近，來作為所述第I判定處理， 所述關(guān)注區(qū)域確定部判定所述觀察區(qū)域是否是關(guān)注區(qū)域，作為所述第2判定處理， 所述邊界更新部根據(jù)所述第I判定處理的結(jié)果以及第2判定處理的結(jié)果對與所述觀察區(qū)域鄰接的控制點(diǎn)的位置進(jìn)行更新，由此來更新邊界圖像的設(shè)定位置。
17.根據(jù)權(quán)利要求1所述的內(nèi)窺鏡圖像處理裝置，其特征在于，包含: 觀察候選區(qū)域設(shè)定部，其在所述通常觀察圖像上設(shè)定多個觀察候選區(qū)域，該觀察候選區(qū)域是作為所述觀察區(qū)域的候選的區(qū)域； 觀察優(yōu)先級設(shè)定部，其針對所設(shè)定的每個所述觀察候選區(qū)域來設(shè)定表示所述觀察候選區(qū)域的放大觀察的優(yōu)先級的觀察優(yōu)先級；以及 觀察區(qū)域選擇部，其根據(jù)所設(shè)定的所述觀察優(yōu)先級，來選擇接下來應(yīng)該觀察的觀察區(qū)域。
18.根據(jù)權(quán)利要求17所述的內(nèi)窺鏡圖像處理裝置，其特征在于， 所述觀察優(yōu)先級設(shè)定部計算在所述通常觀察圖像上從表示已完成放大觀察的范圍的放大觀察完成區(qū)域到所設(shè)定的所述觀察候選區(qū)域的位置的距離信息，并根據(jù)所計算出的所述距離信息來設(shè)定第I觀察優(yōu)先級作為所述觀察優(yōu)先級。
19.根據(jù)權(quán)利要求17所述的內(nèi)窺鏡圖像處理裝置，其特征在于， 所述觀察優(yōu)先級設(shè)定部計算所述通常觀察圖像上的從表示當(dāng)前時刻的觀察地點(diǎn)的所述觀察區(qū)域到所設(shè)定的所述觀察候選區(qū)域的位置的距離信息，并根據(jù)所計算出的所述距離信息來設(shè)定第2觀察優(yōu)先級作為所述觀察優(yōu)先級。
20.根據(jù)權(quán)利要求17所述的內(nèi)窺鏡圖像處理裝置，其特征在于， 包含觀察方向信息輸出部，該觀察方向信息輸出部輸出表不從所述觀察區(qū)域向所選擇的所述觀察候選區(qū)域的方向的方向信息，該觀察區(qū)域表示在當(dāng)前時刻的觀察地點(diǎn)。
21.根據(jù)權(quán)利要求1所述的內(nèi)窺鏡圖像處理裝置，其特征在于， 所述關(guān)注區(qū)域確定部根據(jù)所述放大觀察圖像內(nèi)的像素的像素值來確定所述關(guān)注區(qū)域。
22.根據(jù)權(quán)利要求21所述的內(nèi)窺鏡圖像處理裝置，其特征在于， 所述關(guān)注區(qū)域確定部根據(jù)所述放大觀察圖像內(nèi)的像素的像素值和作為所述關(guān)注區(qū)域的檢測基準(zhǔn)的基準(zhǔn)值來確定所述關(guān)注區(qū)域。
23.根據(jù)權(quán)利要求22所述的內(nèi)窺鏡圖像處理裝置，其特征在于， 所述關(guān)注區(qū)域確定部包含對所述放大觀察圖像的觀察方法進(jìn)行判定的觀察方法判定部， 所述關(guān)注區(qū)域確定部根據(jù)所判定的所述觀察方法來設(shè)定所述基準(zhǔn)值。
24.根據(jù)權(quán)利要求23所述的內(nèi)窺鏡圖像處理裝置，其特征在于， 所述觀察方法包含特殊光觀察。
25.根據(jù)權(quán)利要求23所述的內(nèi)窺鏡圖像處理裝置，其特征在于， 所述關(guān)注區(qū)域確定部包含特征量計算部，該特征量計算部根據(jù)所述放大觀察圖像內(nèi)的像素的像素值來計算作為與所述基準(zhǔn)值進(jìn)行比較的比較對象的特征量， 所述關(guān)注區(qū)域確定 部根據(jù)所述特征量以及與所述基準(zhǔn)值的比較結(jié)果來確定所述關(guān)注區(qū)域。
26.根據(jù)權(quán)利要求25所述的內(nèi)窺鏡圖像處理裝置，其特征在于， 所述關(guān)注區(qū)域確定部包含圖像分割部，該圖像分割部將所述放大觀察圖像分割為多個塊， 所述特征量計算部針對所分割的每個所述塊來計算所述特征量， 所述關(guān)注區(qū)域確定部針對每個所述塊比較針對每個所述塊計算出的特征量和所述基準(zhǔn)值，由此來確定所述關(guān)注區(qū)域。
27.根據(jù)權(quán)利要求1所述的內(nèi)窺鏡圖像處理裝置，其特征在于， 所述關(guān)注區(qū)域確定部從用戶受理用于確定所述關(guān)注區(qū)域的信息即關(guān)注區(qū)域確定信息的輸入，并根據(jù)所受理的所述關(guān)注區(qū)域確定信息來確定所述關(guān)注區(qū)域。
28.一種程序，其特征在于， 使計算機(jī)作為如下的部件發(fā)揮功能: 圖像取得部，其取得包含被攝體像的圖像作為通常觀察圖像，取得使作為所述通常觀察圖像內(nèi)的一部分的觀察區(qū)域內(nèi)的被攝體像放大后的圖像作為放大觀察圖像； 關(guān)注區(qū)域確定部，其在所述放大觀察圖像上確定應(yīng)該關(guān)注的區(qū)域即關(guān)注區(qū)域；以及邊界設(shè)定部，其根據(jù)所述放大觀察圖像內(nèi)的像素值，檢測與所確定的所述放大觀察圖像上的關(guān)注區(qū)域的邊界對應(yīng)的所述通常觀察圖像上的邊界的位置，并在檢測到的所述通常觀察圖像上的邊界的位置 設(shè)定表示是所述關(guān)注區(qū)域的邊界的邊界圖像。
全文摘要
本發(fā)明提供可根據(jù)基于圖像處理的內(nèi)窺鏡圖像的評價結(jié)果來進(jìn)行高效率的處置的內(nèi)窺鏡圖像處理裝置以及程序等。內(nèi)窺鏡圖像處理裝置包含圖像取得部(320)，其取得包含被攝體像的圖像作為通常觀察圖像，取得使作為上述通常觀察圖像內(nèi)的一部分的觀察區(qū)域內(nèi)的被攝體像放大后的圖像作為放大觀察圖像；關(guān)注區(qū)域確定部(330)，其在放大觀察圖像上確定應(yīng)該關(guān)注的區(qū)域即關(guān)注區(qū)域；以及邊界設(shè)定部(340)，其根據(jù)放大觀察圖像內(nèi)的像素值，檢測與所確定的放大觀察圖像上的關(guān)注區(qū)域的邊界對應(yīng)的通常觀察圖像上的邊界的位置，并在檢測到的通常觀察圖像上的邊界的位置設(shè)定表示是關(guān)注區(qū)域的邊界的邊界圖像。
文檔編號A61B1/04GK103249349SQ20118005611
公開日2013年8月14日 申請日期2011年11月25日 優(yōu)先權(quán)日2010年12月2日
發(fā)明者栗山直也 申請人:奧林巴斯株式會社