專利名稱：圖像處理方法及膠囊型內(nèi)窺鏡裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及從由內(nèi)窺鏡裝置拍攝到的體腔內(nèi)的內(nèi)窺鏡圖像中檢測不適于診斷的圖像，控制不適當(dāng)?shù)膱D像的顯示和/或保存的圖像處理方法及膠囊型內(nèi)窺鏡裝置。
背景技術(shù)：
在醫(yī)療領(lǐng)域中，廣泛使用X射線、CT、MRI、超聲波觀測裝置、內(nèi)窺鏡裝置等具有圖像拍攝功能的醫(yī)療設(shè)備進(jìn)行體腔內(nèi)臟器的觀察和診斷。在這種具有圖像拍攝功能的醫(yī)療設(shè)備中，例如，內(nèi)窺鏡裝置將細(xì)長的插入部插入體腔內(nèi)，利用固體攝像元件等攝像單元拍攝通過設(shè)于該插入部的前端部的物鏡光學(xué)系統(tǒng)而取入的體腔內(nèi)的臟器圖像。內(nèi)窺鏡裝置以該攝像信號為基礎(chǔ)，在監(jiān)視器畫面上顯示體腔內(nèi)臟器的內(nèi)窺鏡圖像，手術(shù)醫(yī)生根據(jù)顯示在該監(jiān)視器畫面上的內(nèi)窺鏡圖像進(jìn)行觀察和診斷。
該內(nèi)窺鏡裝置可以直接拍攝消化器官粘膜圖像，能夠綜合地觀察粘膜的色調(diào)、病變形狀、粘膜表面的細(xì)微結(jié)構(gòu)等各種表觀。
近年來，作為與該內(nèi)窺鏡裝置同樣地可期待實(shí)用性的、新的具有圖像拍攝功能的醫(yī)療設(shè)備，正在開發(fā)膠囊型內(nèi)窺鏡裝置。一般地，膠囊型內(nèi)窺鏡裝置由膠囊型內(nèi)窺鏡、接收器和觀察裝置構(gòu)成，膠囊型內(nèi)窺鏡在被檢者從口部吞入并在體內(nèi)的消化器官內(nèi)行進(jìn)的過程中拍攝消化器官內(nèi)部，向體外發(fā)送該拍攝到的攝像信號，接收器在體外接收發(fā)送出的攝像信號，并記錄存儲該接收到的攝像信號，觀察裝置根據(jù)記錄存儲在該接收器中的攝像信號，在監(jiān)視器上顯示攝像圖像。這種結(jié)構(gòu)的膠囊型內(nèi)窺鏡裝置例如有在日本特開2000-23980號公報(bào)中公開的裝置。
在被檢者將膠囊型內(nèi)窺鏡口服吞入后到被排出體外為止的期間中，所述膠囊型內(nèi)窺鏡裝置拍攝體腔內(nèi)部，向設(shè)于體外的接收器發(fā)送該拍攝到的攝像信號。從被檢者吞入該膠囊型內(nèi)窺鏡到通過體腔內(nèi)的食道、胃、十二指腸、小腸和大腸各個(gè)消化器官而被排出體外需要幾個(gè)小時(shí)。例如，假設(shè)膠囊型內(nèi)窺鏡每秒拍攝兩張(幀)圖像發(fā)送給體外的接收器，從吞入該膠囊型內(nèi)窺鏡到排出體外花費(fèi)了6小時(shí)，則膠囊型內(nèi)窺鏡在體腔內(nèi)行進(jìn)期間所拍攝的圖像數(shù)量達(dá)43200張，非常龐大。如果全部記錄這些圖像，則存儲裝置需要非常大的容量，存在裝置成本增加的問題。作為解決該問題的方法，例如可以考慮使用圖像壓縮處理來削減圖像容量的方法。在該方法中，所記錄的圖像的像質(zhì)劣化，難以觀察粘膜表面的細(xì)微結(jié)構(gòu)和微妙的色調(diào)變化。
并且，在觀察裝置上顯示這樣龐大數(shù)量的圖像進(jìn)行觀察和診斷時(shí)，例如即使每秒顯示10張圖像，顯示所有圖像也需要長達(dá)72分鐘的較長的時(shí)間。手術(shù)醫(yī)生將要在這么長時(shí)間內(nèi)觀察所顯示的攝像圖像，對手術(shù)醫(yī)生而言存在時(shí)間上負(fù)荷極大的問題。作為解決這種問題的方法，例如可以考慮增加每單位時(shí)間顯示的圖像數(shù)量來縮短觀察時(shí)間的方法。在該方法中，從防止漏看病變部位和實(shí)現(xiàn)準(zhǔn)確的觀察診斷的角度考慮，每單位時(shí)間的顯示圖像數(shù)量存在極限，對手術(shù)醫(yī)生而言縮短觀察時(shí)間比較困難。
另一方面，通過膠囊型內(nèi)窺鏡裝置拍攝的體腔內(nèi)臟器的圖像未必全部是適于診斷的圖像。例如，可以列舉極暗部位和暈光占據(jù)了視野的大部分的圖像、過度接近或過度接觸活體粘膜時(shí)看到的視野整體上呈紅色/黃色等色調(diào)的圖像(在內(nèi)窺鏡醫(yī)生之間俗稱為“紅球”等的、在過度接近消化器管壁的狀態(tài)下拍攝到的圖像)、攝入了大腸中的糞便等殘?jiān)?異物)的圖像等。這些不適于診斷的圖像(以下稱為不適當(dāng)圖像)在通常的內(nèi)窺鏡觀察中經(jīng)常被觀察到。在與食物同樣地基本利用消化器官的蠕動運(yùn)動而移動并能夠得到視野變化的膠囊型內(nèi)窺鏡中，由于停留，有可能連續(xù)出現(xiàn)相同的不適當(dāng)圖像。

發(fā)明內(nèi)容
本發(fā)明的目的在于，提供一種可以判定拍攝被攝體而得到的圖像是否是不適于觀察和診斷的圖像的圖像處理方法，以及提供一種膠囊型內(nèi)窺鏡裝置，其具有可以判定拍攝被攝體而得到的圖像是否是不適于觀察和診斷的圖像的圖像處理裝置。
本發(fā)明的第1方式的圖像處理方法包括以下步驟特征量計(jì)算步驟，對拍攝被攝體而得到的包含多種顏色信號的多個(gè)圖像，計(jì)算各個(gè)圖像的特征量；以及攝像狀態(tài)判定步驟，對所述各個(gè)圖像，根據(jù)計(jì)算出的所述特征量判定所述圖像的拍攝狀態(tài)。
本發(fā)明的第2方式的膠囊型內(nèi)窺鏡裝置具有攝像裝置，其拍攝被攝體而生成包含多種顏色信號的多個(gè)圖像；圖像處理裝置，其對所述圖像計(jì)算各個(gè)圖像的特征量，對所述各個(gè)圖像，根據(jù)計(jì)算出的所述特征量判定所述圖像的拍攝狀態(tài)，根據(jù)該判定結(jié)果進(jìn)行處理的控制。
本發(fā)明的第3方式的膠囊型內(nèi)窺鏡裝置具有圖像生成單元，其拍攝被攝體而生成包含多種顏色信號的多個(gè)圖像；特征量計(jì)算單元，其對所述圖像計(jì)算各個(gè)圖像的特征量；拍攝狀態(tài)判定單元，其對所述各個(gè)圖像，根據(jù)計(jì)算出的所述特征量來判定所述圖像的拍攝狀態(tài)；以及控制單元，其根據(jù)所述拍攝狀態(tài)判定單元的判定結(jié)果進(jìn)行處理的控制。


圖1A是表示使用本發(fā)明的圖像處理方法的膠囊型內(nèi)窺鏡裝置1的概要結(jié)構(gòu)的方框圖。
圖1B是表示使用本發(fā)明的圖像處理方法的終端裝置7的概要結(jié)構(gòu)的方框圖。
圖2是說明膠囊型內(nèi)窺鏡裝置1的膠囊型內(nèi)窺鏡3的概要結(jié)構(gòu)的說明圖。
圖3是表示膠囊型內(nèi)窺鏡裝置1的概要內(nèi)部結(jié)構(gòu)的方框圖。
圖4是說明從膠囊型內(nèi)窺鏡3發(fā)送的信號結(jié)構(gòu)的說明圖。
圖5是說明膠囊型內(nèi)窺鏡3的位置檢測的說明圖。
圖6是說明膠囊型內(nèi)窺鏡裝置1的天線單元4的說明圖。
圖7是說明膠囊型內(nèi)窺鏡裝置1的屏蔽夾克72的示意圖。
圖8是說明膠囊型內(nèi)窺鏡裝置1的外部裝置5在被檢體上的佩戴狀態(tài)的說明圖。
圖9是表示膠囊型內(nèi)窺鏡3的結(jié)構(gòu)的方框圖。
圖10是說明有關(guān)暗部圖像的判定的處理動作的流程圖。
圖11是說明有關(guān)暈光圖像的判定的處理動作的流程圖。
圖12是說明有關(guān)異物圖像的判定的處理動作的流程圖。
圖13是說明在計(jì)算表示像素色調(diào)的參數(shù)時(shí)使用的數(shù)組表的說明圖。
圖14是說明以表示像素的色調(diào)的兩個(gè)參數(shù)為軸的二維區(qū)域中、活體粘膜表面像素和異物像素的分布區(qū)域的說明圖。
圖15是說明通過一系列的步驟判定暗部圖像、暈光圖像和異物圖像時(shí)的處理動作的流程圖。
圖16是說明有關(guān)過度接近圖像的判定的處理動作的流程圖。
圖17是說明有關(guān)其他觀察不適當(dāng)圖像的判定的處理動作的流程圖。
圖18是說明在本實(shí)施方式中使用的數(shù)字濾波器的頻率特性的簡圖。
圖19A是說明暈光邊緣邊界部的頻帶濾波結(jié)果的變化的圖，圖19A是說明圖像中的暈光位置的說明圖。
圖19B是說明圖19A中的a-a’截面的像素值的分布圖。
圖19C是說明將頻帶濾波應(yīng)用于圖19A所示圖像的結(jié)果的說明圖。
圖19D是說明圖19C中的b-b’截面的像素值的分布圖。
圖20是說明有關(guān)不適當(dāng)圖像的判定的處理動作的流程圖。
圖21是說明終端裝置7的圖像顯示動作的流程圖。
圖22是說明終端裝置7的圖像保存動作的流程圖。
具體實(shí)施例方式
以下，參照

本發(fā)明的實(shí)施方式。
(第一實(shí)施方式)首先，使用

本發(fā)明的第一實(shí)施方式的膠囊型內(nèi)窺鏡裝置及圖像處理方法。首先，使用圖1～圖9說明本發(fā)明的第一實(shí)施方式的膠囊型內(nèi)窺鏡裝置。圖1A是表示使用本發(fā)明的圖像處理方法的膠囊型內(nèi)窺鏡裝置1的概要結(jié)構(gòu)的方框圖。圖1B是表示使用本發(fā)明的圖像處理方法的終端裝置7的概要結(jié)構(gòu)的方框圖。圖2是說明膠囊型內(nèi)窺鏡裝置1的膠囊型內(nèi)窺鏡3的概要結(jié)構(gòu)的說明圖。圖3是表示膠囊型內(nèi)窺鏡裝置1的概要內(nèi)部結(jié)構(gòu)的方框圖。圖4是說明從膠囊型內(nèi)窺鏡3發(fā)送的信號結(jié)構(gòu)的說明圖。圖5是說明膠囊型內(nèi)窺鏡3的位置檢測的說明圖。圖6是說明膠囊型內(nèi)窺鏡裝置1的天線單元4的說明圖。圖7是說明膠囊型內(nèi)窺鏡裝置1的屏蔽夾克72的說明圖。圖8是說明膠囊型內(nèi)窺鏡裝置1的外部裝置5在被檢體上的佩戴狀態(tài)的說明圖。圖9是表示膠囊型內(nèi)窺鏡3的結(jié)構(gòu)的方框圖。
作為使用本發(fā)明的圖像處理方法的攝像裝置的膠囊型內(nèi)窺鏡裝置1，如圖1A所示，由膠囊型內(nèi)窺鏡3、天線單元4和外部裝置5構(gòu)成。膠囊型內(nèi)窺鏡3的具體情況將在后面敘述，其形成為從被檢體即患者2的口吞入體腔內(nèi)，通過蠕動運(yùn)動在消化器官內(nèi)行進(jìn)的形狀。并且，膠囊型內(nèi)窺鏡3具有在內(nèi)部拍攝消化器官內(nèi)部并生成其攝像圖像信息的攝像功能、和向體外發(fā)送該攝像圖像信息的發(fā)送功能。天線單元4的具體情況將在后面敘述，其設(shè)置在患者2的身體表面上。此外，天線單元4具有用于接收從所述膠囊型內(nèi)窺鏡3發(fā)送的攝像圖像信息的多個(gè)接收天線11。外部裝置5的外形形成為箱形形狀，具體情況將在后面敘述，具有所述天線單元4接收到的攝像圖像信息的各種處理、攝像圖像信息的記錄和基于攝像圖像信息的攝像圖像顯示等功能。在該外部裝置5的外殼表面設(shè)有顯示所述攝像圖像的液晶監(jiān)視器12、進(jìn)行各種功能的操作指示的操作部13。
并且，該外部裝置5設(shè)有有關(guān)驅(qū)動電源用的電池余量的警告顯示用LED、作為操作部13的電源開關(guān)。并且，也可以在膠囊型內(nèi)窺鏡3的內(nèi)部具有使用了CPU和存儲器的運(yùn)算執(zhí)行部，對接收到的和已記錄的攝像圖像信息實(shí)施后述的本發(fā)明的圖像處理方法。
該外部裝置5佩戴在患者2的身體上，并且如圖1B所示，通過安裝在托架6上而與作為圖像處理裝置的終端裝置7連接。該終端裝置7例如包括使用計(jì)算機(jī)的具有各種數(shù)據(jù)處理功能和存儲裝置(存儲功能)的終端主體9；各種操作處理輸入用的鍵盤8a和鼠標(biāo)8b；以及作為顯示各種處理結(jié)果的顯示裝置的顯示器8c。該終端裝置7的基本功能如下，通過托架6取入記錄在所述外部裝置5中的攝像圖像信息，寫入記錄到內(nèi)置于終端主體9的可重寫的存儲器、或可在終端主體9上自由裝拆的可重寫的半導(dǎo)體存儲器等可移式存儲器中，而且進(jìn)行在顯示器8c上顯示該記錄的攝像圖像信息的圖像處理。另外，存儲在所述外部裝置5中的攝像圖像信息，也可以替代所述托架6而通過USB線纜等取入終端裝置7中。這種托架6等是輸入由膠囊型內(nèi)窺鏡3拍攝的圖像的圖像輸入單元。
在該終端裝置7的圖像處理中，根據(jù)從所述外部裝置5取入記錄的攝像圖像信息，選擇根據(jù)時(shí)間經(jīng)過而顯示的圖像，利用后述的本實(shí)施方式的圖像處理方法檢測不適于診斷的圖像等。
下面，使用圖2說明所述膠囊型內(nèi)窺鏡3的外形和內(nèi)部結(jié)構(gòu)。膠囊型內(nèi)窺鏡3形成為膠囊形狀，由截面呈U字狀的外殼部件14和在該外殼部件14的前端側(cè)的開放端通過粘接劑而水密地安裝的、由透明材料形成的大致半球形狀的護(hù)罩部件14a構(gòu)成。
在由該外殼部件14和護(hù)罩部件14a構(gòu)成的膠囊形狀的內(nèi)部中空部中，在所述護(hù)罩部件14a的半球圓弧的中央部分的內(nèi)部，取入經(jīng)由護(hù)罩部件14a入射的觀察部位像的物鏡15被收納配置在透鏡框16中。在該物鏡15的成像位置處，配置有作為攝像元件的電荷耦合元件(以下稱為CCD)17。并且，在收納所述物鏡15的透鏡框16的周圍，發(fā)光放射照明光的4個(gè)白色系的LED 18配置在同一平面上(圖中只示出兩個(gè)LED)。在所述CCD 17后端側(cè)的所述外殼部件14的中空部中配置有處理電路19，其進(jìn)行以下處理，驅(qū)動控制所述CCD 17生成光電轉(zhuǎn)換后的攝像信號，對該攝像信號實(shí)施規(guī)定的信號處理而生成攝像圖像信號的攝像處理，以及控制所述LED18的亮燈/非亮燈動作的LED驅(qū)動處理；通信處理電路20，其把通過該處理電路19的攝像處理而生成的攝像圖像信號轉(zhuǎn)換為無線信號并進(jìn)行發(fā)送；發(fā)送天線23，其向外部發(fā)送來自該通信處理電路20的無線信號；以及多個(gè)鈕扣式電池21，其提供所述處理電路19和通信處理電路20的驅(qū)動用電源。
另外，CCD 17、LED 18、處理電路19、通信處理電路20和發(fā)送天線23配置在未圖示的基板上。這些基板之間通過撓性基板連接。并且，在所述處理電路19中具有用于進(jìn)行后述的圖像處理的未圖示的運(yùn)算電路。即，如圖3所示，所述膠囊型內(nèi)窺鏡3由利用所述CCD 17、LED 17和處理電路19構(gòu)成的攝像裝置43、包括所述通信處理電路20的發(fā)送器37以及發(fā)送天線23構(gòu)成。
下面，使用圖9說明所述膠囊型內(nèi)窺鏡3的攝像裝置43的具體結(jié)構(gòu)。攝像裝置43由以下部分構(gòu)成控制LED 18的亮燈及不亮燈動作的LED驅(qū)動器18A；控制CCD 17的驅(qū)動并進(jìn)行光電轉(zhuǎn)換后的電荷傳送的CCD驅(qū)動器17A；處理電路19A，其使用從所述CCD 17傳送來的電荷來生成攝像信號，且對該攝像信號實(shí)施規(guī)定的信號處理，生成攝像圖像信號；開關(guān)19，其將來自電池21的驅(qū)動電源提供給所述LED驅(qū)動器18A、CCD驅(qū)動器17A、處理電路19A和發(fā)送器37；以及定時(shí)發(fā)生器19B，其向所述開關(guān)19和CCD驅(qū)動器17A提供定時(shí)信號。另外，開關(guān)19由以下開關(guān)組成接通/斷開從電池21向所述LED驅(qū)動器18A的電源供給的開關(guān)19C；接通/斷開向所述CCD 17、CCD驅(qū)動器17A和處理電路19A的電源供給的開關(guān)19D；以及接通/斷開向所述發(fā)送器37的電源供給的開關(guān)19E。從電池21一直向所述定時(shí)產(chǎn)生器19B提供驅(qū)動電源。
這樣構(gòu)成的膠囊型內(nèi)窺鏡3的攝像裝置43在開關(guān)19C～19E處于斷開狀態(tài)時(shí)，除定時(shí)發(fā)生器19B之外的部分處于非工作狀態(tài)。在根據(jù)來自該定時(shí)發(fā)生器19B的定時(shí)信號而接通了所述開關(guān)19D時(shí)，處于從電池21向CCD 17、CCD驅(qū)動器17A和處理電路19A提供電源的工作狀態(tài)。
在所述CCD 17的驅(qū)動初期，使CCD 17的電子快門動作，在去除不需要的暗電流后，定時(shí)發(fā)生器19B使開關(guān)19C接通，驅(qū)動LED驅(qū)動器18A，使LED 18亮燈，使CCD 17曝光。LED 18在CCD 17的預(yù)定曝光時(shí)間中亮燈，然后為了降低功耗，使開關(guān)19C斷開，使LED 18熄滅。
通過CCD驅(qū)動器17A的控制向處理電路19A傳送在所述CCD 17的曝光期間中蓄積的電荷。在處理電路19A中，根據(jù)從CCD 17傳送來的電荷生成攝像信號，對該攝像信號實(shí)施預(yù)定的信號處理來生成內(nèi)窺鏡圖像信號。CCD 17、CCD驅(qū)動器17A和處理電路19A構(gòu)成圖像生成單元。關(guān)于該內(nèi)窺鏡圖像信號，在從發(fā)送器37發(fā)送的信號例如是模擬無線方式時(shí)，生成對CDS輸出信號疊加了復(fù)合同步信號后的模擬攝像圖像信號，輸出給發(fā)送器37。此外，如果是數(shù)字無線方式，則在通過模擬/數(shù)字轉(zhuǎn)換器把攝像圖像信號轉(zhuǎn)換為數(shù)字信號后，轉(zhuǎn)換為串行信號，實(shí)施加擾等編碼處理，向發(fā)送器37輸出數(shù)字?jǐn)z像圖像信號。
該發(fā)送器37對從所述處理電路19A提供的模擬或數(shù)字?jǐn)z像圖像信號實(shí)施調(diào)制處理，從發(fā)送天線23無線發(fā)送到外部。此時(shí)，通過定時(shí)發(fā)生器19B對開關(guān)19E進(jìn)行接通/斷開操作，以僅在從所述處理電路19A輸出了攝像圖像信號時(shí)，向發(fā)送器37提供驅(qū)動電力。
另外，開關(guān)19E也可以控制為，在從處理電路19A輸出攝像圖像信號起經(jīng)過預(yù)定時(shí)間后，向發(fā)送器37提供驅(qū)動電力。并且，還可以利用設(shè)于膠囊型內(nèi)窺鏡3中的未圖示的pH傳感器檢測預(yù)定值的pH值，利用濕度傳感器檢測大于等于預(yù)定值的濕度?；蛘?，也可以利用未圖示的壓力傳感器或加速度傳感器檢測大于等于預(yù)定值的壓力或加速度，從而檢測到已被插入被檢體即患者2的體腔內(nèi)的情況，根據(jù)該檢測信號，對開關(guān)19E進(jìn)行控制以向發(fā)送器37提供電源。
另外，所述膠囊型內(nèi)窺鏡3的攝像裝置43通常每秒拍攝像兩張圖像(每秒兩幀＝2fps)，但是，例如在檢查食道時(shí)，可以每秒拍攝15～30張圖像(15fps～30fps)。具體地講，在膠囊型內(nèi)窺鏡3中設(shè)置未圖示的定時(shí)器電路，基于該定時(shí)器電路的定時(shí)器計(jì)數(shù)在預(yù)定時(shí)間以內(nèi)時(shí)，進(jìn)行每秒的拍攝張數(shù)較多的高速攝像。并且，在預(yù)定時(shí)間經(jīng)過后，進(jìn)行每秒的拍攝張數(shù)量較少的低速攝像，如此控制攝像裝置43的驅(qū)動?；蛘?，也可以在膠囊型內(nèi)窺鏡3接通電源時(shí)，同時(shí)使定時(shí)器電路工作，在患者2剛吞入后到通過食道為止的期間，控制為高速攝像。另外，還可以分別設(shè)置低速攝像用膠囊型內(nèi)窺鏡和高速攝像用膠囊型內(nèi)窺鏡，根據(jù)觀察對象部位區(qū)分使用。
下面，說明設(shè)置在所述患者2的身體表面上的天線單元4。如圖1A所示，在吞入膠囊型內(nèi)窺鏡3進(jìn)行內(nèi)窺鏡檢查時(shí)，患者2穿著設(shè)有由多個(gè)接收天線11構(gòu)成的天線單元4的夾克10。該天線單元4如圖6所示，例如將GPS中使用的貼片天線(patch antenna)那樣的具有單向指向性的多個(gè)接收天線11配置為其指向性朝向患者2的體內(nèi)方向。即，由于膠囊型內(nèi)窺鏡3的膠囊主體3D將停留在身體內(nèi)，所以將所述多個(gè)天線11配置成包圍該身體內(nèi)的膠囊主體3D。通過使用這種指向性較高的天線11，從而不易受到來自身體內(nèi)的膠囊主體3D以外的電波干擾妨礙的影響。
如圖7所示，所述夾克10是利用電磁屏蔽纖維形成的屏蔽夾克72，覆蓋設(shè)于患者2的身體表面的所述天線單元4、和通過腰帶設(shè)在患者2的腰部的外部裝置5的主體部5D。形成該屏蔽夾克72的電磁屏蔽纖維可以使用金屬纖維、金屬化學(xué)纖維、含硫化銅纖維等。另外，該屏蔽夾克72除夾克形狀之外，還可以是背心和裙子形狀。
此外，作為在所述屏蔽夾克72上安裝所述外部裝置5的示例，如圖8所示，在所述外部裝置5的外部主體5D上設(shè)置鍵孔74，將設(shè)于所述屏蔽夾克72上的鍵75插入所述鍵孔74中，由此可自由裝卸地安裝在腰帶73上?；蛘?，也可以僅在屏蔽夾克72上設(shè)置未圖示的口袋，將外部主體5D收納在該口袋中。或者，還可以在外部裝置5的外部主體5D和屏蔽夾克72上設(shè)置魔術(shù)貼(magic tape)(注冊商標(biāo))，利用該魔術(shù)貼(注冊商標(biāo))進(jìn)行安裝固定。
即，通過將屏蔽夾克72穿著在配置有天線單元4的身體上，可以屏蔽對于天線單元4的來自外部的電波，使更加不易受到外部電波引起的干擾障礙的影響。
下面，使用圖3說明所述天線單元4和外部裝置5的結(jié)構(gòu)。所述天線單元4由多個(gè)接收天線11a～11d和切換該天線11a～11d的天線切換開關(guān)45構(gòu)成，這些接收天線接收從所述膠囊型內(nèi)窺鏡3的發(fā)送天線23發(fā)送出的無線信號。所述外部裝置5由以下部分構(gòu)成接收電路33，其進(jìn)行把來自天線切換開關(guān)45的無線信號轉(zhuǎn)換為攝像圖像信號以及放大等的接收處理；信號處理電路35，其對由該接收電路33提供的攝像圖像信號實(shí)施預(yù)定的信號處理，生成攝像圖像的顯示用信號和攝像圖像數(shù)據(jù)；作為顯示裝置的液晶監(jiān)視器12，其根據(jù)通過該信號處理電路35生成的攝像圖像顯示用信號，來顯示攝像圖像；作為存儲裝置的存儲器47，其存儲通過所述信號處理電路35所生成的攝像圖像數(shù)據(jù)；以及天線選擇電路46，其根據(jù)通過所述接收電路33接收處理后的無線信號的大小，控制所述天線切換開關(guān)45。
所述天線單元4的圖中作為接收天線11a～11d示出的多個(gè)接收天線11接收從所述膠囊型內(nèi)窺鏡3的發(fā)送天線23以一定電波強(qiáng)度發(fā)送出的無線信號。該多個(gè)接收天線11a～11d由天線切換開關(guān)45根據(jù)來自所述外部裝置5的天線選擇電路46的天線選擇信號進(jìn)行控制，依次切換接收所述無線信號的接收天線。即，由通過所述天線切換開關(guān)45依次切換的每個(gè)接收天線11a～d接收到的無線信號被輸出給所述接收電路33。在該接收電路33中，檢測每個(gè)接收天線11a～11d的無線信號接收強(qiáng)度，計(jì)算各個(gè)接收天線11a～11d和膠囊型內(nèi)窺鏡3之間的位置關(guān)系，并且對該無線信號進(jìn)行解調(diào)處理，將攝像圖像信號輸出給信號處理電路35。根據(jù)來自所述接收電路33的輸出來控制所述天線選擇電路46。
說明基于所述天線選擇電路46的天線切換開關(guān)45的動作。如圖4所示，從所述膠囊型內(nèi)窺鏡3發(fā)送的無線信號在攝像圖像信號的1幀發(fā)送期間中，依次重復(fù)表示無線信號接收強(qiáng)度的接收強(qiáng)度信號的發(fā)送期間、即強(qiáng)度接收期間和攝像圖像信號的發(fā)送期間、即視頻信號期間來進(jìn)行發(fā)送。
通過所述接收電路33，所述天線選擇電路46被提供各個(gè)接收天線11a～11d接收到的接收強(qiáng)度信號的接收強(qiáng)度。所述天線選擇電路46比較從所述接收電路33提供的各個(gè)天線11a～11d的接收強(qiáng)度信號的強(qiáng)度。然后，所述天線選擇電路確定接收視頻信號期間的攝像圖像信號的最佳接收天線、即接收強(qiáng)度信號的強(qiáng)度最大的天線11i(i＝a～d)，生成并輸出用于將天線切換電路45切換至該天線11i的控制信號。由此，在其他天線的接收強(qiáng)度信號的接收強(qiáng)度大于當(dāng)前正在接收天線信號的天線時(shí)，從下一幀起切換視頻信號期間的接收天線。
這樣，在每當(dāng)接收到來自膠囊型內(nèi)窺鏡3的無線信號時(shí)，比較攝像圖像信號或接收強(qiáng)度信號的接收強(qiáng)度，通過接收到該比較結(jié)果的天線選擇電路46，將接收強(qiáng)度最大的天線11i指定為圖像信號接收用天線。由此，即使膠囊型內(nèi)窺鏡3在患者2的體內(nèi)移動時(shí)，也能夠利用可以在該移動位置檢測出接收強(qiáng)度最大的信號的天線11來接收所取得的圖像信號。并且，膠囊型內(nèi)窺鏡3在體內(nèi)的移動速度被劃分為非常慢的部分和較快的部分，所以不必總是對每次攝像動作進(jìn)行1次天線切換動作，也可以在高速攝像模式等下針對多次攝像動作進(jìn)行1次天線切換動作。
另外，膠囊型內(nèi)窺鏡3在患者2的體內(nèi)移動，所以也可以按照適當(dāng)?shù)臅r(shí)間間隔從外部裝置5發(fā)送作為電波強(qiáng)度檢測結(jié)果的檢測結(jié)果信號，根據(jù)該信號更新膠囊型內(nèi)窺鏡3發(fā)送時(shí)的輸出。這樣，即使膠囊型內(nèi)窺鏡3在患者2的體內(nèi)移動時(shí)，也能夠設(shè)定為適當(dāng)?shù)陌l(fā)送輸出，可以防止無用地消耗電池21的能量，可以將信號的收發(fā)狀態(tài)保持在合適狀態(tài)。
下面，使用圖5說明表示所述多個(gè)接收天線11和膠囊型內(nèi)窺鏡3的位置關(guān)系的信息的獲取方法。另外，在圖5中，以將膠囊型內(nèi)窺鏡3設(shè)定為三維坐標(biāo)X、Y、Z的原點(diǎn)的情況為例進(jìn)行說明。并且，為了簡化說明，在以下的說明中使用所述多個(gè)接收天線11a～11d中的3個(gè)接收天線11a、11b、11c。此外，在以下的說明中，把接收天線11a與接收天線11b之間的距離設(shè)為Dab，把接收天線11b與接收天線11c之間的距離設(shè)為Dbc，把接收天線11a與接收天線11c之間的距離設(shè)為Dac。另外，這些接收天線11a～11c與膠囊型內(nèi)窺鏡3之間為預(yù)定的距離關(guān)系。
膠囊型內(nèi)窺鏡3發(fā)送的一定發(fā)送強(qiáng)度的無線信號由各個(gè)接收天線11j(j＝a、b、c)接收到時(shí)的接收強(qiáng)度，是距膠囊型內(nèi)窺鏡3(膠囊型內(nèi)窺鏡3的發(fā)送天線23)的距離Li(i＝a、b、c)的函數(shù)。具體地講，取決于伴隨電波衰減量的距離Li。因此，根據(jù)從膠囊型內(nèi)窺鏡3發(fā)送出的無線信號被接收天線11j接收到的接收強(qiáng)度，計(jì)算膠囊型內(nèi)窺鏡3與各個(gè)接收天線11j之間的距離Li。為了計(jì)算該距離Li，事前對所述天線選擇電路46設(shè)定基于所述膠囊型內(nèi)窺鏡3和接收天線11j之間的距離的電波衰減量等相關(guān)數(shù)據(jù)。并且，把這樣計(jì)算出的表示膠囊型內(nèi)窺鏡3和各個(gè)接收天線11j之間的位置關(guān)系的距離數(shù)據(jù)作為膠囊型內(nèi)窺鏡3的位置信息存儲在所述存儲器47中。以存儲在該存儲器47中的攝像圖像信息和膠囊型內(nèi)窺鏡3的位置信息為基礎(chǔ)，在后面敘述的所述終端裝置7的圖像處理方法中，對內(nèi)窺鏡觀察結(jié)果的位置設(shè)定比較有用。
下面，使用圖10～圖21說明本發(fā)明的第一實(shí)施方式的膠囊型內(nèi)窺鏡裝置1的作用及圖像處理方法。圖10是說明有關(guān)暗部圖像的判定的處理動作的流程圖。圖11是說明有關(guān)暈光圖像的判定的處理動作的流程圖。圖12是說明有關(guān)異物圖像的判定的處理動作的流程圖。圖13是說明計(jì)算表示像素色調(diào)的參數(shù)時(shí)使用的數(shù)組表的說明圖。圖14是說明以表示像素色調(diào)的兩個(gè)參數(shù)為軸的二維區(qū)域中的活體粘膜表面像素和異物像素的分布區(qū)域的說明圖。圖15是說明通過一系列步驟判定暗部圖像、暈光圖像和異物圖像時(shí)的處理動作的流程圖。圖16是說明有關(guān)過度接近圖像的判定的處理動作的流程圖。圖17是說明有關(guān)另一觀察不適當(dāng)圖像判定的處理動作的流程圖。圖18是說明在本實(shí)施方式中使用的數(shù)字濾波器的頻率特性的概略圖。圖19是說明暈光邊緣邊界部的頻帶濾波結(jié)果的變化的圖，圖19A是說明圖像中的暈光位置的說明圖。圖19B是說明圖19A中的a-a’截面的像素值的分布圖。圖19C是說明將頻帶濾波應(yīng)用于圖19A所示圖像的結(jié)果的說明圖。圖19D是說明圖19C中的b-b’截面的像素值的分布圖。圖20是說明有關(guān)不適當(dāng)圖像的判定的處理動作的流程圖。圖21是說明終端裝置7的圖像顯示動作的流程圖。
本實(shí)施方式的圖像處理方法用于從通過膠囊型內(nèi)窺鏡3得到的一系列圖像中檢測不適于觀察和診斷的圖像。并且，本實(shí)施方式的膠囊型內(nèi)窺鏡裝置1使作為輸出單元的終端裝置7不以顯示等方式輸出通過應(yīng)用上述圖像處理方法而被識別為不適當(dāng)?shù)膱D像。通過使終端裝置7不以顯示等方式輸出被判定為不適當(dāng)?shù)膱D像，可以削減觀察所需要的時(shí)間。另外，這些不適當(dāng)?shù)膱D像不僅不適于在終端裝置7上顯示觀察，而且也不適于作為實(shí)施各種圖像處理的對象圖像，所以也可以把本實(shí)施方式的圖像處理方法用于從圖像處理對象中排除不適當(dāng)?shù)膱D像。
以下說明的圖像處理方法利用軟件實(shí)現(xiàn)，可以在所述膠囊型內(nèi)窺鏡3、外部裝置5或終端裝置7中任一方使用該圖像處理方法。此處，使用應(yīng)用于使用了計(jì)算機(jī)的終端裝置7的示例進(jìn)行說明。并且，在圖像處理方法的說明中，圖像的大小由ISX×ISY(1≤ISX、ISY。例如，ISX＝640、ISY＝480)的紅(R)、綠(G)、藍(lán)(B)這三個(gè)面構(gòu)成，各個(gè)面的像素的灰度數(shù)取8比特、即0～255的值。
在膠囊型內(nèi)窺鏡3中，在對活體粘膜表面進(jìn)行拍攝、或同時(shí)包含活體粘膜表面以外的拍攝對象物而進(jìn)行拍攝的情況下，在可以用于觀察和診斷的圖像中會混入拍攝到不適當(dāng)圖像。這些不適當(dāng)圖像在視野內(nèi)缺乏或不包含活體粘膜表面的信息。因此，這些不適當(dāng)圖像本來就是沒有保存和觀察意義的圖像，是在通常的內(nèi)窺鏡檢查中經(jīng)常被觀察到的圖像。不適當(dāng)圖像大致可以分為以下五種。
第一種是暗部圖像。所說暗部圖像指由于照明光量不足等，圖像整體或大部分變暗淡，難以觀察活體粘膜表面的圖像或者明亮度不足的圖像。第二種是暈光圖像。所說暈光圖像指暈光占據(jù)了圖像中的大部分的圖像或者暈光較多的圖像，所述暈光是在照明和活體粘膜正對著接近的情況下、或存在粘膜或泡狀液體等的情況下產(chǎn)生的。第三種是異物圖像。所說異物圖像指由于內(nèi)窺鏡觀察的前處置不良或因年老造成的蠕動運(yùn)動的降低等，使得大腸中作為活體粘膜表面以外的拍攝對象物的糞便等殘?jiān)?異物)占據(jù)了圖像中的大部分的圖像，或者視野內(nèi)異物較多的圖像。并且，作為活體粘膜表面以外的拍攝對象物，也包括消化器官內(nèi)的水分和液體，例如因消化液等形成的泡等。第四種是過度接近圖像。過度接近圖像指在過度接近或接觸活體粘膜時(shí)看到的、視野整體上呈紅色和黃色等的圖像(在內(nèi)窺鏡醫(yī)生之間俗稱為“紅球”等的圖像)。過度接近圖像由于過度接近使得沒有對準(zhǔn)焦點(diǎn)，并且視野范圍變狹小，所以不能獲得發(fā)現(xiàn)病變和血管像等的觀察結(jié)果。第五種是其他觀察不適當(dāng)圖像。作為其他觀察不適當(dāng)圖像，可以列舉在膠囊型內(nèi)窺鏡浸入滯留于消化器官內(nèi)的水分中的狀態(tài)下拍攝的浸水圖像，在膠囊型內(nèi)窺鏡移動、例如瞬時(shí)高速移動或脈動、或由于某種原因而產(chǎn)生急劇蠕動的狀態(tài)下拍攝的視野搖動圖像等。這些觀察不適當(dāng)圖像大致為沒有對準(zhǔn)焦點(diǎn)的圖像，難以觀察血管像和活體粘膜表面結(jié)構(gòu)。這種不適合于觀察、即圖像的拍攝狀態(tài)不適合于觀察的圖像有時(shí)會成為提高觀察和診斷的效率的障礙。
對于暗部圖像、暈光圖像和異物圖像，分別檢測暗部、暈光和異物的像素及區(qū)域，根據(jù)其像素?cái)?shù)或占圖像中的總體像素?cái)?shù)的比率、或者這些像素的位置，判定是否是不適當(dāng)圖像。并且，對于過度接近圖像和其他觀察不適當(dāng)圖像，計(jì)算圖像整體的色調(diào)和輪廓等活體粘膜表面結(jié)構(gòu)成分量，根據(jù)該值判定是否是不適當(dāng)圖像。關(guān)于用于檢測這些不適當(dāng)圖像的具體的圖像處理方法，以下按照不適當(dāng)圖像的類型進(jìn)行說明。另外，把R圖像、G圖像和B圖像各個(gè)圖像中的第i個(gè)像素的顏色信號的值表述為ri、gi和bi。并且，作為前處理，對各個(gè)圖像應(yīng)用公知的逆γ校正。
首先，使用圖10說明用于判定暗部圖像的處理動作。此處，暗部圖像的判定根據(jù)暗部像素占圖像中的總像素?cái)?shù)的比例來進(jìn)行。在所述外部裝置5中，對所述膠囊型內(nèi)窺鏡3拍攝而發(fā)送給外部裝置5的攝像圖像信號進(jìn)行預(yù)定的信號處理，并存儲作為攝像圖像信號數(shù)據(jù)。存儲在該外部裝置15中的攝像圖像信號數(shù)據(jù)被傳送存儲在終端裝置7中。該終端裝置7根據(jù)所存儲的攝像圖像信號數(shù)據(jù)進(jìn)行暗部圖像的判定動作。
首先，在步驟S1中，將表示序號的i初始化為1，該序號用于在作為處理對象的第j個(gè)(j為大于等于1的整數(shù))圖像的攝像圖像信號數(shù)據(jù)中確定像素。并且，將用于對被判定為暗部的像素?cái)?shù)進(jìn)行計(jì)數(shù)的計(jì)數(shù)器Cnt初始化為0。另外，將表示第j個(gè)圖像是否是暗部圖像的判定結(jié)果的標(biāo)志D[j]初始化為“FALSE”。用于確定像素的序號i和計(jì)數(shù)器Cnt取1以上且ISX×ISY以下的整數(shù)值，對標(biāo)志D[j]的值設(shè)定表示被判定為暗部圖像的“TRUE”、或表示被判定為不是暗部圖像的“FALSE”中的任一方。
接著，在步驟S2中，判定第i個(gè)像素是否屬于暗部。具體地講，把R圖像、G圖像和B圖像的各個(gè)圖像中的第i個(gè)像素的值設(shè)為ri、gi和bi，如果ri≤Td、gi≤Td且bi≤Td，則判定為屬于暗部的像素。其中，Td表示各顏色的閾值，在本發(fā)明的實(shí)施方式中，例如設(shè)定為Td＝50。另外，R圖像、G圖像和B圖像的Td設(shè)為相同的值，但由于活體粘膜通常具有R圖像最明亮的趨勢，所以也可以例如把對于ri的閾值設(shè)定得大于對gi、bi的閾值。此外，還可以將對于ri、gi、bi的閾值分別設(shè)定為不同的值。在判定為第i個(gè)像素是屬于暗部的像素時(shí)，轉(zhuǎn)入步驟S3，在判定第i個(gè)像素是不屬于暗部的像素時(shí)，轉(zhuǎn)入步驟S6。步驟S2和S3構(gòu)成根據(jù)像素的值即圖像的明亮度計(jì)算特征量的特征量計(jì)算步驟或特征量計(jì)算單元。
在步驟S3中，使Cnt的值增加1。然后，在步驟S4中，判定第j個(gè)圖像是否是暗部圖像。具體地講，如果Cnt≥α，則判定為暗部圖像。其中，α表示用于決定相對于總像素?cái)?shù)存在多少暗部像素時(shí)判定為暗部圖像的閾值，即用于決定圖像合格與否的拍攝狀態(tài)閾值。該α在本實(shí)施方式中，例如設(shè)定為α＝0.7×ISX×ISY，即設(shè)定為總像素?cái)?shù)的70％的像素?cái)?shù)。在Cnt≥α?xí)r，轉(zhuǎn)入步驟S5，在Cnt＜α?xí)r，轉(zhuǎn)入步驟S6。
在步驟S5中，將作為處理對象圖像的第j個(gè)圖像判定為暗部圖像，設(shè)為D[j]＝“TRUE”，結(jié)束處理，轉(zhuǎn)入對接下來的第(j+1)個(gè)圖像的判定處理。步驟S4和S5構(gòu)成拍攝狀態(tài)判定步驟或拍攝狀態(tài)判定單元。
在步驟S6中，判定是否已對所有像素進(jìn)行了步驟S2的暗部像素判定。具體地講，在i＜ISX×ISY時(shí)，在步驟S7中，將用于確定像素的序號i加1(i＝i+1)，對下一像素執(zhí)行所述步驟S2～步驟S6，對其余像素進(jìn)行暗部像素判定。在i＝ISX×ISY時(shí)，結(jié)束處理，轉(zhuǎn)入對接下來的第(j+1)個(gè)圖像的判定處理。
如以上說明的那樣，通過步驟S1～S7的一系列處理，可以根據(jù)攝像圖像的各個(gè)像素的像素值，判定處理對象圖像是否是暗部圖像。
接著，使用圖11說明用于判定暈光圖像的處理動作。此處，根據(jù)暈光像素占圖像中總像素?cái)?shù)的比例來進(jìn)行暈光圖像的判定。
首先，在步驟S11中，將表示序號的i初始化為1，該序號用于在作為處理對象的第j個(gè)(j為大于等于1的整數(shù))圖像的攝像圖像信號數(shù)據(jù)中確定像素。此外，將用于對被判定為暗部的像素的數(shù)量進(jìn)行計(jì)數(shù)的計(jì)數(shù)器Cnt初始化為0。另外，將表示第j個(gè)圖像是否是暈光圖像的判定結(jié)果的標(biāo)志H[j]初始化為“FALSE”。用于確定像素的序號i和計(jì)數(shù)器Cnt取1以上且ISX×ISY以下的整數(shù)值。對標(biāo)志H[j]的值設(shè)定表示被判定為暈光圖像的“TRUE”、或表示被判定為不是暈光圖像的“FALSE”中的任一方。
然后，在步驟S12中，判定第i個(gè)像素是否屬于極端明亮的像素即暈光像素。具體地講，把R圖像、G圖像和B圖像的各個(gè)圖像中的第i個(gè)像素的值設(shè)為ri、gi和bi，如果ri≥Th、gi≥Th和bi≥Th，則判定為暈光像素。其中，Th表示各顏色的閾值，在本發(fā)明的實(shí)施方式中，例如設(shè)定為Th＝240。另外，R圖像、G圖像和B圖像的Th設(shè)為相同的值，但由于活體粘膜通常具有R圖像最明亮的趨勢，所以例如也可以把對于ri的閾值設(shè)定得大于對于gi、bi的閾值。并且，還可以將對于ri、gi、bi的閾值分別設(shè)定為不同的值。在判定為第i個(gè)像素是暈光像素時(shí)，轉(zhuǎn)入步驟S13，在判定為第i個(gè)像素不是暈光像素時(shí)，轉(zhuǎn)入步驟S16。
在步驟S13中，使Cnt的值增加1。然后，在步驟S14中，判定第j個(gè)圖像是否是暈光圖像。具體地講，如果Cnt≥β，則判定為暈光圖像。其中，β表示用于決定相對于總像素?cái)?shù)存在多少暈光像素時(shí)判定為暈光圖像的閾值，即用于決定圖像好壞的拍攝狀態(tài)閾值。在本實(shí)施方式中，該β例如設(shè)定為β＝0.5×ISX×ISY，即設(shè)定為總像素?cái)?shù)的50％的像素?cái)?shù)。在Cnt≥β時(shí)，轉(zhuǎn)入步驟S15，在Cnt＜β時(shí)，轉(zhuǎn)入步驟S16。步驟S12和S13構(gòu)成根據(jù)像素的值即圖像的明亮度計(jì)算特征量的特征量計(jì)算步驟或特征量計(jì)算單元。步驟S14和S15構(gòu)成拍攝狀態(tài)判定步驟或拍攝狀態(tài)判定單元。
在步驟S15中，將作為處理對象圖像的第j個(gè)圖像判定為暈光圖像，設(shè)為H[j]＝“TRUE”，結(jié)束處理，轉(zhuǎn)入對接下來的第(j+1)個(gè)圖像的判定處理。
在步驟S16中，判定是否已對所有像素進(jìn)行了步驟S12中的暈光像素判定。具體地講，在i＜ISX×ISY時(shí)，在步驟S17中，對確定像素的序號i加1(i＝i+1)，對下一像素執(zhí)行所述步驟S12～步驟S16，對其余像素進(jìn)行暈光像素判定。在i＝ISX×ISY時(shí)，結(jié)束處理，轉(zhuǎn)入對接下來的第(j+1)個(gè)圖像的判定處理。
如以上說明的那樣，通過步驟S11～S17的一系列處理，可以根據(jù)攝像圖像的各個(gè)像素的像素值，判定處理對象圖像是否是暈光圖像。
另外，在以上說明中，說明了分別判定暗部圖像和暈光圖像的處理動作，但也可以在一次的處理動作中判定這兩種圖像。例如，在使用圖10說明的暗部圖像的判定處理的步驟S2中，取代判定第i個(gè)像素是否屬于暗部的步驟，而判定第i個(gè)像素是否是適當(dāng)?shù)呐臄z狀態(tài)的像素，即判定是否為既不是暗部像素也不是暈光像素的像素。然后，在步驟S4中，取代判定第j個(gè)圖像是否是暗部圖像的步驟，而判定第j個(gè)圖像是否是適當(dāng)?shù)呐臄z狀態(tài)的圖像，即判定是否為既不是暗部圖像也不是暈光圖像的圖像。換言之，在上述示例中，把像素值在預(yù)定閾值以上或以下作為判斷基準(zhǔn)，但也可以把像素值既不在預(yù)定閾值以上也不在預(yù)定閾值以下作為判斷基準(zhǔn)。具體地講，在步驟S2中，在Td＜ri＜Th、Td＜gi＜Th、Td＜bi＜Th時(shí)，將第i個(gè)像素判定為適當(dāng)?shù)呐臄z狀態(tài)的像素，轉(zhuǎn)入步驟S3，否則轉(zhuǎn)入步驟S6。并且，在步驟S4中，在Cnt＞ISX×ISY-α?xí)r，判定為第j個(gè)圖像是適當(dāng)?shù)呐臄z狀態(tài)的圖像，轉(zhuǎn)入步驟S5，否則轉(zhuǎn)入步驟S6。通過以上處理動作，可以在一次的處理動作中檢測是暗部圖像或暈光圖像，檢測觀察不適當(dāng)圖像。另外，在上述示例中，當(dāng)標(biāo)志D[j]被設(shè)定為“TRUE”時(shí)，表示判定為第j個(gè)圖像是適當(dāng)?shù)呐臄z狀態(tài)的圖像。另一方面，當(dāng)標(biāo)志D[j]被設(shè)定為“FALSE”時(shí)，表示判定為第j個(gè)圖像是暗部圖像或暈光圖像。
下面，使用圖12說明用于判定異物圖像的處理動作。與診斷無關(guān)的代表性異物是大腸中的糞便等的殘?jiān)?。通常，在下部消化器官檢查中，在檢查前一天或當(dāng)天攝取食物纖維量較少的飲食，或服用大量的緩瀉劑，進(jìn)行用于排泄大腸中的糞便等的前處置。但是，有時(shí)糞便等沒有完全排泄而殘留在大腸中，這些成為殘?jiān)?。也會因年老造成的蠕動運(yùn)動降低等產(chǎn)生這種殘?jiān)Ｍǔ５膬?nèi)窺鏡檢查是在醫(yī)院進(jìn)行，所以護(hù)士等一面確認(rèn)被檢查者的排泄?fàn)顟B(tài)一面進(jìn)行檢查。另一方面，使用膠囊型內(nèi)窺鏡3的消化器官檢查與通常的內(nèi)窺鏡檢查相比，前處置委托給被檢查者的比例較高，所以由于未能進(jìn)行充分排泄等原因，產(chǎn)生殘?jiān)目赡苄暂^大。
在本實(shí)施方式中，根據(jù)糞便的色調(diào)，進(jìn)行圖像中是否存在殘?jiān)呐卸?、即異物圖像的判定。首先，在步驟S21中，將表示序號的i初始化為1，該序號用于在作為處理對象的第j個(gè)(j為大于等于1的整數(shù))圖像的攝像圖像信號數(shù)據(jù)中確定像素。并且，將用于對被判定為拍攝了異物的像素的數(shù)量進(jìn)行計(jì)數(shù)的計(jì)數(shù)器Cnt初始化為0。另外，將表示第j個(gè)圖像是否是異物圖像的判定結(jié)果的標(biāo)志A1[j]初始化為“FALSE”。用于確定像素的序號i和計(jì)數(shù)器Cnt取1以上且ISX×ISY以下的整數(shù)值。并且，對標(biāo)志A1[j]的值設(shè)定表示被判定為異物圖像的“TRUE”、或表示被判定為不是異物圖像的“FALSE”中的任一方。
然后，在步驟S22中，計(jì)算表示第i個(gè)像素Pi的色調(diào)的參數(shù)。把R圖像、G圖像和B圖像的各個(gè)圖像中的第i個(gè)像素的值設(shè)為ri、gi和bi，表示像素Pi的色調(diào)的參數(shù)可以利用ri、gi和bi中的任一方或者兩方以上的組合表述。此處，利用膠囊型內(nèi)窺鏡3拍攝活體粘膜表面得到的圖像中的像素ri、gi和bi的值，一般是ri的值大于gi的值和bi的值。這是因?yàn)檠?hemoglobin)對活體粘膜的色調(diào)的影響較大，血色素具有幾乎不吸收形成R圖像的長波段的光而反射該光，并且吸收形成G圖像和B圖像的中～短波段的光的特性。另一方面，糞便的殘?jiān)捎谀懼认旱挠绊懙?，一般呈現(xiàn)黃色乃至土黃色。即，作為像素Pi的色調(diào)，gi的值和ri的值大于bi的值。即，可以說糞便殘?jiān)纳{(diào)與活體粘膜表面的色調(diào)相比，gi的值相對較大。根據(jù)以上可知，可以根據(jù)該像素的色調(diào)判定像素Pi是拍攝了活體粘膜表面的像素還是拍攝了糞便等異物的像素，具體地講，可以使用表示像素Pi中基于gi、bi與ri之比的色調(diào)的參數(shù)。作為表示像素Pi中基于上述比值的色調(diào)的參數(shù)，可以列舉gi/ri、bi/ri、log(gi/ri)、log(bi/ri)、atan(gi/ri)、atan(bi/ri)、…等。其中，atan表示tan-1。在本實(shí)施方式中，把a(bǔ)tan(gi/ri)和atan(bi/ri)用作表示色調(diào)的參數(shù)，分別表示為參數(shù)x、參數(shù)y。
作為步驟S22中的像素Pi的參數(shù)x和參數(shù)y的計(jì)算方法，可以將像素Pi的ri、gi和bi的值直接代入?yún)?shù)x和參數(shù)y的算式即atan(gi/ri)和atan(bi/ri)中計(jì)算。在本實(shí)施方式中，定義取0≤v1≤255的范圍內(nèi)的任意整數(shù)值的v1、和取0≤v2≤255的范圍內(nèi)的任意整數(shù)值的v2。并且，預(yù)先計(jì)算相對任意的v1和v2的atan(v1/v2)的值，準(zhǔn)備圖13所示的二維數(shù)組表。在計(jì)算參數(shù)x時(shí)，把像素Pi的gi的值設(shè)為v1，把ri的值設(shè)為v2，在上述數(shù)組表中，檢索與其對應(yīng)的atan(v1/v2)，把表中相應(yīng)部位記述的數(shù)值作為參數(shù)x的值。例如，在像素Pi的gi的值為0、ri的值為3時(shí)，v1＝0，v2＝3。在圖13的數(shù)組表中，與其對應(yīng)的atan(v1/v2)是上面起第四行，其值為0。因此，此時(shí)的參數(shù)x的值為0。在計(jì)算參數(shù)y時(shí)，把像素Pi中的bi的值設(shè)為v1，把ri的值設(shè)為v2，在上述數(shù)組表中，檢索與其對應(yīng)的atan(v1/v2)，把表中相應(yīng)部位記述的數(shù)值作為參數(shù)y的值。另外，atan(v1/v2)取0≤atan(v1/v2)＜90的范圍內(nèi)的實(shí)數(shù)值。在本實(shí)施方式中，為了簡化處理，應(yīng)用將所述范圍分割為90部分而進(jìn)行了離散化的近似值。例如，通過將小數(shù)點(diǎn)第1位四舍五入，使atan(v1/v2)的值近似于0～89的整數(shù)值。例如，在像素Pi的bi的值是255、ri的值是254時(shí)，v1＝255、v2＝254。在圖13的數(shù)組表中，與其對應(yīng)的atan(v1/v2)是下面起第二行，其值為45.112。因此，把將45.112的小數(shù)點(diǎn)第1位四舍五入得到的45作為參數(shù)y的值。步驟S22構(gòu)成色調(diào)提取步驟。
接著，在步驟S23中，使用表示第i個(gè)像素Pi的色調(diào)的參數(shù)，判定像素Pi是否是拍攝了異物的像素。在本實(shí)施方式中的異物像素判定中，使用在異物像素判定之前預(yù)先準(zhǔn)備的定義了異物像素的分布區(qū)域的區(qū)域圖。該區(qū)域圖是把參數(shù)x作為x軸、把參數(shù)y作為y軸的二維圖，根據(jù)描繪了既已拍攝的許多圖像中被判定為異物的像素和被判定為活體粘膜表面的像素的位置，定義各個(gè)分布區(qū)域。糞便等的殘?jiān)狞S色調(diào)具有較強(qiáng)的色調(diào)，gi的值取相對較大的值，所以異物像素被定義為例如分布于圖14中的區(qū)域(1)所示的區(qū)域。此外，正常的活體粘膜表面被定義為例如分布于圖14中的區(qū)域(2)所示的區(qū)域。x軸和y軸使用可以作為參數(shù)x和參數(shù)y的值的90個(gè)離散值，分別分割為90部分，由此區(qū)域圖被劃分為90×90塊。另外，各個(gè)塊被賦予了下面的值。即，區(qū)域(1)中包含的塊被賦予1，區(qū)域(2)中包含的塊被賦予2，不包含于任何區(qū)域的塊被賦予0。此外，賦予給不包含于任何區(qū)域的塊的值只要不是1即可，例如也可以賦予2。
像素Pi是否是拍攝了異物的像素的判定是這樣進(jìn)行的，在上述區(qū)域圖中，利用在步驟S22中得到的表示像素Pi的色調(diào)的參數(shù)x的值和參數(shù)y的值所確定的位置坐標(biāo)是否包含于異物像素的分布區(qū)域中，即是否屬于其值被賦予了1的塊。由此，分布區(qū)域的邊界構(gòu)成色調(diào)的閾值。在屬于其值被賦予了1的塊時(shí)，判定為像素Pi是拍攝了異物的像素，轉(zhuǎn)入步驟S24。在屬于被賦予了其他值的塊時(shí)，判定為像素Pi不是拍攝了異物的像素，轉(zhuǎn)入步驟S27。步驟S22、S23和S24構(gòu)成計(jì)算基于圖像色調(diào)的特征量的特征量計(jì)算步驟或特征量計(jì)算單元。
在步驟S24中，使Cnt的值增加1。接著，在步驟S25中，判定第j個(gè)圖像是否是異物圖像。具體地講，如果Cnt≥γ，則判定為異物圖像。其中，γ表示用于確定相對于總像素?cái)?shù)存在多少異物像素時(shí)判定為異物圖像的閾值，即用于確定圖像好壞的拍攝狀態(tài)的閾值。該γ在本實(shí)施方式中，例如設(shè)定為γ＝0.5×ISX×ISY，即設(shè)定為總像素?cái)?shù)的50％的像素?cái)?shù)。在Cnt≥γ時(shí)，轉(zhuǎn)入步驟S26，在Cnt＜γ時(shí)，轉(zhuǎn)入步驟S27。
在步驟S26中，將作為處理對象圖像的第j個(gè)圖像判定為異物圖像，設(shè)為A1[j]＝“TRUE”，結(jié)束處理，轉(zhuǎn)入對接下來的第(j+1)個(gè)圖像的判定處理。步驟S25和S26構(gòu)成拍攝狀態(tài)判定步驟或拍攝狀態(tài)判定單元。
在步驟S27中，判定是否已對所有像素進(jìn)行了步驟S23的異物像素判定。具體地講，在i＜ISX×ISY時(shí)，在步驟S28中，對用于指定像素的序號i加1(i＝i+1)，對下一像素執(zhí)行所述步驟S22～步驟S27，對其余像素進(jìn)行異物像素判定。在i＝ISX×ISY時(shí)，結(jié)束處理，轉(zhuǎn)入對接下來的第(j+1)個(gè)圖像的判定處理。
如以上說明的那樣，通過步驟S21～S28的一系列處理，可以根據(jù)攝像圖像的各個(gè)像素的像素值，判定處理對象圖像是否是異物圖像。
另外，在以上說明中，對分別判定暗部圖像、暈光圖像和異物圖像的處理動作進(jìn)行了說明，但也可以在一次的處理動作中判定這三種不適當(dāng)圖像。使用圖15說明上述用于判定三種不適當(dāng)圖像的處理動作的一例。
首先，在步驟S31中，將表示序號的i初始化為1，該序號用于在作為處理對象的第j個(gè)(j為大于等于1的整數(shù))圖像的攝像圖像信號數(shù)據(jù)中確定像素。并且，將用于對被判定為暗部的像素的數(shù)量進(jìn)行計(jì)數(shù)的計(jì)數(shù)器CntD、用于對被判定為暈光的像素的數(shù)量進(jìn)行計(jì)數(shù)的計(jì)數(shù)器CntH、和用于對被判定為拍攝了異物的像素的數(shù)量進(jìn)行計(jì)數(shù)的計(jì)數(shù)器CntA初始化為0。另外，將表示第j個(gè)圖像是否是不適當(dāng)圖像的判定結(jié)果的標(biāo)志N[j]初始化為“FALSE”。用于確定像素的序號i和計(jì)數(shù)器CntD、CntH和CntA取1以上且ISX×ISY以下的整數(shù)值，對標(biāo)志N[j]的值設(shè)定表示被判定為不適當(dāng)圖像的“TRUE”、或表示被判定為不是不適當(dāng)圖像的”FALSE”中的任一方。
然后，在步驟S32中，判定第i個(gè)像素是否屬于暗部。步驟S32的處理與步驟S2的處理相同，所以省略處理的具體描述。在判定為第i個(gè)像素是屬于暗部的像素時(shí)，轉(zhuǎn)入步驟S33，在判定為第i個(gè)像素是不屬于暗部的像素時(shí)，轉(zhuǎn)入步驟S35，進(jìn)行暈光像素判定。
在步驟S33中，使CntD的值增加1。接著，在步驟S34中，判定第j個(gè)圖像是否是暗部圖像。步驟S34的處理與步驟S4的處理相同，所以省略處理的具體描述。在判定為第j個(gè)圖像是暗部圖像時(shí)，轉(zhuǎn)入步驟S42，在判定為第j個(gè)圖像不是暗部圖像時(shí)，轉(zhuǎn)入步驟S35。
在步驟S35中，判定第i個(gè)像素是否屬于暈光像素。步驟S35的處理與步驟S12的處理相同，所以省略處理的具體描述。在判定為第i個(gè)像素是屬于暈光像素的像素時(shí)，轉(zhuǎn)入步驟S36，在判定為第i個(gè)像素是不屬于暗部的像素時(shí)，轉(zhuǎn)入步驟S38，進(jìn)行異物像素判定。
在步驟S36中，使CntH的值增加1。然后，在步驟S37中，判定第j個(gè)圖像是否是暈光圖像。步驟S37的處理與步驟S14的處理相同，所以省略處理的具體描述。在判定為第j個(gè)圖像是暈光圖像時(shí)，轉(zhuǎn)入步驟S42，在判定為第j個(gè)圖像不是暈光圖像時(shí)，轉(zhuǎn)入步驟S38。
在步驟S38中，計(jì)算表示第i個(gè)像素Pi的色調(diào)的參數(shù)。步驟S38的處理與步驟S22的處理相同，所以省略處理的具體描述。接著，在步驟S39中，使用表示第i個(gè)像素Pi的色調(diào)的參數(shù)，判定像素Pi是否是拍攝了異物的像素。步驟S39的處理與步驟S23的處理相同，所以省略處理的具體描述。在判定為第i個(gè)像素Pi是拍攝了異物的像素時(shí)，轉(zhuǎn)入步驟S40，在判定為第i個(gè)像素Pi不是拍攝了異物的像素時(shí)，轉(zhuǎn)入步驟S43。
在步驟S40中，使CntA的值增加1。接著，在步驟S41中，判定第j個(gè)圖像是否是異物圖像。步驟S41的處理與步驟S25的處理相同，所以省略處理的具體描述。在判定為第j個(gè)圖像是異物圖像時(shí)，轉(zhuǎn)入步驟S42，在判定為第j個(gè)圖像不是異物圖像時(shí)，轉(zhuǎn)入步驟S43。
在步驟S42中，判定作為處理對象圖像的第j個(gè)圖像是不適當(dāng)圖像，設(shè)為N[j]＝“TRUE”，結(jié)束處理，轉(zhuǎn)入對接下來的第(j+1)個(gè)圖像的判定處理。
在步驟S43中，判定是否已對所有像素進(jìn)行了不適當(dāng)像素判定。具體地講，在i＜ISX×ISY時(shí)，在步驟S44中，將用于確定像素的序號i加1(i＝i+1)，對其余像素進(jìn)行不適當(dāng)像素判定。在i＝ISX×ISY時(shí)，結(jié)束處理，轉(zhuǎn)入對接下來的第(j+1)個(gè)圖像的判定處理。
如以上說明的那樣，通過步驟S31～S44的一系列處理，可以根據(jù)攝像圖像的各個(gè)像素的像素值，判定處理對象圖像是否是被分類為暗部圖像、暈光圖像、異物圖像中的任一方的不適當(dāng)圖像。另外，在上述示例中，對處理對象圖像的各個(gè)像素，按照暗部像素、暈光像素、異物像素的順序，判定是否屬于這些像素，但是判定的順序不限于此，例如也可以從異物像素和暈光像素開始判定。此外，還可以在一個(gè)步驟中進(jìn)行暗部像素、暈光像素、異物像素的判定。
下面，使用圖16說明用于判定過度接近圖像的處理動作。在膠囊型內(nèi)窺鏡3過度接近或接觸活體粘膜時(shí)，所拍攝的圖像整體上呈紅色/黃色等。并且，即使不接觸，在過度接近活體粘膜時(shí)，所拍攝的圖像沒有對準(zhǔn)焦點(diǎn)，成為難以發(fā)現(xiàn)病變、難以獲得血像管等的觀察結(jié)果的圖像。
在本實(shí)施方式中，把圖像的整體色調(diào)平均值和標(biāo)準(zhǔn)偏差作為特征量，根據(jù)這些特征量進(jìn)行過度接近圖像的判定。首先，在步驟S51中，將表示作為處理對象的第j個(gè)(j為大于等于1的整數(shù))圖像是否是過度接近圖像的判定結(jié)果的標(biāo)志A2[j]初始化為“FALSE”。另外，對標(biāo)志A2[j]的值設(shè)定表示被判定為是過度接近圖像的“TRUE”、或表示被判定不是過度接近圖像的“FALSE”中的任一方。
然后，在步驟S52中，判定作為處理對象的第j個(gè)圖像的所有像素是否為暗部像素或暈光像素?？梢酝ㄟ^對1≤i≤ISX×ISY的范圍內(nèi)的所有像素Pi實(shí)施圖10的步驟S2的判定處理來進(jìn)行該步驟中的暗部像素的判定。并且，可以通過對1≤i≤ISX×ISY的范圍內(nèi)的所有像素Pi實(shí)施圖11的步驟S12的判定處理來進(jìn)行該步驟中的暈光像素的判定。
然后，在步驟S53中，對除了在步驟S52中被判定為暗部像素或暈光像素的像素之外的所有像素，計(jì)算gi/ri和bi/ri的值，計(jì)算作為計(jì)算對象的像素的平均值和標(biāo)準(zhǔn)偏差。在本實(shí)施方式中，把gi/ri的平均值、gi/ri的標(biāo)準(zhǔn)偏差、bi/ri的平均值和bi/ri的標(biāo)準(zhǔn)偏差這4個(gè)值作為特征量，進(jìn)行識別分類，進(jìn)行過度接近圖像的判定。
然后，在步驟S54中，使用公知的線性判別函數(shù)，對處理對象圖像進(jìn)行識別分類。所說識別分類指預(yù)先定義被稱為類的多個(gè)分類，使用根據(jù)被分類為這些多個(gè)類中的某一類的、被稱為訓(xùn)練數(shù)據(jù)的已知數(shù)據(jù)計(jì)算出的特征量來生成線性判別函數(shù)，向該線性判別函數(shù)輸入作為分類對象的數(shù)據(jù)的特征量，從而把對象數(shù)據(jù)分類為某一類，即確定圖像好壞的拍攝狀態(tài)閾值。作為識別分類的方法，除線性判別函數(shù)外，還可以列舉神經(jīng)網(wǎng)絡(luò)等識別器。
在本實(shí)施方式中，作為類定義了兩類，即正常拍攝了活體粘膜表面的圖像、和過度接近或接觸活體粘膜表面而拍攝的過度接近圖像，作為訓(xùn)練數(shù)據(jù)，例如使用被分類為各個(gè)類的一百張圖像生成線性判別函數(shù)。過度接近圖像由于圖像整體為紅色或黃色，所以為了提高識別分類的精度，對于過度接近圖像類，以其平均色調(diào)為基礎(chǔ)細(xì)分為紅色調(diào)的過度接近圖像類和黃色調(diào)的過度接近圖像類這兩類，加上正常圖像類一共為三類。另外，在過度接近圖像中，在圖像整體為紅色的情況下，與ri相比，gi和bi的值較小，所以gi/ri的平均值和bi/ri的平均值均取較小的值，在圖像整體為黃色的情況下，gi/ri的平均值相比于bi/ri的平均值取較大的值。此外，膠囊型內(nèi)窺鏡3由于過度接近活體粘膜表面使得沒有對準(zhǔn)焦點(diǎn)，或由于接觸活體粘膜表面使得圖像整體變模糊，所以gi/ri的標(biāo)準(zhǔn)偏差和bi/ri的標(biāo)準(zhǔn)偏差均取較小的值。線性判別函數(shù)根據(jù)各個(gè)類中的這些特征量的分布差異，將作為處理對象的圖像分類為某一類。步驟S52、S53和S54構(gòu)成特征量計(jì)算步驟或特征量計(jì)算單元。
然后，在步驟S55中，根據(jù)步驟S54的識別分類結(jié)果，判定處理對象圖像是否是過度接近圖像。在步驟S54中，在處理對象圖像被分類為過度接近圖像類、或?qū)⑦^度接近圖像類細(xì)分后的紅色調(diào)過度接近圖像類和黃色調(diào)過度接近圖像類中任一類時(shí)，判定為處理對象圖像是過度接近圖像，轉(zhuǎn)入步驟S56。在步驟S54中，在處理對象圖像被分類為正常圖像類時(shí)，判定處理對象圖像不是過度接近圖像，結(jié)束處理，轉(zhuǎn)入對接下來的第(j+1)個(gè)圖像的判定處理。在步驟S56中，設(shè)為A2[j]＝“TRUE”，結(jié)束處理，轉(zhuǎn)入對接下來的第(j+1)個(gè)圖像的判定處理。步驟S55和S56構(gòu)成拍攝狀態(tài)判定步驟或拍攝狀態(tài)判定單元。
如以上說明的那樣，通過步驟S51～S56的一系列處理，根據(jù)攝像圖像的各個(gè)像素的像素值計(jì)算特征量而進(jìn)行識別分類，由此可以判定處理對象圖像是否是過度接近圖像。
下面，使用圖17說明用于判定其他觀察不適當(dāng)圖像的處理動作。消化器官內(nèi)有時(shí)存在水分滯留的部位，如果膠囊型內(nèi)窺鏡3浸入這種部位中，有時(shí)會拍攝到難以觀察活體粘膜表面的圖像。并且，在膠囊型內(nèi)窺鏡3在消化器官內(nèi)快速移動、或由于脈動等某種原因產(chǎn)生急劇蠕動的情況下，有時(shí)會拍攝到瞬時(shí)視野搖動的圖像。這些圖像大多是沒有對準(zhǔn)焦點(diǎn)的圖像，難以觀察血管像和活體粘膜表面的結(jié)構(gòu)。
在本實(shí)施方式中，根據(jù)圖像中包含的頻率成分量，進(jìn)行其他觀察不適當(dāng)圖像的判定。另外，由于反映活體粘膜表面的結(jié)構(gòu)成分最多的圖像是G圖像，所以在圖像判定中只使用G圖像。
首先，在步驟S61中，將表示作為處理對象的第j個(gè)(j為1以上的整數(shù))圖像是否是其他觀察不適當(dāng)圖像的判定結(jié)果的標(biāo)志A3[j]初始化為“FALSE”。另外，標(biāo)志A3[j]的值被設(shè)定為表示判定是其他觀察不適當(dāng)圖像的“TRUE”、或表示判定為不是其他觀察不適當(dāng)圖像的“FALSE”中的任一方。
然后，在步驟S62中，對作為處理對象的第j個(gè)圖像的所有像素判定是否是暗部像素或暈光像素，存儲被判定是暗部像素或暈光像素的像素位置?？梢酝ㄟ^對1≤i≤ISX×ISY范圍內(nèi)的所有像素Pi執(zhí)行圖10中的步驟S2的判定處理來進(jìn)行該步驟的暗部像素判定。此外，可以通過對1≤i≤ISX×ISY范圍內(nèi)的所有像素Pi執(zhí)行圖11中的步驟S12的判定處理來進(jìn)行該步驟的暈光像素判定。被判定為是暗部像素或暈光像素的像素位置按照下面所述存儲。即，預(yù)先在存儲器中確保ISX×ISY尺寸的二維數(shù)組區(qū)域，把與被判定為暗部像素的像素的坐標(biāo)位置對應(yīng)的數(shù)組元素的值設(shè)為1，把與被判定為暈光像素的像素的坐標(biāo)位置對應(yīng)的數(shù)組元素的值設(shè)為2，把與除此以外的像素的坐標(biāo)位置對應(yīng)的數(shù)組元素的值設(shè)為0。
接著，在步驟S63中，對圖像整體應(yīng)用帶通濾波。作為帶通濾波，使用公知的數(shù)字濾波器(FIR濾波器)，通過卷積運(yùn)算處理僅提取血管像等構(gòu)成活體粘膜表面結(jié)構(gòu)的頻帶成分。在本實(shí)施方式中使用的數(shù)字濾波器的頻率特性如圖18所示，對于圖像中的最高頻率π，把f＝π/3作為峰值，具有抑制低頻成分和高頻成分的特性。步驟S63構(gòu)成濾波步驟。
接著，在步驟S64中，對在步驟S63中得到的帶通濾波結(jié)果，根據(jù)在步驟S62中判定并存儲的暗部像素和暈光像素的位置信息進(jìn)行修整處理，以便去除由于像素極暗或極亮而引起的對帶通濾波結(jié)果的影響。在暗部像素即極暗像素中，S/N比惡化，所以相比于因活體粘膜表面結(jié)構(gòu)而產(chǎn)生的成分，因噪聲產(chǎn)生的成分對帶通濾波結(jié)果的影響更大。因此，在暗部圖像中不能正確提取活體粘膜表面結(jié)構(gòu)的成分。
另外，暈光像素是極亮的像素，暈光區(qū)域的邊緣邊界的像素由于像素值在急劇變化，使得帶通濾波結(jié)果產(chǎn)生較大變動。例如圖19A所示，在圖像的中心附近存在大致橢圓形狀的暈光區(qū)域H1，位于通過暈光區(qū)域H1的圖像水平方向的軸a-a’上的像素的像素值表現(xiàn)出圖19B所示的變動(分布)。在對該圖像實(shí)施帶通濾波時(shí)，如圖19C所示，在暈光區(qū)域的邊緣邊界產(chǎn)生影響區(qū)域H2，其水平方向的分布如圖19D所示，在影響區(qū)域H2中，在極短距離之間產(chǎn)生急劇的變動。影響區(qū)域H2的擴(kuò)散程度取決于在帶通濾波中使用的數(shù)字濾波器的濾波器規(guī)格，在把濾波器規(guī)格設(shè)為N×N時(shí)為|N/2|。此處，||為高斯記號，表示對小數(shù)點(diǎn)以下進(jìn)行四舍五入。另外，在本實(shí)施方式的頻帶濾波中具有把直流成分的振幅設(shè)為0的特性，因此處理結(jié)果有可能取負(fù)值。
針對帶通濾波結(jié)果的修整處理按照下面所述進(jìn)行。首先，在存儲暗部像素和暈光像素的位置的二維數(shù)組區(qū)域中，對暈光像素區(qū)域應(yīng)用公知的膨脹處理，由此把與屬于因暈光而產(chǎn)生的影響區(qū)域H2的像素的坐標(biāo)位置對應(yīng)的數(shù)組元素的值替換為表示暈光像素的2。然后，在應(yīng)用膨脹處理后的二維數(shù)組區(qū)域中，對于數(shù)組元素的值被賦予了1或2的像素，把通過應(yīng)用帶通濾波得到的提取成分的值替換為0。并且，利用計(jì)數(shù)器Cnt存儲提取成分的值被替換為0的像素的數(shù)量。通過以上處理，可以根據(jù)通過帶通濾波得到的結(jié)果，排除暗部像素和暈光像素的影響，修整為只提取血管像等構(gòu)成活體粘膜表面結(jié)構(gòu)的頻帶成分的圖像。
然后，在步驟S65中，根據(jù)在截止到步驟S64的處理中得到的結(jié)構(gòu)成分提取結(jié)果，計(jì)算結(jié)構(gòu)成分特征量。在本實(shí)施方式中，把提取出的結(jié)構(gòu)成分的方均值定義為結(jié)構(gòu)成分特征量。方均值μ一般被稱為頻率功率，從圖像中提取出的結(jié)構(gòu)成分越多、換言之頻率成分越多，其值越大，利用下式(1)計(jì)算。
式(1)μ={Σj=1ISYΣi=1ISXh2(i,j)}/{(ISX×ISY)-Cnt}]]>在式(1)中，h(i、j)是在步驟S64中得到的、將暗部像素、暈光像素、及受到暈光影響的像素排除后的各個(gè)像素的結(jié)構(gòu)成分提取結(jié)果，Cnt是在步驟S64中提取成分的值被替換為0的像素的數(shù)量。步驟S65構(gòu)成頻率功率計(jì)算步驟。并且，步驟S63～步驟S65構(gòu)成頻率提取步驟。步驟S62～步驟S65構(gòu)成特征量計(jì)算步驟或特征量計(jì)算單元。特別是步驟S64和S65構(gòu)成計(jì)算基于圖像的頻率成分量或結(jié)構(gòu)成分的特征量的特征量計(jì)算步驟或特征量計(jì)算單元。
接著，在步驟S66中，根據(jù)在步驟S65中得到的結(jié)構(gòu)成分特征量，判定處理對象圖像是否是其他觀察不適當(dāng)圖像。具體地講，如果μ≤Tf，則判定為處理對象圖像是結(jié)構(gòu)成分少且沒有對準(zhǔn)焦點(diǎn)的圖像、即其他觀察不適當(dāng)圖像，轉(zhuǎn)入步驟S67。如果μ＞Tf，則判定為處理對象圖像不是其他觀察不適當(dāng)圖像，結(jié)束處理，轉(zhuǎn)入對接下來的第(j+1)個(gè)圖像的判定處理。此處，Tf是為了判定其他觀察不適當(dāng)圖像而預(yù)先確定的閾值，即確定圖像好壞的拍攝狀態(tài)閾值。在步驟S67中，設(shè)為A3[j]＝“TRUE”，結(jié)束處理，轉(zhuǎn)入對接下來的第(j+1)個(gè)圖像的判定處理。步驟S66和S67構(gòu)成拍攝狀態(tài)判定步驟或拍攝狀態(tài)判定單元。
如以上說明的那樣，通過步驟S61～S67的一系列的處理，可以只提取攝像圖像中包含的構(gòu)成活體粘膜表面結(jié)構(gòu)的頻帶成分，基于根據(jù)提取結(jié)果計(jì)算出的結(jié)構(gòu)成分特征量，判定處理對象圖像是否是其他觀察不適當(dāng)圖像。
在本實(shí)施方式中，作為用于提取構(gòu)成活體粘膜表面結(jié)構(gòu)的頻帶成分的方法，應(yīng)用了使用數(shù)字濾波器的帶通濾波，但也可以應(yīng)用拉普拉斯算子等公知的邊緣檢測濾波器。并且，作為結(jié)構(gòu)成分特征量使用了提取出的結(jié)構(gòu)成分的方均值，但也可以使用G圖像中的像素值的標(biāo)準(zhǔn)偏差和方差等?；铙w粘膜表面結(jié)構(gòu)越少時(shí)，標(biāo)準(zhǔn)偏差和方差的值越小。
并且，以上說明的用于判定其他觀察不適當(dāng)圖像的一系列處理，也可以用作前面敘述的判定過度接近圖像的處理。在本實(shí)施方式中，將過度接近圖像和其他觀察不適當(dāng)圖像分類為處于不同拍攝狀態(tài)的圖像，但是，雙方也可以都定義為由于圖像沒有對準(zhǔn)焦點(diǎn)而使得活體粘膜表面結(jié)構(gòu)較少或不存在的圖像，所以能夠在上述處理中一次地進(jìn)行判定。該情況時(shí)，可以實(shí)現(xiàn)處理的高速化。
下面，使用圖20說明膠囊型內(nèi)窺鏡裝置1的不適當(dāng)圖像的判定方法。所說不適當(dāng)圖像的判定，指判定處理對象圖像是否屬于被分類為五種不適當(dāng)圖像的任一方，使用前面敘述的五種不適當(dāng)圖像的判定處理進(jìn)行判定。換言之，圖20所示各個(gè)步驟的處理構(gòu)成根據(jù)各個(gè)圖像的拍攝狀態(tài)進(jìn)行分類的分類單元。
首先，在步驟S71中，將表示作為處理對象的第j個(gè)(j為大于等于1的整數(shù))圖像是否是不適當(dāng)圖像的判定結(jié)果的標(biāo)志C[j]初始化為0。另外，標(biāo)志C[j]的值被設(shè)定為表示判定為是不適當(dāng)圖像的1～4、或者表示判定不是不適當(dāng)圖像的0中任一值。接著，在步驟S72中，判定處理對象圖像是否是暗部圖像。步驟S72的處理采用使用圖10說明的暗部圖像判定處理即步驟S1～S7的一系列處理。在暗部圖像判定處理的結(jié)果為D[j]＝“TRUE”、即判定為處理對象圖像是暗部圖像時(shí)，在后面的步驟S73中，設(shè)為C[j]＝1，結(jié)束不適當(dāng)圖像的處理，轉(zhuǎn)入對接下來的第(j+1)個(gè)圖像的判定處理。在暗部圖像判定處理的結(jié)果為D[j]＝“FALSE”、即判定處理對象圖像不是暗部圖像時(shí)，轉(zhuǎn)入步驟S74。
在步驟S74中，判定處理對象圖像是否是暈光圖像。步驟S74的處理采用使用圖11說明的暈光圖像判定處理即步驟S11～S17的一系列處理。在暈光圖像判定處理的結(jié)果為H[j]＝“TRUE”、即判定為處理對象圖像是暈光圖像時(shí)，在后面的步驟S75中，設(shè)為C[j]＝2，結(jié)束不適當(dāng)圖像的處理，轉(zhuǎn)入對接下來的第(j+1)個(gè)圖像的判定處理。在暈光圖像判定處理的結(jié)果為H[j]＝“FALSE”、即判定為處理對象圖像不是暈光圖像時(shí)，轉(zhuǎn)入步驟S76。
在步驟S76中，判定處理對象圖像是否是異物圖像。步驟S76的處理采用使用圖12說明的異物圖像判定處理即步驟S21～S28的一系列處理。在異物圖像判定處理的結(jié)果為A1[j]＝“TRUE”、即判定處理對象圖像是異物圖像時(shí)，在后面的步驟S77中，設(shè)為C[j]＝3，結(jié)束不適當(dāng)圖像的處理，轉(zhuǎn)入對接下來的第(j+1)個(gè)圖像的判定處理。在異物圖像的判定處理的結(jié)果為A1[j]＝“FALSE”、即判定為處理對象圖像不是異物圖像時(shí)，轉(zhuǎn)入步驟S78。
在步驟S78中，判定處理對象圖像是否是過度接近圖像。步驟S78的處理采用使用圖16說明的過度接近圖像判定處理即步驟S51～S56的一系列處理。在過度接近圖像判定處理的結(jié)果為A2[j]＝“TRUE”、即判定為處理對象圖像是過度接近圖像時(shí)，在接下來的步驟S79中，設(shè)為C[j]＝4，結(jié)束不適當(dāng)圖像的處理，轉(zhuǎn)入對接下來的第(j+1)個(gè)圖像的判定處理。在過度接近圖像判定處理的結(jié)果為A2[j]＝“FALSE”、即判定為處理對象圖像不是過度接近圖像時(shí)，轉(zhuǎn)入步驟S80。
在步驟S80中，判定處理對象圖像是否是其他觀察不適當(dāng)圖像。步驟S80的處理采用使用圖17說明的過度接近圖像判定處理即步驟S61～S67的一系列處理。在其他觀察不適當(dāng)圖像判定處理的結(jié)果為A3[j]＝“TRUE”、即判定為處理對象圖像是其他觀察不適當(dāng)圖像時(shí)，在接下來的步驟S81中，設(shè)為C[j]＝5，結(jié)束不適當(dāng)圖像的處理，轉(zhuǎn)入對接下來的第(j+1)個(gè)圖像的判定處理。在其他不適當(dāng)圖像判定處理的結(jié)果為A3[j]＝“FALSE”、即判定為處理對象圖像不是其他不適當(dāng)圖像時(shí)，結(jié)束不適當(dāng)圖像的處理，轉(zhuǎn)入對接下來的第(j+1)個(gè)圖像的判定處理。
以上說明的不適當(dāng)圖像判定處理可以作為軟件程序安裝，并在本實(shí)施方式的終端裝置7中執(zhí)行。終端裝置7通過托架6取入由膠囊型內(nèi)窺鏡3拍攝而記錄在外部裝置5中的一系列圖像，在取入該圖像時(shí)執(zhí)行步驟S71～S81所示的不適當(dāng)圖像判定處理，將判定結(jié)果和所取入的圖像相關(guān)聯(lián)地進(jìn)行保存。使用所保存的判定結(jié)果，從取入終端裝置7的一系列圖像中去除不適當(dāng)圖像，使顯示器8c只顯示其余的適于觀察和診斷的圖像，從而可以提高觀察效率。
使用圖21說明從一系列圖像中去除不適當(dāng)圖像，使顯示器8c顯示其余圖像的圖像顯示方法。另外，在本實(shí)施方式中，按照所取入圖像的順序，從取入終端裝置7的最初第一張圖像開始到最后一張圖像，顯示為靜態(tài)圖像，或者進(jìn)行幻燈片連續(xù)顯示。終端裝置7包括未圖示的中央處理裝置(CPU)和存儲器，執(zhí)行以下說明的處理。因此，終端裝置7具有執(zhí)行該處理的程序，與該程序一起構(gòu)成控制單元，控制與作為顯示單元的顯示器8c相關(guān)的以下處理。
終端裝置7在執(zhí)行程序時(shí)，首先在步驟S91中，將用于識別作為處理對象的圖像的序號j初始化為1，該序號j表示該圖像被取入終端裝置7的順序，把第一張被取入的圖像作為處理對象。然后，在步驟S92中，根據(jù)使用圖20說明的不適當(dāng)圖像判定結(jié)果，參照與第j個(gè)圖像相關(guān)聯(lián)而記錄的C[j]的值。在C[j]＝0，即判定為第j個(gè)圖像不是不適當(dāng)圖像時(shí)，轉(zhuǎn)入步驟S93，使顯示器8c顯示第j個(gè)圖像，轉(zhuǎn)入接下來的步驟S94。在C[j]≠0，即判定為第j個(gè)圖像是不適當(dāng)圖像時(shí)，使顯示器8c不顯示第j個(gè)圖像，轉(zhuǎn)入步驟S94。
在步驟S94中，把在第j個(gè)圖像之后取入終端裝置7的圖像作為處理對象，設(shè)j＝j(luò)+1。然后，在步驟S95中，對取入終端裝置7的所有圖像，判定是否已進(jìn)行上述的圖像顯示可否判定及圖像顯示處理。例如，把取入終端裝置7的圖像總數(shù)設(shè)為N，在j≤N時(shí)返回步驟S92，對其余圖像進(jìn)行同樣的處理。在j＞N時(shí)，結(jié)束處理。以上的步驟S91～S95構(gòu)成顯示控制單元及顯示控制步驟。
通過以上處理，在終端裝置7中，可以從由膠囊型內(nèi)窺鏡3拍攝并通過外部裝置5取入的圖像中去除不適當(dāng)圖像，使顯示器8c只顯示適于觀察和診斷的圖像。
這樣，在本實(shí)施方式的膠囊型內(nèi)窺鏡裝置1和圖像處理方法中，可以判定不適于觀察和診斷的圖像。并且，通過不顯示判定為不適當(dāng)?shù)膱D像，可以削減觀察和診斷所需要的時(shí)間，作業(yè)效率提高。
另外，為了防止萬一漏看病變部位，有時(shí)需要利用顯示器8c等確認(rèn)被判定為不適當(dāng)圖像的圖像。為了對應(yīng)這種情況，可以對在終端裝置7中工作的觀察用程序，一并或針對所分類的每個(gè)類追加一覽顯示不適當(dāng)圖像的功能。例如，假設(shè)觀察程序具有窗口和GUI(人機(jī)圖形界面)，在窗口和GUI上設(shè)置暗部圖像顯示按鈕等用于一覽顯示不適當(dāng)圖像的按鈕，在利用鼠標(biāo)8b點(diǎn)擊了該按鈕時(shí)，可以縮小并一覽顯示全部不適當(dāng)圖像、或暗部圖像等屬于特定分類的不適當(dāng)圖像。由此，可以高效地確認(rèn)不適當(dāng)圖像。
此外，在本實(shí)施方式中，對圖像中的所有像素同等對待進(jìn)行了不適當(dāng)圖像的判定，但是，例如也可以對能夠獲得良好攝像條件的圖像中央部區(qū)域的像素賦予比除此以外的周邊區(qū)域像素大的權(quán)重來進(jìn)行判定。具體地講，在將圖像整體分割為九部分時(shí)，將位于中央的塊設(shè)定為圖像中央部區(qū)域，例如在暗部圖像的判定處理的步驟S2中，對屬于圖像中央部區(qū)域的像素，可以將用于判定是否是暗部像素的閾值設(shè)定為對屬于其他區(qū)域像素閾值的1.1倍等較大的值，使暗部像素的判定條件更加嚴(yán)格?；蛘撸诎挡繄D像的判定處理的步驟S2中，在判定為屬于圖像中央部區(qū)域的像素是暗部像素時(shí)，在后面的步驟S3中，在屬于周邊區(qū)域的像素為1時(shí)，把用于對暗部像素進(jìn)行計(jì)數(shù)的Cnt的增量設(shè)為1.5進(jìn)行加權(quán)。并且，也可以利用把圖像中央部區(qū)域作為峰值的二維正態(tài)分布函數(shù)等進(jìn)行加權(quán)。
另外，在本實(shí)施方式中，對由膠囊型內(nèi)窺鏡3拍攝而取入終端裝置7的圖像進(jìn)行不適當(dāng)圖像的判定，但是，例如也可以對通過間疏等生成的縮小圖像進(jìn)行不適當(dāng)圖像的判定。此外，在本實(shí)施方式中，使用圖像中的所有像素進(jìn)行不適當(dāng)圖像的判定，但是，也可以使用從圖像中適當(dāng)采樣的像素進(jìn)行不適合圖像的判定。該情況時(shí)，相比于屬于圖像周邊區(qū)域的像素，可以從屬于能夠獲得良好攝像條件的圖像中央?yún)^(qū)域的像素中采樣更多的像素，進(jìn)行不適當(dāng)圖像的判定。另外，在本實(shí)施方式中，在終端裝置7中進(jìn)行不適當(dāng)圖像的判定和可否顯示在顯示器8c上的判定，但是，也可以在外部裝置5中進(jìn)行這些判定。此外，在本實(shí)施方式中，分類為適于觀察和診斷的圖像和不適當(dāng)圖像，但是，例如也可以根據(jù)暗部像素的比例連續(xù)評價(jià)對于觀察和診斷的適當(dāng)性并存儲，根據(jù)需要進(jìn)行參照。該情況時(shí)，也可以在終端裝置7中設(shè)定用于判定是否保存該圖像的閾值，通過比較評價(jià)值和閾值來判定可否保存。
(第二實(shí)施方式)下面，使用圖22說明本發(fā)明的第二實(shí)施方式。圖22是說明終端裝置7的圖像保存動作的流程圖。本實(shí)施方式的圖像處理方法從由膠囊型內(nèi)窺鏡4獲得的一系列圖像中檢測不適于觀察和診斷的圖像，在內(nèi)置于終端主體9的作為輸出單元的大容量存儲裝置(通常使用硬盤驅(qū)動器)中不保存被判定為不適當(dāng)圖像的圖像，由此可以削減在記錄裝置中保存的數(shù)據(jù)量，降低裝置的成本，削減觀察所需要的時(shí)間。本實(shí)施方式的膠囊型內(nèi)窺鏡裝置1的整體結(jié)構(gòu)與第一實(shí)施方式相同，所以對相同結(jié)構(gòu)賦予相同標(biāo)號并省略說明。并且，本實(shí)施方式中的各種不適當(dāng)圖像的判定處理與使用圖10～圖20說明的第一實(shí)施方式的處理相同，所以對相同結(jié)構(gòu)賦予相同標(biāo)號并省略說明。此處，只說明作為特征的、使存儲裝置保存從一系列圖像中去除不適當(dāng)圖像后的其余圖像的圖像保存方法。
另外，在本實(shí)施方式中，與第一實(shí)施方式相同，一系列不適當(dāng)圖像的判定處理可以作為軟件程序安裝，在終端裝置7中執(zhí)行。在本實(shí)施方式中，終端裝置7通過托架6取入由膠囊型內(nèi)窺鏡3拍攝并記錄在外部裝置5中的一系列圖像。在取入該圖像時(shí)，執(zhí)行使用圖20說明的步驟S71～S81所示的不適當(dāng)圖像判定處理，相關(guān)聯(lián)地保存判定結(jié)果和所取入的圖像。并且，通過使用所保存的判定結(jié)果，從取入終端裝置7的一系列圖像中去除不適當(dāng)圖像，只有其余的適于觀察和診斷的圖像被保存在終端主體9的存儲裝置中。即，可以削減保存在存儲裝置中的數(shù)據(jù)量，降低裝置成本，而且可以提高觀察效率。
使用圖22說明從一系列圖像中去除不適當(dāng)圖像，使終端裝置7保存其余圖像的圖像保存方法。另外，在本實(shí)施方式中，與第一實(shí)施方式相同，按照所取入圖像的順序，從取入終端裝置7的最初第一張圖像開始到最后圖像，作為靜態(tài)圖像進(jìn)行顯示，或者進(jìn)行幻燈片連續(xù)顯示。終端裝置7包括未圖示的中央處理裝置(CPU)和存儲器，執(zhí)行以下說明的處理。因此，終端裝置7具有執(zhí)行該處理的程序，與該程序一起構(gòu)成控制單元，控制與作為保存單元的硬盤等存儲裝置(未圖示)相關(guān)的以下處理。
終端裝置7在執(zhí)行程序時(shí)，首先在步驟S101中，將用于識別作為處理對象的圖像的序號j初始化為1，該序號j表示該圖像被取入終端裝置7的順序，把第一張被取入的圖像作為處理對象。然后，在步驟S102中，根據(jù)使用圖20說明的不適當(dāng)圖像判定結(jié)果，參照與第j個(gè)圖像對應(yīng)記錄的C[j]的值。在C[j]＝0，即判定為第j個(gè)圖像不是不適當(dāng)圖像時(shí)，轉(zhuǎn)入步驟S103，在內(nèi)置于終端主體9的大容量存儲裝置(通常使用硬盤驅(qū)動器)中保存第j個(gè)圖像，轉(zhuǎn)入后面的步驟S104。在C[j]≠0，即判定為第j個(gè)圖像是不適當(dāng)圖像時(shí)，不在內(nèi)置于終端主體9的大容量存儲裝置中保存第j個(gè)圖像，轉(zhuǎn)入步驟S104。
在步驟S104中，把在第j個(gè)圖像之后取入終端裝置7的圖像作為處理對象，設(shè)為j＝j(luò)+1。然后，在步驟S105中，對取入終端裝置7的所有圖像，判定是否已進(jìn)行上述的圖像顯示可否判定及圖像保存處理。例如，把取入終端裝置7的圖像總數(shù)設(shè)為N，在j≤N時(shí)返回步驟S102，對其余圖像進(jìn)行相同處理。在j＞N時(shí)，結(jié)束處理。以上步驟S101～S105構(gòu)成保存控制單元及保存控制步驟。
通過以上處理，在終端裝置7中，可以從由膠囊型內(nèi)窺鏡3拍攝并通過外部裝置5取入的圖像中去除不適當(dāng)圖像，在內(nèi)置于終端主體9的大容量存儲裝置中只保存適于觀察和診斷的圖像。
這樣，在本實(shí)施方式的膠囊型內(nèi)窺鏡裝置1和圖像處理方法中，可以判定不適于觀察和診斷的圖像。并且，本實(shí)施方式的膠囊型內(nèi)窺鏡裝置1和圖像處理方法通過不保存判定為不適合的圖像，可以削減保存在存儲裝置中的數(shù)據(jù)量，可以降低裝置成本。并且，本實(shí)施方式的膠囊型內(nèi)窺鏡裝置1和圖像處理方法可以削減觀察和診斷所需要的時(shí)間，作業(yè)效率提高。
另外，在本實(shí)施方式中，不在內(nèi)置于終端主體9的大容量存儲裝置中保存被判定為不適當(dāng)圖像的圖像，但是，也可以對不適當(dāng)圖像實(shí)施高壓縮率的壓縮處理后保存在大容量存儲裝置中。在該情況下，在本實(shí)施方式中，也可以削減保存在存儲裝置中的數(shù)據(jù)量，可以降低裝置成本。
此外，在本實(shí)施方式中，在終端裝置7中進(jìn)行不適當(dāng)圖像的判定、及可否保存在內(nèi)置于終端主體9的大容量存儲裝置中的判定，但也可以在外部裝置5中進(jìn)行這些判定。
如以上說明的那樣，本發(fā)明可以實(shí)現(xiàn)能夠判定拍攝了被攝體的圖像是否是不適于觀察和診斷的圖像的圖像處理裝置，以及具有圖像處理裝置的膠囊型內(nèi)窺鏡裝置，該圖像處理裝置能夠判定拍攝了被攝體的圖像是否是不適于觀察和診斷的圖像。
根據(jù)以上實(shí)施方式，以下附記項(xiàng)目具有下述特征。
(附記項(xiàng)1)一種圖像處理方法，該圖像處理方法包括圖像輸入步驟，輸入由多種顏色信號構(gòu)成的圖像；特征量計(jì)算步驟，計(jì)算表示所述輸入圖像的拍攝狀態(tài)的特征量；以及分類步驟，根據(jù)通過所述特征量計(jì)算步驟計(jì)算出的特征量，對所述輸入圖像進(jìn)行分類。
(附記項(xiàng)2)根據(jù)附記項(xiàng)1所述的圖像處理方法，其特征在于，所述特征量計(jì)算步驟把所述輸入圖像的像素值作為特征量。
(附記項(xiàng)3)根據(jù)附記項(xiàng)1或2所述的圖像處理方法，其特征在于，所述特征量計(jì)算步驟計(jì)算基于所述輸入圖像的像素值的特征量。
(附記項(xiàng)4)根據(jù)附記項(xiàng)1～3中任一項(xiàng)所述的圖像處理方法，其特征在于，所述分類步驟進(jìn)行基于所述輸入圖像是否是適當(dāng)拍攝狀態(tài)的圖像的分類。
(附記項(xiàng)5)根據(jù)附記項(xiàng)4所述的圖像處理方法，其特征在于，所述特征量計(jì)算單元計(jì)算基于所述輸入圖像的明亮度的特征量，并且所述分類步驟進(jìn)行基于所述輸入圖像的明亮度的分類。
(附記項(xiàng)6)根據(jù)附記項(xiàng)4所述的圖像處理方法，其特征在于，所述特征量計(jì)算單元計(jì)算基于所述輸入圖像的色調(diào)的特征量，并且所述分類步驟進(jìn)行基于所述輸入圖像的色調(diào)的分類。
(附記項(xiàng)7)根據(jù)附記項(xiàng)5所述的圖像處理方法，其特征在于，所述分類步驟根據(jù)計(jì)算步驟和所述特征量計(jì)算步驟計(jì)算出的特征量，把所述輸入圖像分類為處于不適當(dāng)拍攝狀態(tài)的圖像，所述計(jì)算步驟計(jì)算所述輸入圖像中小于預(yù)定值的像素的像素?cái)?shù)或在圖像中的比例的至少一方。
(附記項(xiàng)8)根據(jù)附記項(xiàng)5所述的圖像處理方法，其特征在于，所述分類步驟根據(jù)計(jì)算步驟和所述特征量計(jì)算步驟計(jì)算出的特征量，把所述輸入圖像分類為處于不適當(dāng)拍攝狀態(tài)的圖像，所述計(jì)算步驟計(jì)算所述輸入圖像中大于預(yù)定值的像素的像素?cái)?shù)或在圖像中的比例的至少一方。
(附記項(xiàng)9)根據(jù)附記項(xiàng)6所述的圖像處理方法，其特征在于，所述分類步驟根據(jù)計(jì)算步驟和所述特征量計(jì)算步驟計(jì)算出的特征量，把所述輸入圖像分類為處于不適當(dāng)拍攝狀態(tài)的圖像，所述計(jì)算步驟計(jì)算所述輸入圖像中具有預(yù)定色調(diào)的像素的像素?cái)?shù)或比例的至少一方。
(附記項(xiàng)10)根據(jù)附記項(xiàng)6所述的圖像處理方法，其特征在于，所述特征量計(jì)算步驟計(jì)算基于所述輸入圖像的結(jié)構(gòu)成分的特征量，并且所述分類步驟根據(jù)所述特征量計(jì)算步驟計(jì)算出的特征量，把所述輸入圖像分類為處于不適當(dāng)拍攝狀態(tài)的圖像。
(附記項(xiàng)11)根據(jù)附記項(xiàng)7所述的圖像處理方法，其特征在于，所述分類步驟把亮度不足的圖像分類為處于不適當(dāng)拍攝狀態(tài)的圖像。
(附記項(xiàng)12)根據(jù)附記項(xiàng)8所述的圖像處理方法，其特征在于，所述分類步驟把暈光較多的圖像分類為處于不適當(dāng)拍攝狀態(tài)的圖像。
(附記項(xiàng)13)根據(jù)附記項(xiàng)9所述的圖像處理方法，其特征在于，所述分類步驟把視野內(nèi)異物較多的圖像分類為處于不適當(dāng)拍攝狀態(tài)的圖像。
(附記項(xiàng)14)根據(jù)附記項(xiàng)9或10所述的圖像處理方法，其特征在于，所述分類步驟把過度接近拍攝對象的圖像分類為處于不適當(dāng)拍攝狀態(tài)的圖像。
(附記項(xiàng)15)根據(jù)附記項(xiàng)10所述的圖像處理方法，其特征在于，所述特征量計(jì)算步驟還包括提取所述輸入圖像的頻率成分的頻率成分提取步驟，根據(jù)所述頻率成分計(jì)算基于結(jié)構(gòu)成分的特征量。
(附記項(xiàng)16)根據(jù)附記項(xiàng)15所述的圖像處理方法，其特征在于，所述頻率成分提取步驟還包括濾波步驟，應(yīng)用提取所述圖像中構(gòu)成活體粘膜表面結(jié)構(gòu)成分的頻率成分的帶通濾波；頻率功率計(jì)算步驟，計(jì)算所述提取出的頻率成分的頻率功率，所述特征量計(jì)算步驟把所述頻率功率計(jì)算步驟的計(jì)算結(jié)果作為特征量。
(附記項(xiàng)17)根據(jù)附記項(xiàng)15或16所述的圖像處理方法，其特征在于，所述分類步驟把模糊圖像分類為處于不適當(dāng)拍攝狀態(tài)的圖像。
(附記項(xiàng)18)根據(jù)附記項(xiàng)1～17中任一項(xiàng)所述的圖像處理方法，其特征在于，所述分類步驟通過將所述特征量與預(yù)定閾值進(jìn)行比較，判定所述圖像是否處于不適當(dāng)?shù)呐臄z狀態(tài)。
(附記項(xiàng)19)根據(jù)附記項(xiàng)1～17中任一項(xiàng)所述的圖像處理方法，其特征在于，所述分類步驟利用使用了所述特征量的識別器，判定所述圖像是否處于不適當(dāng)?shù)呐臄z狀態(tài)。
(附記項(xiàng)20)根據(jù)附記項(xiàng)1～19中任一項(xiàng)所述的圖像處理方法，其特征在于，所述特征量計(jì)算步驟計(jì)算基于構(gòu)成所述輸入圖像的多種顏色信號中的至少一方的明亮度的特征量。
(附記項(xiàng)21)根據(jù)附記項(xiàng)20所述的圖像處理方法，其特征在于，所述多種顏色信號是RGB顏色信號。
(附記項(xiàng)22)根據(jù)附記項(xiàng)21所述的圖像處理方法，其特征在于，所述特征量計(jì)算步驟計(jì)算基于各個(gè)像素的R、G、B像素值之比的特征量。
(附記項(xiàng)23)根據(jù)附記項(xiàng)19所述的圖像處理方法，其特征在于，所述分類步驟中的識別器是線性判別函數(shù)。
(附記項(xiàng)24)根據(jù)附記項(xiàng)1～23中任一項(xiàng)所述的圖像處理方法，其特征在于，所述所述輸入圖像是膠囊內(nèi)窺鏡圖像。
(附記項(xiàng)25)一種膠囊型內(nèi)窺鏡裝置，其特征在于，該膠囊型內(nèi)窺鏡裝置具有圖像輸入單元，其輸入通過膠囊內(nèi)窺鏡拍攝的圖像；計(jì)算單元，其根據(jù)所述圖像輸入單元輸入的圖像計(jì)算特征量；分類單元，其根據(jù)所述特征量，基于拍攝狀態(tài)對所述輸入圖像進(jìn)行分類；顯示所述圖像的顯示單元；以及顯示控制單元，其根據(jù)所述分類單元的分類結(jié)果，確定是否顯示所述輸入圖像。
(附記項(xiàng)26)一種膠囊型內(nèi)窺鏡裝置，其特征在于，該膠囊型內(nèi)窺鏡裝置具有圖像輸入單元，其輸入通過膠囊內(nèi)窺鏡拍攝到的圖像；計(jì)算單元，其根據(jù)所述圖像輸入單元輸入的圖像計(jì)算特征量；分類單元，其根據(jù)所述特征量，基于拍攝狀態(tài)對所述輸入圖像進(jìn)行分類；保存所述圖像的保存單元；以及保存控制單元，其根據(jù)所述分類單元的分類結(jié)果，確定是否保存所述輸入圖像。
(附記項(xiàng)27)根據(jù)附記項(xiàng)25或26所述的膠囊型內(nèi)窺鏡裝置，其特征在于，所述分類單元進(jìn)行基于所述輸入圖像是否處于不適當(dāng)拍攝狀態(tài)的分類。
(附記項(xiàng)28)根據(jù)附記項(xiàng)27所述的膠囊型內(nèi)窺鏡裝置，其特征在于，所述顯示控制單元不顯示根據(jù)所述分類單元的分類結(jié)果被分類為處于不適當(dāng)拍攝狀態(tài)的圖像。
(附記項(xiàng)29)根據(jù)附記項(xiàng)27所述的膠囊型內(nèi)窺鏡裝置，其特征在于，所述保存控制單元不顯示根據(jù)所述分類單元的分類結(jié)果被分類為處于不適當(dāng)拍攝狀態(tài)的圖像。
(附記項(xiàng)30)一種圖像處理程序，其特征在于，使計(jì)算機(jī)發(fā)揮以下功能輸入由多種顏色信號構(gòu)成的圖像的功能；計(jì)算表示所述輸入圖像的拍攝狀態(tài)的特征量的特征量計(jì)算功能；分類功能，根據(jù)通過所述特征量計(jì)算功能計(jì)算出的特征量，把所述輸入圖像分類為適于觀察的圖像和除此以外的圖像。
(附記項(xiàng)31)根據(jù)附記項(xiàng)30所述的圖像處理程序，其特征在于，該程序還發(fā)揮根據(jù)所述分類功能的分類結(jié)果來判定是否顯示所述圖像的判定功能，根據(jù)所述判定結(jié)果控制所述圖像的顯示。
(附記項(xiàng)32)根據(jù)附記項(xiàng)30所述的圖像處理程序，其特征在于，該程序還發(fā)揮根據(jù)所述分類功能的分類結(jié)果來判定是否保存所述圖像的判定功能，根據(jù)所述判定結(jié)果保存所述圖像。
權(quán)利要求
1.一種圖像處理方法，其特征在于，該圖像處理方法包括以下步驟特征量計(jì)算步驟，對于拍攝被攝體而得到的包含多種顏色信號的多個(gè)圖像，計(jì)算各個(gè)圖像的特征量；以及拍攝狀態(tài)判定步驟，對于所述各個(gè)圖像，根據(jù)計(jì)算出的所述特征量判定所述圖像的拍攝狀態(tài)。
2.根據(jù)權(quán)利要求1所述的圖像處理方法，其特征在于，所述特征量計(jì)算步驟計(jì)算基于所述圖像的明亮度和/或色調(diào)和/或頻率成分的特征量。
3.根據(jù)權(quán)利要求2所述的圖像處理方法，其特征在于，所述特征量計(jì)算步驟對于構(gòu)成所述圖像的各個(gè)像素，計(jì)算基于明亮度和/或色調(diào)和/或頻率成分的特征量。
4.根據(jù)權(quán)利要求2所述的圖像處理方法，其特征在于，所述特征量計(jì)算步驟根據(jù)構(gòu)成所述圖像的多種顏色信號中的至少一種所述顏色信號的明亮度，計(jì)算所述特征量。
5.根據(jù)權(quán)利要求2所述的圖像處理方法，其特征在于，該圖像處理方法還包括提取所述圖像的色調(diào)的色調(diào)提取步驟，所述特征量計(jì)算步驟根據(jù)在所述色調(diào)提取步驟中提取出的所述圖像的色調(diào)，計(jì)算所述特征量。
6.根據(jù)權(quán)利要求2所述的圖像處理方法，其特征在于，該圖像處理方法還包括提取所述圖像的頻率成分的頻率成分提取步驟，所述特征量計(jì)算步驟根據(jù)在所述頻率成分提取步驟中提取出的所述圖像的頻率成分，計(jì)算所述特征量。
7.根據(jù)權(quán)利要求6所述的圖像處理方法，其特征在于，所述頻率成分提取步驟還包括濾波步驟，應(yīng)用提取所述圖像中構(gòu)成活體粘膜表面結(jié)構(gòu)成分的頻率成分的帶通濾波；以及頻率功率計(jì)算步驟，計(jì)算所述提取出的頻率成分的頻率功率，所述特征量計(jì)算步驟把所述頻率功率計(jì)算步驟的計(jì)算結(jié)果作為所述特征量。
8.根據(jù)權(quán)利要求1所述的圖像處理方法，其特征在于，所述拍攝狀態(tài)判定步驟作為拍攝狀態(tài)，進(jìn)行所述圖像的對于活體粘膜表面的拍攝狀態(tài)和/或包含活體粘膜表面以外的拍攝對象物的拍攝狀態(tài)的判定。
9.根據(jù)權(quán)利要求8所述的圖像處理方法，其特征在于，所述拍攝狀態(tài)判定步驟作為對于活體粘膜表面的拍攝狀態(tài)，判定暗部和/或暈光和/或由于過度接近、浸水或移動造成的失焦。
10.根據(jù)權(quán)利要求8所述的圖像處理方法，其特征在于，所述拍攝狀態(tài)判定步驟作為活體粘膜表面以外的拍攝對象物，判定消化器官內(nèi)的殘?jiān)?或泡和/或液體。
11.根據(jù)權(quán)利要求9或10所述的圖像處理方法，其特征在于，所述拍攝狀態(tài)判別步驟根據(jù)所述圖像中小于預(yù)定值的像素的像素?cái)?shù)和所述圖像中小于所述預(yù)定值的像素的比例中的至少一方、和所述特征量計(jì)算步驟計(jì)算出的所述基于明亮度的特征量，將所述圖像分類為處于不適當(dāng)拍攝狀態(tài)的暗部圖像。
12.根據(jù)權(quán)利要求9或10所述的圖像處理方法，其特征在于，所述拍攝狀態(tài)判別步驟根據(jù)所述圖像中大于預(yù)定值的像素的像素?cái)?shù)和所述圖像中大于所述預(yù)定值的像素的比例中的至少一方、和所述特征量計(jì)算步驟計(jì)算出的所述基于明亮度的特征量，將所述圖像分類為處于不適當(dāng)拍攝狀態(tài)的暈光圖像。
13.根據(jù)權(quán)利要求9或10所述的圖像處理方法，其特征在于，所述拍攝狀態(tài)判別步驟根據(jù)所述圖像中具有預(yù)定色調(diào)的像素的像素?cái)?shù)和所述圖像中具有所述預(yù)定色調(diào)的像素的比例中的至少一方、和所述特征量計(jì)算步驟計(jì)算出的所述基于色調(diào)的特征量，將所述圖像分類為處于不適當(dāng)拍攝狀態(tài)的圖像。
14.根據(jù)權(quán)利要求9或10所述的圖像處理方法，其特征在于，所述拍攝狀態(tài)判別步驟根據(jù)使用了所述基于色調(diào)的特征量的線性判別函數(shù)，來判定所述圖像是否處于不適當(dāng)?shù)呐臄z狀態(tài)。
15.根據(jù)權(quán)利要求9或10所述的圖像處理方法，其特征在于，所述拍攝狀態(tài)判定步驟將所述基于頻率的特征量與預(yù)定的閾值進(jìn)行比較，由此判定所述圖像是否處于不適當(dāng)?shù)呐臄z狀態(tài)。
16.一種膠囊型內(nèi)窺鏡裝置，其特征在于，該膠囊型內(nèi)窺鏡裝置具有攝像裝置，其拍攝被攝體而生成包含多種顏色信號的多個(gè)圖像；以及圖像處理裝置，其對所述圖像計(jì)算各個(gè)圖像的特征量，對于所述各個(gè)圖像，根據(jù)計(jì)算出的所述特征量來判定所述圖像的拍攝狀態(tài)，根據(jù)該判定結(jié)果進(jìn)行處理的控制。
17.根據(jù)權(quán)利要求16所述的膠囊型內(nèi)窺鏡裝置，其特征在于，該膠囊型內(nèi)窺鏡裝置還具有保存所述圖像的存儲裝置和顯示所述圖像的顯示裝置，所述圖像處理裝置控制與所述存儲裝置和/或顯示裝置相關(guān)的處理，并且對于被判定為處于包括活體粘膜表面以外的拍攝狀態(tài)的圖像，控制為不進(jìn)行保存和/或顯示。
18.一種膠囊型內(nèi)窺鏡裝置，其特征在于，該膠囊型內(nèi)窺鏡裝置具有圖像生成單元，其拍攝被攝體而生成包含多種顏色信號的多個(gè)圖像；特征量計(jì)算單元，其對于所述圖像計(jì)算各個(gè)圖像的特征量；拍攝狀態(tài)判定單元，其對于所述各個(gè)圖像，根據(jù)計(jì)算出的所述特征量判定所述圖像的拍攝狀態(tài)；以及控制單元，其根據(jù)所述拍攝狀態(tài)判定單元的判定結(jié)果進(jìn)行處理的控制。
19.根據(jù)權(quán)利要求18所述的膠囊型內(nèi)窺鏡裝置，其特征在于，該膠囊型內(nèi)窺鏡裝置還具有保存所述圖像的保存單元和顯示所述圖像的顯示單元，所述控制單元控制與所述圖像的保存單元和/或顯示單元相關(guān)的處理，并且對于被所述拍攝狀態(tài)判定單元判定為處于包括活體粘膜表面以外的拍攝狀態(tài)的圖像，控制為不進(jìn)行保存和/或顯示。
全文摘要
本發(fā)明提供一種圖像處理方法及膠囊型內(nèi)窺鏡裝置。其課題在于，提供一種可以判定攝像了被攝體的圖像是否是不適于觀察和診斷的圖像的圖像處理方法。本發(fā)明的圖像處理方法包括以下步驟特征量計(jì)算步驟，對于拍攝被攝體而得到的包含多種顏色信號的多個(gè)圖像，計(jì)算各個(gè)圖像的特征量；以及拍攝狀態(tài)判定步驟，對于所述各個(gè)圖像，比較計(jì)算出的所述特征量和預(yù)先設(shè)定的用于確定圖像好壞的拍攝狀態(tài)閾值，從而判定所述各個(gè)圖像的拍攝狀態(tài)。
文檔編號A61B1/04GK101043841SQ20058003597
公開日2007年9月26日 申請日期2005年10月27日 優(yōu)先權(quán)日2004年10月29日
發(fā)明者西村博一, 長谷川潤 申請人:奧林巴斯株式會社