專利名稱:圖像處理裝置以及圖像處理方法
技術(shù)領(lǐng)域:
本發(fā)明涉及圖像處理裝置以及圖像處理方法。
背景技術(shù):
作為現(xiàn)有技術(shù),在日本國的專利文獻(特開2007-282119號公報)中公開了基于預先登錄的登錄數(shù)據(jù)和與新拍攝的臉部區(qū)域?qū)奶卣鼽c的數(shù)據(jù)來判定臉部區(qū)域是否是識別對象的技術(shù)。
但是,在上述專利文獻I的技術(shù)中,在登錄的登錄數(shù)據(jù)是被攝體的兒童時代的臉部等的情況下,由于成長而被攝體的臉部發(fā)生變化,有可能不會將登錄數(shù)據(jù)識別為與基準相同的人物。發(fā)明內(nèi)容
因此,本發(fā)明的課題在于,即使是伴隨著隨時間變化的個體,也能正確地進行該特定的個體的識別。
為了解決上述課題,本發(fā)明的圖像處理裝置特征在于,具備取得單元,其取得圖像;計算單元,其計算包含在由所述取得單元取得的圖像中的特定的個體的信息、和登錄在登錄單元中的該特定的個體的識別信息的相似度;存儲控制單元,其將由所述計算單元計算出的相似度與日期時間信息建立關(guān)聯(lián)并存儲在存儲單元中;第I判定單元,其基于存儲在所述存儲單元中的多個相似度的隨時間變化,來判定所述計算單元新計算出的相似度是否以該相似度以外的其他的規(guī)定數(shù)量的相似度為基準而相對降低;和通知單元,其在所述第I判定單元判定為所述相似度相對降低的情況下,通知要更新已登錄在所述登錄單元中的識別息。
另外,本發(fā)明的圖像處理方法是使用了圖像處理裝置的圖像處理方法,其特征在于,包括取得圖像的步驟;計算包含在由所取得的圖像中的特定的個體的信息、和登錄在登錄單元中的該特定的個體的識別信息的相似度的步驟;每當計算出所述相似度,就將該相似度與日期時間信息建立關(guān)聯(lián)并存儲在存儲單元中的步驟;基于存儲在所述存儲單元中的多個相似度的隨時間變化,來判定新計算出的相似度是否以該相似度以外的其他的規(guī)定數(shù)量的相似度為基準而相對降低的步驟;和在判定為所述新計算出的相似度相對降低的情況下,通知要更新已登錄在所述登錄單元中的所述識別信息的步驟。
圖1是表示應用本發(fā)明的一個實施方式的攝像裝置的概略構(gòu)成的框圖。
圖2A是示意性地表示存儲在圖1的攝像裝置中的識別用信息管理表的一例的圖。
圖2B是示意性地表示圖2A的識別用信息管理表所涉及的識別用信息的一例的圖。
圖2C是示意性地表 示存儲在圖1的攝像裝置中的識別用信息管理表的一例的圖。
圖2D是示意性地表示圖2C的識別用信息管理表所涉及的識別用信息的一例的圖。
圖3是示意性地表示存儲在圖1的攝像裝置中的相似度履歷表的一例的圖。
圖4是表示圖1的攝像裝置進行的識別用信息更新處理所涉及的動作的一例的流程圖。
圖5是表示圖4的識別用信息更新處理的后續(xù)處理的流程圖。
圖6A是用于說明圖4的識別用信息更新處理的圖。
圖6B是用于說明圖4的識別用信息更新處理的圖。
圖6C是用于說明圖4的識別用信息更新處理的圖。
圖7是表示圖4的識別用信息更新處理所涉及的相似度的隨時間變化的圖。
具體實施方式
下面,使用附圖來說明本發(fā)明的具體的形態(tài)。但是,發(fā)明的范圍并不限定于圖示例。
圖1是表示應用本發(fā)明的一個實施方式的攝像裝置100的概略構(gòu)成的框圖。
本實施方式的攝像裝置100計算包含在所取得的圖像中的個體的信息和用于識別特定的個體的識別用信息的相似度,每當計算相似度,就將該相似度與規(guī)定的日期時間信息建立關(guān)聯(lián),并逐次存儲。另外攝像裝置100基于多個相似度的隨時間變化,以新計算出的I個相似度以外的其他的規(guī)定數(shù)量的相似度為基準來判定新計算出的該I個相似度是否相對降低,在判定為該I個相似度相對降低的情況下,通知要更新所登錄的識別用信息。
具體地,如圖1所示,攝像裝置100具備攝像部1、攝像控制部2、圖像數(shù)據(jù)生成部 3、存儲器4、圖像處理部5、顯示控制部6、顯示部7、信息登錄部8、記錄介質(zhì)控制部9、操作輸入部10、和中央控制部11。
攝像部I作為拍攝單元,對被攝體(例如人的臉部等)進行拍攝來生成幀圖像。 即,雖省略圖示,但攝像部I例如具備由變焦透鏡、聚焦透鏡等多個透鏡構(gòu)成的透鏡部、用于調(diào)整通過該透鏡部的光的量的光圈、由CCD (Charge Coupled Device,電荷稱合元件)或 CMOS (Complementary Metal-oxide Semiconductor,互補金屬氧化物半導體)等圖像傳感器構(gòu)成并將通過透鏡部的各種透鏡的光學像變換為二維的圖像信號的電子攝像部。
另外,雖然省略圖示,但攝像部I還可以具備在被攝體的攝像時,使變焦透鏡在光軸方向上移動的變焦驅(qū)動部、使聚焦透鏡在光軸方向上移動的對焦驅(qū)動部等。
攝像控制部2控制攝像部I所進行的被攝體的攝像。即,雖然省略了圖示,但攝像控制部2具備定時發(fā)送器、驅(qū)動器等。并且,攝像控制部2通過定時發(fā)送器、驅(qū)動器等來掃描驅(qū)動電子攝像部,從而每隔規(guī)定周期就通過電子攝像部將光學像變換為二維的圖 像信號,從該電子攝像部的攝像區(qū)域讀取I個畫面的幀圖像,并將其輸出給圖像數(shù)據(jù)生成部3。
另外,攝像控制部2也可以取代透鏡部的對焦透鏡,而使電子攝像部在光軸方向上移動,來調(diào)整透鏡部的對焦位置。
另外,攝像控制部2除了 AF(自定對焦處理)以外,還可以進行AE(自動曝光處理)、AWB(自動白平衡處理)等的拍攝被攝體時的條件的調(diào)整控制。
圖像數(shù)據(jù)生成部3在對從電子攝像部傳送來的幀圖像的模擬值的信號按RGB的各顏色分量適當?shù)卣{(diào)整了增益后,利用采樣保持電路(圖示略)來進行采樣保持,并用A/D變換器(圖示略)變化為數(shù)字數(shù)據(jù),用顏色加工電路(圖示略)來進行包括像素內(nèi)插處理以及Y補正處理在內(nèi)的顏色加工處理后,生成數(shù)字值的亮度信號Y以及色差信號Cb、Cr (YUV 數(shù)據(jù))。
從顏色加工電路所輸出的亮度信號Y以及色差信號Cb、Cr介由未圖示的DMA控制器而被DMA傳送到作為緩沖存儲器使用的存儲器4中。
存儲器4例如由DRAM (Dynamic Random Access Memory,動態(tài)隨機存取存儲器)等構(gòu)成,將由圖像處理部5或中央控制部11等進行過處理的數(shù)據(jù)等臨時存儲。
圖像處理部5具備圖像取得部51、個體檢測部52、相似度計算部53、期間判定部 54、閾值判定部55、相似度判定部56、第I生成部57、第2生成部58。
另外,圖像處理部5的各部例如由規(guī)定的邏輯電路構(gòu)成,但該構(gòu)成只是一例,并不限于此。
圖像取得部51取得成為識別用信息更新處理(后述)的處理對象的圖像。
即,圖像取得部51取得作為識別用信息更新處理的處理對象的圖像的、由攝像部 I拍攝的圖像的圖像數(shù)據(jù)。具體地,圖像取得部51從存儲器4中逐次取得通過攝像部I進行被攝體的攝像而由圖像數(shù)據(jù)生成部3逐次生成的各幀圖像的圖像數(shù)據(jù)(YUV數(shù)據(jù))。
用以上的方法,圖像取得部51取得圖像。
個體檢測部52檢測包含在處理對象的圖像中的個體。
即,個體檢測部52利用例如臉部檢測處理、邊緣檢測處理、特征提取處理等的圖像識別技術(shù),從由圖像取得部51取得的各幀圖像中檢測包含人或動物等的被攝體(個體) 的特定區(qū)域(例如臉部區(qū)域S(參照圖6A)等)。具體地,個體檢測部52例如對各幀圖像的圖像數(shù)據(jù)實施規(guī)定的臉部檢測處理,來從該幀圖像中檢測人或動物等的個體的臉部區(qū)域S。
另外,由于臉部檢測處理、邊緣檢測處理和特征提取處理都是公知的技術(shù),因此在此省略其詳細說明。
用以上的方法,個體檢測部52檢測包含在由圖像取得部51取得的圖像中的個體。
相似度計算部53計算包含在處理對象的圖像中的個體的信息和識別用信息的相似度。
即,相似度計算部53計算從圖像取得部51所取得的幀圖像中由個體檢測部52檢測出的個體的特定區(qū)域(例如臉部區(qū)域S)的信息、和登錄在信息登錄部8的識別用信息管理表Tl(參照圖2A等)中的識別用信息的相似度。具體地,相似度計算部53例如從識別用信息管理表Tl中取得每個特定的個體的識別用信息,將該每個識別用信息與由個體檢測部52檢測出的個體的臉部區(qū)域S進行比對,按照規(guī)定的運算式,以百分率來計算相似度。 然后,相似度計算部53將所計算出的多個相似度中的規(guī)定閾值(例如60%等)以上且最好的相似度作為由個體檢測部52檢測出的個體的信息與識別用信息的相似度而計算。
其結(jié)果,能將個體檢測部52所檢測出的個體識別為與表示由相似度計算部53計算出的最好的相似度的值的識別用信息(例如“識別用信息Al”等)對應的特定的個體(例如“Α先生”等)。
用以上的方法,相似度計算部53計算包含在由圖像取得部51取得的圖像中的個體的信息、和登錄在信息登錄部8中的識別用信息的相似度。
期間判定部54判定由相似度計算部53新計算出的I個相似度所涉及的記錄用圖像P(參照圖6A)是否是從識別用信息的登錄日期時間起的規(guī)定期間內(nèi)所拍攝的圖像。
S卩,期間判定部54基于與相似度計算部53新計算出的I個相似度建立關(guān)聯(lián)的規(guī)定的日期時間信息(例如攝像日期時間),來判定該I個相似度所涉及記錄用圖像P是否是從識別用信息的登錄日期時間起在規(guī)定期間(例如2年間等)內(nèi)所拍攝的圖像。具體地, 期間判定部54在相似度計算部53新計算出I個相似度的情況下,參照信息登錄部8的相似度履歷表T2 (參照圖3),并取得與該I個相似度建立對應而存儲的記錄用圖像P的攝像日期時間所涉及的攝像日期時間信息。另外,期間判定部54參照信息登錄部8的識別用信息管理表Tl,取得與該I個相似度對應的特定的個體(例如“A先生”)所涉及的識別用信息(例如“識別用信息Al”等)的登錄日期時間所涉及的登錄日期時間信息。然后,期間判定部54比較記錄用對象P的攝像日期時間和識別用信息的登錄日期時間,來判定該記錄用圖像P是否是從識別用信息的登錄日期時間起的規(guī)定期間內(nèi)所拍攝的。
另外,期間判定部54利用相似度履歷表T2來取得攝像日期時間信息,但攝像日期時間信息的取得方法只是一例,并不限于此,例如,也可以參照由相似度計算部53已計算出相似度的圖像的Exif信息來取得攝像日期時間信息。
用以上的方法,期間判定部54基于與相似度計算部53新計算出的I個相似度建立關(guān)聯(lián)的規(guī)定的日期時間信息,來判定該I個相似度所涉及的圖像是否是從識別用信息的登錄日期時間起的規(guī)定期間內(nèi)拍攝的圖像。
閾值判定部55判定相似度是否為規(guī)定的判定值以下。
S卩,閾值判定部55判定由相似度計算部53新計算出的I個相似度是否為規(guī)定的判定值以下。具體地,在由期間判定部54判定為記錄用圖像P是在從識別用信息的登錄日期時間起的規(guī)定期間內(nèi)所拍攝的情況下,閾值判定部55判定該記錄用圖像P所涉及的最新的相似度是否為規(guī)定的判定值(例如70% )以下。
另外,作為規(guī)定的判定值而例示的“70%”是一例,并不限于此,能進行任意的適當變更。即,規(guī)定的判定值也可以構(gòu)成為基于用戶對操作輸入部10進行的規(guī)定操作而設定用戶期望的值。另外,規(guī)定的判定值還能以登錄在識別用信息管理表Tl中的登錄日期時間為基準,按照該登錄日期時間起的經(jīng)過時間而自動地逐次減少。
用以上的方法,閾值判定部55判定由相似度計算部53計算出的I個相似度是否為規(guī)定的判定值以下。
相似度判定部56判定相似度是否相對降低。
即,相似度判定部56基于存儲在信息登錄部8的相似度履歷表T2中的多個相似度的隨時間變化,來判定由相似度計算部53新計算出的I個相似度是否以該I個相 似度以外的其他的規(guī)定數(shù)量的相似度為基準而相對降低。具體地,相似度判定部56在由相似度計算部53新計算出I個相似度的情況下,參照相似度履歷表T2,分別取得與該I個相似度以及其他的規(guī)定數(shù)量的相似度的每一個建立對應而存儲的圖像的攝像日期時間所涉及的攝像日期時間信息。然后,相似度判定部56基于所取得的多個攝像日期時間信息來特定多個相似度的隨時間變化。之后,相似度判定部56基于所特定的該隨時間變化,來判定I個相似度是否以其他的規(guī)定數(shù)量的相似度為基準而相對降低。
在此,多個相似度的隨時間變化是與該多個相似度的攝像日期時間的經(jīng)過相應的相對變化的傾向。另外,多個相似度的隨時間變化通過與攝像定時為規(guī)定數(shù)量(例如I個) 前的至少I個相似度進行比較判定來特定。另外,多個相似度的隨時間變化例如成為隨著攝像日期時間的經(jīng)過而相對降低(減少)的傾向,或者成為相對增加的傾向。
然后,相似度判定部56判定多個相似度是否處于隨著攝像日期時間的經(jīng)過而相對降低的傾向。
具體地,相似度判定部56例如根據(jù)多個相似度中的由相似度計算部53計算出的 I個相似度以及相對于該I個相似度在攝像日期時間上最接近的規(guī)定數(shù)量(例如3個等) 的相似度是否比各個相似度的攝像日期時間為前一個的相似度降低,來判定多個相似度是否處于降低的傾向。即,相似度判定部56在判定為各個相似度比前一個相似度降低的情況下,判定為多個相似度處于相對降低的傾向。另一方面,相似度判定部56在判定為各個相似度不比前一個相似度降低的情況下,判定為多個相似度不處于相對降低的傾向。
另外,相似度判定部56根據(jù)例如由相似度計算部53計算出的I個相似度比攝像日期時間相對于該I個相似度為前一個的相似度降低、且攝像日期時間相對于該I個相似度最接近的規(guī)定數(shù)量(例如5個等)的相似度中的規(guī)定數(shù)量(例如3個等)的相似度是否比各個相似度的攝像日期時間為前一個的相似度降低,來判定多個相似度是否處于相對降低的傾向。即,相似度判定部56在判定為I個相似度比前一個相似度降低、且規(guī)定數(shù)量的相似度比各個相似度的前一個的相似度降低的情況下,判定為多個相似度處于相對降低的傾向。另一方面,相似度判定部56在判定為I個相似度不比前一個相似度降低、且規(guī)定數(shù)量的相似度不比各個相似度的前一個的相似度降低的情況下,判定為多個相似度未處于相對降低的傾向。
·另外,上述多個相似度是否處于相對降低的傾向的判定手法只是一例,并不限于此,能進行適當?shù)娜我庾兏?br>
之后,相似度判定部56根據(jù)多個相似度是否處于隨著攝像日期時間的經(jīng)過而相對降低的傾向的判定結(jié)果,來判定I個相似度是否以其他的規(guī)定數(shù)量的相似度為基準而相對降低。
S卩,相似度判定部56在判定為多個相似度處于相對降低的傾向的情況下,判定為 I個相似度以其他的規(guī)定數(shù)量的相似度為基準而相對降低。另一方面,相似度判定部56在判定為多個相似度不處于相對降低的傾向的情況下,判定為I個相似度以其他的規(guī)定數(shù)量的相似度為基準而未相對降低。
另外,相似度判定部56也可以在由期間判定部54判定為I個相似度所涉及的圖像不是在規(guī)定期間(例如2年間等)內(nèi)拍攝的圖像的情況下,來判定I個相似度是否以其他的規(guī)定數(shù)量的相似度為基準而相對降低。
進而,相似度判定部56也可以在由閾值判定部55判定為I個相似度為規(guī)定的判定值(例如70%等)以下的情況下,來判定I個相似度是否以其他的規(guī)定數(shù)量的相似度為基準而降低。
另外,相似度判斷部56也可以在將由相似度計算部53新計算出的I個相似度存儲在相似度履歷表T2前取得該I個相似度,來判定其是否相對降低。
用以上的方法,相似度判定部56基于存儲在在信息登錄部8的相似度履歷表T2 中多個相似度的隨時間變化,來判定由相似度計算部53新計算出的I個相似度是否以該I個相似度以外的其他的規(guī)定數(shù)量的相似度為基準而相對降低。
第I生成部57在基于用戶對操作輸入部10進行的規(guī)定操作而更新識別用信息的情況下,新生成用于識別特定的個體的識別用信息。
S卩,第I生成部57在顯示部7上建立對應顯示多個相似度以及特定的個體的圖像的狀態(tài)下,以基于用戶對操作輸入部10進行的規(guī)定操作而指定的特定的個體為基準,新生成識別用信息(例如“A先生”的“識別用信息Al”等)。具體地,若基于用戶對操作輸入部 10進行的規(guī)定操作而指定了特定的個體的圖像,則第I生成部57參照信息登錄部8的相似度履歷表T2。然后,第I生成部57基于參照結(jié)果而取得與該特定的個體的圖像對應的特定區(qū)域數(shù)據(jù)(例如臉部區(qū)域數(shù)據(jù)An等),將該特定區(qū)域數(shù)據(jù)特定為識別用信息(例如“識別用信息A2”等)。
另外,也可以基于用戶對操作輸入部10進行的規(guī)定操作來指定多個特定的個體的圖像。在相關(guān)的情況下,也可以是第I生成部57取得多個與指定的多個特定的個體的圖像對應的特定區(qū)域數(shù)據(jù),基于這些多個特定區(qū)域數(shù)據(jù)來特定I個特定區(qū)域數(shù)據(jù)。即,第I生成部57也可以在所取得的多個特定區(qū)域數(shù)據(jù)中,特定相似度表示它們的代表值(例如中間值、平均值、眾數(shù)值(mode value)等)的任意I個特定區(qū)域數(shù)據(jù)。另外,第I生成部57也可以并合進行根據(jù)規(guī)定條件來變更多個特定區(qū)域數(shù)據(jù)的加權(quán)來生成I個特定區(qū)域數(shù)據(jù)。
用以上的方法,第I生成部57在建立對應而顯示在顯示部7中的多個相似度以及特定的個體的圖像中,以基于用戶對操作輸入部10進行的規(guī)定操作而指定的特定的個體的圖像為基準,來新生成用于識別該特定的個體的識別用信息。
第2生成部58在自動更新識別用信息的情況下,新生成用于識別特定的個體的識別用信息。
S卩,第2生成部58在由相似度判定部判定為I個相似度相對降低的情況下,以包含在該I個相似度所涉及的圖像中的特定的個體的圖像為基準,來新生成用于識別該特定的個體的識別用信息(例如“A先生”的“識別用信息Al”等)。具體地,第2生成部58參照信息登錄部8的相似度履歷表T2來取得與該I個相似度建立對應而存儲的特定區(qū)域數(shù)據(jù)(例如臉部區(qū)域數(shù)據(jù)An等)。之后,第2生成部58將所取得的該特定區(qū)域數(shù)據(jù)特定為識別用信息(例如“識別用信息A2”等)。
此時,第2生成部58也可以除了取得與I個相似度建立對應的特定區(qū)域數(shù)據(jù)以外,還取得規(guī)定數(shù)量的與接近該I個相似度(例如差為5%以內(nèi)程度等的)的相似度建立對應的特定區(qū)域數(shù)據(jù),基于這些多個特定區(qū)域數(shù)據(jù)來特定I個特定區(qū)域的數(shù)據(jù)。即,第2生成部58也可以在所取得的多個特定區(qū)域數(shù)據(jù)中,特定相似度表示它們的代表值(例如中間值、平均值、眾數(shù)值等)的任意的I個特定區(qū)域數(shù)據(jù),也可以并合進行按照規(guī)定條件來變更多個特定區(qū)域數(shù)據(jù)的加權(quán)來生成I個特定區(qū)域數(shù)據(jù)。
用以上的方法,第2生成部58在自動地更新識別用信息的情況下,以包含在被相似度判定部56判定為相對降低的I個相似度所涉及的圖像中的特定的個體的圖像為基準, 來新生成用于識別該特定的個體的識別用信息。
顯示控制部6進行控制,讀取臨時存儲在存儲器4中的顯示用的圖像數(shù)據(jù),并使其顯示在顯示部7上。
具體地,顯示控制部 6具備VRAM (Video Random Access Memory,視頻隨機存取存儲器)、VRAM控制器、數(shù)字視頻編碼器等。并且,數(shù)字視頻編碼器介由VRAM控制器定期地從 VRAM中讀取在中央控制部11的控制下從存儲器4讀取并存儲在VRAM(圖示略)中的亮度信號Y以及色差信號Cb、Cr,并以這些數(shù)據(jù)為基礎來產(chǎn)生視頻信號,將視頻信號輸出給顯示部7。
顯示部7例如是液晶顯示面板,基于來自顯示控制部6的視頻信號而在顯示畫面上顯示由電子攝像部所拍攝的圖像等。具體地,顯示部7 —邊以規(guī)定的幀速率逐次更新靜止圖像攝像模式或動態(tài)圖像攝像模式下由攝像部I以及攝像控制部2拍攝被攝體而生成的多個幀圖像,一邊顯示實時取景圖像。另外,顯示部7將所記錄的圖像(錄制圖像)顯示為靜止圖像、或?qū)⒂涗浿械膱D像顯示為動態(tài)圖像。
另外,顯示部7作為通知單元,在由相似度判定部56判定為I個相似度相對降低的情況下,將要更新登錄在信息登錄部8的識別用信息管理表Tl中的識別用信息的意思予以通知。
具體地,顯示控制部6生成用于指示識別用信息更新的規(guī)定的更新指示畫面 Gl(參照圖6B)所涉及的畫面數(shù)據(jù),將該畫面數(shù)據(jù)輸出到顯示部7來顯示規(guī)定的更新指示畫面G1。之后,在基于用戶對操作輸入部10進行的規(guī)定操作而指示識別用信息的更新時,顯示控制部6生成規(guī)定的更新動作指定畫面G2(參照圖6C)所涉及的畫面數(shù)據(jù),并在顯示部 7顯示更新動作指定畫面G2,該規(guī)定的更新動作指定畫面G2用于指定是基于用戶對操作輸入部10進行的操作來更新識別用信息,還是自動更新識別用信息。
另外,在顯示部7顯示規(guī)定的更新動作指定畫面G2的狀態(tài)下,若指定了基于用戶對操作輸入部10進行的規(guī)定操作而更新識別用信息(手動更新),則顯示控制部6作為顯示控制單元,使存儲在信息登錄部8的相似度履歷表T2中的多個相似度、和包含在這些相似度的每個所涉及的圖像中的特定的個體的圖像建立對應地顯示在顯示部7。具體地,顯示控制部6參照相似度履歷表T2,對成 為更新對象的特定的個體(例如“A先生”等),使規(guī)定數(shù)量的相似度、以及與這些相似度的每個對應的特定區(qū)域數(shù)據(jù)所涉及的特定的個體的圖像(例如臉部圖像等)建立對應,并以規(guī)定的順序(例如攝像日期時間順序等)顯示在顯示部7。
另外,顯示控制部6也可以將存儲在相似度履歷表T2中的規(guī)定數(shù)量的相似度以及特定的個體的圖像的全部作為顯示對象。另外,顯示控制部6僅將當前的日期時間起的規(guī)定期間(3個月等)內(nèi)拍攝的圖像所涉及的相似度以及圖像作為顯示對象。
另外,作為通知要更新識別用信息的形態(tài),例示了顯示部7顯示規(guī)定的更新指示畫面G1,但這是一例,并不限于此,能適當進行任意變更。即,通知要更新識別用信息的形態(tài)只要是通過人的五感、特別是視覺、聽覺、觸覺等而能夠掌握、識別該識別用信息的更新定時的方法,則可以是任何形態(tài),例如用聲音(語音等)或振動來通知要更新識別用信息的意思。
信息登錄部8存儲識別用信息管理表Tl (參照圖2A以及圖2C)、和相似度履歷表 T2(參照圖3)。
識別用信息管理表Tl是用來對每個特定的個體來管理用于識別各該個體的識別用信息的表。具體地,識別用信息管理表Tl將特定個體的識別用信息、和該識別用信息的登錄到該識別用信息管理表Tl的登錄日期時間所涉及的登錄日期時間信息建立對應來存儲。
例如,如圖2A所示,在識別用信息管理表Tl中,作為特定的個體的名稱的 “A先生”、作為識別用信息的“識別用信息AI”(參照圖2B)、和作為登錄日期時間的 “2008/12/24”建立對應。另外,在識別用信息管理表TI中,作為特定的個體的名稱的“B先生”、作為識別用信息的“識別用信息B”、和作為登錄日期時間的“2009/7/7”建立對應。另外,識別用信息管理表Tl中,作為特定的個體的名稱的“C先生”、作為識別用信息的“識別用信息C”、和作為登錄日期時間的“ 2010/5/5 ”建立對應。
識別用信息例如包含用于識別人或動物等的個體的臉部的特征信息。作為特征信息,例如能舉出相當于眼、鼻子、嘴等的臉部器官的信息、或在每個規(guī)定角度拍攝的人或動物等的臉部圖像(參照圖2B)。但是,作為特征信息,只要是用于識別人或動物等的個體的臉部的信息,就不限定于這些,可以是任何的信息。
用以上的方法,信息登錄部8將用于識別特定的個體的識別用信息、和該識別用信息的登錄日期時間所涉及的登錄日期時間信息建立對應來登錄。
另外,信息登錄部8在由第I生成部57或第2生成部58新生成識別用信息的情況下,將已經(jīng)登錄在識別用信息管理表Tl中的識別用信息(例如“A先生”的“識別用信息 Al”等)更新為新生成的識別用信息(例如“識別用信息A2”等)(參照圖2C)。此時,信息登錄部8將由第I生成部57或第2生成部58新生成識別用信息的日期時間作為登錄日期時間,與該識別用信息建立對應后登錄在識別用信息管理表Tl中。
即,信息登錄部8例如如圖2C所示,將識別用信息管理表Tl的與作為特定的個體的名稱的“A先生”對應的識別用信息和登錄日期時間的各欄目更新為新生成的作為識別用信息的“識別用信息A2”(參照圖2D)、和作為登錄日期時間信息的“2011/6/11”。
另外,作為登錄日期時間信息所涉及的登錄日期時間,例如也可以利用拍攝包含特定的個體的圖像的日期時間。
另外,上述識別 用信息管理表Tl是一例,并不限于此,能適當?shù)厝我庾兏鎯υ谠摫碇械母鞣N信息的種類等。
相似度履歷表T2是用于管理特定的個體的特定區(qū)域和識別用信息的相似度的履歷的表。具體地,相似度履歷表T2將由相似度計算部53計算出的任意的特定的個體的特定區(qū)域(例如臉部區(qū)域)所涉及的相似度、和規(guī)定的日期時間信息建立關(guān)聯(lián)而存儲。另外,相似度履歷表T2對將識別用信息登錄在識別用信息管理表Tl中的全部的特定的個體,在時間序列上一并存儲包含各特定的個體的圖像的攝像日期時間所涉及的攝像日期時間信息、 由相似度計算部53計算出的相似度以及成為相似度的判定對象的特定區(qū)域所涉及的特定區(qū)域數(shù)據(jù)。
例如,如圖3所示,相似度履歷表T2將作為特定的個體的名稱的“A先生”、作為攝像日期時間信息的“2008/12/24”、相似度100(% )、作為特定區(qū)域數(shù)據(jù)的“臉部區(qū)域數(shù)據(jù)Al”建立對應。另外,將作為特定的個體的名稱的“A先生”、作為攝像日期時間信息的 “2009/1/1”、相似度95 (%)、作為特定區(qū)域數(shù)據(jù)的“臉部區(qū)域數(shù)據(jù)A2”建立對應。另外,將作為特定的個體的名稱的“A先生”、作為攝像日期時間信息的“2009/2/3”、相似度65 (%)、 作為特定區(qū)域數(shù)據(jù)的“臉部區(qū)域數(shù)據(jù)A3”建立對應。另外,將作為特定的個體的名稱的“A 先生”、作為攝像日期時間信息的“2009/3/23”、相似度93(% )、作為特定區(qū)域數(shù)據(jù)的“臉部區(qū)域數(shù)據(jù)A4”建立對應。另外,將作為特定的個體的名稱的“A先生”、作為攝像日期時間信息的“2009/5/5”、相似度94(% )、作為特定區(qū)域數(shù)據(jù)的“臉部區(qū)域數(shù)據(jù)A5”建立對應。另外,將作為特定的個體的名稱的“B先生”、作為攝像日期時間信息的“2009/7/7”、相似度 100 (%)、作為特定區(qū)域數(shù)據(jù)的“臉部區(qū)域數(shù)據(jù)BI”建立對應。
另外,雖然省略了一部分數(shù)據(jù),與上述相同地,相似度履歷表將作為特定的個體的名稱的“A先生”、作為攝像日期時間信息的“2011/1/3”、相似度80(%)、作為特定區(qū)域數(shù)據(jù)的“臉部區(qū)域數(shù)據(jù)An-5”建立對應。另外,將作為特定的個體的名稱的“A先生”、作為攝像日期時間信息的“2011/3/3”、相似度73(%)、作為特定區(qū)域數(shù)據(jù)的“臉部區(qū)域數(shù)據(jù)An-4”建立對應。另外,將作為特定的個體的名稱的“A先生”、作為攝像日期時間信息的“2011/3/5”、 相似度74 (%)、作為特定區(qū)域數(shù)據(jù)的“臉部區(qū)域數(shù)據(jù)An-3”建立對應。另外,將作為特定的個體的名稱的“A先生”、作為攝像日期時間信息的“2011/5/5”、相似度72 (% )、作為特定區(qū)域數(shù)據(jù)的“臉部區(qū)域數(shù)據(jù)An-2”建立對應。另外,將作為特定的個體的名稱的“A先生”、 作為攝像日期時間信息的“2011/5/15”、相似度71 (%)、作為特定區(qū)域數(shù)據(jù)的“臉部區(qū)域數(shù)據(jù)An-Ι”建立對應。另外,將作為特定的個體的名稱的“A先生”、作為攝像日期時間信息的 “2011/6/1”、相似度68 (%)、作為特定區(qū)域數(shù)據(jù)的“臉部區(qū)域數(shù)據(jù)An”建立對應(η為自然數(shù))。
另外,在上述相似度履歷表Τ2中將相似度與包含特定的個體的圖像的攝像日期時間建立關(guān)聯(lián)來存儲,但也可以利用將相似度登錄到該相似度履歷表Τ2中的日期時間。
另外,上述的相似度履歷表Τ2是一例,并不限于此,能任意變更存儲在該表中的各種信息的種類等。
進而,利用相似度履歷表Τ2來將相似度與規(guī)定的日期時間信息(攝像日期時間信息)建立對應來存儲,但并不非得需要利用相似度履歷表Τ2,只要是能將相似度與規(guī)定的日期時間信息建立關(guān)聯(lián)來逐次存儲的構(gòu)成,則可以是任意的構(gòu)成。
用上述的方法,信息登錄部8每當由相似度計算部53計算相似度,就將該相似度與規(guī)定的日期時間信息建立關(guān)聯(lián)來逐次存儲。
記錄介質(zhì)控制部9構(gòu)成為能使記錄介質(zhì)M裝卸自由,控制從安裝的記錄介質(zhì)M的數(shù)據(jù)讀取、和對記錄介質(zhì)M的數(shù)據(jù)的寫入。
S卩,記錄介質(zhì)控制部9將由圖像處理部5的編碼部(圖示略)以規(guī)定的壓縮格式 (例如JPEG格式等)而編碼的記錄用的圖像數(shù)據(jù)記錄到記錄介質(zhì)M中。
另外,記錄介質(zhì)M例如由非易失性存儲器(閃速存儲器)等構(gòu)成,但這是一例,并不限于此,能適當?shù)剡M行任意變更。
操作輸入部10用于進行該攝像裝置100的規(guī)定的操作。具體地,操作輸入部10 具備被攝體的攝像指示所涉及的快門按鈕、攝像模式或功能等的選擇指示所涉及的選擇決定按鈕、變焦量的調(diào)整指示所涉及的變焦按鈕等(都未圖示)等的操作部。并且,操作輸入部10按照該操作部的各按鈕的操作,將規(guī)定的操作信號輸出給中央控制部11。
中央控制部11控 制攝像裝置100的各部。雖未圖示,但具體地,中央控制部11具備CPU(Central Processing Unit,中央處理單元)等,按照攝像裝置100用的各種處理程序(圖示略)來進行各種的控制動作。
接下來,參照圖4 圖7來說明攝像裝置100進行的識別用信息更新處理。
圖4以及圖5是識別用信息更新處理所涉及的動作的一例的流程圖。另外,圖6A 是示意性地表示識別用信息更新處理所涉及的記錄用圖像P的一例的圖。另外,圖6B以及圖6C是示意性地表示識別用信息更新處理所涉及的顯示畫面的一例的圖。圖7是表示與作為特定的個體的“A先生”所涉及的識別用信息相似度的隨時間變化的圖。
識別用信息更新處理是基于用戶對操作輸入部10進行的選擇決定按鈕的規(guī)定操作,在從顯示于菜單畫面上的多個動作模式中選擇指示了識別用信息更新模式的情況下, 在中央控制部11的控制下,通過該攝像裝置100的各部所執(zhí)行的處理。
另外,以當前的日期時間為2011年6月I日來說明下面的識別用信息更新處理。 即,在識別用信息更新處理的執(zhí)行前的狀態(tài)下,在識別用信息管理表Tl中存儲有在2008年 12月24日登錄的“識別用信息Al”,作為特定的個體“A先生”的識別用信息。另外,在識別用信息管理表Tl中存儲有在2009年7月7日登錄的“識別用信息B”,作為特定的個體 “B先生”的識別用信息。另外,在識別用信息管理表Tl中存儲有在 2010年5月5日登錄的“識別用信息C”,作為特定的個體“C先生”的識別用信息。
如圖4所示,首先,攝像控制部2開始攝像部I進行的被攝體的攝像(步驟SI)。 即,攝像控制部2每隔規(guī)定周期,就通過電子攝像部將通過透鏡部的光學像變換為二維的圖像信號(RGB圖像數(shù)據(jù))。圖像數(shù)據(jù)生成部3每隔規(guī)定周期就將從電子攝像部輸出后輸入二維的圖像信號變換為數(shù)字的圖像信號,來生成各幀圖像的YUV數(shù)據(jù)。將由圖像數(shù)據(jù)生成部3生成的各幀圖像的YUV數(shù)據(jù)依次輸出給存儲器4,并容納在該存儲器4中。
接下來,圖像處理部5的圖像取得部51從容納在存儲器4中的各幀圖像的圖像數(shù)據(jù)中依次取得成為處理對象的幀圖像的圖像數(shù)據(jù)(步驟S2)。接下來,個體檢測部52對由圖像取得部51取得的幀圖像的圖像數(shù)據(jù)實施規(guī)定的臉部檢測處理,來從該幀圖像中檢測人或動物等的個體的臉部區(qū)域S(步驟S3,參照圖6A)。
然后,個體檢測部52根據(jù)臉部檢測處理的結(jié)果,來判定臉部區(qū)域S的檢測是否成功(步驟S4)。在此,在判定為臉部區(qū)域S的檢測未成功時(步驟S4:否),圖像處理部5將處理返回步驟S2,執(zhí)行以后的處理。
在步驟S4,若判定為臉部區(qū)域S的檢測成功(步驟S4 :是),則相似度計算部53利用識別用信息管理表Tl的識別用信息,來計算該識別信息與由個體檢測部52檢測出的個體的相似度(步驟S5)。具體地,相似度計算部53從識別用信息管理表Tl中取得每個特定的個體的識別用信息。接下來,相似度計算部53比對每個該識別用信息、和由個體檢測部 52檢測出的個體的臉部區(qū)域S,按照規(guī)定的運算式,以百分率來計算相似度。然后,相似度計算部53在計算出的多個相似度中,將規(guī)定的閾值(例如60%等)以上、且最好的相似度作為由個體檢測部52檢測出的個體與識別用信息的相似度而計算。
在該識別用信息更新處理中,例如“A先生”的與“識別用信息Al ”的相似度表示最好的值,識別“A先生”作為特定的個體。
接下來,相似度計算部53根據(jù)相似度的計算結(jié)果,來判定特定的個體的識別是否成功(步驟S6)。具體地,相似度計算部53根據(jù)計算出的多個相似度中是否至少I個相似度成為規(guī)定的閾值(例如60%等)以上,來判定特定的個體的識別是否成功。
在步驟S6中,若判定為特定的個體的識別成功(步驟S6 :是),則基于用戶對操作輸入部10的快門按鈕進行的規(guī)定操作,攝像控制部2使攝像部I對被攝體的記錄用圖像P進行拍攝(步驟S7)。
具體地,攝像控制部2進行將檢測完畢的臉部區(qū)域S (臉部檢測框W,參照圖6A等) 設為AF區(qū)域或AE區(qū)域的自動對焦處理(AF)或自動曝光處理(AE)等的被攝體的攝像條件的調(diào)整控制,來使電子攝像部拍攝被攝體的光學像。圖像數(shù)據(jù)生成部3生成從電子攝像部傳送來的記錄用圖像P的YUV數(shù)據(jù)。由圖像數(shù)據(jù)生成部3生成的記錄用圖像P的YUV數(shù)據(jù)被輸出到圖像處理部5,在由圖像處理部5的編碼部以規(guī)定的壓縮格式(例如JPEG格式等) 進行編碼后,在記錄介質(zhì)控制部9的控制下,記錄到記錄介質(zhì)M中。
另一方面,在步驟S 6中,若判定為特定的個體的識別未成功(步驟S6:否),則中央控制部11的CPU跳過步驟S7 S21的各處理,將處理移轉(zhuǎn)到步驟S22(參照圖5)。
另外,關(guān)于步驟S22的處理在后面敘述。
在步驟S7的被攝體的記錄用圖像P的攝像后,信息登錄部8將該記錄用圖像P的攝像日期時間所涉及的攝像日期時間信息(例如“2011/6/1”等)、由相似度計算部53計算出的最新的相似度(例如“相似度68%”等)、和特定區(qū)域數(shù)據(jù)(例如“臉部區(qū)域數(shù)據(jù)An” 等)建立對應地存儲在相似度履歷表T2中(步驟S8)。
接下來,期間判定部54判定記錄用圖像P是否是從識別用信息的登錄日期時間起的規(guī)定期間內(nèi)所拍攝的(步驟S9)。具體地,期間判定部54從相似度履歷表T2取得與最新的相似度建立對應而存儲的記錄用圖像P的攝像日期時間所涉及的攝像日期時間信息,并從識別用信息管理表Tl中取得與最新的相似度對應的特定的個體的識別用信息(例如“A先生”的“識別用信息Al”等)的登錄日期時間所涉及的登錄日期時間信息(例如 “2008/12/24”等)。然后,期間判定部54比較記錄用圖像P的攝像日期時間和識別用信息的登錄日期時間,判定該記錄用圖像P是否是從識別用信息的登錄日期時間起的規(guī)定期間 (例如2年間等)內(nèi)所拍攝的。
在步驟S9中,在判定為記錄用圖像P是從識別用信息的登錄日期時間起的規(guī)定期間內(nèi)所拍攝時(步驟S9 :是),中央控制部11的CPU跳過步驟SlO S21的各處理,將處理移轉(zhuǎn)到步驟S22 (參照圖5,詳細后述)。
例如,如圖7所示,在相似度降低到規(guī)定的判定值以下的65 (%)的情況下,由于攝像日期時間“2009/2/3”未從識別用信息的登錄日期時間“2008/12/24”起經(jīng)過規(guī)定期間, 因此,這并不是由于特定的個體的成長而引起的外表的隨時間變化,例如是發(fā)型的變更等什么要因引起的例外的相似度降低,在當前狀況下不需要更新該登錄完畢的識別用信息。
另一方面,在步驟S9中,在判定為記錄用圖像P不是從識別用信息的登錄日期時間起的規(guī)定期間內(nèi)所拍攝時(步驟S9 :否),閾值判定部55判定由相似度計算部53計算出的最新的相似度是否為規(guī)定的判定值(例如70%等)以下(步驟S10)。
在此,在判定為最新的相似度為規(guī)定的判定值以下時(步驟SlO :是),如圖5所示,相似度判定部56參照相似度履歷表T2來特定多個相似度的隨時間變化(步驟Sll)。 具體地,相似度判定部56從相似度履歷表T2取得分別與最新的相似度以及相對于該最新的相似 度在攝像日期時間上最接近的其他的規(guī)定數(shù)量的相似度建立對應的圖像的攝像日期時間所涉及的攝像日期時間信息。然后,相似度判定部56基于所取得的攝像日期時間信息,對多個相似度,通過將其與攝像定時為規(guī)定數(shù)量(例如I個)前的相似度進行比較判定,來特定與多個相似度的攝像日期時間的經(jīng)過相應的相對變化的傾向,作為多個相似度的隨時間變化。
另一方面,在步驟SlO中,在判定為最新的相似度為規(guī)定的判定值以下時(步驟 SlO :否),中央控制部11的CPU跳過步驟Sll S21的各處理,將處理移轉(zhuǎn)到步驟S22(參照圖5,詳細后述)。
如圖5所示,在步驟Sll中特定了多個相似度的隨時間變化后,相似度判定部56 基于該多個相似度的隨時間變化,來判定多個相似度是否處于隨著攝像日期時間的經(jīng)過而相對降低的傾向(步驟S12)。即,相似度判定部56在判定最新的相似度是否以該最新的相似度以外的其他的規(guī)定數(shù)量的相似度為基礎而相對降低的基礎上,來判定多個相似度是否處于隨著攝像日期時間的經(jīng)過而相對降低的傾向。
具體地,相似度判定部56參照相似度履歷表T2,例如根據(jù)作為特定的個體的“A先生”所涉及的多個相似度中的、最新的相似度(例如相似度68(% )等)以及相對于該最新的相似度在攝像日期時間上最接近的規(guī)定數(shù)量(例如3個等)的相似度(例如相似度71、 72,74(%)等)是否比各個相似度的攝像日期時間為前一個的相似度降低,由此來判定多個相似度是否處于相對降低的傾向(參照圖7)。
在步驟S12中,在判定為多個相似度處于隨著攝像日期時間的經(jīng)過而相對降低的傾向時(步驟S12 :是),顯示控制部6生成用于指示識別用信息的更新的規(guī)定的更新指示畫面Gl(參照圖6B)所涉及的畫面數(shù)據(jù),并將其輸出給顯示部7,來顯示規(guī)定的更新指示畫面Gl (步驟S13)。例如,生成在更新指示畫面Gl內(nèi)的規(guī)定位置配置用于指示成為更新對象的特定的個體的識別用信息的更新的意思的消息(例如“請更新A先生的識別用信息” 等)、能由用戶選擇的指示更新的按鈕(例如“進行”等)以及指示不更新的按鈕(例如“不進行”等)的畫面數(shù)據(jù),并將該畫面數(shù)據(jù)輸出給顯示部7。
另一方面,在步驟S12中,在判定為多個相似度未處于隨著攝像日期時間的經(jīng)過而相對降低的傾向時(步驟S12 :否),中央控制部11的CPU跳過步驟S13 S21的各處理,并將處理移轉(zhuǎn)到步驟S22 (詳細后述)。
接下來,中央控制部11的CPU基于用戶對操作輸入部10進行的規(guī)定操作,來判定是否輸入了識別用信息的更新指示(步驟S14)。具體地,在基于用戶對操作輸入部10進行的規(guī)定操作而選擇用于指示更新指示畫面Gl內(nèi)的更新的按鈕時(例如“進行”等),中央控制部11的CPU根據(jù)是否輸入了從操作輸入部10輸出的該選擇所涉及的指示信號,來判定是否輸入了識別用信息的更新指示。
在步驟S14中,在判定為輸入了識別用信息的更新指示時(步驟S14 :是),顯示控制部6生成用于指定識別用信息的更新動作的內(nèi)容的、規(guī)定的更新動作指定畫面G2(參照圖6C)所涉及的畫面數(shù)據(jù),并將該畫面數(shù)據(jù)輸出到顯示部7,顯示規(guī)定的更新動作指定畫面 G2(步驟S15)。例如,顯示控制部6生成在更新動作指定畫面G2內(nèi)的規(guī)定位置配置有用于指示識別用信息的自動更新的按鈕(例如“自動更新”等)、和用于指示基于用戶對操作輸入部10的規(guī)定操作來手動更新識別用信息的按鈕(例如“手動更新”等)的畫面數(shù)據(jù),并將該畫面數(shù)據(jù)輸出給顯示部7。
另一方面,在步驟S14中,在判定為未輸入識別用信息的更新指示時(步驟S14: 否),中央控制部11的CPU跳過步驟S15 S21的各處理,將處理移轉(zhuǎn)到步驟S22(后面詳述)。
在步驟S15的更新動作指定畫面G2的顯示后,中央控制部11的CPU基于用戶對操作輸入部10進行的規(guī)定操作而指定的更新動作的內(nèi)容來使處理分歧(步驟S16)。具體地,在用戶指示了識別用信息的自動更新的情況下(步驟S16 :自動更新),中央控制部11 的CPU將處理移轉(zhuǎn)到步驟S17。另一方面,在用戶指示了識別用信息的手動更新的情況下 (步驟S16 :手動更新),中央控制部11的CPU將處理移轉(zhuǎn)到步驟S19。
〈自動更新〉
在步驟S16中,在基于用戶對操作輸入部10進行的規(guī)定操作而選擇了更新動作指定畫面G2內(nèi)的用于指示自動更新的按鈕(例如“自動更新”等),并將從操作輸入部10輸出的選擇指示信號輸入到中央控制部11的CPU后,該CPU判斷為用戶指示識別用信息的自動更新(步驟S16 自動更新)。
于是,中央控制部11的CPU使圖像處理部5的第2生成部58以包含在最新的相似度所涉及的圖像中的特定的個體的特定區(qū)域數(shù)據(jù)為基準,來新生成識別用信息(步驟 S17)。具體地,第2生成部58從信息登錄部8的相似度履歷表T2取得與特定的個體(例如“A先生”等)所涉及的最新的相似度建立對應而存儲的特定區(qū)域數(shù)據(jù)(例如臉部區(qū)域數(shù)據(jù)An等),將該特定區(qū)域數(shù)據(jù)特定為識別用信息(例如“識別用信息A2”等)。
之后,中央控制部11的CPU將處理移轉(zhuǎn)到步驟S21 (詳細后述)。
〈手動更新〉
在步驟S16中,在基于用戶對操作輸入部10進行的規(guī)定操作而選擇了更新動作指定畫面G2內(nèi)的用于指示手動更新的按鈕(例如“手動更新”等),并將從操作輸入部10輸出的選擇指示信號輸入到中央控制部11的CPU后,該CPU判斷為用戶指示識別用信息的手動更新(步驟S16 :手動更新)。
于是,中央控制部11的CPU使顯示控制部6參照信息登錄部8的相似度履歷表 T2,顯示控制部6對成為更新對象的特定的個體(例如“A先生”等),使存儲在該相似度履歷表T2中的規(guī)定數(shù)量的相似度和特定區(qū)域數(shù)據(jù)所涉及的特定的個體的圖像建立對應地顯示在顯示部7(步驟S18)。
接下來,中央控制部11的CPU判定是否輸入了用于在顯示于顯示部7的規(guī)定數(shù)量的特定的個體的圖像中、基于用戶對操作輸入部10進行的規(guī)定操作而指定任意一個特定的個體的圖像的指示(步驟S19)。
在此,若判定為未輸入指定任意一個特定的個體的圖像的指示時(步驟S19 :否), 中央控制部11的CPU將處理返回步驟S18,直到在步驟S19判定為輸入了指定任意一個特定的個體的圖像的指示為止(步驟S19 :是),逐次執(zhí)行以后的處理。
然后,在步驟S19,在判定為輸入了指定任意一個特定的個體的圖像的指示時(步驟S19 :是),中央控制部11的CPU使圖像處理部5的第I生成部57以與用戶指定的特定的個體的圖像對應的特定區(qū)域數(shù)據(jù)為基準,來新生成識別用信息(步驟S20)。具體地,第 I生成部57從信息登錄部8的相似度履歷表T2中取得與指定的特定的個體的圖像對應的特定區(qū)域數(shù)據(jù)(例如臉部區(qū)域數(shù)據(jù)An等),并將該特定區(qū)域數(shù)據(jù)特定為識別用信息(例如 “識別用信息A2”等)。
之后,中央控制部11的CPU將處理移轉(zhuǎn)到步驟S21 (詳細后述)。
在步驟S21中,信息登錄部8將在識別用信息管理表Tl中登錄完畢的識別用信息更新為由第I生成部57或第2生成部58新生成的識別用信息(步驟S21)。
具體地,信息登錄部8將第I生成部57或第2生成部58新生成的識別用信息(例如“識別用信息A2”等)的日期時間作為登錄日期時間,并將登錄在識別用信息管理表Tl 中的識別用信息(例如“A先生”的“識別用信息Al”等)更新為新生成的識別用信息(參照圖2C)。
接下來,中央控制部11的CPU基于用戶對操作輸入部10進行的規(guī)定的操作,來判定是否輸入了識別用信息更新處理的結(jié)束指示(步驟S22)。
在此,在判定為未輸入結(jié)束指示時,(步驟S22 :否),中央控制部11的CPU將處理返回步驟S2 (參照圖4),逐次進行以后的處理。
另一方面,在步驟S22中判定為輸入了結(jié)束指示時(步驟S22 :是),中央控制部11 的CPU結(jié)束識別用信息更新處理。
如以上那樣,根據(jù)本實施方式的攝像裝置100,計算從由攝像部I拍攝的圖像中檢測出的個體的信息、和用于識別特定的個體(例如人或動物等的臉部)的識別用信息(例如“識別用信息Al”等)的相似度。另外,每當計算相似度,將該相似度與規(guī)定的日期時間信息建立對應后逐次存儲。進而,在基于多個相似度的隨時間變化而判定為新生成的I個相似度以該I個相似度以外的其他的規(guī)定數(shù)量的相似度為基準而相對降低的情況下,將要更新所登錄的識別用信息的意思予以通知。因此,能使用戶認識到今后有可能無法正確地識別由于成長而外表隨時間變化的特定的個體。然后,通過用新的識別用信息(例如“識別用信息A2”等)來更新登錄完畢的識別用信息,今后能利用新的識別用信息來正確地識別該特定的個體。
具體地,顯示部7通過顯示用于指定是基于用戶對操作輸入部10進行的規(guī)定操作來更新識別用信息、還是自動更新識別用信息的規(guī)定的指定畫面,能基于用戶對操作輸入部10進行的規(guī)定操作來選擇識別用信息的更新動作的內(nèi)容,能進行該用戶期望的更新動作。
在此,在基于用戶對操作輸入部10的規(guī)定操作來更新識別用信息的情況下,將多個相似度、和包含在每個該相似度所涉及的圖像中的特定的個體的圖像建立對應地顯示在顯示部7上,以基于用戶對操作部進行的規(guī)定操作而指定的特定的個體的圖像為基準,新生成用于識別該特定的個體的識別用信息(例如“識別用信息A2”等)。由此,本實施方式的攝像裝置100能以用戶期望的特定的個體的圖像為基準來生成新的識別用信息,從而用該新的識別用信息來更新登錄完畢的識別用信息(例如“識別用信息Al”等)。
另外,在自動更新識別用信息的情況下,以在以其他的規(guī)定數(shù)量的相似度為基準而判定為相對降低的I個相似度所涉及的圖像中所含的特定的個體的圖像為基準,來新生成用于識別該特定的個體的識別用信息。由此,本實施方式的攝像裝置100能以與登錄的識別用信息最不相似、與當前的特定的個體最相似的最新的相似度所涉及的特定的個體的圖像為基準來生成新的識別用信息(例如“識別用信息A2”等),用該新的識別用信息來更新登錄完畢的識別用信息(例如“識別用信息Al”等)。
進而,基于所拍攝的圖像的攝像日期時間所涉及的攝像日期時間信息來特定多個相似度的隨時間變化,能基于該多個相似度的隨時間變化來正確地判定新計算出的I個相似度是否相對降低。具體地,特定該多個相似度的與攝像日期時間的經(jīng)過相應的相對變化的傾向,作為多個相似度的隨時間變化,能根據(jù)該多個相似度是否處于相對降低的傾向來正確地判定I個相似度是否相對降低。
此時,能根據(jù)多個相似度中的新計算出的I個相似度以及相對于該I個相似度在攝像日期時間上最接近的規(guī)定數(shù)量的相似度是否比各個相似度為I個以前的相似度而降低,來判定多個相似度是否處于相對降低的傾向,或者能根據(jù)是否新計算出的I個相似度比相對于該I個相似度攝像日期時間為I個以前的相似度而降低、且相對于該I個相似度在攝像日期時間上接近的規(guī)定數(shù)量的相似度中的規(guī)定數(shù)量的相似度比各個相似度的前一個相似度而降低等,來判定多個相似度是否處于相對降低的傾向。
因此,能在考慮了外表的隨時間變化的特定的個體的隨時間變化的情況下來正確地特定登錄完畢的識別用信息的更新定時、即要更新登錄完畢的識別用信息的意思的通知定時。
另外,在判定為新計算出的I個相似度為規(guī)定的判定值以下的情況下,由于判定I 個相似度是否以其他的規(guī)定數(shù)量的相似度為基準而相對降低,因此,在登錄的識別用信息的相似度充分高的情況下,不需要更新該登錄完畢的識別用信息。另外,能減少為了特定要更新登錄完畢的識別用信息的意思的通知定時而進行的、I個相似度是否相對降低的判定處理的次數(shù)。
進而,在判定為新計算出的I個相似度所涉及的圖像不是從識別用信息的登錄日期時間起的規(guī)定期間內(nèi)拍攝的圖像的情況下,由于判定I個相似度是否以其他的規(guī)定數(shù)量的相似度為基準而相對降低,因此,認為在從識別用信息的登錄日期時間起的規(guī)定期間內(nèi)拍攝的圖像中,不是由于特定的個體的成長而外表隨時間變化,而是例如發(fā)型的變更等什么要因引起的例外的相似度降低,與登錄完畢的識別用信息的相似度還是充分高的。由此, 認為不需要更新該登錄完畢的識別用信息,從而能減少為了特定要更新登錄完畢的識別用信息的意思的通知定時而進行的、I個相似度是否相對降低的判定處理的次數(shù)。
另外,本發(fā)明并不限定于上述實施方式,能在不脫離本發(fā)明的主旨的范圍內(nèi)進行各種改良和設計的變更。
在上述實施方式的識別用信息更新處理中,在期間判定部54判定了記錄用圖像P 是否是從識別用信息的登錄日期時間起的規(guī)定期間內(nèi)所拍攝的之后,由閾值判定部55來判定該記錄用圖像P所涉及的I個相似度是否為規(guī)定的判定值以下,但這些判定處理的順序是一例,并不限于此。即,作為判定處理的順序,也可以在進行閾值判定部55的判定處理之后再進行期間判定部54的判定處理。
另外,在上述實施方式中,判定新計算出的I個相似度是否為規(guī)定的判定值以下, 但關(guān)于是否進行該判定,能適當?shù)剡M行任意變更。即,攝像裝置100并不一定非得具備閾值判定部55,只要能判定I個相似度是否以其他的規(guī)定數(shù)量的相似度為基準而相對降低,則可以是任意的構(gòu)成。
同樣地,判定新計算出的I個相似度所涉及的圖像是否是從識別用信息的登錄日期時間起的規(guī)定期間內(nèi)拍攝的圖像,但關(guān)于是否進行該判定,能適當?shù)剡M行任意變更。即, 攝像裝置100并不一定非得具備期間判定部54,只要能判定I個相似度是否以其他的規(guī)定數(shù)量的相似度為基準而相對降低,則可以是任意的構(gòu)成。
另外,在上述 實施方式中,在判定為新計算出的I個相似度以該I個相似度以外的其他的規(guī)定數(shù)量的相似度為基準而相對降低的情況下,將要更新所登錄的識別用信息的意思予以通知。但是,攝像裝置100也可以不進行該通知,而是新生成用于識別特定的個體的識別用信息,并自動更新登錄完畢的識別用信息。
進而,攝像裝置100的構(gòu)成是在上述實施方式中例示的一例,并不限于此。另外, 作為圖像處理裝置,例示了攝像裝置100,但并不限于此,只要能執(zhí)行本發(fā)明所涉及的圖像處理,則能是任意的構(gòu)成。例如,也可以與圖像處理裝置獨立而構(gòu)成的攝像裝置(圖示略) 配置在正門等的出入口或通道等,圖像處理裝置取得由該攝像裝置生成的圖像數(shù)據(jù),該圖像處理裝置基于圖像數(shù)據(jù)來進行行人(特定的人物)的識別,本發(fā)明還能應用在這樣的安保系統(tǒng)(監(jiān)視系統(tǒng))中。
此外,上述實施方式的各功能是在中央控制部11的控制下,通過驅(qū)動圖像處理部 5、顯示部7以及信息登錄部8來實現(xiàn)的構(gòu)成,但并不限于此。即,上述實施方式也可以構(gòu)成為通過中央控制部11執(zhí)行規(guī)定的程序等來實現(xiàn)。
S卩,在存儲程序的程序存儲器(圖示略)中存儲包括取得處理例程、計算處理例程、存儲控制處理例程、第I判定處理例程、通知控制處理例程在內(nèi)的程序。然后,也可以通過取得處理例程使中央控制部11的CPU發(fā)揮取得圖像的功能。另外,也可以通過計算處理例程使中央控制部11的CPU發(fā)揮計算包含在取得的圖像中的特定的個體的信息、和登錄在登錄單元中的該特定的個體的識別信息的相似度的功能。另外,也可以通過記錄控制處理例程使中央控制部11的CPU發(fā)揮每當計算相似度就將該相似度與規(guī)定的日期時間建立對應并存儲在存儲單元中的功能。另外,也可以通過第I判定處理例程使中央控制部11的CPU 發(fā)揮如下功能基于所存儲的多個相似度的隨時間變化,來判定由計算單元新計算出的相似度是否以該相似度以外的其他的規(guī)定數(shù)量的相似度為基準而相對降低。另外,也可以通過通知控制處理例程使中央控制部11的CPU發(fā)揮如下功能在由第I判定單元判定為I個相似度相對降低的情況下,將要更新登錄在登錄單元中的識別用信息的意思予以通知。
由此,例如,通過僅對重購或交換等而得到的攝像裝置100僅重寫上述的程序或登錄在信息登錄部8中的表T1、T2等,即承繼各種數(shù)據(jù)和功能,就能實現(xiàn)與上述實施方式相同的功能。
進而,作為容納用于執(zhí)行上述各處理的程序的計算機可讀介質(zhì),除了能應用ROM、 硬盤等以外,還能應用閃速存儲器等的非易失性存儲器、CD-ROM等的可移動型記錄介質(zhì)。另外,作為介由規(guī)定的通信線路而提供程序的數(shù)據(jù)的介質(zhì),還能應用載波(carrier wave)。
本發(fā)明說明了幾個實施方式,但本發(fā)明的范圍并不限定于上述的實施方式,還包括在權(quán)利要求的范圍內(nèi)所記載的發(fā)明的范圍以及與其均等的范圍。
權(quán)利要求
1.一種圖像處理裝置,其特征在于,具備 取得單元,其取得圖像; 計算單元,其計算包含在由所述取得單元取得的圖像中的特定的個體的信息、和登錄在登錄單元中的該特定的個體的識別信息的相似度; 存儲控制單元,其將所述計算單元計算出的相似度與日期時間信息建立關(guān)聯(lián)并存儲在存儲單元中; 第I判定單元,其基于存儲在所述存儲單元中的多個相似度的隨時間變化,來判定所述計算單元新計算出的相似度是否以該相似度以外的其他的規(guī)定數(shù)量的相似度為基準而相對較低;和 通知單元,其在所述第I判定單元判定為所述相似度相對較低的情況下,通知要更新已登錄在所述登錄單元中的識別信息。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置,其特征在于, 所述存儲控制單元每當通過所述計算單元計算出相似度,就將該相似度與日期時間信息建立對應并存儲在存儲單元中。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置,其特征在于, 所述登錄單元將所述特定的個體的識別信息、和與該識別信息的登錄日期時間相關(guān)的信息建立對應并進行登錄。
4.根據(jù)權(quán)利要求1所述的圖像處理裝置,其特征在于, 所述存儲控制單元將與所述圖像相關(guān)的所述相似度、和與該圖像的攝像日期時間相關(guān)的信息建立對應并進行存儲, 所述圖像處理裝置還具備特定單元,其基于與存儲在所述存儲單元中的攝像日期時間相關(guān)的信息來特定所述多個相似度的隨時間變化, 所述第I判定單元基于由所述特定單元特定的隨時間變化,來判定計算出的所述相似度是否相對較低。
5.根據(jù)權(quán)利要求3所述的圖像處理裝置,其特征在于, 所述特定單元還特定與所述多個相似度的所述攝像日期時間的經(jīng)過相應的相對變化的傾向,作為所述隨時間變化, 所述第I判定單元還根據(jù)該多個相似度是否處于相對變低的傾向,來判定所述I個相似度是否相對較低。
6.根據(jù)權(quán)利要求4所述的圖像處理裝置,其特征在于, 所述第I判定單元還根據(jù)所述多個相似度中的各個相似度是否比前一個相似度低,來判定所述多個相似度是否處于相對降低的傾向。
7.根據(jù)權(quán)利要求4所述的圖像處理裝置,其特征在于, 所述第I判定單元還根據(jù)是否由所述計算單元計算出的相似度與相對于該相似度而言所述攝像日期時間為前一個的相似度相比降低、且相對于該I個相似度而言所述攝像日期時間上最接近的規(guī)定數(shù)量的相似度中的特定數(shù)量的相似度與各個相似度的前一個相似度相比降低,來判定所述多個相似度是否處于相對降低的傾向。
8.根據(jù)權(quán)利要求1所述的圖像處理裝置,其特征在于, 所述圖像處理裝置還具備 第2判定單元,其判定所述計算單元計算出的相似度是否為規(guī)定的判定值以下, 所述第I判定單元在所述第2判定單元判定為所述相似度為規(guī)定的判定值以下的情況下,判定所述相似度是否相對降低。
9.根據(jù)權(quán)利要求1所述的圖像處理裝置,其特征在于, 所述圖像處理裝置還具備 第3判定單元,其基于與所述計算單元所新計算出的相似度建立關(guān)聯(lián)的所述規(guī)定的日期時間信息,來判定該相似度所涉及的圖像是否是從所述第I信息的登錄日期時間起的規(guī)定期間內(nèi)所拍攝的圖像, 所述第I判定單元在所述第3判定單元判定為所述圖像不是在所述規(guī)定期間內(nèi)拍攝的圖像的情況下,判定所述I個相似度是否相對降低。
10.根據(jù)權(quán)利要求1所述的圖像處理裝置,其特征在于, 所述通知單元具有顯示單元,其顯示規(guī)定的指示畫面,該規(guī)定的指示畫面用于指定是基于用戶對操作部進行的規(guī)定操作來更新所述第I信息,還是自動更新所述第I信息。
11.根據(jù)權(quán)利要求1所述的圖像處理裝置,其特征在于, 所述圖像處理裝置還具備顯示控制單元,其在基于用戶對操作部進行的規(guī)定操作來更新所述第I信息的情況下,使存儲在所述存儲單元中的多個相似度、和包含在該多個相似度的每個所涉及的圖像中的特定的個體的圖像建立對應地顯示在顯示單元中;和 第I生成單元,其在建立對應而顯示于所述顯示單元的所述多個相似度以及特定的個體的圖像中,以基于用戶對操作部進行的規(guī)定操作而指定的所述特定的個體的圖像為基準,來新生成用于識別該特定的個體的識別信息, 所述登錄單元將所述第I生成單元生成所述識別信息的生成日期時間作為所述登錄日期時間,與該識別信息建立對應并進行登錄。
12.根據(jù)權(quán)利要求1所述的圖像處理裝置,其特征在于, 所述圖像處理裝置還具備第2生成單元,其在自動更新所述識別信息的情況下,以包含在所述第I判定單元判定為相對降低的所述I個相似度所涉及的圖像中的特定的個體的圖像為基準,來新生成用于識別該特定的個體的識別信息, 所述登錄單元將所述第2生成單元生成所述識別信息的生成日期時間作為所述登錄日期時間,與該識別信息建立對應并進行登錄。
13.根據(jù)權(quán)利要求1所述的圖像處理裝置,其特征在于, 所述圖像處理裝置還具備檢測單元,檢測包含在所述取得單元取得的圖像中的個體,所述計算單元計算由所述檢測單元從所述圖像中檢測出的個體、與所述識別信息的相似度。
14.根據(jù)權(quán)利要求1所述的圖像處理裝置,其特征在于, 所述特定的個體是人以及動物中的至少一者的各個體的臉部。
15.根據(jù)權(quán)利要求1所述的圖像處理裝置,其特征在于, 所述圖像處理裝置還具備攝像單元,其對被攝體進行拍攝, 所述取得單元取得由所述攝像單元拍攝的圖像。
16.一種圖像處理方法,是使用了圖像處理裝置的圖像處理方法,其特征在于,包括 取得圖像的步驟; 計算包含在由所取得的圖像中的特定的個體的信息、和登錄在登錄單元中的該特定的個體的識別信息的相似度的步驟; 每當計算出所述相似度,就將該相似度與日期時間信息建立關(guān)聯(lián)并存儲在存儲單元中的步驟; 基于 存儲在所述存儲單元中的多個相似度的隨時間變化,來判定新計算出的相似度是否以該相似度以外的其他的規(guī)定數(shù)量的相似度為基準而相對降低的步驟;和 在判定為新計算出的所述相似度相對降低的情況下,通知要更新已登錄在所述登錄單元中的所述識別信息的步驟。
全文摘要
本發(fā)明提供圖像處理裝置以及圖像處理方法。攝像裝置(100)具備圖像取得部(51)、相似度計算部(52)、記錄介質(zhì)控制部(9)、相似度判定部(56)和顯示部(7)。圖像取得部(51)取得圖像。相似度計算部(52)計算包含在所取得的圖像中的特定的個體的信息、和登錄在登錄單元中的該特定的個體的識別信息的相似度。記錄介質(zhì)控制部(9)每當所述計算單元計算相似度,就將該相似度與日期時間信息建立關(guān)聯(lián)并存儲到記錄介質(zhì)(M)中。相似度判定部(56)基于所存儲的多個相似度的隨時間變化來判定所述計算單元新計算出的相似度是否以該相似度以外的其他的規(guī)定數(shù)量的相似度為基準而相對降低。顯示部(7)在判定為所述相似度相對降低的情況下,通知要更新已登錄在所述登錄單元中的識別信息。
文檔編號H04N5/232GK103037157SQ20121036395
公開日2013年4月10日 申請日期2012年9月26日 優(yōu)先權(quán)日2011年9月28日
發(fā)明者鈴木茂人 申請人:卡西歐計算機株式會社