專利名稱：圖像處理裝置以及圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及可生成寬范圍的圖像的圖像處理裝置以及圖像處理方法。
背景技術(shù)：
在數(shù)碼相機或具有攝像功能的便攜式電話等中，攝像視角的極限依賴于透鏡的焦點距離、攝像元件的尺寸等裝置主體所具備的硬件設(shè)計規(guī)格。
因此，作為用于獲取規(guī)格超過硬件設(shè)計規(guī)格那樣的廣角圖像，例如作為所謂的全景圖像的一技術(shù)，目前已知有全景攝像的技術(shù)。
為了實現(xiàn)上述全景攝像，用戶例如在一邊維持按下操作了快門開關(guān)的操作的狀態(tài)一邊以自身的身體為軸，使數(shù)碼相機在垂直方向大致固定不變而在水平方向進行旋轉(zhuǎn)地移動。
于是，數(shù)碼相機在該期間執(zhí)行多次攝像處理，將作為該多次的攝像處理的各結(jié)果而獲得的多個圖像(以下，稱為“攝像圖像”)的圖像數(shù)據(jù)在橫方向(水平方向)進行合成， 由此，來生成全景圖像的圖像數(shù)據(jù)。
在JP特開平11-282100號公報中公開了 在每多次的攝像處理后，對攝像圖像中的特征點進行檢測，按照鄰接的2張攝像圖像的特征點彼此一致的方式，將多個攝像圖像的圖像數(shù)據(jù)在橫方向進行合成，由此，來生成全景圖像的圖像數(shù)據(jù)的手法。
但是，即使上述專利文獻，作為全景圖像，重視其背景，而在全景圖像中包含人物等的被攝體的情況下，存在不重視對該人物的漂亮反映這樣的問題。發(fā)明內(nèi)容
本發(fā)明是鑒于這樣的問題而開發(fā)的，目的在于與進行攝像的定時無關(guān)地，作為攝像圖像，能夠生成包含恰當(dāng)?shù)谋粩z體在內(nèi)的寬范圍的圖像。
為了達成上述目的，本發(fā)明的一方案的圖像處理裝置的特征在于，具備圖像獲取單元，其依次獲取圖像；檢測單元，其從由所述圖像獲取單元獲取的多個圖像中對被攝體像進行檢測；計算單元，其對由所述檢測單元檢測出的各被攝體像的評價值進行計算；決定單元，其將由所述計算單元計算出的評價值為規(guī)定值以上的被攝體像決定為合成對象；以及生成單元，其對由所述決定單元決定為合成對象的被攝體像與由所述獲取單元依次獲取的圖像進行合成，來生全景圖像。
另外，本發(fā)明的一方案的圖像處理方法是圖像處理裝置的圖像處理方法，該圖像處理裝置具備用于獲取在規(guī)定方向一邊移動攝像范圍一邊連續(xù)拍攝到的圖像的圖像獲取步驟，該圖像處理方法特征在于，包括檢測步驟，從由所述圖像獲取步驟依次獲取的圖像中分別對被攝體像進行檢測；計算步驟，對由所述檢測步驟分別檢測出的被攝體像的評價值進行計算；決定步驟，其基于由所述計算步驟中分別計算出的評價值，從多個所述被攝體像中，將特定的被攝體像決定為合成對象；以及生成步驟，對由所述決定步驟所 決定的被攝體像與由所述獲取單元依次獲取的圖像進行合成，來生成寬范圍的圖像。


圖1是表示作為本發(fā)明所涉及的攝像裝置的一實施方式的數(shù)碼相機的硬件構(gòu)成的框圖。
圖2是表示圖1的數(shù)碼相機的用于執(zhí)行攝像處理的功能構(gòu)成的功能框圖。
圖3是用于對作為圖2的數(shù)碼相機的動作模式而分別選擇通常攝像模式與全景攝像模式的情況下的攝像操作進行說明的圖。
圖4是表示通過圖3所示的全景攝像模式所生成的全景圖像的一個示例的圖。
圖5是表示在全景圖像的合成中所利用的圖像數(shù)據(jù)以及根據(jù)該圖像數(shù)據(jù)所生成的全景圖像的圖像數(shù)據(jù)的一個示例的圖。
圖6是表示圖2的數(shù)碼相機所執(zhí)行的攝像處理的流程的一個示例的流程圖。
圖7是表示圖6的攝像處理中的全景攝像處理的詳細流程的流程圖。
圖8是表示·圖7的全景攝像處理中的表情判定處理的詳細流程的流程圖。
圖9是表示圖7的全景攝像處理中的圖像合成處理的詳細流程的流程圖。
具體實施方式
以下，參照圖面，對本發(fā)明所涉及的實施方式進行說明。
圖1是表示作為本發(fā)明所涉及的圖像處理裝置的一實施方式的數(shù)碼相機I的硬件構(gòu)成的框圖。
數(shù)碼相機I 具備 CPU (Central Processing Unit) 11、R0M (Read Only Memory) 12> RAM (Random Access Memory) 13、總線14、光學(xué)系統(tǒng)15、攝像部16、圖像處理部17、存儲部 18、顯示部19、操作部20、通信部21、角速度傳感器22、驅(qū)動器23。
CPUll根據(jù)R0M12所存儲的程序、或者從存儲部18加載至RAM13的程序，執(zhí)行各種的處理。ROMl2除存儲CPUll用于執(zhí)行各種的處理時的程序，還適宜地存儲CPUll在執(zhí)行各種處理中所需的數(shù)據(jù)等。
例如，在本實施方式中，用于實現(xiàn)后述的圖2的圖像控制部51至合成部58的各功能的程序存儲在ROM 12或存儲部18中。因此，CPUll執(zhí)行基于這些程序的處理，通過與后述的圖像處理部17進行適宜協(xié)動，能夠?qū)崿F(xiàn)后述的圖2的圖像控制部51至合成部58的各功能。
CPU1UR0M12以及RAM13介由總線14相互連接。該總線I另外還與光學(xué)系統(tǒng)15、 攝像部16、圖像處理部17、存儲部18、顯示部19、操作部20、通信部21、角速度傳感器22以及驅(qū)動器23連接。
光學(xué)系統(tǒng)15為了對被攝體進行撮影，由對光進行聚光的透鏡、例如聚焦透鏡或變焦透鏡等來構(gòu)成。聚焦透鏡是使被攝體像在攝像部16的攝像元件的受光面進行成像的透鏡。變焦透鏡是焦點距離在一定范圍內(nèi)自由地變化的透鏡。光學(xué)系統(tǒng)15另外還根據(jù)需要， 設(shè)置有用于調(diào)整焦點、曝光等的周邊裝置。
攝像部16由光電變換元件、AFE(Analog Front End :模擬前端)等構(gòu)成。光電變換兀件例如由 CCD(Charge Coupled Device) > CMOS (Complementary Metal Oxide Semiconductor)型的光電變換元件構(gòu)成。光電變換元件按照每一定時間，對該期間所入射而蓄積的被攝體像的光信號進行光電變換(攝像)，將作為其結(jié)果而獲得的模擬的電信號依次提供給AFE。
AFE針對該模擬的電信號，實施A/D (Analog/Digital)變換處理等的各種信號處理，將其結(jié)果所獲得的數(shù)字信號作為攝像部16的輸出信號而進行輸出。
此外，以下將攝像部16的輸出信號稱為“攝像圖像的圖像數(shù)據(jù)”。因此，從攝像部 16輸出攝像圖像的圖像數(shù)據(jù)，并適宜地提供給圖像處理部17等。
圖像處理部 17 由 D SP (Digital Signal Processor)、或 VRAM (Video Random Access Memory)等構(gòu)成。
圖像處理部17與CPUll進行協(xié)動，針對從攝像部16輸入的攝像圖像的圖像數(shù)據(jù)， 除噪聲降低、白平衡、手抖動修正等的圖像處理外，還實施在發(fā)揮后述的圖像獲取部52至合成部58的各功能中所需的各種圖像處理。
在此，以下，如無特別限定，所謂“圖像數(shù)據(jù)”被稱為從攝像部16中按每一定時間所輸出的攝像圖像的圖像數(shù)據(jù)、或者該圖像數(shù)據(jù)被加工等后的數(shù)據(jù)。即，在本實施方式中， 該圖像數(shù)據(jù)作為處理單位被采用。
存儲部18由DRAM (Dynamic Random Access Memory)等構(gòu)成，對從圖像處理部17 所輸出的圖像數(shù)據(jù)、后述的全景中途圖像的圖像數(shù)據(jù)等進行臨時存儲。另外，存儲部18也還存儲各種圖像處理中所需的各種數(shù)據(jù)等。
顯示部19例如由IXD (Liquid Crystal Device :液晶顯示裝置)、IXD驅(qū)動部構(gòu)成的平板顯示器面板來構(gòu)成。顯示部19以圖像為單位來顯示由從存儲部18等中所提供的圖像數(shù)據(jù)來表現(xiàn)的圖像，例如后述的實時取景圖像。
操作部20除具有快門開關(guān)41外，雖未圖示還具有電源開關(guān)、攝像模式開關(guān)、再現(xiàn)開關(guān)等多個開關(guān)。操作部20在這些多個開關(guān)中的規(guī)定開關(guān)被進行按下操作時，將對該規(guī)定開關(guān)所分配的指令提供給CPUlI。
通信部21介由包含因特網(wǎng)的網(wǎng)絡(luò)，控制與未圖示的其他的裝置之間的通信。
角速度傳感器22由陀螺儀等構(gòu)成，隨著以全景攝像時的用戶的身體為軸的旋轉(zhuǎn)， 對數(shù)碼相機I的水平方向的位移量進行檢測，將表示檢測結(jié)果的數(shù)字信號(以下，僅稱為 “角度位移量”)提供給CPU11。此外，角速度傳感器22根據(jù)需要也可發(fā)揮方位傳感器的功倉泛。
對驅(qū)動器23適宜地安裝由磁盤、光盤、光磁盤或者半導(dǎo)體存儲器等形成的可移動介質(zhì)31。接下來，從可移動介質(zhì)31中所讀出的程序根據(jù)需要而安裝于存儲部18。另外，可移動介質(zhì)31能夠與存儲部18相同地存儲存儲部18所存儲的圖像數(shù)據(jù)等的各種數(shù)據(jù)。
圖2是表示用于執(zhí)行圖1的數(shù)碼相機I所執(zhí)行的處理中的、對被攝體進行攝像直至將作為其結(jié)果而獲得的攝像圖像的圖像數(shù)據(jù)記錄于可移動介質(zhì)31 的一系列處理(以下， 稱為“攝像處理”)的功能構(gòu)成的功能框圖。
如圖2所示，在執(zhí)行攝像處理的情況下，CPUll中，圖像控制部51發(fā)揮功能，圖像處理部17中，圖像獲取部52、臉部檢測部53、臉部區(qū)域提取部54、表情判定部55、表情決定部56、表情變更部57、合成部58發(fā)揮功能。此外，圖像控制部51的功能并不必需如本實施方式那樣地搭載于CPUlI，可將該功能轉(zhuǎn)移到圖像處理部17中。相反，圖像獲取部52至合成部58的各功能并不必需如本實施方式那樣搭載于圖像處理部17，也可以將這些功能中的至少一部分轉(zhuǎn)移到CPUll中。
圖像控制部51對全部攝像處理的執(zhí)行進行控制。例如，圖像控制部51作為數(shù)碼相機I的動作模式，對通常攝像模式與全景攝像模式進行選擇性切換，執(zhí)行基于切換后的動作模式的處理。在成為全景攝像模式時，圖像獲取部52至合成部58在圖像控制部51的控制下進行動作。
在此，為了易于理解圖像控制部51至合成部58，在對這些功能的構(gòu)成進行說明之前，適宜地參照圖3以及圖4，詳細說明全景攝像模式。
圖3是用于說明作為圖1的數(shù)碼相機I的動作模式而分別選擇了通常攝像模式與全景攝像模式的情況下的攝像操作的圖。詳細而言，圖3A是用于說明通常攝像模式下的攝像操作的圖。圖3B是用于說明全景攝像模式下的攝像操作的圖。
在圖3A以及圖3B的各圖中，處于數(shù)碼相機I的里側(cè)的圖畫表示包含數(shù)碼相機I 的被攝體在內(nèi)的實際世界的樣子。另外，圖3B所示的縱向的點線表示數(shù)碼相機I的移動方向的各位置a、b、C。數(shù)碼相機I的移動方向是指，用戶以自身的身體為軸而使數(shù)碼相機I 的攝像方向(角度)進行變化的情況下的、數(shù)碼相機I的光軸進行移動的方向。數(shù)碼相機 I的移動方向的位移量通過角速度傳感器22作為角度位移量而進行檢測。
通常攝像模式是指針對與數(shù)碼相機I的視角對應(yīng)的尺寸(分辨率)的圖像進行攝像的情況下的動作模式。
通常攝像模式中，如圖3A所示，用戶在使數(shù)碼相機I固定的狀態(tài)下，將操作部20 的快門開關(guān)41按下至下限。此外，如此這樣，以下將快門開關(guān)41被按下至下限的操作稱為 “全按下操作”或僅簡稱為“全按下”。
圖像控制部51進行控制，控制在進行全按下操作后立即將從圖像處理部17輸出的圖像數(shù)據(jù)作為記錄對象而使之記錄于可移動介質(zhì)31為止的一系列處理的執(zhí)行。
以下，如此這樣地，將通常攝像模式下通過圖像控制部51的控制所執(zhí)行的一系列處理稱為“通常攝像處理”。
另一方面，全景攝像模式是指對全景圖像進行攝像的情況下的動作模式。
在全景攝像模式下，如圖3B所示，用戶在維持快門開關(guān)41的全按下操作的狀態(tài)下，使數(shù)碼相機I向該圖中黑箭頭的方向進行移動。
圖像控制部51在維持全按下操作的期間，對圖像獲取部52至合成部58進行控制，反復(fù)進行如下動作，即在來自角速度傳感器22的角度位移量每達到一定值就獲取緊接著其后從攝像部16所輸出的圖像數(shù)據(jù)，并且將其臨時存儲在存儲部18。
其后，圖像控制部51對圖像獲取部52至合成部58進行控制，將存儲部18所存儲的相鄰接的圖像數(shù)據(jù)按照水平方向依順序進行合成，由此，來生成全景圖像的 圖像數(shù)據(jù)。在此，相鄰接的圖像數(shù)據(jù)是指，在全景攝像中的通過第K次(K為I以上的整數(shù)值)的攝像所獲得的攝像圖像的圖像數(shù)據(jù)與相同全景攝像中的通過第K+1次的攝像所獲得攝像圖像的圖像數(shù)據(jù)。此外，關(guān)于圖像數(shù)據(jù)的合成，并不限于相鄰接的2個圖像數(shù)據(jù)的合成，也可以在每次獲得成為合成對象的2個以上的任意個數(shù)的圖像數(shù)據(jù)時進行處理，也可以在獲取到了成為合成對象的所有圖像數(shù)據(jù)后進行。
其后，通過用戶進行解除全按下操作的操作，即從快門開關(guān)41拿開手指等的操作 (以下，將這樣的操作稱為“釋放操作”)而指示了全景攝像的結(jié)束時，圖像控制部51對合成部58等進行控制，使全景圖像的圖像數(shù)據(jù)作為記錄對象而記錄于可移動介質(zhì)31中。
如此這樣，圖像控制部51在全景攝像模式下，對圖像獲取部52至合成部58進行控制，來控制生成全景圖像的圖像數(shù)據(jù)并將其作為記錄對象而記錄于可移動介質(zhì)31為止的一系列處理。
以下，如此這樣地，將全景攝像模式下通過圖像控制部51的控制所執(zhí)行的一系列處理稱為“全景攝像處理”。
圖4表示在圖3所示的全景攝像模式下由圖像獲取部52至合成部58所生成的全景圖像的圖像數(shù)據(jù)。
S卩，在全景攝像模式下，進行如圖3B所示那樣的攝像操作時，在圖像控制部51的控制下，通過圖像獲取部52至合成部58，生成如圖4所示那樣的全景圖像Pl的圖像數(shù)據(jù)， 并記錄于可移動介質(zhì)31中。
在此，全景攝像模式下生成包含人物等的被攝體在內(nèi)的全景圖像的圖像數(shù)據(jù)的情況下，存在合成源的多個圖像數(shù)據(jù)各自中被攝體不同的情況，在這樣的情況下，優(yōu)選生成包含最為漂亮的被攝體在內(nèi)的全景圖像的圖像數(shù)據(jù)。具體來說，在全景圖像的合成源的多個圖像數(shù)據(jù)的各自中存在某圖像數(shù)據(jù)中人物閉眼，其他的圖像數(shù)據(jù)中人物睜眼的情況，在這樣的情況下，優(yōu)選生成包含睜眼的人物在內(nèi)的全景圖像的圖像數(shù)據(jù)。
因此，在本實施方式所涉及的數(shù)碼相機I中，圖像獲取部52至合成部58在圖像控制部51的控制下，執(zhí)行下述這樣的處理。
圖像獲取部52在每次數(shù)碼相機I移動規(guī)定量(角度位移量每次成為一定值)，接受從圖像控制部51所發(fā)出的獲取指令，依次從圖像處理部17中獲取圖像數(shù)據(jù)。
臉部檢測部53對圖像獲取部52所獲取的圖像數(shù)據(jù)進行解析，對該圖像數(shù)據(jù)所含的人物的臉部的信息(至少包含臉部部分的位置以及大小)進行檢測。此外，臉部檢測部 53所進行的臉部的檢測能夠通過已公知的任意的方法來進行。
臉部區(qū)域提取部54從臉部檢測部53檢測出臉部的圖像數(shù)據(jù)中提取臉部區(qū)域。 此外，作為提取的臉部區(qū)域，在合成處理中能夠設(shè)定恰當(dāng)?shù)娜我鈪^(qū)域，例如，可以是包含眼 鼻· 口的臉部部分的區(qū)域，也可以是包含臉部部分與頭部的區(qū)域，也可以是包含圖像數(shù)據(jù)中所含的人物的全部的區(qū)域。
表情判定部55進行臉部檢測部53所檢測的臉部的表情判定。表情判定是對作為攝像圖像的恰當(dāng)?shù)娜宋锏谋砬?笑臉)進行判定，例如，對眼的大小、口的形狀等預(yù)先確定分值，對臉部檢測部53所檢測出的臉部以該分值進行評價，通過計算判定對象的臉部的評價值來執(zhí)行表情判定。
表情決定部56將表情判定部55所計算出的評價值為規(guī)定值以上的臉部決定為合成對象的臉部，將包含所決定的臉部在內(nèi)的臉部區(qū)域的圖像數(shù)據(jù)存儲于存儲器(本實施方式中，存儲部18)中。此外，表情決定部56也可以將計算出的評價值最高的臉部決定為合成對象的臉部。另外，關(guān)于 規(guī)定值以上的評價值，能夠任意地設(shè)定，例如，能夠設(shè)定成為了笑臉的評價值。
表情變更部57將包含表情判定部55所計算出的評價值低于規(guī)定值的臉部的臉部區(qū)域的圖像數(shù)據(jù)變更為包含表情決定部56決定為合成對象的臉部的臉部區(qū)域的圖像數(shù)據(jù)。
合成部58對圖像獲取部52所獲取的圖像數(shù)據(jù)中的相鄰接的圖像數(shù)據(jù)彼此進行合成，來生成全景圖像的圖像數(shù)據(jù)。具體來說，合成部58將圖像獲取部52所獲取的、表情變更部57所進行的臉部區(qū)域的變更后的圖像數(shù)據(jù)中的相鄰接的圖像數(shù)據(jù)彼此進行合成，來生成全景圖像的圖像數(shù)據(jù)。換而言之，合成部58執(zhí)行與將圖像獲取部52所獲取的多個圖像數(shù)據(jù)中所含的人物的臉部中利用表情決定部56所決定的臉部來生成全景圖像的圖像數(shù)據(jù)的情形等效的處理。
關(guān)于如以上那樣的通過圖像獲取部52至合成部58所生成的全景圖像的圖像數(shù)據(jù)，參照圖5進行說明。圖5A表示全景圖像的合成中所利用的、由圖像獲取部52所獲取的圖像數(shù)據(jù)，圖5B表示根據(jù)圖5A的圖像數(shù)據(jù)所生成的全景圖像的圖像數(shù)據(jù)。
參照圖5A，在由圖像獲取部52獲取攝像圖像Fa的圖像數(shù)據(jù)時，臉部檢測部53從攝像圖像Fa中對被攝體(人物A)的臉部100進行檢測。接下來，臉部區(qū)域提取部54從檢測出臉部100的攝像圖像Fa中提取臉部區(qū)域100a。此外，關(guān)于臉部區(qū)域100a，能夠設(shè)為任意的區(qū)域，例如，可設(shè)為僅臉部100的區(qū)域，也可以設(shè)為一并含有圖5所示臉部100與頭(頭發(fā))的區(qū)域，也可以設(shè)為攝像圖像Fa中所含的人物的全部的區(qū)域。
接下來，表情判定部55針對攝像圖像Fa的臉部100，根據(jù)眼的大小、口的形狀等來計算評價值。在圖5A中，臉部100是笑臉且眼睛也睜得較大，所以表情判定部55將其確定為規(guī)定值以上的評價值。因此，表情決定部56將臉部100決定為全景圖像中所利用的臉部，并將臉部100的臉部區(qū)域100a的部分的圖像數(shù)據(jù)存儲在存儲部18中。
相同地，在接續(xù)在攝像圖像Fa的圖像數(shù)據(jù)之后，通過圖像獲取部52而獲取到攝像圖像Fb的圖像數(shù)據(jù)時，臉部檢測部53從攝像圖像Fb中檢測被攝體(相同人物A)的臉部110，臉部區(qū)域提取部54從檢測出臉部110的攝像圖像Fb的圖像數(shù)據(jù)中提取臉部區(qū)域110a。
接下來，表情判定部55針對攝像圖像Fb的臉部110進行評價值的計算，在圖5A 中，由于臉部Iio的眼睛閉合，所以表情判定部55計算為低于規(guī)定值的評價值。因此，表情變更部57將臉部110的臉部區(qū)域Ila的部分的圖像數(shù)據(jù)變更為在存儲部18所存儲的臉部 100的臉部區(qū)域IOOa的部分的圖像數(shù)據(jù)。
其后，合成部58通過對包含攝像圖像Fa以及攝像圖像Fb在內(nèi)的多個攝像圖像各自的圖像數(shù)據(jù)進行依次合成，來生成圖5B所示的全景圖像P2的圖像數(shù)據(jù)。此時，由于利用通過表情決定部56所決定的臉部100的臉部區(qū)域100a來生成全景圖像P2，如圖5B所示， 能夠獲得包含寫真更漂亮的被攝體的全景圖像P2。
以上，參照圖2至圖5，對本發(fā)明所適用的數(shù)碼相機I的功能的構(gòu)成進行了說明。 接下來，參照圖6，對具有這樣的功能構(gòu)成的數(shù)碼相機I所執(zhí)行的攝像處理進行說明。
圖6是表示攝像處理的流程的一個示例的流程圖。在本實施方式中，攝像處理是在數(shù)碼相機I的未圖示的電源成為接通狀態(tài)且滿足規(guī)定的條件時而開始進行的。
在步驟SI中，圖2的圖像控制部51執(zhí)行操作檢測處理以及初始設(shè)定處理。
操作檢測處理是指，對操作部20的各開關(guān)的狀態(tài)進行檢測的處理。圖像控制部51 通過執(zhí)行操作檢測處理，作為動作模式，能夠檢測出是設(shè)定為通常攝像模式還是設(shè)定為全景攝像模式。
另外，作為本實施方式的初始設(shè)定處理的I個，采用用于設(shè)定角度位移量的一定值與角度位移量的最大極限的角度位移閾值(例如，360度)的處理。具體來說，“角度位移量的一定值與角度位移量的最大極限的角度位移閾值(例如，360度)”是預(yù)先存儲在圖1的R0M12中，通過從R0M12中讀出后寫入RAM13中來進行設(shè)定的。此外，角度位移量的一定值將在后述的圖7的步驟S 31的判定處理中將被利用。另一方面，角度位移量的最大極限的角度位移閾值(例如，360度)將在該圖的步驟S37的判定處理中將被利用。
在步驟S2中，圖像控制部51開始進行實時取景攝像處理以及實時取景顯示處理。
S卩，圖像控制部51對攝像部16等進行控制，使攝像部16進行的攝像動作繼續(xù)。接下來，圖像控制部51將在攝像部16進行的攝像動作繼續(xù)的期間從該攝像部16依次輸出的圖像數(shù)據(jù)臨時存儲在存儲器(本實施方式中，存儲部18)中。這樣的通過圖像控制部51所進行的一系列控制處理在此稱為“實時取景攝像處理”。
另外，圖像控制部51依次讀出實時取景攝像時所臨時記錄在存儲器(本實施方式中，存儲部18)中的各圖像數(shù)據(jù)，將與各圖像數(shù)據(jù)對應(yīng)的圖像依次顯示在顯示部19。這樣的通過圖像控制部51所進行的一系列控制處理在此稱為“實時取景顯示處理”。此外，將通過實時取景顯示處理而顯示在顯示部19的圖像以下稱為“實時取景圖像”。
在步驟S3中，圖像控制部51判定快門開關(guān)41是否被半按下。在此，半按下是指操作部20的快門開關(guān)41被按壓至中途(未達到下限的規(guī)定位置)的操作，以下也可適宜地將其稱為“半按下操作”。
在快門開關(guān)41未被半按下的情況下，步驟S3中判定為“否”，處理進入至步驟S9。
在步驟S9中，圖像控制部51判別是否進行了處理的結(jié)束指示。對處理的結(jié)束指示并不特別限定，在本實施方式中，采用數(shù)碼相機I的未圖示的電源成為關(guān)斷狀態(tài)的情況的通知。
因此，本 實施方式中“電源成為關(guān)斷狀態(tài)”被通知給圖像控制部51時，步驟S9中判定為“是”，攝像處理全部結(jié)束。
針對于此，在電源為接通狀態(tài)的情況下，不進行電源成為關(guān)斷狀態(tài)的通知，所以， 步驟S9中判定為“否”，處理返回至步驟S2，反復(fù)進行其以后的處理。即，本實施方式中，只要電源維持接通狀態(tài)，至快門開關(guān)41被半按下為止的期間，反復(fù)執(zhí)行步驟S3 否”以及步驟S9 否”的循環(huán)處理，攝像處理成為待機狀態(tài)。
另一方面，在實時取景顯示處理中，快門開關(guān)41被半按下時，步驟S3中判定為 “是”，處理進入至步驟S4。
在步驟S4中，圖像控制部51對攝像部16進行控制，執(zhí)行所謂的AF (Auto Focus 自動對焦)處理。
在步驟S5中，圖像控制部51判定快門開關(guān)41是否被全按下。
在快門開關(guān)41未被全按下的情況下，在步驟S 5中判定為“否”。在該情況下，處理返回至步驟S4，反復(fù)進行其以后的處理。即，本實施方式中，在快門開關(guān)41被全按下為止的期間，反復(fù)進行步驟S4、以及步驟S 5 否”的循環(huán)處理，每次均執(zhí)行AF處理。
其后，在快門開關(guān)41被全按下時，步驟S 5中判定為“是”，處理進入至步驟S6。步驟S6中，圖像控制部51判定當(dāng)前所設(shè)定的攝像模式是否是全景攝像模式。
在不是全景攝像模式的情況下，即在所設(shè)定的攝像模式是通常攝像模式的情況下，步驟S6中判定為“否”，處理進入至步驟S7。在步驟S7中，圖像控制部51執(zhí)行上述的通常攝像處理。即，在全按下操作被進行后立即從圖像處理部17輸出的I個圖像數(shù)據(jù)作為記錄對象而記錄于可移動介質(zhì)31中。因此，步驟S7的通常攝像處理結(jié)束，處理進入至步驟 S9。此外，關(guān)于步驟S9以后的處理如上所述，故在此省略其說明。
針對于此，在當(dāng)前設(shè)定的攝像模式是全景攝像模式的情況下，步驟S6中判定為 “是”，處理進入至步驟S8。
在步驟S8中，圖像控制部51執(zhí)行上述的全景攝像處理。關(guān)于全景攝像處理的詳細情況，將參照圖7而進行后述，圖像控制部51生成全景圖像的圖像數(shù)據(jù)，并將其作為記錄對象而記錄于可移動介質(zhì)31中。因此，步驟S8的全景攝像處理結(jié)束，處理進入至步驟S9。 此外，關(guān)于步驟S9以后的處理如上所述，故在此省略其說明。
以上，參照圖6，對攝像處理的流程進行了說明。接下來，參照圖7對圖6的攝像處理中的步驟S8的全景攝像處理的詳細流程進行說明。
圖7是用于說明全景攝像處理的詳細流程的流程圖。如上所述，在全景攝像模式的狀態(tài)下快門開關(guān)41被全按下時，圖6的步驟S5以及S6中判定為“是”，處理進入至步驟 S8，作為全景攝像處理，執(zhí)行如下的處理。
在步驟S31中，圖像控制部51判定數(shù)碼相機I是否移動了一定距離。即，圖像控制部51判定從角速度傳感器22所提供的角度位移量是否達到一定值。數(shù)碼相機I移動或角度位移量發(fā)生變化意味著數(shù)碼相機的攝像范圍進行移動。
在數(shù)碼相機I未移動一定距離的情況下，步驟S 31中判定為“否”。在該情況下， 處理返回至步驟S31。S卩，至數(shù)碼相機I移動一定距離為止，全景攝像處理成為待機狀態(tài)。
針對于此，在數(shù)碼相機I移動了一定距離的情況下，在步驟S31中，判定為“是”，處理進入至步驟S32。
在步驟S32中，圖像獲取部52在圖像控制部51的控制下，獲取從攝像部16所輸出的圖像數(shù)據(jù)(合成對象)。即，圖像獲取部52在從角速度傳感器22所提供的角度位移量每次達到一定值時，在其后立即獲得從攝像部16所輸出的圖像數(shù)據(jù)。
在步驟S33中，臉部檢測部53在圖像控制部51的控制下，對圖像獲取部52所獲取的圖像數(shù)據(jù)進行解析，判定在該圖像數(shù)據(jù)中是否存在人物的臉部(被攝體像)。
在圖像數(shù)據(jù)中未存在人物的臉部的情況下，在步驟S33中判定為“否”，在該情況下，處理進入至步驟S35。
另一方面，在圖像數(shù)據(jù)中存在有人物的臉部的情況下，步驟S33中判定為“是”，在該情況下，處理進入至步驟S34。
在步驟S34中，圖像控制部51進行表情判定處理。關(guān)于表情判定處理的詳細情況將參照圖8進行后述，圖像控制部51對表情判定部55進行控制，判定圖像數(shù)據(jù)中所含的臉部的表情。由此，步驟S34的表情判定處理結(jié)束后，處理進入至步驟S35。
在步驟S35中，圖像控制部51進行圖像合成處理。關(guān)于圖像合成處理的詳細情況， 將參照圖9進行后述，圖像控制部51對合成部58進行控制，將相鄰接的圖像數(shù)據(jù)彼此依次進行合成，來生成全景圖像的圖像數(shù)據(jù)。因此，步驟S35的圖像合成處理結(jié)束后，處理轉(zhuǎn)移至步驟S36。
在步驟S36中，圖像控制部51判定是否有用戶進行的結(jié)束指示。關(guān)于用戶進行的結(jié)束指示，能夠任意地設(shè)定，例如，能夠?qū)⒂脩暨M行的快門開關(guān)41的全按下的解除作為用戶進行的結(jié)束指示。
在有用戶進行的結(jié)束指示的情況下，步驟S36中判定為“是”，全景攝像處理結(jié)束。
另一方面，在沒有用戶進行的結(jié)束指示的情況下，步驟S36中判定為“否”，在該情況下，處理進入至步驟S37。
在步驟S37中，圖像控制部51判定圖像獲取方向的移動距離是否超過了閾值。即， 圖像控制部51判定從角速度傳感器22所提供的角度位移量的累積值是否達到了最大極限的角度位移閾值(例如，360度)。
在圖像獲取方向的移動距離超過了閾值的情況下，在步驟S37中判定為“是”，全景攝像處理結(jié)束。
另一方面，在圖像獲取方向的移動距離未超過閾值的情況下，步驟S37中判定為 “否”，在該情況下，處理返回至步驟S31。即，沒有用戶進行的結(jié)束指示，在圖像獲取方向的移動距離未超過閾值的情況下，全景攝像處理繼續(xù)，反復(fù)進行新的圖像數(shù)據(jù)的獲取以及該圖像數(shù)據(jù)的合成。
以上，參照圖7，對全景攝像處理的流程進行了說明。接下來，參照圖8，對圖7的全景攝像處理中的步驟S 34的表情判定處理的詳細流程進行說明。圖8是用于說明表情判定處理的詳細流程的流程圖。
在步驟S51中，臉部區(qū)域提取部54在圖像控制部51的控制下，從包含人物的臉部在內(nèi)的圖像數(shù)據(jù)中提取臉部區(qū)域。此外，關(guān)于臉部區(qū)域，如上所述，可以是僅包含眼 鼻 口在內(nèi)的臉部部分的區(qū)域，另外，也可以是包含臉部部分與頭部在內(nèi)的區(qū)域，另外，也可以是包含人物全部的區(qū)域。
在提取臉部區(qū)域后，在步驟S52中，表情判定部55在圖像控制部51的控制下，對通過臉部檢測部53所檢測出的臉部的評價值進行計算。即，表情判定部55基于圖像數(shù)據(jù)中所含的臉部的眼的大小、口的形狀等，對判定對象的臉部的評價值進行計算。
其后,在步驟S53中,表情判定部55在圖像控制部51的控制下,判定計算出的評價值是否在規(guī)定值以上。
在計算出的評價值不為規(guī)定值以上的情況下，步驟S53中判定為“否”，表情判定處理結(jié)束。
另一方面，在計算出的評價值在規(guī)定值以上的情況下，步驟S53中判定為“是”，在該情況下，處理進入至步驟S54。
在步驟S54中，表情決定部56在圖像控制部51的控制下，將被判定為規(guī)定值以上評價值的臉部的臉部區(qū)域的部分的圖像數(shù)據(jù)保存在存儲部18中，結(jié)束表情判定處理。
以上，參照圖8對表情判定處理的流程進行了說明。
接下來，參照圖9，對圖7的全景攝像處理中的步驟S35的圖像合成處理的詳細流程進行說明。圖9是用于說明圖像合成處理的詳細流程的流程圖。
在步驟S71中，圖像控制部51對成為合成對象的相鄰接的圖像數(shù)據(jù)中被攝體是否變動進行判定。在此，本實施方式中，將評價值低于規(guī)定值的臉部區(qū)域的部分的圖像數(shù)據(jù)蓋寫為評價值為規(guī)定值以上的臉部區(qū)域的部分的圖像數(shù)據(jù)(后述的步驟S75)。因此，步驟S71 中的被攝體的變動是指，不適于臉部區(qū)域的圖像數(shù)據(jù)的蓋寫的變動，例如，臉部區(qū)域的形狀發(fā)生變化那樣的變動、視角內(nèi)中的臉部 區(qū)域的位置(考慮了角度位移量)發(fā)生變化那樣的變動等。另一方面，臉部區(qū)域內(nèi)中的被攝體的變動，例如，閉眼這樣的表情的變化不包含在步驟S71中的被攝體的變動中。
在被攝體有變動的情況下，步驟S71中判定為“是”，在該情況下，處理進入至步驟 S76。
另一方面，在被攝體沒有變動的情況下，步驟S72中判定為“否”，在該情況下，處理進入至步驟S72。
步驟S72中，圖像控制部51對進行合成的圖像數(shù)據(jù)中是否存在臉部區(qū)域進行判定。此外，在本實施方式中，進行合成的圖像數(shù)據(jù)可以是相鄰接的圖像數(shù)據(jù)中的在后面所獲取的圖像數(shù)據(jù)，另外，也可以是相鄰接的圖像數(shù)據(jù)的雙方。
在進行合成的圖像數(shù)據(jù)中不存在臉部區(qū)域的情況下，步驟S72中判定為“否”，在該情況下，處理進入至步驟S76。
在進行合成的圖像數(shù)據(jù)中存在有臉部區(qū)域的情況下，步驟S72中判定為“是”，在該情況下，處理進入至步驟S73。
步驟S73中，表情判定部55在圖像控制部51的控制下，對進行合成的圖像數(shù)據(jù)的臉部區(qū)域的評價值是否在規(guī)定值以上進行判定。
在進行合成的圖像數(shù)據(jù)的臉部區(qū)域的評價值為規(guī)定值以上的情況下，步驟S 73 中判定為“是”，在該情況下，處理進入至步驟S76。
另一方面，在進行合成的圖像數(shù)據(jù)的臉部區(qū)域的評價值不為規(guī)定值以上的情況下，步驟S73中判定為“否”，在該情況下，處理進入至步驟S74。
在步驟S74中，表情變更部57在圖像控制部51的控制下，判定在存儲部18是否保存有規(guī)定值以上的評價值的臉部區(qū)域的部分的圖像數(shù)據(jù)。
在存儲部18未保存有規(guī)定值以上的評價值的臉部區(qū)域的部分的圖像數(shù)據(jù)的情況下，步驟S 74中判定為“否”，在該情況下，處理進入至步驟S76。
另一方面，在存儲 部18保存有規(guī)定值以上的評價值的臉部區(qū)域的部分的圖像數(shù)據(jù)的情況下，步驟S74中判定為“是”，在該情況下，處理進入至步驟S75。
在步驟S75中，表情變更部57在圖像控制部51的控制下，將步驟S73中已判定為低于規(guī)定值的評價值的臉部區(qū)域的部分的圖像數(shù)據(jù)蓋寫為在存儲部18所保存的規(guī)定值以上的評價值的臉部區(qū)域的部分的圖像數(shù)據(jù)。
其后，在步驟S76中，合成部58在圖像控制部51的控制下，將相鄰接的圖像數(shù)據(jù)彼此進行合成，生成全景圖像的圖像數(shù)據(jù)后，結(jié)束圖像合成處理。
根據(jù)以上那樣的本實施方式的數(shù)碼相機1，在臉部檢測部53檢測出圖像數(shù)據(jù)中所含的人物的臉部時，表情判定部55進行該臉部的表情判定。接下來，表情決定部56將表情判定部55進行表情判定的結(jié)果的、作為攝像圖像而恰當(dāng)?shù)哪槻繘Q定為合成對象的人物的臉部，合成部58按照包含所決定的人物的臉部地進行全景合成。
因此，即使全景圖像的攝像中，作為被攝體的人物的表情發(fā)生變化的情況下，例如，全景圖像的攝像中出現(xiàn)了閉眼的情況下，不利用閉眼的定時所拍攝到的圖像數(shù)據(jù)，而能夠利用在睜眼的定時所拍攝到的圖像數(shù)據(jù)來進行全景圖像的圖像數(shù)據(jù)，能夠獲得包含恰當(dāng)表情的人物的全景圖像。
另外，在數(shù)碼相機I中，臉部區(qū)域提取部54從合成對象的圖像數(shù)據(jù)中提取包含人物的臉部在內(nèi)的臉部區(qū)域，表情決定部56將作為攝像圖像而包含恰當(dāng)?shù)哪槻康哪槻繀^(qū)域的部分的圖像數(shù)據(jù)保存在存儲部18中。接下來，表情變更部57在進行合成的圖像數(shù)據(jù)中所含的臉部作為攝像圖像不為優(yōu)選的情況下，將該臉部區(qū)域蓋寫為在存儲部18已保存的臉部區(qū)域的部分的圖像數(shù)據(jù)后，進行全景合成。
由此，能夠防止作為攝像圖像不為優(yōu)選的臉部與恰當(dāng)?shù)哪槻窟M行合成，能夠進行自然的全景合成。
另外，關(guān)于在成為全景攝像處理的對象的攝像范圍中存在多個人物的情況下的全景合成的方法，以下作為變形例而進行記載。
[變形例]
在成為全景攝像處理的對象的攝像范圍中存在有多個人物(例如，人物A、B、C)的情況下，利用通過臉部檢測部53最初所檢測出的各人物的臉部的信息，臉部區(qū)域提取部54 在確定出與模板匹配技術(shù)最初所檢測出的各人物(人物A、B、C)對應(yīng)的臉部的位置后，提取與該所確定的各位置對應(yīng)的各人物的臉部區(qū)域即可。
接下來，表情判定部55對各人物的臉部區(qū)域的評價值進行計算，表情決定部56將成為規(guī)定值以上的臉部區(qū)域分別保存在存儲部18中。
關(guān)于其后的全景攝像處理，相對于各人物的臉部區(qū)域只要實施與上述實施方式同樣的處理即可。
另外，關(guān)于多個人物(人物A、B、C)的臉部的位置的確定的方法，利用模板匹配技術(shù)，但各人物的臉部的位置的確定的方法并不限于此。
例如，可以通過預(yù)先將各人物的臉部信息存儲在存儲部18中，臉部檢測部53以存儲部18中所存儲的各人物的臉部信息為基礎(chǔ)，從全景攝像處理中的各圖像中檢測各人物的臉部。
此外，本發(fā)明并不限于上述的實施方式，能夠達成本發(fā)明的目的的范圍內(nèi)的變形、 改良等均包含在本發(fā)明中。
例如，在上述的實施方式中，每次獲取I個圖像數(shù)據(jù)時進行圖像合成處理(圖7的步驟S31中判定為“是”時進行步驟S35)，本發(fā)明并不限于此，也可以在獲得全景合成用的全部的圖像數(shù)據(jù)后進行圖像合成處理，也可以是在每次獲取2個以上的任意個數(shù)的圖像數(shù)據(jù)時進行圖像合成處理。
另外，在上述實施方式中，在進行臉部區(qū)域的蓋寫后再進行全景合成，但圖像合成處理的順序并不限于此。即，也可在進行全景合成后進行相應(yīng)的臉部區(qū)域的蓋寫。
另外，在上述的實施方式中，利用評價值對人物的臉部的表情進行判定，以作為攝像圖像而恰當(dāng)?shù)哪槻縼磉M行全景合成，而利用評價值所判定的對象并不限于表情。例如，假定在全景圖像的攝像中，發(fā)生人物出現(xiàn)陰影的情況，可利用評價值對人物的明亮度等進行判定。
另外，在上述的實施方式中，作為合成對象的圖像數(shù)據(jù)中所含的被攝體像的一個示例而利用了人物的臉部，但并不限于此。例如，也可以將動物的臉部作為合成對象的圖像數(shù)據(jù)中所含的被攝體像。在該情況下，作為利用評價值所進行判定的對象，也可以適用動物是否閉眼等。
另外，在上述的實施方式中，本發(fā)明所適用的圖像處理裝置以數(shù)碼相機I為例進行了說明，但并不特別限定此。本發(fā)明也能夠一般性適用于具有可生成全景圖像的功能的電子設(shè)備，例如，可廣泛地適用于便攜式型個人計算機、便攜式型導(dǎo)航裝置、可攜帶的游戲機等。
上述的一系列處理也能夠通過硬件來執(zhí)行，也可以通過軟件來執(zhí)行。
在將一系列處理通過軟件來執(zhí)行的情況下，通過網(wǎng)絡(luò)、記錄介質(zhì)將構(gòu)成該軟件的程序安裝至圖像處理裝置或者對該圖像處理裝置進行控制的計算機等。在此，計算機也可以是組裝到專用的硬件中的計算機?；蛘吡硗?，計算機可以是通過安裝各種的程序從而能夠執(zhí)行各種功能的計算機，例如通用的個人計算機。
包含這樣的程序的記錄介質(zhì)不僅可以由用于對用戶提供程序而與裝置主體獨立地配置的可移動介質(zhì)31來構(gòu)成，也可以由預(yù)先組裝入裝置主體的狀態(tài)下對用戶所提供的記錄介質(zhì)等來構(gòu)成?？梢苿咏橘|(zhì)31例如由磁盤(包含軟盤)、光盤、光磁盤等構(gòu)成。另外， 在預(yù)先組裝入裝置主體的狀態(tài)下對用戶所提供的記錄介質(zhì)例如由記錄有程序的ROM 12或存儲部18中所含的硬盤等來構(gòu)成。
此外，在本說明書中，對記錄于記錄介質(zhì)中的程序進行記敘的步驟當(dāng)然包含按其順序以時間序列進行的處理，也包含不按時間序列進行處理而是并列或者單個地執(zhí)行的處理。
以上，對本發(fā)明的若干個實施方式進行了說明，這些的實施方式僅僅只是例示，并不是對本發(fā)明的技術(shù)的范圍進行限定。本發(fā)明能夠取其他的各種實施方式，而且，在不脫離本發(fā)明的宗旨的范圍內(nèi)，能夠進行省略、置換等各種變更。這些的實施方式、其變形包含在本說明書等所記載的發(fā)明的范圍、宗旨內(nèi)，也包含與權(quán)利要求書所記載的發(fā)明均等的范圍內(nèi)。
權(quán)利要求
1.一種圖像處理裝置，其特征在于，具備 圖像獲取單元，其獲取在規(guī)定方向一邊移動攝像范圍一邊連續(xù)拍攝而得到的圖像； 檢測單元，其從由所述圖像獲取單元所獲取的多個圖像中分別對相同的被攝體像進行檢測； 計算單元，其對由所述檢測單元分別檢測出的被攝體像的評價值分別進行計算； 決定單元，其基于由所述計算單元分別計算出的評價值，從所述被攝體像中，將特定的被攝體像決定為合成對象；以及 生成單元，其對由所述決定單元決定為合成對象的特定的被攝體像與由所述圖像獲取單元依次獲取的圖像進行合成，來生成寬范圍的圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述圖像處理裝置還具備 被攝體提取單元，其根據(jù)所述多個圖像之中的所述被攝體像，來提取被攝體區(qū)域；以及被攝體變更單元，其將構(gòu)成由所述被攝體提取單元所提取的被攝體區(qū)域的圖像變更為所述特定的被攝體像， 所述生成單元對所述特定的被攝體像與所依次獲取的所述圖像進行合成，來生成所述寬范圍的圖像。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述圖像獲取單元獲取包含多種相同的被攝體像在內(nèi)的多個圖像， 所述檢測單元從所獲取的所述多個圖像中，對多種相同的被攝體像進行檢測， 所述計算單元對與由所述檢測單元所檢測出的多種相同的被攝體像相關(guān)的多個評價值進行計算， 所述決定單元基于與由所述計算單元所計算出的多個被攝體像相關(guān)的多個評價值，從所檢測出的所述多個被攝體像中，將多個特定的被攝體像決定為合成對象， 所述生成單元通過對由所述決定單元決定為合成對象的多個特定的被攝體像與由所述圖像獲取單元依次獲取的圖像進行合成，來生成寬范圍的圖像。
4.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述被攝體像是以臉部區(qū)域為中心的圖像。
5.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述圖像處理裝置還具備攝像單元， 所述圖像獲取單元依次獲取由所述攝像單元拍攝到的圖像。
6.一種圖像處理方法，是具備用于獲取在規(guī)定方向一邊移動攝像范圍一邊連續(xù)拍攝而得到的圖像的圖像獲取單元的圖像處理裝置的圖像處理方法，其特征在于，包括 檢測步驟，從由所述圖像獲取單元所獲取的多個圖像中分別對被攝體像進行檢測； 計算步驟，對由所述檢測步驟分別檢測出的被攝體像的評價值進行計算； 決定步驟，基于由所述計算步驟分別計算出的評價值，從多個所述被攝體像中，將特定的被攝體像決定為合成對象；以及 生成步驟，對由所述決定步驟所決定的被攝體像與由所述圖像獲取單元所依次獲取的圖像進行合成，來生成寬范圍的圖像。
全文摘要
本發(fā)明提供一種圖像處理裝置和圖像處理方法。數(shù)碼相機(1)具備圖像獲取部(52)、臉部檢測部(53)、表情判定部(55)、表情決定部(56)、合成部(58)。圖像獲取部(52)依次獲取在規(guī)定方向一邊移動攝像范圍一邊連續(xù)拍攝到的圖像。臉部檢測部(53)從依次所獲取的圖像中分別對被攝體像進行檢測。表情判定部(55)分別計算所檢測出的被攝體像的評價值。表情決定部(56)分別基于計算出的評價值，從多個所述被攝體像中將特定的被攝體像決定為合成對象。合成部(58)將決定為合成對象的被攝體像與通過所述獲取單元所依次所獲取的圖像進行合成，來生成寬范圍的圖像。
文檔編號H04N5/232GK103037156SQ20121036390
公開日2013年4月10日 申請日期2012年9月26日 優(yōu)先權(quán)日2011年9月29日
發(fā)明者宮本直知, 松本康佑 申請人:卡西歐計算機株式會社