專利名稱：3d人臉捕獲方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種3D人臉捕獲的方法和設(shè)備。
背景技術(shù)：
目前，消費(fèi)者已經(jīng)不滿足于二維(2D)信息。人們期望在諸如人機(jī)交互、自然游戲 控制、三維(3D)顯示等方面獲得新的體驗(yàn)。這些都需要高質(zhì)量的3D內(nèi)容，尤其需要3D人 臉的信息。激光掃描儀是捕獲3D對(duì)象最普遍且方便的裝置。使用激光技術(shù)，可以獲得非常準(zhǔn) 確的3D表面。某些研究者嘗試使用單個(gè)相機(jī)或多個(gè)相機(jī)捕獲3D人臉。在公開(kāi)號(hào)為US6556196且名為“用于處理圖像的方法和設(shè)備”的美國(guó)專利中，從2D 圖像構(gòu)建3D人臉。發(fā)明人提出了形變模型方法來(lái)使用2D圖像對(duì)3D人臉進(jìn)行建模。通過(guò)激 光掃描儀捕獲的很多精確3D人臉模型來(lái)訓(xùn)練形變模型，3D人臉被表示為主成分分析(PCA) 參數(shù)，通過(guò)最小化3D人臉投影和輸入圖像之間的差異來(lái)估計(jì)所述PCA參數(shù)。但是該發(fā)明僅 使用2D圖像，因此3D人臉重建不穩(wěn)健。另外，上述發(fā)明需要手動(dòng)標(biāo)注特征點(diǎn)并且需要非常 長(zhǎng)的計(jì)算時(shí)間。在公開(kāi)號(hào)為US2009052748且名為“從2D表示構(gòu)建人臉的3D表示的方法和系統(tǒng)” 的美國(guó)專利中，發(fā)明人使用單個(gè)中性正面人臉圖像重建3D人臉。從2D輸入圖像檢測(cè)了部 分輸入的面部特征，并且最小化了輸入特征與來(lái)自合成的3D人臉的特征之間的差異。但是該發(fā)明對(duì)于輸入存在很多限制。此外，從單個(gè)人臉圖像重建3D人臉是不適定 問(wèn)題，其結(jié)果是重建的3D人臉不穩(wěn)健。盡管通過(guò)激光掃描儀重建的3D人臉?lè)浅＞_，但是還存在一些問(wèn)題。問(wèn)題之一是 界面不夠友好。另外，掃描是機(jī)械處理，這將花費(fèi)一些時(shí)間，并且在激光掃描頭部期間人應(yīng) 該保持不動(dòng)。還有些人認(rèn)為激光對(duì)人眼有害。此外，激光掃描儀非常昂貴以致不能廣泛使用。基于圖像的3D人臉建模方法不如激光掃描儀穩(wěn)健。這些方法花費(fèi)更多計(jì)算時(shí)間。 而且這些方法不能實(shí)現(xiàn)穩(wěn)健且精確的3D人臉模式。為了得到理想的結(jié)果，一些方法需要手 動(dòng)標(biāo)注特征點(diǎn)。一些方法利用了人臉3D形狀和2D紋理PCA模型。由于通過(guò)激光掃描的3D 人臉數(shù)據(jù)庫(kù)訓(xùn)練這些模型，因此獲得這些模型是很艱難的工作。

發(fā)明內(nèi)容
由于激光掃描儀裝置非常昂貴且界面不友好，并且基于圖像的方法也不穩(wěn)健。本 發(fā)明提出一種以較便宜的硬件穩(wěn)健地重建3D人臉的設(shè)備和方法。本發(fā)明的設(shè)備包括(XD相機(jī)、深度相機(jī)和數(shù)據(jù)處理器。這些裝置都比激光掃描儀 便宜很多。由于深度相機(jī)能夠捕獲深度信息，因此深度相機(jī)和(XD相機(jī)的組合能夠大大提 供系統(tǒng)穩(wěn)健性。根據(jù)本發(fā)明的一方面，提供一種3D人臉捕獲方法，所述方法包括獲得人臉彩色圖像；獲得人臉深度圖像；將人臉彩色圖像和人臉深度圖像進(jìn)行對(duì)齊；對(duì)人臉彩色圖像進(jìn) 行二維建模，將建模的二維人臉區(qū)域罩在圖像對(duì)齊模塊輸出的圖像上，以獲得三維人臉模 型；去除三維人臉模型的深度噪聲；以及將三維人臉模型和三維人臉模板對(duì)齊，并且基于 三維人臉模型和三維人臉模板之間的匹配來(lái)去除剩余噪聲，以獲得精確的三維人臉模型。根據(jù)本發(fā)明的另一方面，提供一種3D人臉捕獲設(shè)備，所述設(shè)備包括用于獲得人 臉彩色圖像的單元；用于獲得人臉深度圖像的單元；圖像對(duì)齊模塊，將人臉彩色圖像和人 臉深度圖像進(jìn)行對(duì)齊；三維人臉模型產(chǎn)生模塊，用于對(duì)人臉彩色圖像進(jìn)行二維建模，將建模 的二維人臉區(qū)域罩在圖像對(duì)齊模塊輸出的圖像上，以獲得三維人臉模型；第一去噪模塊，用 于去除三維人臉模型的深度噪聲；以及第二去噪模塊，用于將三維人臉模型和三維人臉模 板對(duì)齊，并且基于三維人臉模型和三維人臉模板之間的匹配來(lái)去除剩余噪聲，以獲得精確 的三維人臉模型。


圖1是示出根據(jù)本發(fā)明的示例性實(shí)施例的3D人臉捕獲設(shè)備的框圖；圖2是示出根據(jù)本發(fā)明的示例性實(shí)施例的RGB圖像上的面部劃分的示意圖；圖3是示出根據(jù)本發(fā)明的示例性實(shí)施例的使用迭代算法來(lái)去除深度噪聲的流程 圖；圖4是示出根據(jù)本發(fā)明的示例性實(shí)施例的計(jì)算尺度無(wú)關(guān)方差時(shí)的加權(quán)函數(shù)的示 圖；圖5是示出本發(fā)明中使用的3D人臉模板的示例；圖6是示出根據(jù)本發(fā)明的示例性實(shí)施例的多特征ICP算法的流程圖；以及圖7示出根據(jù)本發(fā)明的示例性實(shí)施例的3D人臉捕獲方法的流程圖。
具體實(shí)施例方式以下，參照附圖來(lái)詳細(xì)說(shuō)明本發(fā)明的實(shí)施例。圖1是示出根據(jù)本發(fā)明的示例性實(shí)施例的3D人臉捕獲設(shè)備的框圖。如圖1所示，本發(fā)明的3D人臉捕獲設(shè)備包括CCD相機(jī)、深度相機(jī)和數(shù)據(jù)處理器， 所述數(shù)據(jù)處理器包括圖像對(duì)齊模塊、3D人臉模型產(chǎn)生模塊、不基于模型去噪模塊和基于模 型去噪模塊。(XD相機(jī)拍攝人臉的彩色圖像(RGB圖像)，例如1024X768的彩色圖像。本發(fā)明實(shí)施例中的深度相機(jī)可以是T0F (光照時(shí)間)相機(jī)，用于獲得強(qiáng)度圖像和深度圖像。由于(XD相機(jī)可捕獲人臉RGB圖像，而深度相機(jī)可捕獲強(qiáng)度圖像和深度圖像，而且 經(jīng)由不同的相機(jī)捕獲RGB圖像和深度圖像，因此不能將RGB圖像和深度圖像直接融合。在 本發(fā)明中提供了 一個(gè)圖像對(duì)齊模塊。圖像對(duì)齊模塊將來(lái)自兩個(gè)不同相機(jī)的圖像進(jìn)行對(duì)齊，以輸出具有6個(gè)元素(R，G， B, x, y，z)的圖像，即，具有顏色信息和深度信息的圖像。通過(guò)相機(jī)標(biāo)定來(lái)計(jì)算相機(jī)內(nèi)部參數(shù)和相機(jī)外部參數(shù)。然后，將6元素(R，G，B, x, y，z)的圖像輸出到3D人臉產(chǎn)生模塊。
3D人臉模型產(chǎn)生模塊將根據(jù)給出的6元素圖像產(chǎn)生粗糙的3D人臉模型。具體過(guò) 程如下第一步在RGB圖像中檢測(cè)人臉區(qū)域并在人臉區(qū)域中檢測(cè)兩個(gè)眼睛。可以通過(guò)傳統(tǒng)基于Haar的檢測(cè)來(lái)準(zhǔn)確地檢測(cè)人臉區(qū)域和眼睛。第二步在RGB圖像上劃分人臉區(qū)域。劃分方法如圖2所示，使用橢圓建模2D人臉，并且使用兩個(gè)眼睛的坐標(biāo)(X(1，y(1)和 (Xl，Yl)來(lái)估計(jì)橢圓參數(shù)。旋轉(zhuǎn)人臉使得y0 = ylo劃分的人臉區(qū)域是橢圓
權(quán)利要求
1.一種三維人臉捕獲方法，所述方法包括 獲得人臉彩色圖像；獲得人臉深度圖像；將人臉彩色圖像和人臉深度圖像進(jìn)行對(duì)齊；對(duì)人臉彩色圖像進(jìn)行二維建模，將建模的二維人臉區(qū)域罩在圖像對(duì)齊模塊輸出的圖像 上，以獲得三維人臉模型；去除三維人臉模型的深度噪聲；以及將三維人臉模型和三維人臉模板對(duì)齊，并且基于三維人臉模型和三維人臉模板之間的 匹配來(lái)去除剩余噪聲，以獲得精確的三維人臉模型。
2.如權(quán)利要求1所述的三維人臉捕獲方法，其特征在于在對(duì)人臉彩色圖像進(jìn)行二維建 模的步驟中，使用橢圓對(duì)人臉彩色圖像進(jìn)行二維建模。
3.如權(quán)利要求2所述的三維人臉捕獲方法，其特征在于去除三維人臉模型的深度噪聲 的步驟包括計(jì)算深度方向上的尺度無(wú)關(guān)方差V ；將尺度無(wú)關(guān)方差V與第一閾值進(jìn)行比較來(lái)判斷三維人臉模型中是否存在噪聲。
4.如權(quán)利要求3所述的三維人臉捕獲方法，其特征在于所述尺度無(wú)關(guān)方差V的計(jì)算方 法為
5.如權(quán)利要求3所述的三維人臉捕獲方法，其特征在于所述第一閾值根據(jù)實(shí)驗(yàn)選擇。
6.如權(quán)利要求3所述的三維人臉捕獲方法，其特征在于去除三維人臉模型的深度噪聲 的步驟還包括如果三維人臉模型中存在噪聲，則計(jì)算頂點(diǎn)深度方向的均值將頂點(diǎn)的深度和均值乏 的差值與第二閾值T進(jìn)行比較；如果所述差值大于第二閾值T，則該頂點(diǎn)為噪聲，將其去除。
7.如權(quán)利要求6所述的三維人臉捕獲方法，其特征在于通過(guò)迭代計(jì)算均值
8.如權(quán)利要求6所述的三維人臉捕獲方法，其特征在于第二閾值T為IYjW(Zi-Z)XjZi^f T = const Xj-~=；-V YW{z-z)其中，const是一個(gè)常數(shù)。
9.如權(quán)利要求1所述的三維人臉捕獲方法，其特征在于將三維人臉模型和三維人臉模 板對(duì)齊包括步驟a.粗糙地估計(jì)尺度因子；b.根據(jù)計(jì)算的尺度因子對(duì)輸入的三維人臉模板進(jìn)行歸一化；c.利用多種特征對(duì)三維人臉模型和三維人臉模板進(jìn)行頂點(diǎn)匹配；d.對(duì)已匹配的頂點(diǎn)估計(jì)平移系數(shù)和旋轉(zhuǎn)系數(shù)，判斷平移系數(shù)和旋轉(zhuǎn)系數(shù)是否收斂；e.如果平移系數(shù)和旋轉(zhuǎn)系數(shù)不收斂，則更新尺度因子；f.根據(jù)更新的尺度因子來(lái)更新輸入的三維人臉模型；g.重復(fù)上述步驟a-f直到平移系數(shù)和旋轉(zhuǎn)系數(shù)收斂。
10.如權(quán)利要求9所述的三維人臉捕獲方法，其特征在于所述多種特征包括頂點(diǎn)的三 維坐標(biāo)、顏色信息、法線方向、頂點(diǎn)鄰域信息。
11.如權(quán)利要求9所述的三維人臉捕獲方法，在步驟C中，如果存在不匹配的頂點(diǎn)，則認(rèn) 為該頂點(diǎn)是噪聲并將其去除。
12.—種三維人臉捕獲設(shè)備，所述設(shè)備包括 用于獲得人臉彩色圖像的單元；用于獲得人臉深度圖像的單元；圖像對(duì)齊模塊，將人臉彩色圖像和人臉深度圖像進(jìn)行對(duì)齊；三維人臉模型產(chǎn)生模塊，用于對(duì)人臉彩色圖像進(jìn)行二維建模，將建模的二維人臉區(qū)域 罩在圖像對(duì)齊模塊輸出的圖像上，以獲得三維人臉模型； 第一去噪模塊，用于去除三維人臉模型的深度噪聲；以及第二去噪模塊，用于將三維人臉模型和三維人臉模板對(duì)齊，并且基于三維人臉模型和 三維人臉模板之間的匹配來(lái)去除剩余噪聲，以獲得精確的三維人臉模型。
13.如權(quán)利要求12所述的三維人臉捕獲設(shè)備，其特征在于三維人臉模型產(chǎn)生模塊使用 橢圓對(duì)人臉彩色圖像進(jìn)行二維建模。
14.如權(quán)利要求13所述的三維人臉捕獲設(shè)備，其特征在于第一去噪模塊計(jì)算深度方向 上的尺度無(wú)關(guān)方差V，并且將尺度無(wú)關(guān)方差V與第一閾值進(jìn)行比較來(lái)判斷三維人臉模型中 是否存在噪聲。
15.如權(quán)利要求14所述的三維人臉捕獲設(shè)備，其特征在于尺度無(wú)關(guān)方差V的計(jì)算方法為V丄V'V = YiCXi - xf (^lν_Σ -郅 x ~ 對(duì)~其中，w()是權(quán)重函數(shù)，Xi是三維人臉模型的第i個(gè)頂點(diǎn)，ζ是三維人臉模型頂點(diǎn)的均值。
16.如權(quán)利要求14所述的三維人臉捕獲設(shè)備，其特征在于第一閾值根據(jù)實(shí)驗(yàn)選擇。
17.如權(quán)利要求14所述的三維人臉捕獲設(shè)備，其特征在于如果三維人臉模型中存在噪 聲，則第一去噪模塊計(jì)算頂點(diǎn)深度方向的均值Z ,并且將頂點(diǎn)的深度和均值5的差值與第二 閾值T進(jìn)行比較，如果所述差值大于第二閾值T，則該頂點(diǎn)為噪聲，將其去除。
18.如權(quán)利要求17所述的三維人臉捕獲設(shè)備，其特征在于通過(guò)迭代計(jì)算均值云
19.如權(quán)利要求17所述的三維人臉捕獲設(shè)備，其特征在于第二閾值T為
20.如權(quán)利要求12所述的三維人臉捕獲設(shè)備，其特征在于第二去噪模塊粗糙地估計(jì) 尺度因子，根據(jù)計(jì)算的尺度因子對(duì)輸入的三維人臉模板進(jìn)行歸一化，利用多種特征對(duì)三維 人臉模型和三維人臉模板進(jìn)行頂點(diǎn)匹配，對(duì)已匹配的頂點(diǎn)估計(jì)平移系數(shù)和旋轉(zhuǎn)系數(shù)，判斷 平移系數(shù)和旋轉(zhuǎn)系數(shù)是否收斂，如果平移系數(shù)和旋轉(zhuǎn)系數(shù)不收斂，則更新尺度因子，根據(jù)更 新的尺度因子來(lái)更新輸入的三維人臉模型，然后重復(fù)上述處理直到平移系數(shù)和旋轉(zhuǎn)系數(shù)收 斂。
21.如權(quán)利要求20所述的三維人臉捕獲設(shè)備，其特征在于所述多種特征包括頂點(diǎn)的三 維坐標(biāo)、顏色信息、法線方向、頂點(diǎn)鄰域信息。
22.如權(quán)利要求12所述的三維人臉捕獲設(shè)備，其特征在于用于獲得人臉彩色圖像的單 元是CXD相機(jī)。
23.如權(quán)利要求12所述的三維人臉捕獲設(shè)備，其特征在于用于獲得人臉深度圖像的單 元是深度相機(jī)。
全文摘要
本發(fā)明提供一種3D人臉捕獲的方法和設(shè)備，所述方法包括獲得人臉彩色圖像；獲得人臉深度圖像；將人臉彩色圖像和人臉深度圖像進(jìn)行對(duì)齊；對(duì)人臉彩色圖像進(jìn)行二維建模，將建模的二維人臉區(qū)域罩在圖像對(duì)齊模塊輸出的圖像上，以獲得三維人臉模型；去除三維人臉模型的深度噪聲；以及將三維人臉模型和三維人臉模板對(duì)齊，并且基于三維人臉模型和三維人臉模板之間的匹配來(lái)去除剩余噪聲，以獲得精確的三維人臉模型。
文檔編號(hào)G06T11/00GK101996416SQ20091016829
公開(kāi)日2011年3月30日 申請(qǐng)日期2009年8月24日 優(yōu)先權(quán)日2009年8月24日
發(fā)明者任海兵, 林和燮, 黃向聲 申請(qǐng)人:三星電子株式會(huì)社;北京三星通信技術(shù)研究有限公司