三維人臉模型生成系統(tǒng)及方法
【專(zhuān)利摘要】一種三維人臉模型生成系統(tǒng)，包括三維數(shù)據(jù)獲取單元以及與所述三維數(shù)據(jù)獲取單元相連的三維模型生成單元。該三維數(shù)據(jù)獲取單元包括一個(gè)第一數(shù)碼圖像獲取裝置、一個(gè)第二數(shù)碼圖像獲取裝置以及一個(gè)紅外結(jié)構(gòu)光投影裝置。該第一數(shù)碼圖像獲取裝置以及該第二數(shù)碼圖像獲取裝置用于獲取兩個(gè)不同角度人臉的數(shù)碼圖像。該紅外結(jié)構(gòu)光投影裝置用于向人臉投射紅外結(jié)構(gòu)光并獲得包含人臉深度數(shù)據(jù)的圖像。該三維模型生成單元用于依據(jù)該數(shù)碼圖像以及該包含人臉深度數(shù)據(jù)的圖像進(jìn)行人臉三維模型的重建，以獲得人臉的三維模型。本發(fā)明還涉及一種采用該三維人臉模型進(jìn)行三維人臉模型生成的方法。該三維人臉模型生成系統(tǒng)及方法具有較佳的用戶(hù)體驗(yàn)且精度高。
【專(zhuān)利說(shuō)明】三維人臉模型生成系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理和三維數(shù)據(jù)采集領(lǐng)域，具體地涉及一種三維人臉模型生成系統(tǒng)及方法。
【背景技術(shù)】
[0002]近年來(lái)，隨著硬件技術(shù)的發(fā)展和計(jì)算機(jī)處理能力的提高，人們對(duì)三維數(shù)據(jù)獲取的需求在不斷增長(zhǎng)，其中運(yùn)用低成本的設(shè)備方便快速地獲取高精度人臉三維模型數(shù)據(jù)成為一個(gè)熱門(mén)的研究和應(yīng)用方向。
[0003]現(xiàn)有的人臉三維模型數(shù)據(jù)采集方法主要利用主動(dòng)距離傳感器，通過(guò)向環(huán)境發(fā)射電磁波等能量并對(duì)其反射信號(hào)進(jìn)行分析來(lái)獲得場(chǎng)景的距離信息。激光掃描儀是其中主流的設(shè)備，但是這類(lèi)設(shè)備笨重并且價(jià)格非常昂貴(百萬(wàn)元人民幣級(jí)別)，因此限制了其廣泛應(yīng)用。此外，結(jié)構(gòu)光方法也能夠獲得三維模型重建結(jié)果。但是由于其需要額外的投影設(shè)備，因此整個(gè)設(shè)備不緊湊。而且，在掃描過(guò)程中這類(lèi)設(shè)備會(huì)發(fā)射出高亮度的可見(jiàn)光，當(dāng)人眼直視時(shí)會(huì)感覺(jué)不適，因此一般在采用這類(lèi)設(shè)備時(shí)要求用戶(hù)閉眼，從而降低了用戶(hù)的體驗(yàn)感。進(jìn)入21世紀(jì)后逐漸出現(xiàn)了一種通過(guò)測(cè)量光線飛行時(shí)間(Time of Flight，T0F)來(lái)獲取場(chǎng)景三維結(jié)構(gòu)的攝像機(jī)，但是這類(lèi)設(shè)備的缺陷是獲取的數(shù)據(jù)空間分辨率很低，一般一幀3D圖像僅有2萬(wàn)像素左右，完全無(wú)法滿足聞精度人臉二維模型獲取的需求。

【發(fā)明內(nèi)容】

[0004]有鑒于此，有必要提供一種低成本、高精度以及具有良好用戶(hù)體驗(yàn)的三維人臉模型生成系統(tǒng)及方法。
[0005]一種三維人臉模型生成系統(tǒng)，包括一個(gè)三維數(shù)據(jù)獲取單元以及一個(gè)與所述三維數(shù)據(jù)獲取單元相連的三維模型生成單元。所述三維數(shù)據(jù)獲取單元包括一個(gè)第一數(shù)碼圖像獲取裝置、一個(gè)第二數(shù)碼圖像獲取裝置以及一個(gè)紅外結(jié)構(gòu)光投影裝置。所述第一數(shù)碼圖像獲取裝置以及所述第二數(shù)碼圖像獲取裝置用于獲取兩個(gè)不同角度人臉的數(shù)碼圖像。所述紅外結(jié)構(gòu)光投影裝置用于向人臉投射紅外結(jié)構(gòu)光并獲得包含人臉的深度數(shù)據(jù)的圖像。所述三維模型生成單元用于依據(jù)所述數(shù)碼圖像以及所述包含人臉深度數(shù)據(jù)的圖像進(jìn)行人臉三維模型的重建，以獲得人臉的三維模型。
[0006]優(yōu)選地，第一數(shù)碼圖像獲取裝置、所述第二數(shù)碼圖像獲取裝置以及所述紅外結(jié)構(gòu)光投影裝置沿一水平直線方向設(shè)置，所述紅外結(jié)構(gòu)光投影裝置設(shè)置于第一數(shù)碼圖像獲取裝置以及所述第二數(shù)碼圖像獲取裝置之間。
[0007]優(yōu)選地，第一數(shù)碼圖像獲取裝置以及所述第二數(shù)碼圖像獲取裝置為數(shù)碼相機(jī)，且所述第一數(shù)碼圖像獲取裝置以及所述第二數(shù)碼圖像獲取裝置具有相同的焦距。
[0008]優(yōu)選地，三維模型生成單兀包括一個(gè)系統(tǒng)標(biāo)定模塊、一個(gè)立體圖對(duì)校正模塊、一個(gè)幾何及超分辨率變換模塊、一個(gè)紋理分割模塊、一個(gè)種子像素提取模塊、一個(gè)視差圖生成模塊以及一個(gè)模型建立模塊；[0009]其中，所述系統(tǒng)標(biāo)定模塊用于建立確定系統(tǒng)坐標(biāo)，以確定所述第一數(shù)碼圖像獲取裝置、所述第二數(shù)碼圖像獲取裝置以及所述紅外結(jié)構(gòu)光投影裝置于所述系統(tǒng)坐標(biāo)的位置；
[0010]其中，所述立體圖對(duì)校正模塊用于對(duì)所述第一數(shù)碼圖像獲取裝置以及所述第二數(shù)碼圖像獲取裝置所獲取的圖像進(jìn)行校正，以消除垂直視差；
[0011]其中，所述幾何及超分辨率變換模塊用于對(duì)所述紅外結(jié)構(gòu)光投影裝置所獲得的包含人臉深度數(shù)據(jù)的圖像進(jìn)行幾何以及超分辨率變換；
[0012]其中，所述紋理分割模塊用于對(duì)所述第一數(shù)碼圖像獲取裝置所獲取的圖像進(jìn)行紋理分割，得到紋理分割后的二值掩模圖像；
[0013]其中，所述種子像素提取模塊用于提取種子像素；
[0014]其中，所述視差圖生成模塊用于依據(jù)所述幾何及超分辨率變換模塊所得到的視差圖、所述紋理分割模塊得到的二值掩模圖像以及所述種子像素提取模塊所提取的所述種子像素點(diǎn)獲得分辨率與所述第一數(shù)碼圖像獲取裝置相同的、基于種子像素?cái)U(kuò)張的視差圖；
[0015]其中，所述模型建立模塊用于依據(jù)所述視差圖生成模塊獲得的視差圖建立人臉的
三維模型。
[0016]優(yōu)選地，系統(tǒng)標(biāo)定模塊用于得到所述第一數(shù)碼圖像獲取裝置、所述第二數(shù)碼圖像獲取裝置以及所述紅外結(jié)構(gòu)光投影裝置的內(nèi)部參數(shù)矩陣。
[0017]優(yōu)選地，系統(tǒng)標(biāo)定模塊選取所述第一數(shù)碼圖像獲取裝置的相機(jī)坐標(biāo)系作為參考坐標(biāo)系，由所述第一數(shù)碼圖像獲取裝置、所述第二數(shù)碼圖像獲取裝置以及所述紅外結(jié)構(gòu)光投影裝置的相對(duì)位置關(guān)系確定所述第二數(shù)碼圖像獲取裝置以及所述紅外結(jié)構(gòu)光投影裝置相對(duì)于所述參考坐標(biāo)系的位置。
[0018]本發(fā)明的另一個(gè)目的是提供一種三維人臉模型生成方法，包括如下步驟:
[0019]提供一個(gè)三維數(shù)據(jù)采集獲取單元，所述三維數(shù)據(jù)獲取單元包括一個(gè)第一數(shù)碼圖像獲取裝置、一個(gè)第二數(shù)碼圖像獲取裝置以及一個(gè)紅外結(jié)構(gòu)光投影裝置；
[0020]建立系統(tǒng)坐標(biāo)，以確定所述第一數(shù)碼圖像獲取裝置、所述第二數(shù)碼圖像獲取裝置以及所述紅外結(jié)構(gòu)光投影裝置于所述系統(tǒng)坐標(biāo)的位置；
[0021]獲取兩個(gè)不同角度的人臉的數(shù)碼圖像以及一個(gè)包含人臉深度數(shù)據(jù)的紅外結(jié)構(gòu)光圖像；
[0022]依據(jù)所述人臉的數(shù)碼圖像以及所述包含人臉深度數(shù)據(jù)的紅外結(jié)構(gòu)光圖像進(jìn)行人臉三維模型的重建，以獲得人臉的三維模型。
[0023]優(yōu)選地，所述進(jìn)行人臉三維模型重建的步驟包括:
[0024]對(duì)所述兩個(gè)不同角度的人臉的數(shù)碼圖像進(jìn)行立體圖對(duì)校正，以消除垂直視差；
[0025]對(duì)所述紅外結(jié)構(gòu)光圖像進(jìn)行幾何及超分辨率變換；
[0026]對(duì)所述數(shù)碼圖像進(jìn)行紋理分割，得到紋理分割后的二值掩模圖像；
[0027]進(jìn)行種子像素提??；
[0028]依據(jù)所述幾何及超分辨率變換、所述二值掩模圖像以及所述種子像素點(diǎn)獲得視差圖；
[0029]依據(jù)所述視差圖建立人臉的三維模型。
[0030]優(yōu)選地，以旋轉(zhuǎn)矩陣Rs和平移矢量Ts表示所述第二數(shù)碼圖像獲取裝置相對(duì)于所述系統(tǒng)坐標(biāo)的位置，以旋轉(zhuǎn)矩陣Ra和平移矢量Ta表示所述紅外結(jié)構(gòu)光投影裝置相對(duì)于所述系統(tǒng)坐標(biāo)的位置。
[0031]優(yōu)選地，以紅外結(jié)構(gòu)光圖像的每一個(gè)像素點(diǎn)i計(jì)算其對(duì)應(yīng)的三維空間坐標(biāo)Pi =[xi yi zi]T，然后利用以下公式計(jì)算該像素點(diǎn)i在所述第一數(shù)碼圖像獲取裝置的投影坐標(biāo):
[0032]pi = Proj (Rr.(Ra.Pi+Ta) +Tr),
[0033]令:P，i= [X，i y，i z’ i]T = Rr.(Ra.Pi+Ta) +Tr
[0034]pi處的視差值采用如下公式計(jì)算:
[0035]d (pi) = b.f/z，i
[0036]其中b和f分別為所述第一數(shù)碼圖像獲取裝置以及所述第二數(shù)碼圖像獲取裝置之間的基線距離和所述第一數(shù)碼圖像獲取裝置以及所述第二數(shù)碼圖像獲取裝置的焦距，依據(jù)各像素的視差值得到與第一數(shù)碼圖像獲取裝置所獲得的彩色圖像分辨率相同的稀疏視差圖。
[0037]優(yōu)選地，基于所述稀疏視差圖，用線性插值的方法得到致密的視差圖。
[0038]優(yōu)選地，將由所述第一數(shù)碼圖像獲取裝置獲取的彩色圖像轉(zhuǎn)化為灰度圖象，然后對(duì)每一像素點(diǎn)i處計(jì)算其灰度值的方差Vari，采用公式:
【權(quán)利要求】
1.一種三維人臉模型生成系統(tǒng)，包括一個(gè)三維數(shù)據(jù)獲取單元以及一個(gè)與所述三維數(shù)據(jù)獲取單元相連的三維模型生成單元，其特征在于:所述三維數(shù)據(jù)獲取單元包括一個(gè)第一數(shù)碼圖像獲取裝置、一個(gè)第二數(shù)碼圖像獲取裝置以及一個(gè)紅外結(jié)構(gòu)光投影裝置，所述第一數(shù)碼圖像獲取裝置以及所述第二數(shù)碼圖像獲取裝置用于獲取兩個(gè)不同角度人臉的數(shù)碼圖像，所述紅外結(jié)構(gòu)光投影裝置用于向人臉投射紅外結(jié)構(gòu)光并獲得包含人臉的深度數(shù)據(jù)的圖像，所述三維模型生成單元用于依據(jù)所述數(shù)碼圖像以及所述包含人臉深度數(shù)據(jù)的圖像進(jìn)行人臉三維模型的重建，以獲得人臉的三維模型。
2.如權(quán)利要求1所述的三維人臉模型生成系統(tǒng)，其特征在于:所述第一數(shù)碼圖像獲取裝置、所述第二數(shù)碼圖像獲取裝置以及所述紅外結(jié)構(gòu)光投影裝置沿一水平直線方向設(shè)置，所述紅外結(jié)構(gòu)光投影裝置設(shè)置于第一數(shù)碼圖像獲取裝置以及所述第二數(shù)碼圖像獲取裝置之間。
3.如權(quán)利要求1所述的三維人臉模型生成系統(tǒng)，其特征在于:所述第一數(shù)碼圖像獲取裝置以及所述第二數(shù)碼圖像獲取裝置為數(shù)碼相機(jī)，且所述第一數(shù)碼圖像獲取裝置以及所述第二數(shù)碼圖像獲取裝置具有相同的焦距。
4.如權(quán)利要求1所述的三維人臉模型生成系統(tǒng)，其特征在于:所述三維模型生成單元包括一個(gè)系統(tǒng)標(biāo)定模塊、一個(gè)立體圖對(duì)校正模塊、一個(gè)幾何及超分辨率變換模塊、一個(gè)紋理分割模塊、一個(gè)種子像素提取模塊、一個(gè)視差圖生成模塊以及一個(gè)模型建立模塊； 所述系統(tǒng)標(biāo)定模塊用于建立確定系統(tǒng)坐標(biāo)，以確定所述第一數(shù)碼圖像獲取裝置、所述第二數(shù)碼圖像獲取裝置以及所述紅外結(jié)構(gòu)光投影裝置于所述系統(tǒng)坐標(biāo)的位置； 所述立體圖對(duì)校正模塊用于對(duì)所述第一數(shù)碼圖像獲取裝置以及所述第二數(shù)碼圖像獲取裝置所獲取的圖像進(jìn)行校正，以消除垂直視差； 所述幾何及超分辨率變換模塊用于對(duì)所述紅外結(jié)構(gòu)光投影裝置所獲得的圖像進(jìn)行幾何以及超分辨率變換； 所述紋理分割模塊用于對(duì)所述第一數(shù)碼圖像獲取裝置所獲取的圖像進(jìn)行紋理分割，得到紋理分割后的二值掩模圖像； 所述種子像素提取模塊用于提取種子像素； 所述視差圖生成模塊用于依據(jù)所述幾何及超分辨率變換模塊所得到的視差圖、所述紋理分割模塊得到的二值掩模圖像以及所述種子像素提取模塊所提取的所述種子像素點(diǎn)獲得分辨率與所述第一數(shù)碼圖像獲取裝置相同的、基于種子像素?cái)U(kuò)張的視差圖； 所述模型建立模塊用于依據(jù)所述視差圖生成模塊獲得的視差圖建立人臉的三維模型。
5.如權(quán)利要求4所述的三維人臉模型生成系統(tǒng)，其特征在于:所述系統(tǒng)標(biāo)定模塊用于得到所述第一數(shù)碼圖像獲取裝置、所述第二數(shù)碼圖像獲取裝置以及所述紅外結(jié)構(gòu)光投影裝置的內(nèi)部參數(shù)矩陣。
6.如權(quán)利要求4所述的三維人臉模型生成系統(tǒng)，其特征在于:所述系統(tǒng)標(biāo)定模塊選取所述第一數(shù)碼圖像獲取裝置的相機(jī)坐標(biāo)系作為參考坐標(biāo)系，由所述第一數(shù)碼圖像獲取裝置、所述第二數(shù)碼圖 像獲取裝置以及所述紅外結(jié)構(gòu)光投影裝置的相對(duì)位置關(guān)系確定所述第二數(shù)碼圖像獲取裝置以及所述紅外結(jié)構(gòu)光投影裝置相對(duì)于所述參考坐標(biāo)系的位置。
7.—種三維人臉模型生成方法，包括如下步驟: 提供一個(gè)三維數(shù)據(jù)采集獲取單元，所述三維數(shù)據(jù)獲取單元包括一個(gè)第一數(shù)碼圖像獲取裝置、一個(gè)第二數(shù)碼圖像獲取裝置以及一個(gè)紅外結(jié)構(gòu)光投影裝置； 建立系統(tǒng)坐標(biāo)，以確定所述第一數(shù)碼圖像獲取裝置、所述第二數(shù)碼圖像獲取裝置以及所述紅外結(jié)構(gòu)光投影裝置于所述系統(tǒng)坐標(biāo)的位置； 獲取兩個(gè)不同角度的人臉的數(shù)碼圖像以及一個(gè)包含人臉深度數(shù)據(jù)的紅外結(jié)構(gòu)光圖像； 依據(jù)所述人臉的數(shù)碼圖像以及所述包含人臉深度數(shù)據(jù)的紅外結(jié)構(gòu)光圖像進(jìn)行人臉三維模型的重建，以獲得人臉的三維模型。
8.如權(quán)利要求7所述的三維人臉模型生成方法，其特征在于:所述進(jìn)行人臉三維模型重建的步驟包括: 對(duì)所述兩個(gè)不同角度的人臉的數(shù)碼圖像進(jìn)行立體圖對(duì)校正，以消除垂直視差； 對(duì)所述紅外結(jié)構(gòu)光圖像進(jìn)行幾何及超分辨率變換； 對(duì)所述數(shù)碼圖像進(jìn)行紋 理分割，得到紋理分割后的二值掩模圖像； 進(jìn)行種子像素提?。? 依據(jù)所述幾何及超分辨率變換、所述二值掩模圖像以及所述種子像素點(diǎn)獲得視差圖； 依據(jù)所述視差圖建立人臉的三維模型。
9.如權(quán)利要求8所述的三維人臉模型生成方法，其特征在于:以旋轉(zhuǎn)矩陣Rs和平移矢量Ts表示所述第二數(shù)碼圖像獲取裝置相對(duì)于所述系統(tǒng)坐標(biāo)的位置，以旋轉(zhuǎn)矩陣Ra和平移矢量Ta表示所述紅外結(jié)構(gòu)光投影裝置相對(duì)于所述系統(tǒng)坐標(biāo)的位置。
10.如權(quán)利要求9所述的三維人臉模型生成方法，其特征在于:以紅外結(jié)構(gòu)光圖像的每一個(gè)像素點(diǎn)i計(jì)算其對(duì)應(yīng)的三維空間坐標(biāo)Pi = [xi yi zi]T，然后利用以下公式計(jì)算該像素點(diǎn)i在所述第一數(shù)碼圖像獲取裝置的投影坐標(biāo):
pi處的視差值采用如下公式計(jì)算:
d(pi) = b.f/z， i 其中b和f分別為所述第一數(shù)碼圖像獲取裝置以及所述第二數(shù)碼圖像獲取裝置之間的基線距離和所述第一數(shù)碼圖像獲取裝置以及所述第二數(shù)碼圖像獲取裝置的焦距，依據(jù)各像素的視差值得到與第一數(shù)碼圖像獲取裝置所獲得的彩色圖像分辨率相同的稀疏視差圖。
11.如權(quán)利要求10所述的三維人臉模型生成方法，其特征在于:基于所述稀疏視差圖，用線性插值的方法得到致密的視差圖。
12.如權(quán)利要求11所述的三維人臉模型生成方法，其特征在于:將由所述第一數(shù)碼圖像獲取裝置獲取的彩色圖像轉(zhuǎn)化為灰度圖象，然后對(duì)每一像素點(diǎn)i處計(jì)算其灰度值的方差Vari,采用公式:

13.如權(quán)利要求12所述的三維人臉模型生成方法，其特征在于:所述mask值中為I的像素點(diǎn)為是紋理豐富的區(qū)域，其余為弱紋理區(qū)域。
14.如權(quán)利要求13所述的三維人臉模型生成方法，其特征在于:提取所述紅外結(jié)構(gòu)光圖像的所有像素點(diǎn)作為種子像素點(diǎn)。
15.如權(quán)利要求14所述的三維人臉模型生成方法，其特征在于:依據(jù)所述的視差圖、所述二值掩模圖像以及所述種子像素點(diǎn)獲得分辨率與所述第一數(shù)碼圖像獲取裝置相同的、基于種子像素?cái)U(kuò)張的視差圖。
16.如權(quán)利要求15所述的三維人臉模型生成方法，其特征在于:依據(jù)所述基于種子像素?cái)U(kuò)張的視差圖得到三維點(diǎn)云，計(jì)算方法如下式:
【文檔編號(hào)】G06T17/00GK103971408SQ201410214265
【公開(kāi)日】2014年8月6日 申請(qǐng)日期:2014年5月21日 優(yōu)先權(quán)日:2014年5月21日
【發(fā)明者】沈曄湖 申請(qǐng)人:中國(guó)科學(xué)院蘇州納米技術(shù)與納米仿生研究所