一種基于拓?fù)浣Y(jié)構(gòu)的圖像稀疏表征面部表情特征提取系統(tǒng)和方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于拓?fù)浣Y(jié)構(gòu)的圖像表征面部表情特征提取系統(tǒng)和方法，可應(yīng)用于基于面部圖像的模式識(shí)別問(wèn)題。本發(fā)明利用圖的拓?fù)浣Y(jié)構(gòu)描述原始圖像空間樣本點(diǎn)之間的空間關(guān)聯(lián)性，利用懲罰機(jī)制調(diào)整樣本點(diǎn)之間的關(guān)聯(lián)性，并采用L1范數(shù)對(duì)基圖像的系數(shù)進(jìn)行稀疏性約束，且分解后矩陣中的數(shù)據(jù)元素均為非負(fù)值。同時(shí)，采用迭代梯度法求解稀疏性和拓?fù)浣Y(jié)構(gòu)約束條件下的矩陣分解優(yōu)化問(wèn)題，克服了傳統(tǒng)迭代優(yōu)化方法常常收斂到局部最小值的不足。因此，本發(fā)明的圖像特征提取方法可以更好的表征面部局部特征，對(duì)有遮擋、姿態(tài)變化等自然條件下的人臉圖像識(shí)別效果很好。
【專(zhuān)利說(shuō)明】一種基于拓?fù)浣Y(jié)構(gòu)的圖像稀疏表征面部表情特征提取系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于模式識(shí)別領(lǐng)域，涉及一種用于基于面部圖像的表情識(shí)別的系統(tǒng)和方法，尤其涉及一種基于拓?fù)浣Y(jié)構(gòu)的圖像稀疏表征面部表情特征提取系統(tǒng)和方法。
【背景技術(shù)】
[0002]表情是人們非語(yǔ)言交流的一種重要方式，包含豐富的情感信息，是情感最主要的載體，是人們理解情感的重要途徑。在人類(lèi)交往中，除了通過(guò)自然語(yǔ)言來(lái)傳遞信息外，還可以利用很多其它形體語(yǔ)言如臉部表情、身體動(dòng)作來(lái)進(jìn)行交流。
[0003]人臉圖像處理屬于高維數(shù)據(jù)分析，直接對(duì)原始圖像進(jìn)行分析計(jì)算復(fù)雜度很高。學(xué)界普遍認(rèn)為存在低維人臉圖像空間，可以很好地表征原始的高維人臉圖像空間。因此，尋找有效地特征提取方法對(duì)于準(zhǔn)確識(shí)別面部表情是非常重要的。此外，有效的表情特征提取工作將使識(shí)別的性能大大提高，并可以簡(jiǎn)化分類(lèi)器的設(shè)計(jì)。
[0004]常用的提取表情圖像特征的方法可分為基于幾何特征的方法、基于表觀特征的方法和基于混合特征的方法等?；趲缀翁卣鞯姆椒ㄓ糜诒碚髅娌繀^(qū)域(包括眼睛，眉毛，鼻子，嘴巴等)的形狀和位置，提取出的局部面部區(qū)域特征點(diǎn)作為特征向量代表人臉?；诒碛^的特征表征人臉外貌(皮膚紋理)的變化?；诒碛^的特征可以從整幅人臉中提取也可以從人臉圖像的某個(gè)特定區(qū)域中提取。幾何特征能夠簡(jiǎn)潔的表示出人臉宏觀的結(jié)構(gòu)變化，而表觀特征則側(cè)重于提取皮膚紋理的細(xì)微變化，一些研究者將多種特征結(jié)合起來(lái)，用混合特征進(jìn)行表情識(shí)別，取得了較好的識(shí)別效果。
[0005]傳統(tǒng)的矩陣分解方法得到的分解后矩陣中常包含負(fù)數(shù)，而負(fù)數(shù)在很多數(shù)據(jù)處理問(wèn)題中沒(méi)有物理意義。非負(fù)矩陣分解算法將表征面部各部分的基圖像進(jìn)行線性組合從而表征整個(gè)面部圖像，它與主成分分析算法的區(qū)別在于非負(fù)矩陣分解算法得到的分解后的基圖像矩陣和線性系數(shù)權(quán)重矩陣中的元素都是非負(fù)的。Lee和Seung指出非負(fù)矩陣分解算法可以得到基于局部面部特征的人臉表示，即分解圖像矩陣后得到的基圖像可以表征眼睛，鼻子，嘴巴等面部局部特征。但是，非負(fù)矩陣分解算法并不能總是得到表征面部局部特征的圖像矩陣分解。一些研究指出非負(fù)矩陣分解算法在某些人臉庫(kù)上得到的基圖像表征人臉的全局特征。此外，常用的求解NMF分解的算法是Lee和Seung提出的乘法更新方法(multiplicative update method)。NMF優(yōu)化問(wèn)題是非凸性?xún)?yōu)化問(wèn)題,更新算法在經(jīng)過(guò)多次循環(huán)后通常會(huì)得到很多局部最小值。常有的誤解是局部最小值即為最優(yōu)值。在優(yōu)化理論中，局部最小值必須是平穩(wěn)點(diǎn)，乘法更新方法無(wú)法保證平穩(wěn)性和收斂性。

【發(fā)明內(nèi)容】

[0006]為了解決上述問(wèn)題，本發(fā)明提供一種基于拓?fù)浣Y(jié)構(gòu)的圖像稀疏表征面部表情特征提取系統(tǒng)和方法，可應(yīng)用于表情識(shí)別問(wèn)題。
[0007]本發(fā)明的目的是通過(guò)如下技術(shù)方案實(shí)現(xiàn)的。[0008]提供一種基于拓?fù)浣Y(jié)構(gòu)的圖像稀疏表征面部表情特征提取系統(tǒng)，包括:預(yù)處理單元，對(duì)輸入的原始圖像進(jìn)行灰度歸一化、尺度歸一化等預(yù)處理，其中該原始圖像僅包含人臉面部信息；函數(shù)構(gòu)建單元，用于建立表情圖像特征空間目標(biāo)函數(shù)，具體地，利用圖像樣本的拓?fù)浣Y(jié)構(gòu)描述原始圖像空間樣本點(diǎn)之間的關(guān)聯(lián)性，以及分解后的基圖像滿(mǎn)足系數(shù)的稀疏性和非負(fù)性，構(gòu)建約束條件下原始圖像矩陣的分解優(yōu)化問(wèn)題，計(jì)算約束條件下矩陣分解目標(biāo)函數(shù)的不同梯度；特征空間構(gòu)建單元，采用迭代梯度法求解原始圖像矩陣分解后的基圖像矩陣及系數(shù)矩陣，通過(guò)對(duì)約束函數(shù)的梯度進(jìn)行迭代更新，得到表征面部稀疏表征模式的特征空間；特征提取單元，通過(guò)線性映射將原始圖像樣本和待測(cè)圖像樣本投影到稀疏特征空間中，從而得到樣本特征向量；模式分類(lèi)單元，根據(jù)得到的樣本特征向量進(jìn)行表情模式的分類(lèi)。
[0009]還提供了一種基于拓?fù)浣Y(jié)構(gòu)的圖像稀疏表征面部表情特征提取方法，包括:輸入包含人臉面部信息的原始圖像，首先對(duì)原始圖像進(jìn)行灰度歸一化、尺度歸一化等預(yù)處理，其中該原始圖像僅包含面部信息；建立表情圖像特征空間目標(biāo)函數(shù)，利用圖像樣本的拓?fù)浣Y(jié)構(gòu)描述原始圖像空間樣本點(diǎn)之間的關(guān)聯(lián)性，以及分解后的基圖像滿(mǎn)足系數(shù)的稀疏性和非負(fù)性，構(gòu)建約束條件下原始圖像矩陣的分解優(yōu)化問(wèn)題，計(jì)算約束條件下矩陣分解目標(biāo)函數(shù)的不同梯度；采用迭代梯度法求解原始圖像矩陣分解后的基圖像矩陣及系數(shù)矩陣，通過(guò)對(duì)約束函數(shù)的梯度進(jìn)行迭代更新，得到表征面部稀疏表征模式的特征空間；通過(guò)線性映射將原始圖像樣本和待測(cè)圖像樣本投影到稀疏特征空間中，從而得到樣本特征向量，根據(jù)得到的樣本特征向量進(jìn)行表情模式的分類(lèi)。
[0010]本發(fā)明克服了傳統(tǒng)非負(fù)矩陣分解方法無(wú)法表征面部局部特征的不足，利用圖像樣本點(diǎn)的拓?fù)浣Y(jié)構(gòu)描述圖像樣本點(diǎn)之間的空間關(guān)聯(lián)性，并利用懲罰因子調(diào)整樣本點(diǎn)之間的關(guān)聯(lián)性，保證原始圖像空間中相近的樣本經(jīng)過(guò)投影后仍保持近鄰關(guān)系；并利用LI范數(shù)對(duì)矩陣分解后的基圖像系數(shù)進(jìn)行約束，通過(guò)平衡稀疏性、非負(fù)性、判別性等特點(diǎn)對(duì)最小化矩陣分解的目標(biāo)函數(shù)。此外，本發(fā)明采用迭代梯度法求解目標(biāo)函數(shù)的求解問(wèn)題，利用目標(biāo)函數(shù)不同階次的梯度進(jìn)行分解后矩陣的迭代，克服乘法更新法常收斂到局部最小值的不足，確保分解結(jié)果的平穩(wěn)性和收斂性。因此，本發(fā)明的圖像特征提取方法可以更好的表征面部局部特征，對(duì)有遮擋、姿態(tài)變化等自然條件下的人臉表情圖像識(shí)別效果很好。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0011]圖1為本發(fā)明的自動(dòng)表情識(shí)別系統(tǒng)的流程圖；
[0012]圖2為利用本發(fā)明的計(jì)算方法對(duì)人臉表情圖像進(jìn)行特征提取的流程圖；
[0013]圖3為不同算法在表情圖像上得到的正確識(shí)別率比較示意圖。
【具體實(shí)施方式】
[0014]下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā)明作進(jìn)一步描述。
[0015]根據(jù)技術(shù)方案，我們可以將本發(fā)明應(yīng)用于面部表情自動(dòng)識(shí)別系統(tǒng)中，對(duì)人臉表情圖像進(jìn)行特征提取及情感模式判定。如圖1所示，本發(fā)明實(shí)施例提供的基于拓?fù)浣Y(jié)構(gòu)的圖像稀疏表征面部表情特征提取系統(tǒng)主要包括以下幾個(gè)部分:圖像輸入單元、預(yù)處理單元、函數(shù)構(gòu)建單元、特征空間構(gòu)建單元、特征提取單元以及模式分類(lèi)單元。預(yù)處理單元對(duì)輸入的原始圖像進(jìn)行灰度歸一化、尺度歸一化等預(yù)處理；函數(shù)構(gòu)建單元用于建立表情圖像特征空間目標(biāo)函數(shù)，具體地，利用圖像樣本的拓?fù)浣Y(jié)構(gòu)描述原始圖像空間樣本點(diǎn)之間的關(guān)聯(lián)性，以及分解后的基圖像滿(mǎn)足系數(shù)的稀疏性和非負(fù)性，構(gòu)建約束條件下原始圖像矩陣的分解優(yōu)化問(wèn)題，計(jì)算約束條件下矩陣分解目標(biāo)函數(shù)的不同梯度；特征空間構(gòu)建單元采用迭代梯度法求解原始圖像矩陣分解后的基圖像矩陣及系數(shù)矩陣，通過(guò)對(duì)約束函數(shù)的梯度進(jìn)行迭代更新，得到表征面部稀疏表征模式的特征空間；特征提取單元通過(guò)線性映射將原始圖像樣本和待測(cè)圖像樣本投影到稀疏特征空間中，從而得到樣本特征向量；模式分類(lèi)單元根據(jù)得到的樣本特征向量進(jìn)行表情模式的分類(lèi)。
[0016]下面結(jié)合附圖1和附圖2，具體說(shuō)明利用本發(fā)明的計(jì)算方法對(duì)人臉表情圖像進(jìn)行特征提取的步驟。
[0017]一、原始圖像矩陣預(yù)處理
[0018]輸入包含人臉面部信息的原始圖像，該原始圖像僅包含面部信息。對(duì)原始圖像樣本進(jìn)行預(yù)處理，進(jìn)行灰度、尺度歸一化，并消除光照、仿射變換等影響因素的干擾。此外，為了消除常數(shù)向量對(duì)矩陣分解的影響，需在進(jìn)行分負(fù)矩陣分解之前從原始圖像矩陣中減去常數(shù)向量。
[0019]首先對(duì)原始圖像進(jìn)行尺度歸一化，可使用灰度仿射方法將樣本圖像統(tǒng)一成一定尺寸(如120X120)大小，且對(duì)兩眼中心和嘴巴中心坐標(biāo)進(jìn)行歸一化。具體方法如下:
[0020](I)在原始樣本圖像上手工標(biāo)定三點(diǎn)，兩眼中心及嘴巴中心的位置分別記為
[0021](X1, Y1) (X2, Y2) (X3, Y3).[0022](2)計(jì)算變換后的坐標(biāo)位置
[0023]計(jì)算縮放系數(shù):
[0024]Sx = Wff0, Sy = HH0
[0025]其中:W。=X2-X1, H0 = Y3- (VY1) /2。
[0026]計(jì)算旋轉(zhuǎn)校正參數(shù):
[
【權(quán)利要求】
1.一種基于拓?fù)浣Y(jié)構(gòu)的圖像稀疏表征面部表情特征提取系統(tǒng)，其特征在于包括: 預(yù)處理單元，對(duì)輸入的原始圖像進(jìn)行灰度歸一化、尺度歸一化等預(yù)處理，其中該原始圖像僅包含人臉面部信息； 函數(shù)構(gòu)建單元，用于建立表情圖像特征空間目標(biāo)函數(shù)，具體地，利用圖像樣本的拓?fù)浣Y(jié)構(gòu)描述原始圖像空間樣本點(diǎn)之間的關(guān)聯(lián)性，以及分解后的基圖像滿(mǎn)足系數(shù)的稀疏性和非負(fù)性，構(gòu)建約束條件下原始圖像矩陣的分解優(yōu)化問(wèn)題，計(jì)算約束條件下矩陣分解目標(biāo)函數(shù)的不同梯度； 特征空間構(gòu)建單元，采用迭代梯度法求解原始圖像矩陣分解后的基圖像矩陣及系數(shù)矩陣，通過(guò)對(duì)約束函數(shù)的梯度進(jìn)行迭代更新，得到表征面部稀疏表征模式的特征空間； 特征提取單元，通過(guò)線性映射將原始圖像樣本和待測(cè)圖像樣本投影到稀疏特征空間中，從而得到樣本特征向量； 模式分類(lèi)單元，根據(jù)得到的樣本特征向量進(jìn)行表情模式的分類(lèi)。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于所述函數(shù)構(gòu)建單元利用圖像樣本的拓?fù)浣Y(jié)構(gòu)描述原始圖像空間樣本點(diǎn)之間的關(guān)聯(lián)性具體包括:以圖像樣本間的拓?fù)浣Y(jié)構(gòu)描述原始圖像空間樣本點(diǎn)之間的空間距離，并利用懲罰因子調(diào)整樣本點(diǎn)之間的關(guān)聯(lián)性，即通過(guò)
3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于所述函數(shù)構(gòu)建單元采用LI范數(shù)對(duì)矩陣分解后的基圖像系數(shù)進(jìn)行稀疏性約束，以LI范數(shù)近似代替LO范數(shù)對(duì)矩陣稀疏性的表示，矩陣的LI范數(shù)為I |W| I1 =E1Jw1J,通過(guò)最小化LI范數(shù)確保提取的特征空間可以表征面部局部區(qū)域的典型特征。
4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于所述特征空間構(gòu)建單元采用迭代投影法求解稀疏性和拓?fù)浣Y(jié)構(gòu)約束下的矩陣分解問(wèn)題；利用迭代準(zhǔn)則
5.一種基于拓?fù)浣Y(jié)構(gòu)的圖像稀疏表征面部表情特征提取方法，可以對(duì)基于圖像的人臉面部表情特征進(jìn)行描述，其特征在于包含以下步驟: (1)輸入包含人臉面部信息的原始圖像，首先對(duì)原始圖像進(jìn)行灰度歸一化、尺度歸一化等預(yù)處理，其中該原始圖像僅包含面部信息； (2)建立表情圖像特征空間目標(biāo)函數(shù)，利用圖像樣本的拓?fù)浣Y(jié)構(gòu)描述原始圖像空間樣本點(diǎn)之間的關(guān)聯(lián)性，以及分解后的基圖像滿(mǎn)足系數(shù)的稀疏性和非負(fù)性，構(gòu)建約束條件下原始圖像矩陣的分解優(yōu)化問(wèn)題，計(jì)算約束條件下矩陣分解目標(biāo)函數(shù)的不同梯度； (3)采用迭代梯度法求解原始圖像矩陣分解后的基圖像矩陣及系數(shù)矩陣，通過(guò)對(duì)約束函數(shù)的梯度進(jìn)行迭代更新，得到表征面部稀疏表征模式的特征空間； (4)通過(guò)線性映射將原始圖像樣本和待測(cè)圖像樣本投影到稀疏特征空間中，從而得到樣本特征向量，根據(jù)得到的樣本特征向量進(jìn)行表情模式的分類(lèi)。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于所述步驟(2)中的利用圖像樣本的拓?fù)浣Y(jié)構(gòu)描述原始圖像空間樣本點(diǎn)之間的關(guān)聯(lián)性具體包括:以圖像樣本間的拓?fù)浣Y(jié)構(gòu)描述原始圖像空間樣本點(diǎn)之間的空間距離，并利用懲罰因子調(diào)整樣本點(diǎn)之間的關(guān)聯(lián)性，即通過(guò)
7.根據(jù)權(quán)利要求5所述的方法，其特征在于所述步驟(2)中采用LI范數(shù)對(duì)矩陣分解后的基圖像系數(shù)進(jìn)行稀疏性約束，以LI范數(shù)近似代替LO范數(shù)對(duì)矩陣稀疏性的表示，矩陣的LI范數(shù)為I |W| I1=EtjIwluI,通過(guò)最小化LI范數(shù)確保提取的特征空間可以表征面部局部區(qū)域的典型特征。
8.根據(jù)權(quán)利要求5所述的方法，其特征在于采用迭代投影法求解稀疏性和拓?fù)浣Y(jié)構(gòu)約束下的矩陣分解問(wèn)題；利用迭代準(zhǔn)則H
【文檔編號(hào)】G06K9/46GK103927554SQ201410190478
【公開(kāi)日】2014年7月16日 申請(qǐng)日期:2014年5月7日 優(yōu)先權(quán)日:2014年5月7日
【發(fā)明者】支瑞聰, 趙鐳, 史波林, 汪厚銀 申請(qǐng)人:中國(guó)標(biāo)準(zhǔn)化研究院