專利名稱：非接觸式快速人手多模態(tài)信息融合識別方法
技術(shù)領(lǐng)域：
本發(fā)明屬于生物特征身份識別技術(shù)領(lǐng)域，具體涉及一種非接觸式手形、掌紋和手 掌靜脈圖像采集和多模態(tài)識別技術(shù)，也就是非接觸式快速人手多模態(tài)信息融合識別方法。
背景技術(shù)：
安全可靠的個人身份認證是避免和抑制公共安全事件發(fā)生的一個重要環(huán)節(jié)，而當 今社會，銀行金庫巨額現(xiàn)金頻頻被盜、被冒領(lǐng)；防盜門難以阻擋竊賊的到訪；恐怖分子持假 護照蒙騙海關(guān)以及網(wǎng)絡竊密等事件的發(fā)生，都體現(xiàn)了鑰匙、證件、密碼作為個人身份代碼， 容易被竊取、偽造和盜用，不安全，所以，公共安全迫切需要安全可靠的個人身份認證。另 外，生產(chǎn)生活需要安全可靠的個人身份認證，如自動考勤系統(tǒng)提高管理效率。生物特征信息能夠唯一表示個人身份。在《2006-2020年國家中長期科學和技術(shù) 發(fā)展規(guī)劃綱要》中，生物特征識別分別被列為公共安全專題和前沿技術(shù)專題中的一項重要 研究內(nèi)容。起初的研究者都是專注于人類的某一種生物特征，無論是當前可用的生物特征， 例如臉像、指紋、虹膜、手形、視網(wǎng)膜、語音等還是目前正處于研究狀態(tài)的生物特征，例如步 態(tài)、耳廓、氣味、臉部溫譜、手的靜脈結(jié)構(gòu)等以及未來可能要研究的生物特征，例如，DNA，在 出生時進行注冊。但是，在開始以多模態(tài)生物特征作為研究對象來識別身份的研究之前，似 乎一直被忽略的是，人類自身區(qū)分認識或不認識的人、熟悉或不熟悉的人，并不是依靠某個 單一特征的判斷，而是對多個特征進行的綜合判斷，與對象相處的次數(shù)越多，識別越準確， 甚至不需要觀察對象的頭部正面人暴露在外的特征最集中的部位。其實現(xiàn)有的研究和實際應用表明，無論是基于指紋、虹膜、臉像，還是基于掌紋、手 形、聲音的生物特征識別技術(shù)，都已經(jīng)在一些特定的或具體的領(lǐng)域得到了使用，并且因為其 各自獨特的生物特性，在某些方面甚至表現(xiàn)出及其出色的性能。但是同樣不可否認的是，這 些基于單一生物特征的身份識別由于各種各樣因素的限制(部分是因為現(xiàn)有的技術(shù)條件， 部分是因為生物特征本身固有的性質(zhì))，在實際應用中都面臨現(xiàn)實的問題，使得各種生物特 征識別技術(shù)的優(yōu)點和缺點同樣突出，也就使得目前的識別技術(shù)識別不夠準確且效果不是很 好，且原始的識別技術(shù)需要直接接觸識別設備，容易造成疾病的傳播以及對人體的損害，而 且原始的識別技術(shù)識別速度慢，識別率不是很高，穩(wěn)定性也較差。

發(fā)明內(nèi)容
發(fā)明目的本發(fā)明提供一種非接觸式快速人手多模態(tài)信息融合識別方法，其目的 是解決現(xiàn)有的識別技術(shù)速度慢、識別率不是很高、穩(wěn)定性較差以及效果不是很好的問題。技術(shù)方案本發(fā)明是通過以下技術(shù)方案來實現(xiàn)的
一種非接觸式快速人手多模態(tài)信息融合識別方法，其特征在于所述方法的具體步驟 如下
(1)人手圖像采集；
將人手自然張開，放在攝像頭前一個可變的范圍內(nèi)；(2)手形關(guān)鍵特征點定位；
對除大拇指以外的其余四個手指提取指尖及指根點；
(3)手形特征向量提?。?br> 取每個手指指跟兩側(cè)點連線的中點作為每個手指的指跟點，然后計算它們到相應指尖 點的長度作為四個手指的絕對長度，計算各個手指絕對長度之間的相對長度，構(gòu)成特征向 量；
(4)掌紋ROI區(qū)域定位與特征向量提??；
獲取掌紋ROI圖像區(qū)域，生成0°、45°、90°、135°四個方向的2D_Gabor濾波器組，將 尺寸和灰度歸一化后的掌紋ROI圖像(F)分別與4個方向的Gabor濾波器的實部&與虛 部Gi分別作卷積運算，將卷積運算后的計算結(jié)果形成0-1編碼作為掌紋特征向量；
(5)設定閾值進行手形特征一次匹配，獲得被選人員；
所述的進行手形特征一次匹配是用所提取的特征，計算歐式距離進行匹配，采用最近 鄰分類方法分類；獲得滿足某個閾值下的多個被選人員；
(6)使用掌紋識別的方法對備選人員的掌紋圖像進行一次匹配，給出最終判斷；
根據(jù)2D-Gab0r濾波器獲得的掌紋特征向量，通過匹配算法對有手形匹配后所得到的 被選人員進行最終的鑒別?！?3)”步驟中所述的相對長度為六個，分別是食指長度與中指長度；食指長度與 無名指長度；食指長度與小指長度；中指長度與無名指長度；中指長度與小指長度；無名指 長度與小指長度?！?5)”步驟中的具體操作為用手形識別的方法對待識別人員的手掌圖像進行一 次匹配，得到手指相對長度的歐氏距離Mi (i=l，2，···!!)，根據(jù)手形的等誤率曲線設定閾值 Thand,當MiCThand時，將Mi所對應的已注冊人員姓名存入備選人員姓名數(shù)組中。所述的人手圖像采集是在人手自然張開、非接觸、非固定位置的采集條件下進行 的。“(2)”步驟中的所述的指尖及指根點為食指、中指、無名指和小指的四個指尖點； 食指、中指、無名指和小指之間的三個指跟點以及四個手指的指根兩側(cè)的八個點。獲取掌紋ROI圖像區(qū)域的具體步驟為禾Ij用食指與中指之間的指跟點和中指與無 名指之間的指跟點兩點的連線及其中點垂線為坐標軸建立新的坐標系，采用相對長度L截 取方形掌紋有效區(qū)域，根據(jù)新坐標系及原坐標系之間的角度關(guān)系將圖像旋轉(zhuǎn)，經(jīng)過縮放歸 一化大小為128*128的圖像。步驟“(6)”中使用掌紋識別的方法對備選人員的掌紋圖像進行一次匹配，得到掌 紋圖像經(jīng)過2D-Gab0r方向濾波的漢明距離Hi (i=l, 2，…1)，求出最小距離Hmin，根據(jù)手形 的等誤率曲線設定閾值Tpalm，當HmirKTpalm時，則匹配成功，否則待識別人員即為非注冊人員。優(yōu)點及效果本發(fā)明提供一種非接觸式快速人手多模態(tài)信息融合識別方法，其特 征在于所述方法的具體步驟如下
(1)人手圖像采集
將人手自然張開，放在攝像頭前一個可變的范圍內(nèi)；
(2)手形關(guān)鍵特征點定位對除大拇指以外的其余四個手指提取指尖及指根點；
(3)手形特征向量提取
取每個手指指跟兩側(cè)點連線的中點作為每個手指的指跟點，然后計算它們到相應指尖 點的長度作為四個手指的絕對長度，計算各個手指絕對長度之間的相對長度，構(gòu)成特征向
量
(4)掌紋ROI區(qū)域定位與特征向量提取
獲取掌紋ROI圖像區(qū)域，生成0°、45°、90°、135°四個方向的2D_Gabor濾波器組，將 尺寸和灰度歸一化后的掌紋ROI圖像(F)分別與4個方向的Gabor濾波器的實部&與虛 部Gi分別作卷積運算，將卷積運算后的計算結(jié)果形成0-1編碼作為掌紋特征向量；
(5)設定閾值進行手形特征一次匹配，獲得被選人員
所述的進行手形特征一次匹配是用所提取的特征，計算歐式距離進行匹配，采用最近 鄰分類方法分類；獲得滿足某個閾值下的多個被選人員。(6)使用掌紋識別的方法對備選人員的掌紋圖像進行一次匹配，給出最終判斷； 根據(jù)2D-Gab0r濾波器獲得的掌紋特征向量，通過匹配算法對有手形匹配后所得到的
被選人員進行最終的鑒別。本發(fā)明為一種多模態(tài)生物特征識別技術(shù)，多模態(tài)生物特征識別成為目前生物特征 識別研究的主要方向，本發(fā)明正是為了解決在生物特征識別的研究中遇到的困難以及在推 向?qū)嶋H應用的過程中面臨的問題和需要而作出的自然的選擇。本發(fā)明給身份識別提供了更 加豐富的特征信息，能夠在提高識別準確性與可靠性的同時增加識別的魯棒性。不僅如此， 嵌入數(shù)據(jù)融合的多生物特征識別依靠其更高的數(shù)據(jù)容量和更好的抗偽性，作為安全且可以 信任的身份等價物，將推動生物特征識別技術(shù)在社會安全方面的不斷發(fā)展和應用。人手掌上的掌紋特征非常豐富，可用于身份識別的基本特征包括1)主線特征，掌 紋上的三條主線，分別稱為生命線、感情線和智慧線；2)褶皺特征，指比主線細、淺的褶皺 線；3)細節(jié)點特征，指手掌上布滿的和指紋一樣的乳突紋；4)三角點特征，指乳突紋在手掌 上形成的三角區(qū)域的中心點。以上這些都是掌紋的基本特征，通過選擇合適的方法提取出來，就可以進行身份 鑒別了。而且與其他的生物識別技術(shù)相比具有很多的特點，1)手掌區(qū)域比較大，比指紋含有 更豐富的信息；2)主線和褶皺線特征明顯，可以在低分辨率的掌紋圖像中提取出來；3)采 集設備簡單易行，識別速度快，且成本遠低于虹膜識別的采集設備；4)與手形、簽名相比掌 紋特征唯一性更強、更穩(wěn)定。因此，掌紋識別是一種很有發(fā)展?jié)摿Φ纳矸葑R別方法
手形識別技術(shù)中手形識別系統(tǒng)所利用的特征為手指或手掌的三維立體形狀，如長度、 寬度、厚度和手掌表面區(qū)域等。手形特征穩(wěn)定性高，不易隨外在環(huán)境或生理的變化而改變， 使用方便，所以廣泛應可用于門禁、考勤和身份認證領(lǐng)域。手形識別所用的識別特征簡單，裝置占用空間小，可以在低分辨率圖像中提取出 來，所需的計算量很小，同時，手形識別系統(tǒng)的用戶接受率很高。如上所述，本發(fā)明考慮到掌紋和手形的生理結(jié)構(gòu)，可以通過單一采集設備進行非 接觸式采集，從而可以進行多生物特征識別。它的優(yōu)勢在于，1)與其它多生物特征識別相 比，基于人手的多生物特征識別不用進行多次采樣，降低了采集設備的成本，也減少了用戶 的麻煩，而且采用非接觸式方式進行圖像采集，將不會對身體產(chǎn)生傷害，包括疾病的傳播，大大提高了用戶的接受程度；2)與單一的生物識別技術(shù)相比，具有更豐富的生物特征信息， 將這些特征融合起來勢必會提高識別率，而且穩(wěn)定性和魯棒性也會相應提高。本發(fā)明是一種使用方便的、快速的、對人體無傷害、無疾病傳播、識別速度快的、能 夠提高系統(tǒng)識別率和穩(wěn)定的性的基于手形和掌紋的多模態(tài)生物特征的個人身份識別方法。 本發(fā)明的優(yōu)點在于能夠更好的利用手形和掌紋識別的優(yōu)點，即手形識別速度快，掌紋識別 率高；克服原有技術(shù)的缺點。這樣，首先通過手形識別快速的選出少數(shù)被選人員，然后再從 這少數(shù)被選人員中利用掌紋識別準確的識別出最終結(jié)果，從而有效的提高身份識別系統(tǒng)的 速度和識別率。


圖1是本發(fā)明的方法步驟的流程框圖2是本發(fā)明的手形特征點定位過程圖；其中圖2-1為指尖點區(qū)域粗定位圖；圖2-2為 指根點區(qū)域粗定位圖；圖2-3為曲率的計算圖；圖2-4為指尖點區(qū)域定位圖；圖2-5為指根 點區(qū)域定位圖；圖2-6為定位指尖點和指根點示意圖；圖2-7為尋找指跟內(nèi)側(cè)點過程示意 圖；圖2-8為四指內(nèi)側(cè)指跟點示意圖；圖2-9為全部指跟點示意圖3是本發(fā)明的手形與掌紋特征提取示意圖；其中圖3-1為手形特征提取圖；圖3-2為 掌紋特征提取圖4是本發(fā)明的手形匹配分布圖和等錯誤率曲線圖；其中圖4-1為手形匹配分布圖； 圖4-2為等錯誤率曲線圖5是本發(fā)明的掌紋匹配分布圖和等錯誤率曲線圖；其中圖5-1是掌紋匹配分布圖； 圖5-2是等錯誤率曲線圖。
具體實施例方式下面結(jié)合附圖對本發(fā)明做進一步的說明
本發(fā)明提供一種非接觸式快速人手多模態(tài)信息融合識別方法，其特征在于所述方法 的具體步驟如下
(1)人手圖像采集；
將人手自然張開，放在攝像頭前一個可變的范圍內(nèi)；所述的人手圖像采集是在人手自 然張開、非接觸、非固定位置的采集條件下進行的。(2)手形關(guān)鍵特征點定位；
對除大拇指以外的其余四個手指提取指尖及指根點；指尖及指根點為食指、中指、無名 指和小指的四個指尖點和它們之間的三個指跟點以及四個手指的指根兩側(cè)的八個點。(3)手形特征向量提??；
取每個手指指跟兩側(cè)點連線的中點作為每個手指的指跟點，然后計算它們到相應指尖 點的長度作為四個手指的絕對長度，計算各個手指絕對長度之間的相對長度，構(gòu)成特征向 量；所述的相對長度為六個，分別是食指長度與中指長度；食指長度與無名指長度；食指長 度與小指長度；中指長度與無名指長度；中指長度與小指長度；無名指長度與小指長度。(4)掌紋ROI區(qū)域定位與特征向量提取；
獲取掌紋ROI圖像區(qū)域，生成0°、45°、90°、135°四個方向的2D_Gabor濾波器組， 將尺寸和灰度歸一化后的掌紋ROI圖像F分別與4個方向的Gabor濾波器的實部&與虛 部Gi分別作卷積運算，將卷積運算后的計算結(jié)果形成0-1編碼作為掌紋特征向量；如圖 3-2所示，獲取掌紋ROI圖像區(qū)域時，利用食指與中指之間的指跟點和中指與無名指之間的指跟點兩點的連線及其中點垂線為坐標軸建立新的坐標系，采用相對長度L截取方形掌紋 有效區(qū)域，根據(jù)新坐標系及原坐標系之間的角度關(guān)系將圖像旋轉(zhuǎn)，經(jīng)過縮放歸一化大小為 128*128的圖像。(5)設定閾值進行手形特征一次匹配，獲得被選人員；
所述的進行手形特征一次匹配是用所提取的特征，計算歐式距離進行匹配，采用最近 鄰分類方法分類；獲得滿足某個閾值下的多個被選人員；也就是說用手形識別的方法對待 識別人員的手掌圖像進行一次匹配，得到手指相對長度的歐氏距離Mi (i=l，2，···!!)，根據(jù) 手形的等誤率曲線設定閾值Thand，當MiCThand時，將Mi所對應的已注冊人員姓名存入備 選人員姓名數(shù)組中。(6)使用掌紋識別的方法對備選人員的掌紋圖像進行一次匹配，給出最終判斷； 根據(jù)2D-Gab0r濾波器獲得的掌紋特征向量，通過匹配算法對有手形匹配后所得到的
被選人員進行最終的鑒別；也就是說使用掌紋識別的方法對備選人員的掌紋圖像進行一 次匹配，得到掌紋圖像經(jīng)過2D-Gab0r方向濾波的漢明距離Hi (i=l, 2，…1)，求出最小距離 Hmin，根據(jù)手形的等誤率曲線設定閾值Tpalm，當HmirKTpalm時，則匹配成功，否則待識別 人員即為非注冊人員。圖1是非接觸式快速人手多模態(tài)信息融合識別方法的流程圖，包括人手圖像采 集、手形特征點定位、手形和掌紋特征向量提取、手形特征一次粗匹配獲得被選人員、掌紋 特征細匹配獲得最終識別結(jié)果等步驟。其中圖像采集過程使用單一背景，只需要人手自然張開，放在攝像頭前一個可變 的范圍內(nèi)。圖2是手形特征點定位過程圖。具體實現(xiàn)步驟如下
(1)在處理后的二值圖像上，根據(jù)輪廓跟蹤算法從手掌圖像最右端從上至下搜索第一 個輪廓點作為起始點，按逆時針方向跟蹤輪廓的8鄰域鏈碼信息，記錄輪廓邊界點坐標。然 后，以輪廓點為中心生成半徑為9像素的模板圓，計算模板圓內(nèi)目標像素個數(shù)N(即手掌部 分在模板圓內(nèi)的面積)來粗定位指尖點、指根點的鏈碼區(qū)域。當N<120時，粗定位出指尖點 的鏈碼區(qū)域，當N>150時，粗定位出指根點的鏈碼區(qū)域。如圖2 — 1、2 — 2所示。(2)在粗定位過程中，在手指上和手腕附近存在一些噪聲點，對于這些噪聲點，利 用噪聲點在鏈碼上前后相鄰R處的兩個輪廓點與該點形成的夾角ζ (s)來加以排除。曲率是用于平衡曲線彎曲程度的參數(shù)，如圖2 — 3中所示，ζ (s)代表F點兩側(cè)向 量FF1和FF2之間的夾角，夾角越大表示該點的曲率越小，曲線彎曲程度越??；夾角越小，表 示該點的曲率越大，曲線彎曲程度越大。計算公式如下
權(quán)利要求
1.一種非接觸式快速人手多模態(tài)信息融合識別方法，其特征在于所述方法的具體步 驟如下(1)人手圖像采集；將人手自然張開，放在攝像頭前一個可變的范圍內(nèi)；(2)手形關(guān)鍵特征點定位；對除大拇指以外的其余四個手指提取指尖及指根點；(3)手形特征向量提??；取每個手指指跟兩側(cè)點連線的中點作為每個手指的指跟點，然后計算它們到相應指尖 點的長度作為四個手指的絕對長度，計算各個手指絕對長度之間的相對長度，構(gòu)成特征向 量；(4)掌紋ROI區(qū)域定位與特征向量提??；獲取掌紋ROI圖像區(qū)域，生成0°、45°、90°、135°四個方向的2D_Gabor濾波器組，將 尺寸和灰度歸一化后的掌紋ROI圖像(F)分別與4個方向的Gabor濾波器的實部&與虛 部Gi分別作卷積運算，將卷積運算后的計算結(jié)果形成0-1編碼作為掌紋特征向量；(5)設定閾值進行手形特征一次匹配，獲得被選人員；所述的進行手形特征一次匹配是用所提取的特征，計算歐式距離進行匹配，采用最近 鄰分類方法分類；獲得滿足某個閾值下的多個被選人員；(6)使用掌紋識別的方法對備選人員的掌紋圖像進行一次匹配，給出最終判斷；根據(jù)2D-Gab0r濾波器獲得的掌紋特征向量，通過匹配算法對有手形匹配后所得到的 被選人員進行最終的鑒別。
2.根據(jù)權(quán)利要求1所述的非接觸式快速人手多模態(tài)信息融合識別方法，其特征在于 “(3)”步驟中所述的相對長度為六個，分別是食指長度與中指長度；食指長度與無名指長 度；食指長度與小指長度；中指長度與無名指長度；中指長度與小指長度；無名指長度與小 指長度。
3.根據(jù)權(quán)利要求1所述的非接觸式快速人手多模態(tài)信息融合識別方法，其特征在于 “(5)”步驟中的具體操作為用手形識別的方法對待識別人員的手掌圖像進行一次匹配，得 到手指相對長度的歐氏距離Mi (i=l，2，···!!)，根據(jù)手形的等誤率曲線設定閾值Thand，當 MiCThand時，將Mi所對應的已注冊人員姓名存入備選人員姓名數(shù)組中。
4.根據(jù)權(quán)利要求1所述的非接觸式快速人手多模態(tài)信息融合識別方法，其特征在于 所述的人手圖像采集是在人手自然張開、非接觸、非固定位置的采集條件下進行的。
5.根據(jù)權(quán)利要求1所述的非接觸式快速人手多模態(tài)信息融合識別方法，其特征在于 “(2)”步驟中的所述的指尖及指根點為食指、中指、無名指和小指的四個指尖點；食指、中 指、無名指和小指之間的三個指跟點以及四個手指的指根兩側(cè)的八個點。
6.根據(jù)權(quán)利要求1所述的非接觸式快速人手多模態(tài)信息融合識別方法，其特征在于 獲取掌紋ROI圖像區(qū)域的具體步驟為利用食指與中指之間的指跟點和中指與無名指之間 的指跟點兩點的連線及其中點垂線為坐標軸建立新的坐標系，采用相對長度L截取方形掌 紋有效區(qū)域，根據(jù)新坐標系及原坐標系之間的角度關(guān)系將圖像旋轉(zhuǎn)，經(jīng)過縮放歸一化大小 為128*128的圖像。
7.根據(jù)權(quán)利要求1所述的非接觸式快速人手多模態(tài)信息融合識別方法，其特征在于步驟“(6)”中使用掌紋識別的方法對備選人員的掌紋圖像進行一次匹配，得到掌紋圖像經(jīng) 過2D-Gabor方向濾波的漢明距離Hi (i=l, 2，…1)，求出最小距離Hmin，根據(jù)手形的等誤率 曲線設定閾值Tpalm，當HmirKTpalm時，則匹配成功，否則待識別人員即為非注冊人員。
全文摘要
本發(fā)明提供一種非接觸式快速人手多模態(tài)信息融合識別方法，其特征在于所述方法的具體步驟如下(1)人手圖像采集；(2)手形關(guān)鍵特征點定位；(3)手形特征向量提取；(4)掌紋ROI區(qū)域定位與特征向量提??；(5)設定閾值進行手形特征一次匹配，獲得被選人員；(6)使用掌紋識別的方法對備選人員的掌紋圖像進行一次匹配，給出最終判斷；本發(fā)明是一種使用方便的、快速的、對人體無傷害、無疾病傳播、識別速度快的、能夠提高系統(tǒng)識別率和穩(wěn)定的性的基于手形和掌紋的多模態(tài)生物特征的個人身份識別方法。
文檔編號G06K9/00GK102073843SQ20101053344
公開日2011年5月25日 申請日期2010年11月5日 優(yōu)先權(quán)日2010年11月5日
發(fā)明者李雅紅, 桑海峰, 趙云, 黃靜 申請人:沈陽工業(yè)大學