基于ccd圖像的利用幀間相關(guān)性降噪的方法
【專利摘要】本發(fā)明公開(kāi)了一種基于CCD圖像的利用幀間相關(guān)性降噪方法。該方法是先通過(guò)圖像配準(zhǔn)的方法求得相鄰兩幀圖像的相對(duì)位移量，由該位移量確定相鄰兩幀圖像的重疊區(qū)域，然后對(duì)該重疊區(qū)域做幀間累加濾波，對(duì)非重疊區(qū)域則采用幀內(nèi)濾波算法，同時(shí)算法還能自適應(yīng)調(diào)整疊加幀的數(shù)目，具有多級(jí)可調(diào)功能。本發(fā)明的創(chuàng)新點(diǎn)在于先對(duì)圖像做配準(zhǔn)，然后根據(jù)配準(zhǔn)結(jié)果選擇不同的幀間濾波算法，有利于提高視頻圖像的信噪比，同時(shí)對(duì)于運(yùn)動(dòng)圖像的也能達(dá)到很好的去噪效果。
【專利說(shuō)明】基于CCD圖像的利用幀間相關(guān)性降噪的方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及C⑶視頻圖像的去噪處理技術(shù)，具體涉及一種基于CXD圖像的利用幀 間相關(guān)性降噪方法。

【背景技術(shù)】
[0002] 目前，各類成像器件已經(jīng)和正在廣泛的應(yīng)用于生活、天文、醫(yī)療、工業(yè)和軍事領(lǐng)域， 對(duì)人們的生活產(chǎn)生越來(lái)越深遠(yuǎn)的影響，尤其是在醫(yī)學(xué)和軍事上面近年來(lái)迅速發(fā)展起來(lái)的電 荷耦合器件（CXD)成像和紅外傳感器成像技術(shù)。與傳統(tǒng)的成像器件相比，CXD不僅具有體積 小、重量輕、靈敏度高、動(dòng)態(tài)范圍寬等優(yōu)點(diǎn)，而且還能達(dá)到很高的空間分辨率，并可以通過(guò)選 用不同材料來(lái)響應(yīng)從紫外到紅外的光譜，這大大提升了其應(yīng)用范圍。CCD傳感器由于器件本 身的結(jié)構(gòu)特點(diǎn)在感應(yīng)光子的同時(shí)將產(chǎn)生多種噪聲，如散粒噪聲、暗噪聲、轉(zhuǎn)移噪聲以及讀出 電路噪聲。
[0003] 在視頻圖像序列中，特別是對(duì)于運(yùn)動(dòng)緩慢的視頻圖像序列，相鄰幀之間的圖像存 在很強(qiáng)的相關(guān)性，而噪聲總是隨機(jī)出現(xiàn)在視頻圖像中，不具有相關(guān)性，所以可以根據(jù)相鄰幀 的圖像的運(yùn)動(dòng)強(qiáng)度檢測(cè)判斷對(duì)相鄰幀進(jìn)行加權(quán)平均，從而降低圖像的噪聲提高圖像的信噪 t匕。現(xiàn)實(shí)中的數(shù)字圖像在數(shù)字化和傳輸過(guò)程中常受到成像設(shè)備與外部環(huán)境噪聲干擾等影 響，稱為含噪圖像。特別是隨著現(xiàn)在相機(jī)制造商們不斷地增加感光單元單位面積上的像素 數(shù)，使得其對(duì)噪聲的敏感性也越來(lái)越高了，結(jié)果是產(chǎn)生的圖像噪聲會(huì)越來(lái)越嚴(yán)重。如果對(duì)這 些被噪聲污染的圖像再做后續(xù)的其他操作處理，無(wú)疑會(huì)對(duì)最終的圖像處理結(jié)果產(chǎn)生較大的 偏差。
[0004] 現(xiàn)有的去噪算法大致可以分為兩類：空間域?yàn)V波以及時(shí)間域?yàn)V波?？臻g域?yàn)V波是 在圖像的二維空間中利用相鄰像素具有相關(guān)性而噪聲是相互獨(dú)立的特點(diǎn)的特點(diǎn)來(lái)去噪的。 常見(jiàn)的空間域?yàn)V波方法有均值濾波法、自適應(yīng)維拉濾波法、中值濾波法、小波濾波法。時(shí)域 濾波法是在視頻圖像的三維空間上，利用圖像相鄰幀之間的相關(guān)性進(jìn)行濾波。常用的時(shí)域 濾波法有幀間均值濾波法、非局部均值濾波法、三維塊匹配幀間濾波法。但是，這些方法也 都存在各自的技術(shù)缺點(diǎn)：1.均值濾波后的每個(gè)像素點(diǎn)的值都是利用鄰域內(nèi)像素的平均灰 度值來(lái)代替，該方法經(jīng)常會(huì)帶來(lái)邊緣以及細(xì)節(jié)模糊的負(fù)面效應(yīng)；2.自適應(yīng)維拉濾波法是利 用圖像的局部方差來(lái)調(diào)整濾波器的輸出，它的最終目標(biāo)是使恢復(fù)圖像Γ (X，y)與原f (X，y) 始圖像的均方誤差e2=E[(f~(X，y)-f(X，y)) 2]最小。該方法的濾波效果比均值濾波效果要 好，對(duì)保留圖像的邊緣和其他高頻部分很有用，不過(guò)計(jì)算量較大；3.中值濾波是利用鄰域 內(nèi)（包括原像素值）像素灰度的中值代替該像素的值，它在去除噪聲的同時(shí)還能保護(hù)圖像的 邊緣，但會(huì)產(chǎn)生細(xì)節(jié)模糊效應(yīng)；4.幀間均值濾波即對(duì)相鄰幀的相對(duì)位置取均值，該方法可 以有效地抑制噪聲，提高圖像清晰度，但會(huì)引起運(yùn)動(dòng)目標(biāo)的模糊和丟失；5.近年來(lái)提出的 非局部濾波算法以及基于非局部均值改進(jìn)的三維塊匹配濾波法是目前認(rèn)為去噪效果最好 的方法，但算法復(fù)雜難以硬件實(shí)現(xiàn)。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于提供一種基于CCD圖像的利用幀間相關(guān)性降噪方法，能實(shí)時(shí)地 利用相鄰幀圖像的相關(guān)性對(duì)輸入的視頻圖像進(jìn)行降噪處理，提高視頻圖像的信噪比的方 法。該方法是通過(guò)圖像配準(zhǔn)的方法找到相鄰幀間的重疊區(qū)域，然后對(duì)該重疊區(qū)域做幀間累 加濾波，對(duì)非重疊區(qū)域則采用幀內(nèi)濾波算法，同時(shí)算法還能自適應(yīng)調(diào)整疊加幀的數(shù)目，具有 多級(jí)可調(diào)功能。利用了一種較快速的幀間配準(zhǔn)算法，即用一種新的基于全時(shí)域的投影算子 來(lái)快速的完成對(duì)相鄰幀圖像運(yùn)動(dòng)位移的計(jì)算，大大降低了算法的運(yùn)算量，使得算法可以硬 件實(shí)現(xiàn)。
[0006] 實(shí)現(xiàn)本發(fā)明目的的技術(shù)解決方案為：
[0007] -種基于C⑶圖像的利用幀間相關(guān)性降噪方法，包括以下步驟：
[0008] 步驟1 :將含噪的視頻圖像序列V (i, j, k) =u (i, j, k) +n (i, j, k)按巾貞存儲(chǔ)到 SRAM中，其中v(i, j, k)表示人眼所觀察到的圖像，u(i, j, k)表示成像系統(tǒng)的理想圖像， n(i，j，k)表示圖像在數(shù)字化和傳輸過(guò)程中常受到成像設(shè)備與外部環(huán)境干擾等影響而加入 的噪聲，（i，j)表示圖像像素點(diǎn)的位置，（k)表示視頻序列的第k幀圖像；
[0009] 步驟2 :對(duì)存儲(chǔ)在SRAM中含噪的視頻圖像序列v(i, j, k)=u(i, j, k)+n(i, j, k)在 行方向和列方向分別做累加，得到的行投影向量和列投影向量，用一組FIFO交替緩存；由 于視頻圖像的場(chǎng)景的運(yùn)動(dòng)會(huì)影響投影向量的計(jì)算精度，所以要利用余弦-正弦濾波模型對(duì) 行方向和列方向的投影向量進(jìn)行修正，得到修正后的行投影向量和列投影向量；
[0010] 步驟3 :將相鄰兩幀圖像修正后的行投影向量和列投影向量分別做相關(guān)運(yùn)算，得 到行方向的互相關(guān)系數(shù)矩陣和列方向的互相關(guān)系數(shù)矩陣，最后由互相關(guān)系數(shù)矩陣可以求得 相鄰幀圖像的相對(duì)位移汕，(Ij)，由該位移值可以確定相鄰幀圖像的重疊區(qū)域，即圖像相關(guān) 性部分；
[0011] 步驟4 :判斷相鄰幀圖像的相對(duì)位移量（屯，dj，根據(jù)相鄰幀圖像的相對(duì)位移量的 不同分別對(duì)含噪的視頻圖像采用不同的幀間濾波算法，得到去噪后的視頻圖像；
[0012] 步驟5 :將去噪后的視頻圖像按幀輸出送顯示器顯示，實(shí)時(shí)觀察圖像的去噪效果。
[0013] 本發(fā)明與現(xiàn)有技術(shù)相比，其顯著優(yōu)點(diǎn)為：1、利用視頻圖像中相鄰幀圖像的相關(guān)性 對(duì)圖像進(jìn)行降噪處理，即在圖像的時(shí)間域上降噪，避免了空間域降噪所帶來(lái)的邊緣及細(xì)節(jié) 模糊的現(xiàn)象。2、對(duì)圖像進(jìn)行幀間濾波是根據(jù)圖像的配準(zhǔn)結(jié)果來(lái)進(jìn)行的，即先對(duì)圖像做配準(zhǔn)， 然后根據(jù)配準(zhǔn)結(jié)果分別采用不同的幀間濾波算法，這樣可以避免經(jīng)過(guò)幀間濾波處理后引起 運(yùn)動(dòng)目標(biāo)的模糊和丟失的現(xiàn)象。3、本發(fā)明針對(duì)配準(zhǔn)結(jié)果設(shè)計(jì)了三種不同的幀間濾波算法， 根據(jù)視頻圖像之間的特點(diǎn)，采用最適合的去噪算法，以達(dá)到最好的去噪效果，提高圖像信噪 比。

【專利附圖】

【附圖說(shuō)明】
[0014] 圖1是本發(fā)明一種基于CCD圖像的利用幀間相關(guān)性降噪方法的系統(tǒng)流程圖。
[0015] 圖2是本發(fā)明一種基于CCD圖像的利用幀間相關(guān)性降噪方法的算法流程圖。
[0016] 圖3是當(dāng)輸入的視頻圖像為靜止圖像時(shí)，采用本發(fā)明一種基于(XD圖像的利用幀 間相關(guān)性降噪方法后的結(jié)果；其中圖（a)為原始的輸入視頻圖像，圖（b)為對(duì)原始視頻圖像 做降噪處理后的效果圖。
[0017] 圖4是當(dāng)輸入的視頻圖像的相鄰幀圖像間存在較小的位移時(shí)，采用本發(fā)明一種基 于CCD圖像的利用幀間相關(guān)性降噪方法后的結(jié)果；其中圖（a)為原始的輸入視頻圖像，圖 (b)為對(duì)原始視頻圖像做降噪處理后的效果圖。
[0018] 圖5是當(dāng)輸入的視頻圖像的相鄰幀圖像間存在較大位移時(shí)，采用本發(fā)明一種基于 CCD圖像的利用幀間相關(guān)性降噪方法后的結(jié)果；其中圖（a)為原始的輸入視頻圖像，圖（b) 為對(duì)原始視頻圖像做降噪處理后的效果圖。

【具體實(shí)施方式】
[0019] 下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述。
[0020] ⑴、本發(fā)明一種基于C⑶圖像的利用幀間相關(guān)性降噪方法，其原理為：在視頻圖像 序列中，特別是對(duì)于運(yùn)動(dòng)緩慢的視頻圖像序列，相鄰幀之間的圖像存在很強(qiáng)的相關(guān)性，而噪 聲總是隨機(jī)出現(xiàn)在視頻圖像中，不具有相關(guān)性，所以可以根據(jù)相鄰幀的圖像的運(yùn)動(dòng)強(qiáng)度檢 測(cè)判斷對(duì)相鄰幀進(jìn)行加權(quán)平均，從而降低圖像的噪聲提高圖像的信噪比。
[0021] ⑵、首先對(duì)本發(fā)明方法進(jìn)行描述：
[0022] 根據(jù)視頻圖像噪聲模型，視頻序列中一幅含噪圖像可以表示為：
[0023] V (i, j, k) =u (i, j, k) +n (i, j, k) (I)
[0024] 其中v(i，j，k)表示人眼所觀察到的圖像，u(i，j，k)表示成像系統(tǒng)的理想圖像， n(i，j，k)表示圖像在數(shù)字化和傳輸過(guò)程中常受到成像設(shè)備與外部環(huán)境干擾等影響而加入 的噪聲，（i，j)表示圖像像素點(diǎn)的位置，（k)表示視頻序列的第k幀圖像。假設(shè)對(duì)視頻圖像 的相鄰的1幀圖像進(jìn)行幀間均值濾波，均值即為：

【權(quán)利要求】
1. 一種基于CCD圖像的利用峽間相關(guān)性降噪方法，其特征在于包括W下步驟： 步驟1 ;將含噪的視頻圖像序列V (i，j，k) =11 (i，j，k) +n (i，j，k)按巾貞存儲(chǔ)到SRAM中，其 中v(i, j, k)表示人眼所觀察到的圖像，u(i, j, k)表示成像系統(tǒng)的理想圖像，n(i, j, k)表示 圖像在數(shù)字化和傳輸過(guò)程中常受到成像設(shè)備與外部環(huán)境干擾等影響而加入的噪聲，（i，j) 表示圖像像素點(diǎn)的位置，化）表示視頻序列的第k峽圖像； 步驟2 ;對(duì)存儲(chǔ)在SRAM中含噪的視頻圖像序列v(i，j，k)=u(i，j，k)+n(i，j，k)在行方 向和列方向分別做累加，得到的行投影向量和列投影向量，用一組FIFO交替緩存；由于視 頻圖像的場(chǎng)景的運(yùn)動(dòng)會(huì)影響投影向量的計(jì)算精度，所W要利用余弦-正弦濾波模型對(duì)行方 向和列方向的投影向量進(jìn)行修正，得到修正后的行投影向量和列投影向量； 步驟3 ;將相鄰兩峽圖像修正后的行投影向量和列投影向量分別做相關(guān)運(yùn)算，得到行 方向的互相關(guān)系數(shù)矩陣和列方向的互相關(guān)系數(shù)矩陣，最后由互相關(guān)系數(shù)矩陣可W求得相鄰 峽圖像的相對(duì)位移量化，dj.)，由該位移量可W確定相鄰峽圖像的重疊區(qū)域，即圖像相關(guān)性 部分； 步驟4 ;判斷相鄰峽圖像的相對(duì)位移量化，dj.)，根據(jù)相鄰峽圖像的相對(duì)位移量的不同 分別對(duì)含噪的視頻圖像采用不同的峽間濾波算法，得到去噪后的視頻圖像； 步驟5 ;將去噪后的視頻圖像按峽輸出送顯示器顯示，實(shí)時(shí)觀察圖像的去噪效果。
2. 根據(jù)權(quán)利要求1所述的基于CCD圖像的利用峽間相關(guān)性降噪方法，其特征在于，步 驟2所述的SRAM中的含噪的視頻圖像序列在行和列方向分別做累加，對(duì)于含噪的視頻圖像 序列的第k峽圖像，圖像大小為M*N，M為圖像的行數(shù)、N為圖像的列數(shù)，M、N都為自然數(shù)，分 別對(duì)含噪的視頻圖像進(jìn)行行方向投影和列方向投影，確定行投影向量I(i)和列投影向量 I(j)分別為：
公式做中的
表示行方向的均值，公式（7)中的
，表示列方向的均值；由于視頻圖像的場(chǎng)景的運(yùn)動(dòng)會(huì)影響投影向 量的計(jì)算精度，所W要利用余弦-正弦濾波模型對(duì)行列方向的投影向量進(jìn)行修正；修正后 的行投影向量I'（i)和列投影向量I'（j)如下：



上式中的5 表示行方向上設(shè)定的位移量的最大值，5。。1表示列方向上設(shè)定的位移量 的最大值。
3. 根據(jù)權(quán)利要求2所述的基于CCD圖像的利用峽間相關(guān)性降噪方法，其特征在于：上 述5r"范圍為[0:30] ; 5。。1范圍為[0:30]。
4. 根據(jù)權(quán)利要求1所述的基于CCD圖像的利用峽間相關(guān)性降噪方法，其特征在于，步驟 3所述的相鄰兩峽圖像修正后的行投影向量和列投影向量分別做相關(guān)運(yùn)算，具體步驟為： 根據(jù)修正后的行投影向量和列投影向量，確定行方向的互相關(guān)矩陣Arr,。，和列方向的 互相關(guān)矩陣ArrcDi :
相鄰兩峽圖像，當(dāng)前峽記為C，上一峽為參考峽記為R，公式（10)中的為上一峽圖像 的行方向的投影向量、Ct。，當(dāng)前峽圖像的行方向的投影向量；公式（11)中的氏。1為上一峽圖 像的列方向的投影向量、。。1當(dāng)前峽圖像的列方向的投影向量； 利用上式確定相鄰兩峽圖像的行方向和列方向的互相關(guān)矩陣后，行方向和列方向的互 相關(guān)矩陣的最小值即為對(duì)應(yīng)的行方向和列方向的相對(duì)位移量（di，dj.): di=argmin (Arr^") (12) dj=argmin (Afrcoi) (13) 通過(guò)上述相對(duì)位移量（d。dj.)，確定相鄰峽圖像的重疊區(qū)域。
5. 根據(jù)權(quán)利要求1所述的基于CCD圖像的利用峽間相關(guān)性降噪方法，其特征在于，步驟 4所述的根據(jù)相鄰峽圖像的相對(duì)位移采用不同的峽間濾波算法，具體包括W下H種情況： ① 若（di，dp=0 ;視頻圖像序列的相鄰兩峽圖像是相對(duì)靜止的，則此時(shí)在整峽圖像范圍 內(nèi)對(duì)圖像采用多級(jí)可調(diào)的峽間濾波算法，通過(guò)改變疊加峽的數(shù)目達(dá)到最佳的去噪效果；設(shè) 疊加峽的數(shù)目為L(zhǎng)，L為自然數(shù)，則經(jīng)濾波后的輸出圖像j，k)為：
② 若（di，dj.)<S，5為闊值：視頻圖像序列的相鄰兩峽圖像之間有微小位移，則此時(shí)利 用位移值確定圖像的重疊區(qū)域，然后對(duì)重疊區(qū)域利用峽間均值濾波算法來(lái)降低噪聲，提高 圖像的信噪比，由于非重疊區(qū)域占整幅圖像的比例非常小，其噪聲對(duì)圖像顯示效果的影響 可W忽略不計(jì)，所W非重疊區(qū)域直接輸出即可，即經(jīng)濾波后的輸出圖像j，k)為：


③若（di，dj.)〉5, 5為闊值：視頻圖像序列的相鄰兩峽圖像之間存在較大的位移，此時(shí) 由于非重疊區(qū)域占整幅圖像的比例較大，非重疊區(qū)域的噪聲不可W忽略不計(jì)了，則此時(shí)對(duì) 重疊區(qū)域利用峽間均值濾波來(lái)降低噪聲，非重疊區(qū)域則利用圖像本身的相關(guān)性利用中值濾 波算法來(lái)去除噪聲，最后經(jīng)濾波后的輸出圖像j，k)為：
上式中的me壯ilter{v(i，j, k)}為中值濾波算法。
【文檔編號(hào)】G06T5/50GK104424628SQ201310392211
【公開(kāi)日】2015年3月18日 申請(qǐng)日期:2013年9月2日 優(yōu)先權(quán)日:2013年9月2日
【發(fā)明者】隋修寶, 顏奇歡, 樊曉清, 陳錢(qián), 顧國(guó)華, 錢(qián)佳, 王晨, 尹春梅, 高航, 李曉帆 申請(qǐng)人:南京理工大學(xué)