本發(fā)明涉及一種圖像質(zhì)量評(píng)價(jià)方法,尤其是涉及一種基于梯度自相似度的無(wú)參考圖像客觀(guān)質(zhì)量評(píng)價(jià)方法。
背景技術(shù):
圖像是人類(lèi)獲取信息的重要途徑,圖像質(zhì)量表示圖像向人或設(shè)備提供信息的能力,直接關(guān)系著所獲取信息的充分性與準(zhǔn)確性。然而,圖像在獲取、處理、傳輸和存儲(chǔ)的過(guò)程中,由于各種因素影響,因此將不可避免的產(chǎn)生降質(zhì)問(wèn)題,這給信息的獲取或圖像的后期處理帶來(lái)了極大困難。因此,建立有效的圖像質(zhì)量評(píng)價(jià)機(jī)制非常重要,如在圖像去噪、圖像融合等處理過(guò)程中可用于各種算法的性能比較、參數(shù)選擇;在圖像編碼與通信領(lǐng)域可用于指導(dǎo)整個(gè)圖像的傳輸過(guò)程并評(píng)估系統(tǒng)性能。
圖像質(zhì)量評(píng)價(jià)方法可以分為兩類(lèi):主觀(guān)評(píng)價(jià)方法和客觀(guān)評(píng)價(jià)方法。前者是由觀(guān)察者對(duì)圖像質(zhì)量進(jìn)行評(píng)分,得到平均評(píng)價(jià)分用以衡量圖像質(zhì)量;后者是利用數(shù)學(xué)模型計(jì)算圖像質(zhì)量。主觀(guān)評(píng)價(jià)方法的實(shí)驗(yàn)結(jié)果比較可靠,但費(fèi)時(shí)費(fèi)力??陀^(guān)評(píng)價(jià)方法又可分為三類(lèi):全參考圖像質(zhì)量評(píng)價(jià)方法、半?yún)⒖紙D像質(zhì)量評(píng)價(jià)方法和無(wú)參考圖像質(zhì)量評(píng)價(jià)方法,當(dāng)前研究最多的是全參考圖像質(zhì)量評(píng)價(jià)方法,但是多數(shù)應(yīng)用中無(wú)法獲得相應(yīng)的原始圖像,因此,無(wú)參考圖像質(zhì)量評(píng)價(jià)方法的研究更具實(shí)用價(jià)值。
無(wú)參考圖像質(zhì)量評(píng)價(jià)方法可分為特定失真評(píng)價(jià)方法和通用評(píng)價(jià)方法兩種,特定失真評(píng)價(jià)方法只能對(duì)某種特定失真類(lèi)型的圖像進(jìn)行評(píng)價(jià),例如jpeg、jpeg2k及gblur失真等,無(wú)法對(duì)其它失真類(lèi)型的圖像及多種處理技術(shù)處理后的圖像進(jìn)行質(zhì)量評(píng)價(jià);通用評(píng)價(jià)方法可以同時(shí)對(duì)多種失真類(lèi)型的圖像進(jìn)行評(píng)價(jià)。
然而,現(xiàn)有的通用無(wú)參考圖像質(zhì)量評(píng)價(jià)方法并沒(méi)有充分考慮結(jié)構(gòu)失真對(duì)視覺(jué)質(zhì)量的影響,因此,如何在評(píng)價(jià)過(guò)程中有效地提取視覺(jué)結(jié)構(gòu)特征信息,在評(píng)價(jià)過(guò)程中與人眼視覺(jué)特性結(jié)合,通過(guò)梯度自相似度特征提取和機(jī)器學(xué)習(xí)等方法,使得客觀(guān)評(píng)價(jià)結(jié)果更加符合人類(lèi)視覺(jué)感知系統(tǒng),是圖像進(jìn)行客觀(guān)質(zhì)量評(píng)價(jià)過(guò)程中需要研究解決的問(wèn)題。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種基于梯度自相似度的無(wú)參考圖像客觀(guān)質(zhì)量評(píng)價(jià)方法,其能夠充分考慮到圖像梯度自相似度改變對(duì)視覺(jué)質(zhì)量的影響,從而能夠有效地提高客觀(guān)評(píng)價(jià)結(jié)果與主觀(guān)感知之間的相關(guān)性。
本發(fā)明解決上述技術(shù)問(wèn)題所采用的技術(shù)方案為:一種基于梯度自相似度的無(wú)參考圖像客觀(guān)質(zhì)量評(píng)價(jià)方法,其特征在于包括以下步驟:
①令{id(x,y)}表示待評(píng)價(jià)的失真圖像,其中,1≤x≤w,1≤y≤h,w表示{id(x,y)}的寬度,h表示{id(x,y)}的高度,id(x,y)表示{id(x,y)}中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值;
②對(duì){id(x,y)}實(shí)施梯度濾波,得到{id(x,y)}的梯度信息的幅值圖像,記為{md(x,y)},其中,md(x,y)表示{md(x,y)}中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值;
③對(duì){md(x,y)}進(jìn)行四個(gè)方向的濾波處理,得到{md(x,y)}的水平方向信息圖像、垂直方向信息圖像、主對(duì)角線(xiàn)方向信息圖像和副對(duì)角線(xiàn)方向信息圖像,對(duì)應(yīng)記為{hd(x,y)}、{vd(x,y)}、{dd(x,y)}和
④計(jì)算{md(x,y)}與{hd(x,y)}之間的自相似度圖像,記為{hd,sim(x,y)};同樣,計(jì)算{md(x,y)}與{vd(x,y)}之間的自相似度圖像,記為{vd,sim(x,y)};計(jì)算{md(x,y)}與{dd(x,y)}之間的自相似度圖像,記為{dd,sim(x,y)};計(jì)算{md(x,y)}與
⑤采用像素間特征提取方法中的局部二值化模式操作對(duì){hd,sim(x,y)}進(jìn)行處理,得到{hd,sim(x,y)}的像素間特征圖,記為{hd,sim,lbp(x,y)};同樣,采用像素間特征提取方法中的局部二值化模式操作對(duì){vd,sim(x,y)}進(jìn)行處理,得到{vd,sim(x,y)}的像素間特征圖,記為{vd,sim,lbp(x,y)};采用像素間特征提取方法中的局部二值化模式操作對(duì){dd,sim(x,y)}進(jìn)行處理,得到{dd,sim(x,y)}的像素間特征圖,記為{dd,sim,lbp(x,y)};采用像素間特征提取方法中的局部二值化模式操作對(duì)
并采用像素內(nèi)特征提取方法中的等步長(zhǎng)量化操作對(duì){hd,sim(x,y)}進(jìn)行處理,得到{hd,sim(x,y)}的像素內(nèi)特征圖,記為{hd,sim,q(x,y)};同樣,采用像素內(nèi)特征提取方法中的等步長(zhǎng)量化操作對(duì){vd,sim(x,y)}進(jìn)行處理,得到{vd,sim(x,y)}的像素內(nèi)特征圖,記為{vd,sim,q(x,y)};采用像素內(nèi)特征提取方法中的等步長(zhǎng)量化操作對(duì){dd,sim(x,y)}進(jìn)行處理,得到{dd,sim(x,y)}的像素內(nèi)特征圖,記為{dd,sim,q(x,y)};采用像素內(nèi)特征提取方法中的等步長(zhǎng)量化操作對(duì)
⑥采用直方圖統(tǒng)計(jì)方法對(duì){hd,sim,lbp(x,y)}進(jìn)行統(tǒng)計(jì)操作,得到{hd,sim,lbp(x,y)}的直方圖統(tǒng)計(jì)特征向量,記為hd,sim,lbp,hist;同樣,采用直方圖統(tǒng)計(jì)方法對(duì){vd,sim,lbp(x,y)}進(jìn)行統(tǒng)計(jì)操作,得到{vd,sim,lbp(x,y)}的直方圖統(tǒng)計(jì)特征向量,記為vd,sim,lbp,hist;采用直方圖統(tǒng)計(jì)方法對(duì){dd,sim,lbp(x,y)}進(jìn)行統(tǒng)計(jì)操作,得到{dd,sim,lbp(x,y)}的直方圖統(tǒng)計(jì)特征向量,記為dd,sim,lbp,hist;采用直方圖統(tǒng)計(jì)方法對(duì)
采用直方圖統(tǒng)計(jì)方法對(duì){hd,sim,q(x,y)}進(jìn)行統(tǒng)計(jì)操作,得到{hd,sim,q(x,y)}的直方圖統(tǒng)計(jì)特征向量,記為hd,sim,q,hist;同樣,采用直方圖統(tǒng)計(jì)方法對(duì){vd,sim,q(x,y)}進(jìn)行統(tǒng)計(jì)操作,得到{vd,sim,q(x,y)}的直方圖統(tǒng)計(jì)特征向量,記為vd,sim,q,hist;采用直方圖統(tǒng)計(jì)方法對(duì){dd,sim,q(x,y)}進(jìn)行統(tǒng)計(jì)操作,得到{dd,sim,q(x,y)}的直方圖統(tǒng)計(jì)特征向量,記為dd,sim,q,hist;采用直方圖統(tǒng)計(jì)方法對(duì)
⑦采用n”幅原始的無(wú)失真圖像,建立其在不同失真類(lèi)型不同失真程度下的失真圖像集合,將該失真圖像集合作為訓(xùn)練集,訓(xùn)練集包括多幅失真圖像;然后利用主觀(guān)質(zhì)量評(píng)價(jià)方法評(píng)價(jià)出訓(xùn)練集中的每幅失真圖像的主觀(guān)評(píng)分值,將訓(xùn)練集中的第j幅失真圖像的主觀(guān)評(píng)分值記為dmosj;再按照步驟①至步驟⑥的操作,以相同的方式獲取訓(xùn)練集中的每幅失真圖像對(duì)應(yīng)的8個(gè)直方圖統(tǒng)計(jì)特征向量,將訓(xùn)練集中的第j幅失真圖像對(duì)應(yīng)的8個(gè)直方圖統(tǒng)計(jì)特征向量依次記為
⑧利用支持向量回歸對(duì)訓(xùn)練集中的所有失真圖像各自的主觀(guān)評(píng)分值及對(duì)應(yīng)的8個(gè)直方圖統(tǒng)計(jì)特征向量進(jìn)行訓(xùn)練,使得經(jīng)過(guò)訓(xùn)練得到的回歸函數(shù)值與主觀(guān)評(píng)分值之間的誤差最小,擬合得到最優(yōu)的權(quán)值矢量wopt和最優(yōu)的偏置項(xiàng)bopt;接著利用wopt和bopt構(gòu)造得到支持向量回歸訓(xùn)練模型;再根據(jù)支持向量回歸訓(xùn)練模型,對(duì)hd,sim,lbp,hist、vd,sim,lbp,hist、dd,sim,lbp,hist、
所述的步驟②中采用以sobel算子作為梯度算子的梯度濾波器對(duì){id(x,y)}實(shí)施梯度濾波。
所述的步驟③中hd(x,y)=md(x,y+1),vd(x,y)=md(x+1,y),dd(x,y)=md(x+1,y+1),
所述的步驟④中
所述的步驟⑤中的像素間特征提取方法中的局部二值化模式操作中的鄰域參數(shù)p取值為8,且局部半徑參數(shù)r取值為1;所述的步驟⑤中的像素內(nèi)特征提取方法中的等步長(zhǎng)量化操作的步長(zhǎng)δ取值為0.1。
與現(xiàn)有技術(shù)相比,本發(fā)明的優(yōu)點(diǎn)在于:
1)本發(fā)明方法在充分利用了視覺(jué)感知特性的基礎(chǔ)上,采用計(jì)算梯度自相似度的方法獲取視覺(jué)感知特征,因此能有效地提高客觀(guān)評(píng)價(jià)結(jié)果與主觀(guān)感知之間的相關(guān)性。
2)本發(fā)明方法在提取特征時(shí),采用了像素間特征提取方法和像素內(nèi)特征提取方法相結(jié)合,使得圖像特征更能反映圖像失真程度。
3)本發(fā)明方法采用機(jī)器學(xué)習(xí)的方法即支持向量回歸模擬視覺(jué)記憶檢索功能,能夠獲得更加準(zhǔn)確的失真圖像的客觀(guān)質(zhì)量評(píng)價(jià)預(yù)測(cè)值。
附圖說(shuō)明
圖1為本發(fā)明方法的總體實(shí)現(xiàn)框圖。
具體實(shí)施方式
以下結(jié)合附圖實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述。
本發(fā)明提出的一種基于梯度自相似度的無(wú)參考圖像客觀(guān)質(zhì)量評(píng)價(jià)方法,其總體實(shí)現(xiàn)框圖如圖1所示,其包括以下步驟:
①令{id(x,y)}表示待評(píng)價(jià)的失真圖像,其中,1≤x≤w,1≤y≤h,w表示{id(x,y)}的寬度,h表示{id(x,y)}的高度,id(x,y)表示{id(x,y)}中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值。
②對(duì){id(x,y)}實(shí)施梯度濾波,得到{id(x,y)}的梯度信息的幅值圖像,記為{md(x,y)},其中,md(x,y)表示{md(x,y)}中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值。
在本實(shí)施例中,步驟②中采用以sobel算子作為梯度算子的梯度濾波器對(duì){id(x,y)}實(shí)施梯度濾波。
③對(duì){md(x,y)}進(jìn)行四個(gè)方向的濾波處理,得到{md(x,y)}的水平方向信息圖像、垂直方向信息圖像、主對(duì)角線(xiàn)方向信息圖像和副對(duì)角線(xiàn)方向信息圖像,對(duì)應(yīng)記為{hd(x,y)}、{vd(x,y)}、{dd(x,y)}和
在本實(shí)施例中,步驟③中hd(x,y)=md(x,y+1),vd(x,y)=md(x+1,y),dd(x,y)=md(x+1,y+1),
④計(jì)算{md(x,y)}與{hd(x,y)}之間的自相似度圖像,記為{hd,sim(x,y)};同樣,計(jì)算{md(x,y)}與{vd(x,y)}之間的自相似度圖像,記為{vd,sim(x,y)};計(jì)算{md(x,y)}與{dd(x,y)}之間的自相似度圖像,記為{dd,sim(x,y)};計(jì)算{md(x,y)}與
在本實(shí)施例中,步驟④中
⑤采用現(xiàn)有的像素間特征提取方法中的局部二值化模式操作對(duì){hd,sim(x,y)}進(jìn)行處理,得到{hd,sim(x,y)}的像素間特征圖,記為{hd,sim,lbp(x,y)};同樣,采用現(xiàn)有的像素間特征提取方法中的局部二值化模式操作對(duì){vd,sim(x,y)}進(jìn)行處理,得到{vd,sim(x,y)}的像素間特征圖,記為{vd,sim,lbp(x,y)};采用現(xiàn)有的像素間特征提取方法中的局部二值化模式操作對(duì){dd,sim(x,y)}進(jìn)行處理,得到{dd,sim(x,y)}的像素間特征圖,記為{dd,sim,lbp(x,y)};采用現(xiàn)有的像素間特征提取方法中的局部二值化模式操作對(duì)
并采用現(xiàn)有的像素內(nèi)特征提取方法中的等步長(zhǎng)量化操作對(duì){hd,sim(x,y)}進(jìn)行處理,得到{hd,sim(x,y)}的像素內(nèi)特征圖,記為{hd,sim,q(x,y)};同樣,采用現(xiàn)有的像素內(nèi)特征提取方法中的等步長(zhǎng)量化操作對(duì){vd,sim(x,y)}進(jìn)行處理,得到{vd,sim(x,y)}的像素內(nèi)特征圖,記為{vd,sim,q(x,y)};采用現(xiàn)有的像素內(nèi)特征提取方法中的等步長(zhǎng)量化操作對(duì){dd,sim(x,y)}進(jìn)行處理,得到{dd,sim(x,y)}的像素內(nèi)特征圖,記為{dd,sim,q(x,y)};采用現(xiàn)有的像素內(nèi)特征提取方法中的等步長(zhǎng)量化操作對(duì)
在本實(shí)施例中,步驟⑤中的像素間特征提取方法中的局部二值化模式操作中的鄰域參數(shù)p取值為8,且局部半徑參數(shù)r取值為1;步驟⑤中的像素內(nèi)特征提取方法中的等步長(zhǎng)量化操作的步長(zhǎng)δ取值為0.1。
⑥采用現(xiàn)有的直方圖統(tǒng)計(jì)方法對(duì){hd,sim,lbp(x,y)}進(jìn)行統(tǒng)計(jì)操作,得到{hd,sim,lbp(x,y)}的直方圖統(tǒng)計(jì)特征向量,記為hd,sim,lbp,hist;同樣,采用現(xiàn)有的直方圖統(tǒng)計(jì)方法對(duì){vd,sim,lbp(x,y)}進(jìn)行統(tǒng)計(jì)操作,得到{vd,sim,lbp(x,y)}的直方圖統(tǒng)計(jì)特征向量,記為vd,sim,lbp,hist;采用現(xiàn)有的直方圖統(tǒng)計(jì)方法對(duì){dd,sim,lbp(x,y)}進(jìn)行統(tǒng)計(jì)操作,得到{dd,sim,lbp(x,y)}的直方圖統(tǒng)計(jì)特征向量,記為dd,sim,lbp,hist;采用現(xiàn)有的直方圖統(tǒng)計(jì)方法對(duì)
采用現(xiàn)有的直方圖統(tǒng)計(jì)方法對(duì){hd,sim,q(x,y)}進(jìn)行統(tǒng)計(jì)操作,得到{hd,sim,q(x,y)}的直方圖統(tǒng)計(jì)特征向量,記為hd,sim,q,hist;同樣,采用現(xiàn)有的直方圖統(tǒng)計(jì)方法對(duì){vd,sim,q(x,y)}進(jìn)行統(tǒng)計(jì)操作,得到{vd,sim,q(x,y)}的直方圖統(tǒng)計(jì)特征向量,記為vd,sim,q,hist;采用現(xiàn)有的直方圖統(tǒng)計(jì)方法對(duì){dd,sim,q(x,y)}進(jìn)行統(tǒng)計(jì)操作,得到{dd,sim,q(x,y)}的直方圖統(tǒng)計(jì)特征向量,記為dd,sim,q,hist;采用現(xiàn)有的直方圖統(tǒng)計(jì)方法對(duì)
⑦采用n”幅原始的無(wú)失真圖像,建立其在不同失真類(lèi)型不同失真程度下的失真圖像集合,將該失真圖像集合作為訓(xùn)練集,訓(xùn)練集包括多幅失真圖像;然后利用現(xiàn)有的主觀(guān)質(zhì)量評(píng)價(jià)方法評(píng)價(jià)出訓(xùn)練集中的每幅失真圖像的主觀(guān)評(píng)分值,將訓(xùn)練集中的第j幅失真圖像的主觀(guān)評(píng)分值記為dmosj;再按照步驟①至步驟⑥的操作,以相同的方式獲取訓(xùn)練集中的每幅失真圖像對(duì)應(yīng)的8個(gè)直方圖統(tǒng)計(jì)特征向量,將訓(xùn)練集中的第j幅失真圖像對(duì)應(yīng)的8個(gè)直方圖統(tǒng)計(jì)特征向量依次記為
⑧支持向量回歸(supportvectorregression,svr)是基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則的新型機(jī)器學(xué)習(xí)方法和統(tǒng)計(jì)學(xué)理論,其可以有效地抑制過(guò)擬合問(wèn)題,因此本發(fā)明利用支持向量回歸對(duì)訓(xùn)練集中的所有失真圖像各自的主觀(guān)評(píng)分值及對(duì)應(yīng)的8個(gè)直方圖統(tǒng)計(jì)特征向量進(jìn)行訓(xùn)練,使得經(jīng)過(guò)訓(xùn)練得到的回歸函數(shù)值與主觀(guān)評(píng)分值之間的誤差最小,擬合得到最優(yōu)的權(quán)值矢量wopt和最優(yōu)的偏置項(xiàng)bopt;接著利用wopt和bopt構(gòu)造得到支持向量回歸訓(xùn)練模型;再根據(jù)支持向量回歸訓(xùn)練模型,對(duì)hd,sim,lbp,hist、vd,sim,lbp,hist、dd,sim,lbp,hist、
為了進(jìn)一步驗(yàn)證本發(fā)明方法的可行性和有效性,進(jìn)行實(shí)驗(yàn)。
在此,采用live圖像庫(kù)來(lái)分析利用本發(fā)明方法得到的失真圖像的客觀(guān)質(zhì)量評(píng)價(jià)預(yù)測(cè)值與主觀(guān)評(píng)分值之間的相關(guān)性。這里,利用評(píng)估圖像質(zhì)量評(píng)價(jià)方法的3個(gè)常用客觀(guān)參量作為評(píng)價(jià)指標(biāo),即非線(xiàn)性回歸條件下的pearson相關(guān)系數(shù)(pearsonlinearcorrelationcoefficient,plcc)、spearman相關(guān)系數(shù)(spearmanrankordercorrelationcoefficient,srocc)、均方誤差(rootmeansquarederror,rmse),plcc和rmse反映失真圖像的客觀(guān)評(píng)價(jià)結(jié)果的準(zhǔn)確性,srocc反映其單調(diào)性。
利用本發(fā)明方法計(jì)算live圖像庫(kù)中的每幅失真圖像的客觀(guān)質(zhì)量評(píng)價(jià)預(yù)測(cè)值,再利用現(xiàn)有的主觀(guān)質(zhì)量評(píng)價(jià)方法獲得live圖像庫(kù)中的每幅失真圖像的主觀(guān)評(píng)分值。將按本發(fā)明方法計(jì)算得到的失真圖像的客觀(guān)質(zhì)量評(píng)價(jià)預(yù)測(cè)值做五參數(shù)logistic函數(shù)非線(xiàn)性擬合,plcc和srocc值越高,rmse值越低說(shuō)明客觀(guān)評(píng)價(jià)方法的客觀(guān)評(píng)價(jià)結(jié)果與主觀(guān)評(píng)分值之間的相關(guān)性越好。反映本發(fā)明方法的質(zhì)量評(píng)價(jià)性能的plcc、srocc和rmse相關(guān)系數(shù)如表1所列。從表1所列的數(shù)據(jù)可知,按本發(fā)明方法得到的失真圖像的客觀(guān)質(zhì)量評(píng)價(jià)預(yù)測(cè)值與主觀(guān)評(píng)分值之間的相關(guān)性是很好的,表明客觀(guān)評(píng)價(jià)結(jié)果與人眼主觀(guān)感知的結(jié)果較為一致,足以說(shuō)明本發(fā)明方法的可行性和有效性。
表1利用本發(fā)明方法得到的失真圖像的客觀(guān)質(zhì)量評(píng)價(jià)預(yù)測(cè)值與主觀(guān)評(píng)分值之間的相關(guān)性