本發(fā)明屬于計算機視覺檢測技術領域，尤其是一種基于低秩多尺度融合的圖像顯著性檢測方法。

背景技術：

在計算機視覺領域，顯著性物體檢測方法被分為自底向上的場景驅動模型和自頂向下的期望驅動模型兩大類。自底向上的方法主要基于圖片景色的場景信息，而自頂向下的方法則是由知識、期望和目的決定的?，F在已經提出了很多顯著性檢測方法，例如RC、CA等。這些顯著性檢測方法大部分都是針對單尺度圖片的顯著性檢測并且已經取得了不錯的效果。但是這些方法具有一個共同的問題就是當物體處在小尺度大對比度的自然場景下時，一般不能很好地檢測到圖片中的顯著性物體。針對這種情況，一般有兩種解決方法，一種是繼續(xù)尋找更好的顯著性物體，另一種就是利用其它的也包含相同顯著性物體的圖片輔助監(jiān)測顯著性物體，這種方法被稱為協(xié)同顯著性檢測。

基于低秩矩陣恢復的顯著性檢測方法是基于如下先驗假設：顯著性目標在整幅圖上是稀疏的，這樣一幅圖像就可以看成是背景加上在背景上稀疏分布的一些顯著性目標，而圖像背景具有低秩特性，進而將一副自然圖像分解為一個低秩矩陣和一個稀疏矩陣，因此顯著性檢測轉化為一個低秩矩陣的恢復問題。

技術實現要素：

本發(fā)明的目的在于克服現有技術的不足，提供一種基于低秩多尺度融合的圖像顯著性檢測方法，解決了現有檢測方法存在尺度選擇困難的問題以及可靠性的問題。

本發(fā)明解決其技術問題是采取以下技術方案實現的：

一種基于低秩多尺度融合的圖像顯著性檢測方法，包括以下步驟：

步驟1、對輸入的圖像進行單尺度顯著性檢測；

步驟2、對單尺度顯著性檢測后的圖像進行多尺度顯著性融合處理，得到融合顯著性圖；

步驟3、對多尺度顯著性融合處理后的融合顯著性圖進行顯著性細化處理，得到最終的協(xié)同顯著性圖像。

進一步，所述步驟1的具體處理方法包括以下步驟：

⑴將圖像過分割成多尺度分割圖并進行特征提??；

⑵采用背景先驗方法進行顯著性先驗處理；

⑶進行顯著性計算。

進一步，所述步驟⑴的方法為：將對于輸入的圖像，使用SLIC方法將輸入的圖像分割成超像素，并提取出122維的位置特征、顏色特征和紋理特征。

進一步，所述步驟⑶的顯著性計算方法采用如下顯著性模型進行：

SP(i)為第i個超像素的顯著性值，是第i個超像素第j個特征的顯著性值。是第i個超像素所有特征的顯著性值向量。

進一步，所述步驟2的具體方法為：首先，將一幅圖像分割成不同的尺度；然后，計算每個尺度上的顯著性圖；最后，通過將所有尺度的顯著性值乘以對應的自適應權重來計算融合顯著性圖。

進一步，所述自適應權重表示如下：

其中，Z是一個配分函數；

所述融合顯著性圖采用如下公式計算：

ωi代表了第i個尺度的顯著性圖的自適應權重，代表了第i個尺度的特征值，代表了多個尺度融合后的顯著性圖。

進一步，所述步驟3的處理方法包括：

⑴對當前圖像進行平滑性處理，使得圖像達到空間平滑；

⑵對圖像進行協(xié)同顯著性檢測。

進一步，所述步驟⑴對當前圖像進行平滑性處理的方法為：采用如下能量函數實現：

其中，S_I表示每個超像素i的顯著性值，表示背景的概率，表示前景的概率，Nei(i)：表示第i個超像素的鄰域，權重ω_ij：定義為：

其中，表示在CIE-LAB顏色空間中顏色均值的L2距離，

進一步，所述步驟⑵對圖像進行協(xié)同顯著性檢測包括以下步驟：

①單一顯著點檢測：對于給定的一系列的圖像I_set＝{I₁，I₂，...，I_n}，計算每幅圖像的單一顯著性圖，用S_i表示第i個圖像的單一顯著性圖；

②二值分割：使用自適應閾值T_i：把單一顯著性圖劃分成二元掩膜M_i，T_i定義為：

T_i＝α·mean(S_i)

其中，α＝2；

③協(xié)同顯著性先驗估計：GMM算法使用5個高斯模型來為第i個圖片中的前景像素構建顏色模型G_i，然后用估計第j個圖片中的模M_j的前景概率；對于每個圖片得到n個前景概率的估計值，然后對每張圖片計算協(xié)同顯著性先驗來獲得這些估計值的平均值；

④協(xié)同顯著性計算：將協(xié)同顯著性先驗合并到單一顯著性檢測模型中得到最后的協(xié)同顯著性圖像。

本發(fā)明的優(yōu)點和積極效果是：

本發(fā)明將基于低秩矩陣恢復的顯著性檢測方法和多尺度顯著性融合的方法應用到了顯著性檢測中，并通過運用基于GMM的協(xié)同顯著性先驗，將多尺度低秩顯著性檢測推廣到多幅圖像協(xié)同顯著性檢測中，以檢測多幅圖像中出現的相同或相似的區(qū)域，本發(fā)明所提出的低秩多尺度超像素融合算法解決了尺度選擇困難的問題，取得了更可靠的顯著性檢測結果，有助于進一步提高顯著性檢測的處理能力。

附圖說明

圖1為本發(fā)明的基于低秩多尺度融合的圖像顯著性檢測方法流程圖；

圖2為本發(fā)明提取的顯著性特征維數和描述示意圖；

圖3為本發(fā)明在MSRA數據集上性能的比較效果圖；

圖4為本發(fā)明在ESCCD數據集上性能的比較效果圖；

圖5為本發(fā)明在image pair數據集上的協(xié)同顯著性方法性能的比較圖。

具體實施方式

以下結合附圖對本發(fā)明實施例做進一步詳述：

一種基于低秩多尺度融合的圖像顯著性檢測方法，如圖1所示，包括以下步驟：

步驟1、對輸入的圖像進行單尺度的顯著性檢測。具體方法為：

⑴將圖像過分割成多尺度分割圖并進行特征提取

對于輸入的圖像，我們使用SLIC將它分割成超像素，并提取出122維的特征，包括位置、顏色、紋理，如圖2所示。具體做法是：我們提取40維的顏色特征，3尺度下4個方向共12個steerable pyramids特征，3尺度12方向共36個Gabor特征，用HOG提取出31維的特征。

⑵顯著性先驗處理

目前，一些自頂向下的方法已經被用來進一步提高顯著性檢測的性能。代表性的方法有各種不同的顯著性先驗，如中心先驗、物體先驗、背景先驗、這些方法都是為了提高一幅圖像中顯著性物體可能存在的位置。在本方法中，我們采用背景先驗方法進行顯著性先驗處理。

⑶顯著性計算

由于低秩分析對顯著性檢測很有幫助，我們可以把一幅圖像分成冗余部分和顯著性部分。冗余部分表示具有高度的規(guī)則性，顯著性部分表示新穎性。我們可以把這種分解表示成低秩矩陣的恢復問題：

s.t.F＝B+S

其中，F＝[f₁,f₂,...,f_n]是N個特征向量組成的特征矩陣，B是通過對背景建模得到的低秩矩陣，S是通過對顯著性建模得到的稀疏矩陣。

由于以上的問題是一個NP問題，因此我們轉換成下面的方式來解決：

s.t.F＝B+S

但是，在最初的特征空間分解F總是會獲得較差的物體顯著性檢測結果。為了得到一個好的結果，我們先學習一個變換矩陣T,通過將特征矩陣F左乘T，我們獲得一個變換特征矩陣TF。在變換后的空間中，圖像背景的特征存在于一個低維度子空間中。因此，它們可以被表示成一個低秩矩陣。先驗P可以用P左乘TF來更新，因此，最終的顯著性模型為：

s.t.TFP＝B+S

假設S是方程的最優(yōu)解。那么第i個超像素的顯著性值SP(i)為：

步驟2、對單尺度顯著性檢測后的圖像進行多尺度顯著性融合處理，得到融合顯著性圖。

由于在單一尺度圖像上的顯著性檢測效果可能會不理想，為了獲得一個可靠的顯著性檢測結果，本專利多尺度融合方法：首先，我們把一幅圖像分割成不同的尺度；然后，用以上方法計算每個尺度上的顯著性圖；最后，我們通過把所有尺度的顯著性值乘以對應的自適應權重來計算融合顯著性圖。

一個超像素的顯著性值就是包含在這個超像素區(qū)域中的所有顯著性值的平均值，我們把每個尺度上的所有超像素的顯著性值表示成一個行向量，所有尺度上的每個超像素的顯著性值組成一個顯著性指示矩陣SI。理想的情況是顯著性檢測結果在所有尺度上都是一致的，因此，指示矩陣的秩應該為1。我們可以把這個問題轉化為低秩矩陣的恢復問題：

s.t.SI＝L+E

其中，最優(yōu)解E表示多尺度顯著性檢測結果的不同。我們把E中的每行元素的絕對值求和，就會得到一個向量其中，n表示尺度。E_i越大，表示第i個顯著性圖與其他顯著性圖的不一致性越高。因此，對應的顯著性圖應該賦一個很小的權重。適應性權重表示為：

其中，Z是一個配分函數。最后，融合顯著性圖可以用如下公式計算：

步驟3、對多尺度顯著性融合處理后的融合顯著性圖進行顯著性細化處理，得到最終的顯著性圖像。具體包括：

(1)對當前圖像進行平滑性處理，使得圖像達到空間平滑

在完成了后，我們開始考慮相鄰超像素之間的平滑性。我們用一個能量函數來優(yōu)化融合后的顯著性圖：

其中，S_I表示每個超像素i的顯著性值，表示背景的概率，表示前景的概率。(該方法中)，Nei(i)：表示第i個超像素的鄰域。權重ω_ij：定義為：

其中，表示在CIE-LAB顏色空間中顏色均值的L2距離，

⑵對圖像進行協(xié)同顯著性檢測，包括單一顯著點檢測、二值分割、協(xié)同顯著性先驗估計、協(xié)同顯著性計算處理步驟，說明如下：

①單一顯著點檢測

對于給定的一系列的圖像I_set＝{I₁，I₂，...，I_n}，用上面所提到的方法計算每幅圖像的單一顯著性圖，用S_i表示第i個圖像的單一顯著性圖。

②二值分割

我們用自適應閾值T_i：把單一顯著性圖劃分成二元掩膜M_i，T_i定義為：

T_i＝α·mean(S_i)

其中，在我們的實驗中α＝2。顯著性值比我們給定的自適應閾值大的像素或超像素就是前景，否則就是背景。

③協(xié)同顯著性先驗估計

我們使用GMM來獲得協(xié)同顯著性先驗，具體方法為：GMM算法使用5個高斯模型來為第i個圖片中的前景像素構建顏色模型G_i，然后用估計第j個圖片中的模M_j的前景概率。對于每個圖片都將得到n個前景概率的估計值，然后對每張圖片計算協(xié)同顯著性先驗來獲得這些估計值的平均值。

④協(xié)同顯著性計算

最后，我們把協(xié)同顯著性先驗合并到單一顯著性檢測模型中得到最后的協(xié)同顯著性的圖像。

通過以上步驟可以實現低秩分析多尺度超像素來檢測顯著物體功能。

圖3為本發(fā)明在MSRA數據集上性能的比較效果圖，從圖中可以看出，在該數據集上與現有技術相比，我們方法的PR曲線和ROC曲線均為最優(yōu)，MAE為最小，AUC最高；圖4為本發(fā)明在ESCCD數據集上性能的比較效果圖，從圖中可以看出，在該數據集上與現有技術相比，我們方法的PR曲線和ROC曲線均為最優(yōu)，MAE為最小，AUC最高；圖5為本發(fā)明在image pair數據集上的協(xié)同顯著性方法性能的比較圖，從圖中可以看出，在該數據集上與現有技術相比，我們方法的fmeasure,precision和recall均為最高，MAE為最小；因此本發(fā)明在不同的數據集上與現有技術相比，其檢測效果有顯著提高。

需要強調的是，本發(fā)明所述的實施例是說明性的，而不是限定性的，因此本發(fā)明包括并不限于具體實施方式中所述的實施例，凡是由本領域技術人員根據本發(fā)明的技術方案得出的其他實施方式，同樣屬于本發(fā)明保護的范圍。