本發(fā)明涉及，特別是涉及一種基于圖像質(zhì)量先驗的盲臉修復方法。

背景技術(shù)：

1、盲臉修復(blind?face?restoration)是在保留人臉主體身份的同時提高退化面部圖像質(zhì)量的過程。由于實際應用中低質(zhì)量(lq)面部圖像的退化未知，以及給定lq輸入對應的高質(zhì)量(hq)輸出存在無限種可能，使得盲臉修復成為一個不適定的問題。

2、為了緩解盲臉修復的不適定性，現(xiàn)有的研究巧妙地利用了各種先驗來生成豐富的hq細節(jié)，并增強算法對多種退化的魯棒性?，F(xiàn)有的研究可以分成以下幾類：基于幾何先驗的方法、基于參考先驗的方法和基于生成先驗的方法。其中，基于碼本參考先驗的方法取得了較好的效果，也是本發(fā)明技術(shù)的基礎?；诖a本參考先驗的方法將盲臉修復作為離散表示空間內(nèi)的碼字預測任務，通常涉及兩個階段：碼本先驗學習階段和碼本查找階段。在第一個階段，使用hq圖像通過向量量化自編碼器(vector?quantization?autoencoder)訓練一個上下文信息豐富碼本。在獲得hq碼本先驗后，在第二階段中，使用各種模塊和策略(如transformers)基于給定lq輸入查找hq碼字。這種離散表示空間顯著減少了修復的不確定性，從而增強了模型對各種退化形式的魯棒性。

3、這類方法的復原結(jié)果的質(zhì)量由hq碼本決定，也即由碼本先驗學習階段的hq圖像決定。然而，由于大規(guī)模高質(zhì)量數(shù)據(jù)集獲取的難度，常用的hq訓練數(shù)據(jù)中會夾雜一些低質(zhì)量圖像，從而影響復原結(jié)果的質(zhì)量。所以這類方法難以實現(xiàn)最高質(zhì)量的人像復原。而如果人工挑選篩除訓練數(shù)據(jù)中的相對低質(zhì)量圖片，不僅需要消耗大量的人力資源，而且會導致訓練數(shù)據(jù)量的降低，從而影響復原模型的魯棒性。

4、需要說明的是，在上述背景技術(shù)部分公開的信息僅用于對本申請的背景的理解，因此可以包括不構(gòu)成對本領域普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。

技術(shù)實現(xiàn)思路

1、本發(fā)明的主要目的在于克服上述背景技術(shù)中存在的缺陷，提供一種基于圖像質(zhì)量先驗的盲臉修復方法。

2、為實現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：

3、一種基于圖像質(zhì)量先驗的盲臉修復方法，包括以下步驟：

4、s1、碼本學習階段：使用無參考圖像質(zhì)量評估(nr-iqa)模型對輸入的高質(zhì)量人臉圖像進行質(zhì)量評估，得到質(zhì)量分數(shù)；根據(jù)所述質(zhì)量分數(shù)，將所述高質(zhì)量人臉圖像的特征分別存儲到通用碼本和高質(zhì)量碼本(hq+碼本)中，其中，所述通用碼本存儲所有高質(zhì)量人臉圖像的特征，所述hq+碼本存儲質(zhì)量超過預設閾值的高質(zhì)量人臉圖像的特征；所述存儲過程包括特征提取、碼本量化和特征融合，以構(gòu)建包含豐富多樣面部特征的通用碼本和專門捕捉高質(zhì)量面部細節(jié)的hq+碼本；

5、s2、碼本查找與圖像修復階段：對于待修復的低質(zhì)量人臉圖像，使用步驟s1中評估得到的高質(zhì)量人臉圖像的質(zhì)量分數(shù)，通過碼字生成模塊生成與所述低質(zhì)量人臉圖像質(zhì)量相匹配的高質(zhì)量特征碼字序列；根據(jù)所述預測的碼字序列，從通用碼本和hq+碼本中檢索對應的碼字，并進行特征融合以得到綜合特征表示；將所述綜合特征表示輸入解碼器，生成修復后的高質(zhì)量人臉圖像；優(yōu)選地，所述碼字生成模塊為transformer網(wǎng)絡；其中，所述碼字生成模塊利用步驟s1中構(gòu)建的通用碼本和hq+碼本訓練或配置得到，以學習或建立輸入圖像質(zhì)量分數(shù)與碼本中存儲的高質(zhì)量特征之間的映射關系，使得在推理階段能夠根據(jù)輸入的質(zhì)量分數(shù)生成合適的高質(zhì)量特征碼字序列，從而實現(xiàn)基于圖像質(zhì)量先驗的盲臉修復。

6、在一些實施例中，所述基于圖像質(zhì)量先驗的盲臉修復方法還包括以下步驟：

7、s3、質(zhì)量優(yōu)化階段，用于提升修復后人臉圖像的質(zhì)量：利用離散碼本先驗限制模型輸出空間，以減少生成對抗樣本的可能性，其中對抗樣本是指那些獲得nr-iqa模型高評分但實際視覺質(zhì)量較差的圖像；通過最大化nr-iqa模型評分直接對修復模型參數(shù)進行微調(diào)，提升生成的圖像在視覺感知上的質(zhì)量；其中，通過所述碼本先驗使輸出空間內(nèi)的樣本主要體現(xiàn)高質(zhì)量面部語義信息，從而降低輸出低視覺質(zhì)量圖像的概率。

8、本發(fā)明具有如下有益效果：

9、本發(fā)明提出了一種基于圖像質(zhì)量先驗的盲臉修復方法，通過引入圖像質(zhì)量先驗信息，顯著提升了盲臉修復的效果，實現(xiàn)了更高感知質(zhì)量的人臉圖片復原。具體而言，本發(fā)明設計了雙碼本架構(gòu)，分別保留多樣化和高質(zhì)量的面部特征，并結(jié)合質(zhì)量先驗條件的碼字生成模塊，優(yōu)選transformer網(wǎng)絡，能夠在推理階段根據(jù)輸入圖像的質(zhì)量分數(shù)生成高質(zhì)量特征碼字序列，從而輸出更清晰、細節(jié)更豐富、色彩更自然美觀的修復結(jié)果。此外，本發(fā)明通過離散碼本先驗限制模型輸出空間，減少對抗樣本的生成，并通過最大化無參考圖像質(zhì)量評估(nr-iqa)評分直接優(yōu)化模型參數(shù)，進一步提升修復圖像的視覺感知質(zhì)量。本發(fā)明的分數(shù)注入算法具有即插即用的特性，可應用于現(xiàn)有各種復原算法中，且不會引入額外的推理開銷，模型參數(shù)量和推理速度基本不受影響?？傮w而言，本發(fā)明通過圖像質(zhì)量先驗的引入，解決了人像復原領域復原結(jié)果質(zhì)量不夠高的問題，提供了一種高效、高質(zhì)量的盲臉修復方法。

10、本發(fā)明實施例中的其他有益效果將在下文中進一步述及。

技術(shù)特征：

1.一種基于圖像質(zhì)量先驗的盲臉修復方法，其特征在于，包括以下步驟：

2.如權(quán)利要求1所述的基于圖像質(zhì)量先驗的盲臉修復方法，其特征在于，步驟s1中，所述碼本學習階段中的雙碼本架構(gòu)包括：

3.如權(quán)利要求2所述的基于圖像質(zhì)量先驗的盲臉修復方法，其特征在于，步驟s1中，所述碼本學習階段中的特征融合過程包括：

4.如權(quán)利要求1至3任一項所述的基于圖像質(zhì)量先驗的盲臉修復方法，其特征在于，步驟s1中，所述碼本學習階段的訓練過程包括以下?lián)p失函數(shù)的優(yōu)化：

5.如權(quán)利要求1至4任一項所述的基于圖像質(zhì)量先驗的盲臉修復方法，其特征在于，步驟s2中，所述碼本查找與圖像修復階段中的質(zhì)量先驗條件transformer網(wǎng)絡包括：

6.如權(quán)利要求5所述的基于圖像質(zhì)量先驗的盲臉修復方法，其特征在于，步驟s2中，所述transformer網(wǎng)絡的訓練過程包括：

7.如權(quán)利要求1至6任一項所述的基于圖像質(zhì)量先驗的盲臉修復方法，其特征在于，步驟s2中，所述質(zhì)量先驗條件transformer網(wǎng)絡在推理階段通過以下方式控制修復圖像的質(zhì)量：

8.如權(quán)利要求1至7任一項所述的基于圖像質(zhì)量先驗的盲臉修復方法，其特征在于，還包括以下步驟：

9.如權(quán)利要求8所述的基于圖像質(zhì)量先驗的盲臉修復方法，其特征在于，步驟s3中，所述質(zhì)量優(yōu)化階段通過以下方式減少對抗樣本的生成：

10.如權(quán)利要求9所述的基于圖像質(zhì)量先驗的盲臉修復方法，其特征在于，所述質(zhì)量優(yōu)化階段還包括：

技術(shù)總結(jié)
一種基于圖像質(zhì)量先驗的盲臉修復方法，解決人像復原領域復原結(jié)果質(zhì)量不夠高的問題。通過引入圖像質(zhì)量先驗信息，賦予修復算法圖像質(zhì)量感知能力，從而在推理階段顯著提升復原結(jié)果的圖片質(zhì)量。設計了雙碼本架構(gòu)，分別保留多樣化和高質(zhì)量的面部特征，并結(jié)合質(zhì)量先驗條件的碼字生成模塊，優(yōu)選Transformer網(wǎng)絡，在碼本查找階段根據(jù)輸入圖像的質(zhì)量分數(shù)生成高質(zhì)量特征碼字序列。此外，通過離散碼本先驗限制模型輸出空間，減少對抗樣本的生成，并通過最大化無參考圖像質(zhì)量評估(NR?IQA)評分直接優(yōu)化模型參數(shù)，進一步提升修復圖像的視覺感知質(zhì)量。本發(fā)明的復原結(jié)果在清晰度、面部細節(jié)和色彩自然度上均優(yōu)于現(xiàn)有技術(shù)，可應用于各種復原算法中，同時不會引入額外的推理開銷。

技術(shù)研發(fā)人員：李秀,胡鵬
受保護的技術(shù)使用者：清華大學深圳國際研究生院
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15