本發(fā)明涉及圖像數(shù)據(jù)處理，更具體地，涉及一種基于互信息的長尾數(shù)據(jù)哈希碼生成方法及系統(tǒng)。

背景技術(shù)：

1、隨著網(wǎng)絡(luò)和媒體的發(fā)展，圖像的數(shù)據(jù)量呈爆炸式增長，我們每天都可以從網(wǎng)絡(luò)設(shè)備和媒體獲取大量的圖像數(shù)據(jù)。這些圖像數(shù)量龐大，而多數(shù)時(shí)候用戶只需要在這些眾多的圖像數(shù)據(jù)里面使用一部分，可能是某一類的圖像，也可能是特定的幾類圖像等。因此，如何根據(jù)用戶的需求，高效、準(zhǔn)確地從如此龐大的圖像數(shù)據(jù)庫中檢索出特定的內(nèi)容是圖像檢索面臨的挑戰(zhàn)性任務(wù)之一。

2、深度哈希方法作為圖像檢索方法的一個(gè)重要分支，受到了越來越多的關(guān)注?；谏疃裙５膱D像檢索方法通過利用深度神經(jīng)網(wǎng)絡(luò)對輸入的圖像進(jìn)行特征提取，將其轉(zhuǎn)化為高維特征向量，并將該向量通過學(xué)習(xí)到的哈希函數(shù)映射到低維的二進(jìn)制哈希碼上。這種基于哈希的方法具有很快的檢索速度，同時(shí)保證了檢索結(jié)果的準(zhǔn)確性。但是，現(xiàn)實(shí)中的圖像數(shù)據(jù)往往是呈現(xiàn)長尾分布的，各個(gè)類別的圖像數(shù)量分布不平衡。在長尾分布的數(shù)據(jù)中，數(shù)量多的類別稱為頭部類，而數(shù)量少的類別稱為尾部類。對于頭部類，由于樣本數(shù)量充足，訓(xùn)練得到的網(wǎng)絡(luò)對這些類數(shù)據(jù)的特征提取能力較強(qiáng)，檢索效果就好；而對于尾部類，由于樣本數(shù)量不足，網(wǎng)絡(luò)無法提取出較好的特征，導(dǎo)致檢索效果很差。在整個(gè)數(shù)據(jù)集上，頭部類和尾部類不同的特征提取能力相互作用導(dǎo)致現(xiàn)有的深度哈希方法在長尾數(shù)據(jù)集上的檢索結(jié)果較差。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明為克服現(xiàn)有的深度哈希方法在長尾數(shù)據(jù)集上的檢索結(jié)果較差的缺陷，提供一種基于互信息的長尾數(shù)據(jù)哈希碼生成方法及系統(tǒng)。

2、為解決上述技術(shù)問題，本發(fā)明的技術(shù)方案如下：

3、一種基于互信息的長尾數(shù)據(jù)哈希碼生成方法，包括以下步驟：

4、獲取長尾數(shù)據(jù)集中的圖像數(shù)據(jù)及其類別標(biāo)簽；

5、將所述圖像數(shù)據(jù)輸入結(jié)合特征增強(qiáng)的特征提取網(wǎng)絡(luò)中，得到經(jīng)過特征增強(qiáng)的圖像數(shù)據(jù)特征；

6、將所述圖像數(shù)據(jù)特征輸入哈希激活層中生成相應(yīng)的二進(jìn)制哈希碼；

7、基于最大化類別標(biāo)簽與圖像數(shù)據(jù)特征之間的互信息構(gòu)建損失函數(shù)，用于優(yōu)化所述特征提取網(wǎng)絡(luò)和所述哈希激活層，得到完成訓(xùn)練的長尾哈希模型，用于生成長尾數(shù)據(jù)哈希碼。

8、進(jìn)一步地，本發(fā)明還提出了一種基于互信息的長尾數(shù)據(jù)哈希碼生成系統(tǒng)，應(yīng)用本發(fā)明所述的長尾數(shù)據(jù)哈希碼生成方法。其中，所述系統(tǒng)包括：

9、數(shù)據(jù)采集模塊，用于獲取長尾數(shù)據(jù)集中的圖像數(shù)據(jù)及其類別標(biāo)簽；

10、特征提取模塊，用于將所述圖像數(shù)據(jù)輸入結(jié)合特征增強(qiáng)的特征提取網(wǎng)絡(luò)中，得到經(jīng)過特征增強(qiáng)的圖像數(shù)據(jù)特征；

11、哈希激活模塊，用于將所述圖像數(shù)據(jù)特征輸入哈希激活層中生成相應(yīng)的二進(jìn)制哈希碼；

12、優(yōu)化模塊，用于基于最大化類別標(biāo)簽與圖像數(shù)據(jù)特征之間的互信息構(gòu)建損失函數(shù)，用于優(yōu)化所述特征提取網(wǎng)絡(luò)和所述哈希激活層，得到完成訓(xùn)練的長尾哈希模型，用于生成長尾數(shù)據(jù)哈希碼。

13、進(jìn)一步地，本發(fā)明還提出了一種設(shè)備，包括存儲器和處理器，所述存儲器中存儲有計(jì)算機(jī)可讀指令，其中，所述計(jì)算機(jī)可讀指令被所述處理器執(zhí)行時(shí)，使得所述處理器執(zhí)行如本發(fā)明所述的長尾數(shù)據(jù)哈希碼生成方法的全部或部分步驟。

14、進(jìn)一步地，本發(fā)明還提出了一種存儲介質(zhì)，其上存儲有計(jì)算機(jī)可讀指令，其中，所述計(jì)算機(jī)可讀指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如本發(fā)明所述的長尾數(shù)據(jù)哈希碼生成方法的全部或部分步驟。

15、與現(xiàn)有技術(shù)相比，本發(fā)明技術(shù)方案的有益效果是：

16、本發(fā)明將互信息的理論融入到深度哈希方法中，通過最大化圖像特征與標(biāo)簽之間的互信息，提升特征與標(biāo)簽之間的關(guān)聯(lián)性，降低長尾分布的影響，能夠在服從長尾分布的圖像數(shù)據(jù)中進(jìn)行快速準(zhǔn)確的檢索；用戶可以克服不同類別的圖像數(shù)量不均衡的影響，快速并準(zhǔn)確地進(jìn)行圖像檢索。

技術(shù)特征：

1.一種基于互信息的長尾數(shù)據(jù)哈希碼生成方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的長尾數(shù)據(jù)哈希碼生成方法，其特征在于，將所述圖像數(shù)據(jù)輸入結(jié)合特征增強(qiáng)的特征提取網(wǎng)絡(luò)中，包括以下步驟：

3.根據(jù)權(quán)利要求2所述的長尾數(shù)據(jù)哈希碼生成方法，其特征在于，所述特征提取網(wǎng)絡(luò)包括在imagenet數(shù)據(jù)集上經(jīng)過預(yù)訓(xùn)練的resnet-50架構(gòu)。

4.根據(jù)權(quán)利要求2所述的長尾數(shù)據(jù)哈希碼生成方法，其特征在于，所述特征增強(qiáng)模塊包括基于achnet的交叉注意力特征增強(qiáng)模塊或基于lthnet的動(dòng)態(tài)元嵌入模塊。

5.根據(jù)權(quán)利要求l所述的長尾數(shù)據(jù)哈希碼生成方法，其特征在于，將所述圖像數(shù)據(jù)特征輸入哈希激活層中生成相應(yīng)的二進(jìn)制哈希碼，包括以下步驟：

6.根據(jù)權(quán)利要求1所述的長尾數(shù)據(jù)哈希碼生成方法，其特征在于，基于最大化類別標(biāo)簽與圖像數(shù)據(jù)特征之間的互信息構(gòu)建的所述損失函數(shù)包括infonce損失；其表達(dá)式為：

7.根據(jù)權(quán)利要求1～6任一項(xiàng)所述的長尾數(shù)據(jù)哈希碼生成方法，其特征在于，所述方法還包括以下步驟：對獲取的長尾數(shù)據(jù)集中圖像對應(yīng)的類別標(biāo)簽進(jìn)行預(yù)處理，得到類別標(biāo)簽的獨(dú)熱向量。

8.一種基于互信息的長尾數(shù)據(jù)哈希碼生成系統(tǒng)，應(yīng)用權(quán)利要求1～7任一項(xiàng)所述的長尾數(shù)據(jù)哈希碼生成方法，其特征在于，所述系統(tǒng)包括：

9.一種設(shè)備，包括存儲器和處理器，所述存儲器中存儲有計(jì)算機(jī)可讀指令，其特征在于，所述計(jì)算機(jī)可讀指令被所述處理器執(zhí)行時(shí)，使得所述處理器執(zhí)行如權(quán)利要求1～7任一項(xiàng)所述的長尾數(shù)據(jù)哈希碼生成方法的全部或部分步驟。

10.一種存儲介質(zhì)，其上存儲有計(jì)算機(jī)可讀指令，其特征在于，所述計(jì)算機(jī)可讀指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1～7任一項(xiàng)所述的長尾數(shù)據(jù)哈希碼生成方法的全部或部分步驟。

技術(shù)總結(jié)
本發(fā)明涉及圖像數(shù)據(jù)處理技術(shù)領(lǐng)域，提出一種基于互信息的長尾數(shù)據(jù)哈希碼生成方法及系統(tǒng)，其中包括以下步驟：獲取長尾數(shù)據(jù)集中的圖像數(shù)據(jù)及其類別標(biāo)簽；將圖像數(shù)據(jù)輸入結(jié)合特征增強(qiáng)的特征提取網(wǎng)絡(luò)中，得到經(jīng)過特征增強(qiáng)的圖像數(shù)據(jù)特征；將圖像數(shù)據(jù)特征輸入哈希激活層中生成相應(yīng)的二進(jìn)制哈希碼；基于最大化類別標(biāo)簽與圖像數(shù)據(jù)特征之間的互信息構(gòu)建損失函數(shù)，用于優(yōu)化特征提取網(wǎng)絡(luò)和哈希激活層，得到完成訓(xùn)練的長尾哈希模型，用于生成長尾數(shù)據(jù)哈希碼。本發(fā)明將互信息的理論融入到深度哈希方法中，通過最大化圖像特征與標(biāo)簽之間的互信息，提升特征與標(biāo)簽之間的關(guān)聯(lián)性，降低長尾分布的影響，能夠在服從長尾分布的圖像數(shù)據(jù)中進(jìn)行快速準(zhǔn)確的檢索。

技術(shù)研發(fā)人員：符祖俊,賴韓江,潘炎,印鑒
受保護(hù)的技術(shù)使用者：中山大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15