本技術(shù)涉及圖像識(shí)別，具體而言，涉及圖像識(shí)別模型訓(xùn)練方法、程序產(chǎn)品、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、圖像識(shí)別模型是指專門設(shè)計(jì)用于處理圖像數(shù)據(jù)的機(jī)器學(xué)習(xí)模型，在安防監(jiān)控、自動(dòng)駕駛、醫(yī)療診斷等領(lǐng)域都發(fā)揮著重要作用。數(shù)據(jù)集指的是一組被用來訓(xùn)練和評(píng)估模型的數(shù)據(jù)，是模型學(xué)習(xí)的主要數(shù)據(jù)來源。對(duì)于一些數(shù)據(jù)收集困難或者數(shù)據(jù)量較少的數(shù)據(jù)集，會(huì)導(dǎo)致模型的泛化能力較差，影響模型的圖像識(shí)別準(zhǔn)確度和精度。

2、例如，基于ir圖像(紅外圖像傳感器輸出的紅外圖像)的人臉識(shí)別技術(shù)，由于目前并沒有大規(guī)模公開的ir人臉數(shù)據(jù)集可用，且人臉數(shù)據(jù)收集困難，目前一種可行的解決方案是采用遷移學(xué)習(xí)方法，先在大規(guī)模rgb人臉數(shù)據(jù)集的基礎(chǔ)上對(duì)模型進(jìn)行預(yù)訓(xùn)練，再利用ir人臉圖像對(duì)模型進(jìn)行微調(diào)。然而，用于微調(diào)的ir人臉圖像數(shù)量較少，且用于微調(diào)(ir人臉圖像)和用于預(yù)訓(xùn)練(rgb人臉數(shù)據(jù)集)的圖像類型不一致，通常預(yù)訓(xùn)練模型要經(jīng)過大幅度調(diào)整才能完成訓(xùn)練，這樣的微調(diào)過程也會(huì)導(dǎo)致模型丟失泛化能力，難以達(dá)到預(yù)期訓(xùn)練效果。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本技術(shù)實(shí)施例的目的在于提供一種圖像識(shí)別模型訓(xùn)練方法、程序產(chǎn)品、電子設(shè)備及存儲(chǔ)介質(zhì)，用以解決以上技術(shù)問題。

2、第一方面，本技術(shù)實(shí)施例提供了一種圖像識(shí)別模型訓(xùn)練方法，該方法包括：

3、將基于第一類型的訓(xùn)練圖像訓(xùn)練獲得的模型作為教師模型；

4、采用目標(biāo)蒸餾算法將所述教師模型的知識(shí)遷移到學(xué)生模型中；其中，所述目標(biāo)蒸餾算法包括：在蒸餾過程中，基于教師特征表示與學(xué)生特征表示之間的相似度，更新蒸餾中心；所述教師特征表示包括所述教師模型對(duì)所述訓(xùn)練圖像的特征表示，所述學(xué)生特征表示包括所述學(xué)生模型對(duì)所述訓(xùn)練圖像的特征表示；

5、基于第二類型的目標(biāo)圖像以及所述目標(biāo)圖像的目標(biāo)識(shí)別結(jié)果，對(duì)所述學(xué)生模型進(jìn)行調(diào)整訓(xùn)練，獲得經(jīng)訓(xùn)練的圖像識(shí)別模型。

6、在上述的實(shí)現(xiàn)過程中，該圖像識(shí)別模型訓(xùn)練方法將基于第一類型的訓(xùn)練圖像訓(xùn)練獲得的模型作為教師模型；采用目標(biāo)蒸餾算法將所述教師模型的知識(shí)遷移到學(xué)生模型中；其中，所述目標(biāo)蒸餾算法包括：在蒸餾過程中，基于教師特征表示與學(xué)生特征表示之間的相似度，更新蒸餾中心；所述教師特征表示包括所述教師模型對(duì)所述訓(xùn)練圖像的特征表示，所述學(xué)生特征表示包括所述學(xué)生模型對(duì)所述訓(xùn)練圖像的特征表示；基于第二類型的目標(biāo)圖像以及所述目標(biāo)圖像的目標(biāo)識(shí)別結(jié)果，對(duì)所述學(xué)生模型進(jìn)行調(diào)整訓(xùn)練，獲得經(jīng)訓(xùn)練的圖像識(shí)別模型。該圖像識(shí)別模型訓(xùn)練方法通過在蒸餾過程中，基于教師特征表示與學(xué)生特征表示之間的相似度，動(dòng)態(tài)更新蒸餾中心，能夠降低學(xué)生模型對(duì)教師模型的依賴程度，提高預(yù)訓(xùn)練獲得的學(xué)生模型的泛化能力，進(jìn)而提高了對(duì)學(xué)生模型進(jìn)行調(diào)整訓(xùn)練所獲得的圖像識(shí)別模型的泛化能力。此外，通過利用教師特征表示與學(xué)生特征表示之間的相似度，動(dòng)態(tài)更新蒸餾中心，還可以緩解教師模型與學(xué)生模型在結(jié)構(gòu)上的差異所導(dǎo)致的訓(xùn)練過程中收斂緩慢的問題，提高模型的收斂速度和模型訓(xùn)練效率。

7、可選地，在本技術(shù)實(shí)施例中，所述采用目標(biāo)蒸餾算法將所述教師模型的知識(shí)遷移到學(xué)生模型中，包括：將所述訓(xùn)練圖像劃分為多個(gè)圖像集；其中，每一所述圖像集包括多種類別的類別圖像；基于所述教師模型對(duì)所述類別圖像的教師類別特征表示，與所述學(xué)生模型對(duì)所述類別圖像的學(xué)生類別特征表示之間的相似度，更新所述類別圖像的蒸餾類中心；基于更新后的蒸餾類中心，計(jì)算所述學(xué)生模型的蒸餾損失值；根據(jù)所述蒸餾損失值調(diào)整所述學(xué)生模型的模型參數(shù)，以將所述教師模型的知識(shí)遷移到學(xué)生模型中。

8、在上述的實(shí)現(xiàn)過程中，通過將訓(xùn)練圖像劃分為多個(gè)圖像集，能夠結(jié)合實(shí)際的可用gpu數(shù)量，將多個(gè)圖像集分配給不同的gpu處理，使得每個(gè)gpu僅需處理部分訓(xùn)練圖像，進(jìn)而緩解了訓(xùn)練過程中的gpu壓力；還能夠提高模型蒸餾的速度和效率。通過教師模型對(duì)類別圖像的教師類別特征表示，與學(xué)生模型對(duì)類別圖像的學(xué)生類別特征表示之間的相似度，更新類別圖像的蒸餾類中心，并基于更新后的蒸餾類中心，計(jì)算用于調(diào)整模型參數(shù)的蒸餾損失值；以降低學(xué)生模型對(duì)教師模型的依賴程度，提高了預(yù)訓(xùn)練獲得的學(xué)生模型的泛化能力。

9、可選地，在本技術(shù)實(shí)施例中，所述基于更新后的蒸餾類中心，計(jì)算所述學(xué)生模型的蒸餾損失值，包括：對(duì)所述更新后的蒸餾類中心進(jìn)行采樣，獲得采樣類中心；根據(jù)所述采樣類中心，以及與所述采樣類中心所對(duì)應(yīng)的類別圖像的學(xué)生類別特征表示，計(jì)算所述學(xué)生模型的蒸餾損失值。

10、在上述的實(shí)現(xiàn)過程中，通過對(duì)更新后的蒸餾類中心進(jìn)行采樣，獲得采樣類中心，并根據(jù)采樣類中心，以及與采樣類中心所對(duì)應(yīng)的類別圖像的學(xué)生類別特征表示，計(jì)算學(xué)生模型的蒸餾損失值，能夠降低蒸餾損失值計(jì)算過程中所需要的計(jì)算資源，進(jìn)一步提高了該圖像識(shí)別模型訓(xùn)練方法的可部署性。

11、可選地，在本技術(shù)實(shí)施例中，所述基于第二類型的目標(biāo)圖像以及所述目標(biāo)圖像的目標(biāo)識(shí)別結(jié)果，對(duì)所述學(xué)生模型進(jìn)行調(diào)整訓(xùn)練，獲得經(jīng)訓(xùn)練的圖像識(shí)別模型，包括：基于所述學(xué)生模型，獲取所述目標(biāo)圖像的目標(biāo)學(xué)生特征表示；根據(jù)所述目標(biāo)圖像的目標(biāo)學(xué)生特征表示以及所述目標(biāo)圖像的目標(biāo)識(shí)別結(jié)果，構(gòu)造負(fù)樣本對(duì)；其中，所述負(fù)樣本對(duì)包括目標(biāo)識(shí)別結(jié)果不同的兩個(gè)目標(biāo)學(xué)生特征表示；根據(jù)與所述負(fù)樣本對(duì)所對(duì)應(yīng)的負(fù)相似度，計(jì)算所述學(xué)生模型的第一調(diào)整損失值；基于所述第一調(diào)整損失值調(diào)整所述學(xué)生模型的模型參數(shù)，獲得所述經(jīng)訓(xùn)練的圖像識(shí)別模型。

12、在上述的實(shí)現(xiàn)過程中，通過在微調(diào)階段，基于目標(biāo)圖像的目標(biāo)學(xué)生特征表示以及目標(biāo)圖像的目標(biāo)識(shí)別結(jié)果，構(gòu)造負(fù)樣本對(duì)；由于負(fù)樣本對(duì)之間的負(fù)相似度能夠反映出圖像被錯(cuò)誤識(shí)別的概率，基于負(fù)樣本對(duì)所對(duì)應(yīng)的負(fù)相似度計(jì)算出的第一調(diào)整損失值，調(diào)整學(xué)生模型的模型參數(shù)，能夠降低圖像被錯(cuò)誤識(shí)別的概率。對(duì)于生物識(shí)別系統(tǒng)，例如人臉識(shí)別系統(tǒng)而言，基于負(fù)樣本對(duì)所對(duì)應(yīng)的負(fù)相似度計(jì)算出的第一調(diào)整損失值，調(diào)整學(xué)生模型的模型參數(shù)，所獲得的圖像識(shí)別模型，能夠降低系統(tǒng)誤識(shí)率，也就是提高系統(tǒng)對(duì)非授權(quán)用戶的識(shí)別準(zhǔn)確性，進(jìn)而提高了人臉識(shí)別系統(tǒng)的安全性。

13、可選地，在本技術(shù)實(shí)施例中，所述目標(biāo)識(shí)別結(jié)果包括所述目標(biāo)圖像的圖像類別；

14、所述基于第二類型的目標(biāo)圖像以及所述目標(biāo)圖像的目標(biāo)識(shí)別結(jié)果，對(duì)所述學(xué)生模型進(jìn)行調(diào)整訓(xùn)練，獲得經(jīng)訓(xùn)練的圖像識(shí)別模型，還包括：根據(jù)與所述目標(biāo)圖像的圖像類別所對(duì)應(yīng)的蒸餾中心，以及所述學(xué)生模型對(duì)所述目標(biāo)圖像的目標(biāo)學(xué)生特征表示，計(jì)算第二調(diào)整損失值；

15、所述基于所述第一調(diào)整損失值調(diào)整所述學(xué)生模型的模型參數(shù)，獲得所述經(jīng)訓(xùn)練的圖像識(shí)別模型，包括：基于所述第一調(diào)整損失值和所述第二調(diào)整損失值，計(jì)算調(diào)整損失值；基于所述調(diào)整損失值調(diào)整所述學(xué)生模型的模型參數(shù)，獲得所述經(jīng)訓(xùn)練的圖像識(shí)別模型。

16、在上述的實(shí)現(xiàn)過程中，基于第一調(diào)整損失值和第二調(diào)整損失值計(jì)算出的調(diào)整損失值，能夠更加全面地反映出模型與第二類型的目標(biāo)圖像之間的擬合程度；以進(jìn)一步提高圖像識(shí)別模型對(duì)第二類型圖像的識(shí)別性能。

17、可選地，在本技術(shù)實(shí)施例中，所述基于所述第一調(diào)整損失值和所述第二調(diào)整損失值，計(jì)算調(diào)整損失值，包括：根據(jù)所述第一調(diào)整損失值、所述第二調(diào)整損失值以及l(fā)t＝lcls+β*lfar，計(jì)算所述調(diào)整損失值lt；其中，lfar表示第一調(diào)整損失值，lcls表示第二調(diào)整損失值，β表示第一調(diào)整損失值的權(quán)重系數(shù)。

18、在上述的實(shí)現(xiàn)過程中，通過lt＝lcls+β*lfar，計(jì)算調(diào)整損失值lt；對(duì)于生物識(shí)別系統(tǒng)，例如人臉識(shí)別系統(tǒng)而言，可以通過增大第一調(diào)整損失值的權(quán)重系數(shù)β，更加嚴(yán)格地控制模型的誤識(shí)率，以進(jìn)一步降低人臉識(shí)別系統(tǒng)的系統(tǒng)誤識(shí)率，確保人臉識(shí)別系統(tǒng)的安全性；對(duì)于非生物識(shí)別系統(tǒng)而言，可以通過降低第一調(diào)整損失值的權(quán)重系數(shù)β，更加全面地考慮模型的誤識(shí)率、識(shí)別準(zhǔn)確性和識(shí)別精度等，以提高非生物識(shí)別系統(tǒng)的整體識(shí)別性能。

19、可選地，在本技術(shù)實(shí)施例中，所述根據(jù)與所述負(fù)樣本對(duì)所對(duì)應(yīng)的負(fù)相似度，計(jì)算所述學(xué)生模型的第一調(diào)整損失值，包括：根據(jù)與所述負(fù)樣本對(duì)所對(duì)應(yīng)的負(fù)相似度以及計(jì)算所述第一調(diào)整損失值lfar；其中，n表示所述負(fù)樣本對(duì)的數(shù)量，si表示與第i個(gè)負(fù)樣本對(duì)所對(duì)應(yīng)的負(fù)相似度，t表示預(yù)設(shè)相似閾值。

20、第二方面，本技術(shù)實(shí)施例提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序/指令，該計(jì)算機(jī)程序/指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述第一方面任一項(xiàng)所述的圖像識(shí)別模型訓(xùn)練方法。

21、第三方面，本技術(shù)實(shí)施例還提供了一種電子設(shè)備；所述電子設(shè)備包括：

22、存儲(chǔ)器；

23、處理器；

24、所述存儲(chǔ)器上存儲(chǔ)有所述處理器可執(zhí)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)，執(zhí)行第一方面任一項(xiàng)所述的圖像識(shí)別模型訓(xùn)練方法。

25、第四方面，本技術(shù)實(shí)施例還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序指令，該計(jì)算機(jī)程序指令被一處理器運(yùn)行時(shí)，執(zhí)行如第一方面任一項(xiàng)所述的圖像識(shí)別模型訓(xùn)練方法。

26、本技術(shù)的有益效果至少包括：該圖像識(shí)別模型訓(xùn)練方法通過在蒸餾過程中，基于教師特征表示與學(xué)生特征表示之間的相似度，動(dòng)態(tài)更新蒸餾中心，能夠降低學(xué)生模型對(duì)教師模型的依賴程度，提高預(yù)訓(xùn)練獲得的學(xué)生模型的泛化能力，進(jìn)而提高了對(duì)學(xué)生模型進(jìn)行調(diào)整訓(xùn)練所獲得的圖像識(shí)別模型的泛化能力。

27、此外，通過利用教師特征表示與學(xué)生特征表示之間的相似度，動(dòng)態(tài)更新蒸餾中心，還可以緩解教師模型與學(xué)生模型在結(jié)構(gòu)上的差異所導(dǎo)致的訓(xùn)練過程中收斂緩慢的問題，提高模型的收斂速度和模型訓(xùn)練效率。