本發(fā)明涉及機(jī)器視覺檢測(cè)，尤其是一種基于形狀大模型的樣本檢索方法。

背景技術(shù)：

1、無論是深度學(xué)習(xí)比賽還是在實(shí)際項(xiàng)目中，樣本檢索作為數(shù)據(jù)處理的關(guān)鍵環(huán)節(jié)，其準(zhǔn)確性與效率直接關(guān)系到后續(xù)模型訓(xùn)練的效果與項(xiàng)目實(shí)施的成敗；在樣本檢索的過程中，人工篩選作為一種傳統(tǒng)且直觀的方法，在特定情境下具有一定的適用性；但是，對(duì)于人工篩選，在樣本量較少時(shí)由人工進(jìn)行樣本檢索是一個(gè)比較有效的方法，但當(dāng)樣本量較多時(shí)，工作量會(huì)很大，非常耗時(shí)，且由于人本身的疲勞與情緒等不穩(wěn)定因素，也會(huì)導(dǎo)致樣本檢索的效果不穩(wěn)定。

2、此外，基于過殺與漏檢樣本的特征，可以通過修改網(wǎng)絡(luò)結(jié)構(gòu)，調(diào)整網(wǎng)絡(luò)參數(shù)等手段來解決過殺與漏檢問題；但對(duì)于網(wǎng)絡(luò)層面的策略，需要大量地分析與實(shí)驗(yàn)，無論是修改網(wǎng)絡(luò)結(jié)構(gòu)或調(diào)參，都是非常復(fù)雜繁瑣的過程，且可控性不強(qiáng)，效果往往不穩(wěn)定且難以保證，且該方法實(shí)質(zhì)上是讓網(wǎng)絡(luò)對(duì)過殺與漏檢的樣本進(jìn)行特別區(qū)分，即提升了網(wǎng)絡(luò)的擬合能力，容易導(dǎo)致過擬合。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明要解決的技術(shù)問題是：提供一種基于形狀大模型的樣本檢索方法，解決了在用到深度學(xué)習(xí)的項(xiàng)目中，通過在訓(xùn)練集中檢索與過殺以及漏檢樣本相似的樣本，對(duì)其進(jìn)行處理，從而從樣本層面來優(yōu)化過殺與漏檢率的需求問題。

2、本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：一種基于形狀大模型的樣本檢索方法，包括以下步驟，

3、s1、將要檢索的測(cè)試集中過殺與漏檢的樣本，即模板樣本，以及與模板樣本不同類的訓(xùn)練集樣本，即不同類樣本的標(biāo)注圖輸入到形狀大模型進(jìn)行形狀分類；

4、s2、大模型預(yù)分類：選擇不同類樣本中形狀分類與模板樣本屬于同一形狀類別的樣本，即待檢索樣本；使用模板樣本在待檢索樣本中搜索與模板樣本相似的樣本；

5、s3、特征相似度統(tǒng)計(jì)：過殺與漏檢樣本與待檢索樣本進(jìn)行多特征相似度對(duì)比，得到待檢索樣本的各個(gè)特征相似度得分；

6、s4、展示樣本選取：依次選擇待檢索樣本在各特征相似度排名最靠前的樣本，直到選滿設(shè)定閾值的張數(shù)后將選中的樣本進(jìn)行展示；

7、s5、交互反饋：由人工確認(rèn)相似的樣本；

8、s6、最終檢索：將選中的樣本以排名靠前的相似度作為最終檢索相似度，使用最終檢索相似度對(duì)待檢索樣本進(jìn)行檢索，得到檢索結(jié)果。

9、進(jìn)一步的說，本發(fā)明所述的步驟s3中，對(duì)模板圖像與待檢索圖像進(jìn)行特征提取，特征包括：原圖灰度直方圖、原圖梯度方向直方圖、標(biāo)簽圖梯度方向直方圖、原圖的平均灰度、原圖中標(biāo)簽部分的平均灰度、標(biāo)簽圖的最大連通域面積、標(biāo)簽圖的連通域個(gè)數(shù)、原圖中標(biāo)簽部分的熵、原圖中標(biāo)簽部分與周圍背景部分的對(duì)比度。

10、再進(jìn)一步的說，本發(fā)明所述的步驟s3中，對(duì)于原圖的平均灰度、原圖中標(biāo)簽部分的平均灰度、標(biāo)簽圖的最大連通域面積、標(biāo)簽圖的連通域個(gè)數(shù)、原圖中標(biāo)簽部分的熵以及原圖中標(biāo)簽部分與周圍背景部分的對(duì)比度的相似度的計(jì)算直接使用模板樣本的特征值與待匹配圖像的特征值作差取絕對(duì)值求得，值越小代表相似度越高。

11、再進(jìn)一步的說，本發(fā)明所述的步驟s3中，對(duì)于原圖的平均灰度的相似度的計(jì)算方式為：使用巴氏距離來衡量，公式為：

12、

13、其中：

14、h1與h2分別為2個(gè)要衡量相似度的直方圖，與分別為2個(gè)直方圖的平均值，i為直方圖每一個(gè)bin的值，n為bin的個(gè)數(shù)，求得的值越小相似度越高。

15、更進(jìn)一步的說，本發(fā)明所述的步驟s3中，對(duì)于原圖中標(biāo)簽部分的平均灰度以及標(biāo)簽圖的最大連通域面積的相似度的計(jì)算方式為：將h2的每一個(gè)bin進(jìn)行循環(huán)位移；設(shè)h2為(h(1),h(2).....h(n))；則通過循環(huán)位移擴(kuò)展為(h(2).....h(n)，h(1))......(h(n),h(n-1)....h(1))一共n個(gè)直方圖，按照公式：

16、

17、將h1的直方圖與h2擴(kuò)展得到的n個(gè)直方圖進(jìn)行相似度計(jì)算，得到的n個(gè)值中最小的那一個(gè)作為結(jié)果，值越小代表相似度越高；

18、其中：h1與h2分別為2個(gè)要衡量相似度的直方圖，與分別為2個(gè)直方圖的平均值，i為直方圖每一個(gè)bin的值，n為bin的個(gè)數(shù)。

19、進(jìn)一步的說，本發(fā)明所述的步驟s1中，形狀大模型的構(gòu)建包括以下步驟，

20、s11、數(shù)據(jù)集收集與劃分；得到所有已有的不同產(chǎn)品，不同工位的樣本的標(biāo)注，將這些標(biāo)注轉(zhuǎn)換為8位的二值化圖像；每一份相同產(chǎn)品，相同工位的數(shù)據(jù)稱為一類，以類為單位，隨機(jī)劃分為訓(xùn)練集與測(cè)試集；

21、s12、將訓(xùn)練集按照不同的預(yù)處理算法進(jìn)行分類；分類的類別包括線狀、毛絲狀、塊狀以及片狀；

22、s13、迭代訓(xùn)練模型；

23、s14、將步驟s2訓(xùn)練集中已經(jīng)分類的每一類的樣本再進(jìn)行分類；

24、s15、重復(fù)步驟s3，得到可以用來進(jìn)行將標(biāo)注形狀分類的形狀大模型。

25、本發(fā)明的有益效果是，解決了背景技術(shù)中存在的缺陷，

26、1、對(duì)于人工篩選存在的問題，本發(fā)明使用設(shè)計(jì)的方法在程序端自動(dòng)執(zhí)行，幾乎不用人工介入，從而解決了由于人工操作可能存在的問題；

27、2、對(duì)于網(wǎng)絡(luò)端策略存在的問題，本發(fā)明用過殺與漏檢的樣本在訓(xùn)練集中檢索與其相似的樣本，可以將檢索到的這些相似的樣本剔除或者做其他處理，從樣本層面予以解決，效果穩(wěn)定且更加能從根本上解決問題。

技術(shù)特征：

1.一種基于形狀大模型的樣本檢索方法，其特征在于：包括以下步驟，

2.如權(quán)利要求1所述的一種基于形狀大模型的樣本檢索方法，其特征在于：所述的步驟s3中，對(duì)模板圖像與待檢索圖像進(jìn)行特征提取，特征包括：原圖灰度直方圖、原圖梯度方向直方圖、標(biāo)簽圖梯度方向直方圖、原圖的平均灰度、原圖中標(biāo)簽部分的平均灰度、標(biāo)簽圖的最大連通域面積、標(biāo)簽圖的連通域個(gè)數(shù)、原圖中標(biāo)簽部分的熵、原圖中標(biāo)簽部分與周圍背景部分的對(duì)比度。

3.如權(quán)利要求2所述的一種基于形狀大模型的樣本檢索方法，其特征在于：所述的步驟s3中，對(duì)于原圖的平均灰度、原圖中標(biāo)簽部分的平均灰度、標(biāo)簽圖的最大連通域面積、標(biāo)簽圖的連通域個(gè)數(shù)、原圖中標(biāo)簽部分的熵以及原圖中標(biāo)簽部分與周圍背景部分的對(duì)比度的相似度的計(jì)算直接使用模板樣本的特征值與待匹配圖像的特征值作差取絕對(duì)值求得，值越小代表相似度越高。

4.如權(quán)利要求2所述的一種基于形狀大模型的樣本檢索方法，其特征在于：所述的步驟s3中，對(duì)于原圖的平均灰度的相似度的計(jì)算方式為：使用巴氏距離來衡量，公式為：

5.如權(quán)利要求2所述的一種基于形狀大模型的樣本檢索方法，其特征在于：所述的步驟s3中，對(duì)于原圖中標(biāo)簽部分的平均灰度以及標(biāo)簽圖的最大連通域面積的相似度的計(jì)算方式為：將h2的每一個(gè)bin進(jìn)行循環(huán)位移；設(shè)h2為(h(1),h(2).....h(n))；則通過循環(huán)位移擴(kuò)展為(h(2).....h(n)，h(1))......(h(n),h(n-1)....h(1))一共n個(gè)直方圖，按照公式：

6.如權(quán)利要求1所述的一種基于形狀大模型的樣本檢索方法，其特征在于：所述的步驟s1中，形狀大模型的構(gòu)建包括以下步驟，

技術(shù)總結(jié)
本發(fā)明涉及一種基于形狀大模型的樣本檢索方法，包括步驟S1、將要檢索的測(cè)試集中過殺與漏檢的樣本，即模板樣本，以及與模板樣本不同類的訓(xùn)練集樣本，即不同類樣本的標(biāo)注圖輸入到形狀大模型進(jìn)行形狀分類；S2、大模型預(yù)分類；S3、特征相似度統(tǒng)計(jì)；S4、展示樣本選??；S5、交互反饋；S6、最終檢索。本發(fā)明作為深度學(xué)習(xí)過殺與漏檢分析工具，從樣本層面分析和解決過殺與漏檢問題，相對(duì)于基于網(wǎng)絡(luò)層面的策略更能從根本上解決問題，且比基于網(wǎng)絡(luò)層面的策略更加高效簡(jiǎn)捷，節(jié)省了調(diào)整網(wǎng)絡(luò)的時(shí)間與人力以及設(shè)備成本。

技術(shù)研發(fā)人員：都衛(wèi)東,和江鎮(zhèn),王巖松,王天翔,吳健雄
受保護(hù)的技術(shù)使用者：征圖新視（江蘇）科技股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/4/7