本發(fā)明涉及圖像識別，具體為售貨柜物品ai識別的結(jié)算方法。

背景技術(shù)：

1、在智能售貨柜領(lǐng)域，準(zhǔn)確識別商品信息并構(gòu)建其三維模型對于提升用戶體驗(yàn)、優(yōu)化庫存管理具有重要意義，售貨柜物品ai識別，主要依賴于攝像頭采集用戶采購的連續(xù)圖像形成視頻流，從視頻流中識別待售物品進(jìn)行結(jié)算。然而，現(xiàn)有技術(shù)中在進(jìn)行售貨柜內(nèi)的物品識別時，當(dāng)用戶拿取物品時，容易出現(xiàn)物品被遮擋的情況，因此只能識別到待售物品的局部圖像，影響對物品識別的準(zhǔn)確性，進(jìn)而影響對待售物品的結(jié)算效率。

2、為此我們提出售貨柜物品ai識別的結(jié)算方法用于解決上述問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供售貨柜物品ai識別的結(jié)算方法，以解決上述背景技術(shù)中提出的問題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：售貨柜物品ai識別的結(jié)算方法，該方法包括以下步驟：

3、獲取用戶采購售貨柜物品的視頻流，從視頻流中截取多張待售物品的圖像得到物品圖像集，其中，物品圖像集包括至少兩張不同角度的物品的圖像；

4、基于物品圖像集提取待售物品的局部特征信息；基于局部特征信息構(gòu)建待售物品對應(yīng)的局部物品模型；

5、采集售貨柜內(nèi)多個參考物品的參考圖像信息，基于參考圖像信息構(gòu)建參考物品對應(yīng)的參考圖像模型；

6、將局部物品模型與多個參考圖像模型進(jìn)行對比，提取滿足預(yù)設(shè)條件的參考圖像模型，將參考圖像模型對應(yīng)的參考物品作為待售物品對應(yīng)的目標(biāo)物品；

7、獲取視頻流中的目標(biāo)物品的物品信息以及與目標(biāo)物品對應(yīng)的價格；基于目標(biāo)物品對應(yīng)的價格與物品信息對待售物品進(jìn)行結(jié)算。

8、優(yōu)選的，獲取用戶采購售貨柜物品的視頻流，從視頻流中截取多張待售物品的圖像得到物品圖像集，其中，物品圖像集包括至少兩張不同角度的物品的圖像的步驟包括：

9、對應(yīng)售貨柜設(shè)定圖像采集點(diǎn)，基于圖像采集點(diǎn)拍攝用戶采購售貨柜物品的全過程視頻流，獲取包含待售物品運(yùn)動信息的連續(xù)圖像序列；

10、從視頻流中解析待售物品的運(yùn)動軌跡，確定所述運(yùn)動軌跡的初始端位置；在初始端位置采集待售物品的圖像，記為第一物品圖像；

11、對第一物品圖像中的待售物品進(jìn)行特征點(diǎn)標(biāo)定，生成初始特征點(diǎn)集；

12、沿所述運(yùn)動軌跡依次采集待售物品在多個位置處的輪廓線，形成動態(tài)輪廓線序列；

13、將當(dāng)前采集的輪廓線與上一位置的輪廓線進(jìn)行特征點(diǎn)匹配對比，從視頻流中提取滿足預(yù)設(shè)條件的視頻幀，截取對應(yīng)的待售物品圖像，記為第二物品圖像；

14、重復(fù)執(zhí)行輪廓線采集與對比步驟，直至完成運(yùn)動軌跡全路徑的圖像截取，獲得多個視角的第二物品圖像；

15、將第一物品圖像與多個第二物品圖像進(jìn)行關(guān)聯(lián)存儲，形成包含至少兩張不同角度物品圖像的物品圖像集。

16、優(yōu)選的，所述將當(dāng)前采集的輪廓線與上一位置的輪廓線進(jìn)行特征點(diǎn)匹配對比，從視頻流中提取滿足預(yù)設(shè)條件的視頻幀，截取對應(yīng)的待售物品圖像，記為第二物品圖像的步驟包括：

17、從所述第一物品圖像中提取待售物品的輪廓線，得到初始輪廓線，記為第一輪廓線；

18、基于所述第一輪廓線設(shè)定多個刷新點(diǎn)；

19、沿待售物品的運(yùn)動軌跡，依次采集多個位置的圖像，得到待選物品圖像序列；

20、提取每個待選物品圖像對應(yīng)的待售物品的輪廓線，形成待對比輪廓線序列；基于待對比輪廓線序列進(jìn)行圖像截取，得到第二物品圖像。

21、優(yōu)選的，所述基于待對比輪廓線序列進(jìn)行圖像截取，得到第二物品圖像的步驟包括：

22、獲取當(dāng)前待對比輪廓線，將當(dāng)前待對比輪廓線與上一次截取的輪廓線進(jìn)行特征點(diǎn)對比；

23、當(dāng)檢測到新增特征點(diǎn)且未發(fā)生新增特征點(diǎn)的消失時，繼續(xù)采集下一位置圖像；

24、當(dāng)檢測到新增特征點(diǎn)且同時存在新增特征點(diǎn)消失時，觸發(fā)圖像截取條件；

25、統(tǒng)計滿足截取條件時各待選物品圖像中出現(xiàn)的新特征點(diǎn)數(shù)量，選取新特征點(diǎn)出現(xiàn)頻次最高的待選物品圖像進(jìn)行截取，得到第二物品圖像。

26、優(yōu)選的，所述基于局部特征信息構(gòu)建待售物品對應(yīng)的局部物品模型的步驟包括：

27、從物品圖像集中提取各個物品圖像中的局部特征點(diǎn)以及局部特征點(diǎn)之間的相對位置關(guān)系；

28、獲取連續(xù)截取的兩張圖像中的特征點(diǎn)的描述，在相鄰圖像之間進(jìn)行特征點(diǎn)匹配，識別并提取重疊特征點(diǎn)；

29、根據(jù)重疊特征點(diǎn)預(yù)測相鄰圖像間的相對位姿，基于重疊特征點(diǎn)與相對位姿恢復(fù)三維特征點(diǎn)，并將三維特征點(diǎn)對齊到統(tǒng)一坐標(biāo)系，生成局部物品三維模型。

30、優(yōu)選的，所述采集售貨柜內(nèi)多個參考物品的參考圖像信息，基于參考圖像信息構(gòu)建參考物品對應(yīng)的參考圖像模型的步驟包括：

31、獲取售貨柜內(nèi)各個參考物品在不同擺放角度的參考圖像信息；

32、依次將各個參考物品在不同擺放角度的參考圖像信息輸入至初始圖像模型，以逐漸對初始圖像模型進(jìn)行迭代訓(xùn)練，得到各個參考物品對應(yīng)的參考圖像模型。

33、優(yōu)選的，所述將局部物品模型與多個參考圖像模型進(jìn)行對比，提取滿足預(yù)設(shè)條件的參考圖像模型，將參考圖像模型對應(yīng)的參考物品作為待售物品對應(yīng)的目標(biāo)物品的步驟包括：

34、識別并標(biāo)記局部物品模型中的物品特征點(diǎn)，識別并標(biāo)記參考圖像模型中的參考特征點(diǎn)；

35、將物品特征點(diǎn)與參考特征點(diǎn)進(jìn)行重合，將滿足預(yù)設(shè)條件的重合度對應(yīng)的參考特征點(diǎn)所在的參考圖像模型作為物品特征點(diǎn)對應(yīng)的參考圖像模型。

36、優(yōu)選的，所述將物品特征點(diǎn)與參考特征點(diǎn)進(jìn)行重合，將滿足預(yù)設(shè)條件的重合度對應(yīng)的參考特征點(diǎn)所在的參考圖像模型作為物品特征點(diǎn)對應(yīng)的參考圖像模型的步驟包括：

37、獲取物品特征點(diǎn)與參考特征點(diǎn)，其中，所述物品特征點(diǎn)包括第一物品特征點(diǎn)與第二物品特征點(diǎn)，所述參考特征點(diǎn)包括與所述第一物品特征點(diǎn)對應(yīng)的第一參考特征點(diǎn)以及與所述第二物品特征點(diǎn)對應(yīng)的第二參考特征點(diǎn)；

38、將第一物品特征點(diǎn)分別與多個參考圖像模型中的第一參考特征點(diǎn)進(jìn)行重合，計算每個參考圖像模型對應(yīng)的第一重合度；

39、提取滿足預(yù)設(shè)第一重合度閾值的第一重合度對應(yīng)的參考圖像模型，得到預(yù)選參考圖像模型集合；

40、判斷所述預(yù)選參考圖像模型集合中的預(yù)選參考圖像模型數(shù)量是否為1；

41、若為1，則將所述預(yù)選參考圖像模型作為所述物品特征點(diǎn)對應(yīng)的參考圖像模型；

42、若不為1，則將所述第二物品特征點(diǎn)分別與所述預(yù)選參考圖像模型集合中的多個預(yù)選參考圖像模型的第二參考特征點(diǎn)進(jìn)行對比，計算每個預(yù)選參考圖像模型對應(yīng)的第二重合度，將滿足預(yù)設(shè)第二重合度閾值的第二重合度對應(yīng)的預(yù)選參考圖像模型作為所述物品特征點(diǎn)對應(yīng)的參考圖像模型。

43、優(yōu)選的，所述獲取視頻流中的目標(biāo)物品的物品信息以及與目標(biāo)物品對應(yīng)的價格；基于目標(biāo)物品對應(yīng)的價格與物品信息對待售物品進(jìn)行結(jié)算的步驟包括：

44、獲取視頻流中出現(xiàn)的目標(biāo)物品的種類信息，并識別每種目標(biāo)物品的數(shù)量；

45、統(tǒng)計每類目標(biāo)物品的具體數(shù)量，并將所述目標(biāo)物品的數(shù)量以及目標(biāo)物品種類的總數(shù)作為目標(biāo)物品的物品信息；

46、對每個識別出的目標(biāo)物品，獲取其對應(yīng)的價格信息；根據(jù)獲取的價格信息，計算同類目標(biāo)物品的總價；

47、統(tǒng)計所有目標(biāo)物品的種類，并將每類目標(biāo)物品的總價進(jìn)行綜合，以完成對待售物品的結(jié)算。

48、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

49、1.通過動態(tài)輪廓線對比機(jī)制，動態(tài)地截取滿足預(yù)設(shè)條件的視頻幀，形成多視角的物品圖像，對運(yùn)動物品特征變化的精準(zhǔn)捕捉，通過特征點(diǎn)出現(xiàn)與消失的雙重判定條件，確保了圖像截取時機(jī)的準(zhǔn)確性，有效提升物品圖像采集的完整性和特征辨識度；

50、2.通過從視頻流中截取多張不同角度的物品圖像，構(gòu)建局部物品模型，將局部物品模型與多個參考圖像模型進(jìn)行對比，提取相似度滿足預(yù)設(shè)條件的參考圖像模型，將參考圖像模型對應(yīng)的參考物品作為待售物品對應(yīng)的目標(biāo)物品，通過多模型對比，能夠準(zhǔn)確識別售貨柜內(nèi)的物品，通過自動化的識別和結(jié)算流程，能夠顯著提高售貨柜的結(jié)算效率。