本技術(shù)實(shí)施例涉及機(jī)器視覺(jué)，尤其涉及一種基于機(jī)器視覺(jué)的果蔬智能結(jié)算方法及系統(tǒng)。

背景技術(shù)：

1、在生鮮超市、農(nóng)貿(mào)市場(chǎng)等零售場(chǎng)所，果蔬的結(jié)算過(guò)程通常涉及稱(chēng)重、識(shí)別商品種類(lèi)、計(jì)算價(jià)格等多個(gè)環(huán)節(jié)，需要專(zhuān)門(mén)的工作人員進(jìn)行稱(chēng)重、結(jié)算等操作，人工成本較高。并且在高峰期，存在顧客對(duì)多種果蔬進(jìn)行稱(chēng)重的需求，但是由于工作人員需要將每一種果蔬進(jìn)行單獨(dú)的稱(chēng)重、打包、打碼，使得稱(chēng)重、結(jié)算的處理速度顯得尤為緩慢，無(wú)法滿(mǎn)足這類(lèi)顧客快速結(jié)算的需求。同時(shí)，工作人員可能需要同時(shí)服務(wù)多個(gè)顧客和商品，導(dǎo)致人工結(jié)算效率較低，從而影響零售行業(yè)的運(yùn)營(yíng)效率。

2、因此，亟需一種方案以解決上述問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供一種基于機(jī)器視覺(jué)的果蔬智能結(jié)算方法及系統(tǒng)，用于解決人工結(jié)算效率較低的問(wèn)題。

2、為達(dá)到上述目的，本技術(shù)的實(shí)施例采用如下技術(shù)方案：

3、第一方面，提供了一種基于機(jī)器視覺(jué)的果蔬智能結(jié)算方法，應(yīng)用于果蔬智能結(jié)算系統(tǒng)，所述果蔬智能結(jié)算系統(tǒng)包括觸摸屏幕、稱(chēng)重模塊和圖像采集模塊，該方法包括：

4、響應(yīng)于用戶(hù)通過(guò)所述觸摸屏幕的結(jié)算指令，通過(guò)所述圖像采集模塊，獲取果蔬放置區(qū)域內(nèi)的果蔬圖像；

5、通過(guò)所述稱(chēng)重模塊，獲取所述果蔬放置區(qū)域內(nèi)的所有果蔬的實(shí)際重量；

6、將所述果蔬圖像輸入預(yù)設(shè)的果蔬種類(lèi)預(yù)測(cè)模型，確定果蔬放置區(qū)域中的至少一種果蔬種類(lèi)，其中，每種所述果蔬種類(lèi)對(duì)應(yīng)至少一個(gè)果蔬；

7、基于所述果蔬圖像確定每種所述果蔬種類(lèi)的第一權(quán)重值；

8、在第一預(yù)設(shè)數(shù)據(jù)庫(kù)中確定與每種所述果蔬種類(lèi)對(duì)應(yīng)的果蔬密度，并基于所述果蔬密度確定每種所述果蔬種類(lèi)的第二權(quán)重值；

9、根據(jù)所述第一權(quán)重值與所述第二權(quán)重值，確定每種所述果蔬種類(lèi)的綜合權(quán)重值；

10、根據(jù)每種所述果蔬種類(lèi)的所述綜合權(quán)重值以及所述實(shí)際重量，分配每種所述果蔬種類(lèi)的結(jié)算重量；

11、在第二預(yù)設(shè)數(shù)據(jù)庫(kù)中確定每種所述果蔬種類(lèi)對(duì)應(yīng)的單價(jià)金額；

12、將所有所述果蔬種類(lèi)的結(jié)算重量與對(duì)應(yīng)的所述單價(jià)金額的乘積的和作為結(jié)算價(jià)格并輸出。

13、在第一方面的另一種可能的實(shí)現(xiàn)方式中，所述基于所述果蔬圖像確定每種所述果蔬種類(lèi)的第一權(quán)重值，包括：

14、對(duì)于每種所述果蔬種類(lèi)，通過(guò)所述果蔬圖像提取每個(gè)果蔬的輪廓面積，并匯總所有所述果蔬的輪廓面積，得到每種所述果蔬種類(lèi)對(duì)應(yīng)的果蔬輪廓面積；

15、匯總所有所述果蔬種類(lèi)對(duì)應(yīng)的所述果蔬輪廓面積，得到輪廓面積總和；

16、基于每種所述果蔬種類(lèi)對(duì)應(yīng)的所述果蔬輪廓面積與所述輪廓面積總和，確定每種所述果蔬種類(lèi)的第一權(quán)重值。

17、在第一方面的另一種可能的實(shí)現(xiàn)方式中，所述基于所述果蔬密度確定每種所述果蔬種類(lèi)的第二權(quán)重值，包括：

18、匯總所有所述果蔬種類(lèi)對(duì)應(yīng)的所述果蔬密度，得到密度總和；

19、基于每種所述果蔬種類(lèi)對(duì)應(yīng)的果蔬密度與所述密度總和，確定每種所述果蔬種類(lèi)的第二權(quán)重值。

20、在第一方面的另一種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述第一權(quán)重值與所述第二權(quán)重值，確定每種所述果蔬種類(lèi)的綜合權(quán)重值，包括：

21、在第一預(yù)設(shè)數(shù)據(jù)庫(kù)中獲取所述果蔬種類(lèi)對(duì)應(yīng)的果蔬面積數(shù)據(jù)、果蔬密度數(shù)據(jù)和果蔬質(zhì)量數(shù)據(jù)；

22、利用預(yù)設(shè)的第一相關(guān)系數(shù)公式，計(jì)算所述果蔬面積數(shù)據(jù)與所述果蔬質(zhì)量數(shù)據(jù)之間的相關(guān)系數(shù)，得到所述第一權(quán)重值的第一權(quán)重系數(shù)；

23、利用預(yù)設(shè)的第二相關(guān)系數(shù)公式，計(jì)算所述果蔬密度數(shù)據(jù)與所述果蔬質(zhì)量數(shù)據(jù)之間的相關(guān)系數(shù)，得到所述第二權(quán)重值的第二權(quán)重系數(shù)；

24、基于所述第一權(quán)重值、所述第一權(quán)重系數(shù)、所述第二權(quán)重值和所述第二權(quán)重系數(shù)，計(jì)算每種所述果蔬種類(lèi)的綜合權(quán)重。

25、在第一方面的另一種可能的實(shí)現(xiàn)方式中，所述在所述通過(guò)所述圖像采集模塊，獲取果蔬放置區(qū)域內(nèi)的果蔬圖像之后，包括：

26、提取所述果蔬圖像的邊緣特征和顏色特征；

27、在所述顏色特征為預(yù)設(shè)顏色且在第三預(yù)設(shè)數(shù)據(jù)庫(kù)中不存在與所述邊緣特征匹配的果蔬邊緣特征的情況下，發(fā)出提醒信息并顯示在所述觸摸屏幕上，其中，所述提醒信息用于提示用戶(hù)摘除果蔬的包裝袋或包裝盒。

28、在第一方面的另一種可能的實(shí)現(xiàn)方式中，所述果蔬種類(lèi)預(yù)測(cè)模型的構(gòu)建步驟，包括：

29、確定果蔬特征訓(xùn)練集中的圖片尺寸；

30、通過(guò)所述果蔬特征訓(xùn)練集中所述圖片尺寸，確定所述果蔬種類(lèi)預(yù)測(cè)模型的輸入層的空間維度；

31、通過(guò)所述果蔬顏色特征，確定所述果蔬種類(lèi)預(yù)測(cè)模型的輸入層的顏色通道數(shù)；

32、通過(guò)所有所述果蔬種類(lèi)，確定所述果蔬種類(lèi)預(yù)測(cè)模型的輸出層的神經(jīng)元數(shù)量；

33、通過(guò)所述果蔬特征訓(xùn)練集訓(xùn)練果蔬種類(lèi)預(yù)測(cè)模型，并結(jié)合輸入層的所述空間維度、所述顏色通道數(shù)以及輸出層的所述神經(jīng)元數(shù)量，構(gòu)建果蔬種類(lèi)預(yù)測(cè)模型。

34、在第一方面的另一種可能的實(shí)現(xiàn)方式中，所述果蔬特征訓(xùn)練集的構(gòu)建步驟，包括：

35、利用所述圖像采集模塊，采集不同光照強(qiáng)度果蔬圖片、全景場(chǎng)景果蔬圖片、局部場(chǎng)景果蔬圖片和不同放置方式果蔬圖片；

36、將所述不同光照強(qiáng)度果蔬圖片、所述全景場(chǎng)景果蔬圖片、所述局部場(chǎng)景果蔬圖片和所述不同放置方式果蔬圖片，分別構(gòu)建光照強(qiáng)度樣本集合、全景場(chǎng)景樣本集合、局部場(chǎng)景樣本集合和放置方式樣本集合；

37、對(duì)所述光照強(qiáng)度樣本集合、全景場(chǎng)景樣本集合、局部場(chǎng)景樣本集合和放置方式樣本集合中的每個(gè)樣本圖像進(jìn)行圖像空間幾何變換，得到變換后的光照強(qiáng)度樣本集合、全景場(chǎng)景樣本集合、局部場(chǎng)景樣本集合和放置方式樣本集合；

38、對(duì)所述光照強(qiáng)度樣本集合、全景場(chǎng)景樣本集合、局部場(chǎng)景樣本集合和放置方式樣本集合中的每個(gè)樣本圖像進(jìn)行圖像對(duì)比度調(diào)整，得到不同對(duì)比度下的光照強(qiáng)度樣本集合、全景場(chǎng)景樣本集合、局部場(chǎng)景樣本集合、放置方式樣本集合；

39、將所述不同對(duì)比度下的和所述變換后的光照強(qiáng)度樣本集合、全景場(chǎng)景樣本集合、局部場(chǎng)景樣本集合、放置方式樣本集合構(gòu)建果蔬特征訓(xùn)練集。

40、在第一方面的另一種可能的實(shí)現(xiàn)方式中，所述果蔬種類(lèi)預(yù)測(cè)模型包括低層特征提取層和高層特征提取層，所述將所述果蔬圖像輸入預(yù)設(shè)的果蔬種類(lèi)預(yù)測(cè)模型，確定果蔬放置區(qū)域中每個(gè)果蔬的果蔬種類(lèi)，包括：

41、通過(guò)所述低層特征提取層，提取所述果蔬圖像的基本特征的特征圖，其中，所述基本特征包括圖像邊緣特征、圖像顏色特征和圖像紋理特征；

42、通過(guò)所述高層特征提取層，提取所述果蔬圖像的語(yǔ)義信息的特征圖，其中，所述語(yǔ)義信息包括所述果蔬圖像中的對(duì)象語(yǔ)義信息、屬性語(yǔ)義信息和場(chǎng)景全局語(yǔ)義信息；

43、將所述基本特征的特征圖利用預(yù)設(shè)的特征通道傳輸至所述高層特征提取層；

44、通過(guò)橫向連接方式，將所述基本特征的特征圖和所述語(yǔ)義信息的特征圖進(jìn)行特征融合，得到所述果蔬圖像的最終特征；

45、將所述最終特征與第三預(yù)設(shè)數(shù)據(jù)庫(kù)中每種所述果蔬種類(lèi)對(duì)應(yīng)的特征進(jìn)行匹配，確定果蔬放置區(qū)域中每個(gè)果蔬的果蔬種類(lèi)。

46、第二方面，本技術(shù)提供一種電子設(shè)備，包括：

47、存儲(chǔ)器，被配置成存儲(chǔ)指令；以及

48、處理器，被配置成從所述存儲(chǔ)器調(diào)用所述指令以及在執(zhí)行所述指令時(shí)能夠?qū)崿F(xiàn)上述的基于機(jī)器視覺(jué)的果蔬智能結(jié)算方法。

49、第三方面，本技術(shù)提供一種果蔬智能結(jié)算系統(tǒng)，包括：

50、上述電子設(shè)備；

51、稱(chēng)重模塊，與所述電子設(shè)備連接；

52、圖像采集模塊，與所述電子設(shè)備連接；

53、觸摸屏幕，與所述電子設(shè)備、所述稱(chēng)重模塊和所述圖像采集模塊均連接。

54、通過(guò)上述技術(shù)方案，通過(guò)預(yù)設(shè)的果蔬種類(lèi)預(yù)測(cè)模型，確定果蔬放置區(qū)域中的至少一種果蔬種類(lèi)，借助先進(jìn)的機(jī)器視覺(jué)技術(shù)和深度學(xué)習(xí)算法識(shí)別果蔬放置區(qū)域的果蔬種類(lèi)，可以確定多種果蔬的種類(lèi)，減少了人工干預(yù)，使得果蔬結(jié)算效率顯著提升。通過(guò)果蔬圖像確定每種果蔬種類(lèi)的第一權(quán)重值以及果蔬密度確定每種果蔬種類(lèi)的第二權(quán)重值，并根據(jù)第一權(quán)重值和第二權(quán)重值，確定第一權(quán)重值系數(shù)和第二權(quán)重值系數(shù)，計(jì)算每種果蔬種類(lèi)的綜合權(quán)重值，通過(guò)綜合權(quán)重值合理分配每種果蔬的結(jié)算重量，進(jìn)一步提高了結(jié)算的精確度，考慮了圖像識(shí)別和實(shí)際重量的雙重因素，這種雙重驗(yàn)證機(jī)制減少了人為誤差，提高了結(jié)算的準(zhǔn)確性。通過(guò)機(jī)器視覺(jué)的果蔬智能結(jié)算系統(tǒng)不僅能夠一次性結(jié)算多種類(lèi)型的果蔬，提高結(jié)算效率和準(zhǔn)確性，還能增強(qiáng)用戶(hù)體驗(yàn)、優(yōu)化庫(kù)存管理，解決人工結(jié)算效率較低的問(wèn)題。

55、本技術(shù)實(shí)施例的其它特征和優(yōu)點(diǎn)將在隨后的具體實(shí)施方式部分予以詳細(xì)說(shuō)明。