本申請(qǐng)涉及垃圾分類，且更為具體地，涉及一種基于機(jī)器視覺的生活垃圾智能分揀系統(tǒng)及其方法。

背景技術(shù)：

1、隨著城市化進(jìn)程的加速和人口的增長，生活垃圾產(chǎn)生量持續(xù)攀升，給環(huán)境帶來了巨大壓力。在這一背景下，高效、準(zhǔn)確的生活垃圾分揀是實(shí)現(xiàn)垃圾資源化利用和無害化處理的關(guān)鍵環(huán)節(jié)。傳統(tǒng)的生活垃圾分揀主要依賴人工操作，分揀工人需在惡劣環(huán)境下長時(shí)間工作，通過肉眼和簡(jiǎn)單工具對(duì)垃圾進(jìn)行分類。然而，這種方式效率低下，分揀準(zhǔn)確性受工人疲勞、經(jīng)驗(yàn)等因素影響較大，且難以滿足日益增長的垃圾處理需求。

2、近年來，基于機(jī)器視覺的智能分揀技術(shù)因其非接觸式、高自動(dòng)化和高適應(yīng)性等特點(diǎn)，成為研究熱點(diǎn)。然而，基于rgb相機(jī)的傳統(tǒng)視覺系統(tǒng)雖能捕捉垃圾的顏色和紋理信息，但由于物體的顏色和紋理特征易受環(huán)境干擾，使得傳統(tǒng)視覺系統(tǒng)在復(fù)雜光照條件（如陰影、反光）或相似外觀物體（如塑料瓶與玻璃瓶）的分類任務(wù)中容易失效。同時(shí)，同一類垃圾內(nèi)部，由于形態(tài)、污染程度、光照等因素的影響，視覺特征差異又可能很大，進(jìn)一步增加了分類的難度。

3、因此，期待一種優(yōu)化的基于機(jī)器視覺的生活垃圾智能分揀系統(tǒng)及其方法。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述技術(shù)問題，提出了本申請(qǐng)。本申請(qǐng)的實(shí)施例提供了一種基于機(jī)器視覺的生活垃圾智能分揀系統(tǒng)及其方法，其利用rgb相機(jī)和高光譜相機(jī)同步采集垃圾的彩色圖像與高光譜圖像，并對(duì)圖像進(jìn)行預(yù)處理后，通過圖像分割算法分離出彩色圖像與高光譜圖像中的垃圾目標(biāo)區(qū)域；隨后，采用基于深度學(xué)習(xí)的圖像處理技術(shù)分別從彩色圖像中提取垃圾的顏色、紋理等視覺特征，從高光譜圖像中提取垃圾的光譜反射特征，并進(jìn)一步通過對(duì)垃圾的視覺特征和光譜反射特征進(jìn)行特征集成學(xué)習(xí)，以捕捉到更深層次的垃圾目標(biāo)特征信息，從而在此基礎(chǔ)上智能預(yù)測(cè)垃圾類別并驅(qū)動(dòng)分揀機(jī)構(gòu)完成自動(dòng)化分揀。該方法通過充分利用高光譜數(shù)據(jù)的高維信息與彩色圖像的直觀特征，顯著提高了垃圾分揀的適應(yīng)性與魯棒性，適用于復(fù)雜場(chǎng)景下的實(shí)時(shí)垃圾分類任務(wù)。

2、相應(yīng)地，根據(jù)本申請(qǐng)的一個(gè)方面，提供了一種基于機(jī)器視覺的生活垃圾智能分揀方法，其包括：

3、利用rgb相機(jī)和高光譜相機(jī)分別采集垃圾的彩色圖像和高光譜圖像；

4、從所述垃圾的彩色圖像和高光譜圖像分別提取垃圾目標(biāo)特征以得到垃圾目標(biāo)圖像特征和垃圾目標(biāo)光譜特征；

5、對(duì)所述垃圾目標(biāo)光譜特征和所述垃圾目標(biāo)圖像特征進(jìn)行特征集成學(xué)習(xí)以得到垃圾目標(biāo)光譜-圖像集成編碼特征，其中，對(duì)所述垃圾目標(biāo)光譜特征和所述垃圾目標(biāo)圖像特征進(jìn)行特征集成學(xué)習(xí)包括：對(duì)所述垃圾目標(biāo)光譜特征和所述垃圾目標(biāo)圖像特征進(jìn)行基于局部特征相似性的動(dòng)態(tài)搜索對(duì)齊以及協(xié)同感知以得到所述垃圾目標(biāo)光譜-圖像集成編碼特征；

6、基于所述垃圾目標(biāo)光譜-圖像集成編碼特征，確定垃圾類別預(yù)測(cè)結(jié)果；

7、基于所述垃圾類別預(yù)測(cè)結(jié)果，驅(qū)動(dòng)分揀執(zhí)行機(jī)構(gòu)將垃圾目標(biāo)分揀到對(duì)應(yīng)的垃圾桶或傳送帶。

8、根據(jù)本申請(qǐng)的另一個(gè)方面，提供了一種基于機(jī)器視覺的生活垃圾智能分揀系統(tǒng)，其包括：

9、垃圾圖像采集模塊，用于利用rgb相機(jī)和高光譜相機(jī)分別采集垃圾的彩色圖像和高光譜圖像；

10、垃圾目標(biāo)特征提取模塊，用于從所述垃圾的彩色圖像和高光譜圖像分別提取垃圾目標(biāo)特征以得到垃圾目標(biāo)圖像特征和垃圾目標(biāo)光譜特征；

11、特征集成學(xué)習(xí)模塊，用于對(duì)所述垃圾目標(biāo)光譜特征和所述垃圾目標(biāo)圖像特征進(jìn)行特征集成學(xué)習(xí)以得到垃圾目標(biāo)光譜-圖像集成編碼特征，其中，對(duì)所述垃圾目標(biāo)光譜特征和所述垃圾目標(biāo)圖像特征進(jìn)行特征集成學(xué)習(xí)包括：對(duì)所述垃圾目標(biāo)光譜特征和所述垃圾目標(biāo)圖像特征進(jìn)行基于局部特征相似性的動(dòng)態(tài)搜索對(duì)齊以及協(xié)同感知以得到所述垃圾目標(biāo)光譜-圖像集成編碼特征；

12、垃圾分類識(shí)別模塊，用于基于所述垃圾目標(biāo)光譜-圖像集成編碼特征，確定垃圾類別預(yù)測(cè)結(jié)果；

13、垃圾分揀模塊，用于基于所述垃圾類別預(yù)測(cè)結(jié)果，驅(qū)動(dòng)分揀執(zhí)行機(jī)構(gòu)將垃圾目標(biāo)分揀到對(duì)應(yīng)的垃圾桶或傳送帶。

14、與現(xiàn)有技術(shù)相比，本申請(qǐng)?zhí)峁┑幕跈C(jī)器視覺的生活垃圾智能分揀系統(tǒng)及其方法，其利用rgb相機(jī)和高光譜相機(jī)同步采集垃圾的彩色圖像與高光譜圖像，并對(duì)圖像進(jìn)行預(yù)處理后，通過圖像分割算法分離出彩色圖像與高光譜圖像中的垃圾目標(biāo)區(qū)域；隨后，采用基于深度學(xué)習(xí)的圖像處理技術(shù)分別從彩色圖像中提取垃圾的顏色、紋理等視覺特征，從高光譜圖像中提取垃圾的光譜反射特征，并進(jìn)一步通過對(duì)垃圾的視覺特征和光譜反射特征進(jìn)行特征集成學(xué)習(xí)，以捕捉到更深層次的垃圾目標(biāo)特征信息，從而在此基礎(chǔ)上智能預(yù)測(cè)垃圾類別并驅(qū)動(dòng)分揀機(jī)構(gòu)完成自動(dòng)化分揀。該方法通過充分利用高光譜數(shù)據(jù)的高維信息與彩色圖像的直觀特征，顯著提高了垃圾分揀的適應(yīng)性與魯棒性，適用于復(fù)雜場(chǎng)景下的實(shí)時(shí)垃圾分類任務(wù)。

技術(shù)特征：

1.一種基于機(jī)器視覺的生活垃圾智能分揀方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的基于機(jī)器視覺的生活垃圾智能分揀方法，其特征在于，從所述垃圾的彩色圖像和高光譜圖像分別提取垃圾目標(biāo)特征以得到垃圾目標(biāo)圖像特征和垃圾目標(biāo)光譜特征，包括：

3.根據(jù)權(quán)利要求2所述的基于機(jī)器視覺的生活垃圾智能分揀方法，其特征在于，對(duì)所述預(yù)處理后垃圾彩色圖像和預(yù)處理后垃圾高光譜圖像進(jìn)行圖像分割以得到垃圾目標(biāo)彩色圖像和垃圾目標(biāo)高光譜圖像，包括：

4.根據(jù)權(quán)利要求3所述的基于機(jī)器視覺的生活垃圾智能分揀方法，其特征在于，對(duì)所述垃圾目標(biāo)光譜特征和所述垃圾目標(biāo)圖像特征進(jìn)行基于局部特征相似性的動(dòng)態(tài)搜索對(duì)齊以及協(xié)同感知以得到所述垃圾目標(biāo)光譜-圖像集成編碼特征，包括：

5.根據(jù)權(quán)利要求4所述的基于機(jī)器視覺的生活垃圾智能分揀方法，其特征在于，對(duì)所述垃圾目標(biāo)光譜局部特征編碼矩陣的集合和所述垃圾目標(biāo)圖像局部特征編碼矩陣的集合進(jìn)行特征動(dòng)態(tài)搜索對(duì)齊以得到相位對(duì)齊{垃圾目標(biāo)光譜局部特征編碼矩陣，垃圾目標(biāo)圖像局部特征編碼矩陣}特征對(duì)的集合，包括：

6.根據(jù)權(quán)利要求5所述的基于機(jī)器視覺的生活垃圾智能分揀方法，其特征在于，對(duì)所述相位對(duì)齊{垃圾目標(biāo)光譜局部特征編碼矩陣，垃圾目標(biāo)圖像局部特征編碼矩陣}特征對(duì)的集合進(jìn)行自適應(yīng)聯(lián)合感知聚合以得到垃圾目標(biāo)光譜-圖像集成編碼特征圖作為所述垃圾目標(biāo)光譜-圖像集成編碼特征，包括：

7.根據(jù)權(quán)利要求6所述的基于機(jī)器視覺的生活垃圾智能分揀方法，其特征在于，將所述相位對(duì)齊{垃圾目標(biāo)光譜局部特征編碼矩陣，垃圾目標(biāo)圖像局部特征編碼矩陣}特征對(duì)的集合中的各個(gè)相位對(duì)齊{垃圾目標(biāo)光譜局部特征編碼矩陣，垃圾目標(biāo)圖像局部特征編碼矩陣}特征對(duì)輸入特征聯(lián)合感知注意力網(wǎng)絡(luò)以得到垃圾目標(biāo)光譜-圖像特征聯(lián)合感知注意力權(quán)重的集合，包括：

8.根據(jù)權(quán)利要求7所述的基于機(jī)器視覺的生活垃圾智能分揀方法，其特征在于，基于所述垃圾目標(biāo)光譜-圖像特征聯(lián)合感知編碼矩陣的矩陣跡，計(jì)算所述相位對(duì)齊{垃圾目標(biāo)光譜局部特征編碼矩陣，垃圾目標(biāo)圖像局部特征編碼矩陣}特征對(duì)的垃圾目標(biāo)光譜-圖像特征聯(lián)合感知注意力權(quán)重，包括：

9.根據(jù)權(quán)利要求8所述的基于機(jī)器視覺的生活垃圾智能分揀方法，其特征在于，基于所述垃圾目標(biāo)光譜-圖像集成編碼特征，確定垃圾類別預(yù)測(cè)結(jié)果，包括：

10.一種基于機(jī)器視覺的生活垃圾智能分揀系統(tǒng)，其特征在于，包括：

技術(shù)總結(jié)
本申請(qǐng)涉及垃圾分類技術(shù)領(lǐng)域，其具體地公開了一種基于機(jī)器視覺的生活垃圾智能分揀系統(tǒng)及其方法，其利用RGB相機(jī)和高光譜相機(jī)同步采集垃圾的彩色圖像與高光譜圖像，并對(duì)圖像進(jìn)行預(yù)處理后通過圖像分割算法分離出圖像中的垃圾目標(biāo)區(qū)域；隨后，分別從彩色圖像中提取垃圾的顏色、紋理等視覺特征，從高光譜圖像中提取垃圾的光譜反射特征，并進(jìn)一步通過對(duì)垃圾的視覺特征和光譜反射特征進(jìn)行特征集成學(xué)習(xí)，以捕捉到更深層次的垃圾目標(biāo)特征信息，從而在此基礎(chǔ)上智能預(yù)測(cè)垃圾類別并驅(qū)動(dòng)分揀機(jī)構(gòu)完成自動(dòng)化分揀。該方法通過充分利用高光譜數(shù)據(jù)的高維信息與彩色圖像的直觀特征，顯著提高了垃圾分揀的適應(yīng)性與魯棒性，適用于復(fù)雜場(chǎng)景下的實(shí)時(shí)垃圾分類任務(wù)。

技術(shù)研發(fā)人員：項(xiàng)基,陳雨虹,丁裕哲,沈會(huì)良,余俊辰,胡建欣,陳吉敏
受保護(hù)的技術(shù)使用者：浙江大學(xué)湖州研究院
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15