本發(fā)明涉及智能篩選，具體涉及一種基于混合感知的核桃智能篩選產(chǎn)線及方法。

背景技術(shù)：

1、

2、在核桃的生產(chǎn)線上，劣品篩選是一個至關(guān)重要的環(huán)節(jié)。目前，多數(shù)核桃加工廠在劣品檢測方面采取了多種方法，包括人工篩選、機(jī)器視覺系統(tǒng)、振動篩選、氣流分選以及x光檢測等，這些方法各有優(yōu)劣，組合使用也成為了一種常見的趨勢。然而，深入分析這些方法后，我們可以發(fā)現(xiàn)，人工篩選雖然準(zhǔn)確度高，但效率較低，且勞動強(qiáng)度大，不適合大規(guī)模生產(chǎn)；而其他自動化篩選方法，盡管能夠提高篩選效率，但在準(zhǔn)確度上卻存在不足，難以高精度地將核桃中的劣品分離出來。

3、因此，核桃劣品篩選環(huán)節(jié)仍面臨著效率與準(zhǔn)確度難以兼顧的難題。為了解決這個問題，我們需要進(jìn)一步探索和創(chuàng)新，尋求更加高效且準(zhǔn)確的核桃劣品篩選方法，以提升核桃生產(chǎn)的自動化水平和整體效率。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于混合感知的核桃智能篩選產(chǎn)線及方法，以克服現(xiàn)有技術(shù)中存在的問題，本發(fā)明基于接觸與非接觸式混合感知的方法，通過將點(diǎn)云、圖像與觸覺傳感器信息融合的設(shè)計(jì)，實(shí)現(xiàn)對核桃劣品篩選產(chǎn)線效率的提升，能夠最大程度上保證處理后次品核桃出現(xiàn)的數(shù)量，避免了多次重復(fù)處理的問題，極大的降低了檢測時間，提高了檢測速度與精準(zhǔn)度。

2、為達(dá)到上述目的，本發(fā)明所采用的技術(shù)方案如下：

3、第一方面，本發(fā)明提供了一種基于混合感知的核桃智能篩選產(chǎn)線，包括傳送帶，傳送帶的中部一側(cè)安裝有工業(yè)相機(jī)，另一側(cè)安裝有激光雷達(dá)，傳送帶的兩側(cè)分別設(shè)置有挑揀機(jī)械臂，兩個挑揀機(jī)械臂分別位于工業(yè)相機(jī)和激光雷達(dá)的前部，位于工業(yè)相機(jī)前部的挑揀機(jī)械臂前部還設(shè)置有機(jī)械手裝置，機(jī)械手裝置上分布有觸覺傳感器，傳送帶的側(cè)部還安裝有電機(jī)；工業(yè)相機(jī)、激光雷達(dá)、挑揀機(jī)械臂和機(jī)械手裝置連接有控制電腦。

4、第二方面，本發(fā)明提供了一種基于混合感知的核桃智能篩選方法，基于上述的一種基于混合感知的核桃智能篩選產(chǎn)線，包括以下步驟：

5、獲取位于傳送帶上的核桃圖像，通過標(biāo)注工具對核桃圖像中的核桃進(jìn)行標(biāo)注，生成數(shù)據(jù)集；

6、將數(shù)據(jù)集通過目標(biāo)檢測模型進(jìn)行訓(xùn)練，生成權(quán)重，將權(quán)重進(jìn)行驗(yàn)證后獲得權(quán)重文件；

7、獲取位于傳送帶上的實(shí)時核桃影像，建立圖像分割模型，將權(quán)重文件導(dǎo)入圖像分割模型，識別核桃的表面缺陷；

8、獲取位于傳送帶上核桃的三維點(diǎn)云數(shù)據(jù)，根據(jù)三維點(diǎn)云數(shù)據(jù)獲取核桃的三維信息，識別核桃的尺寸；

9、根據(jù)核桃的表面缺陷和核桃的尺寸，將核桃區(qū)分為劣品核桃、存疑核桃和正常核桃；

10、當(dāng)劣品核桃通過傳送帶進(jìn)入挑揀機(jī)械臂的抓取范圍之內(nèi)，挑揀機(jī)械臂抓取劣品核桃，將劣品核桃去除，完成一次篩選；

11、當(dāng)存疑核桃通過傳送帶進(jìn)入機(jī)械手裝置的抓取范圍之內(nèi)，機(jī)械手裝置抓取存疑核桃，判斷存疑核桃是否有缺陷，將有缺陷的核桃去除，將無缺陷的核桃放回傳送帶上，完成二次篩選；

12、進(jìn)一步地，所述獲取位于傳送帶上的核桃圖像，通過標(biāo)注工具對核桃圖像中的核桃進(jìn)行標(biāo)注，具體包括：

13、通過工業(yè)相機(jī)拍攝若干張位于傳送帶上的核桃圖像，然后將核桃圖像傳輸至控制電腦，通過控制電腦的標(biāo)注工具對核桃圖像中的核桃進(jìn)行標(biāo)注；

14、進(jìn)一步地，所述獲取位于傳送帶上的實(shí)時核桃影像，建立圖像分割模型，將權(quán)重文件導(dǎo)入圖像分割模型，識別核桃的表面缺陷，具體包括：

15、通過工業(yè)相機(jī)將位于傳送帶上的實(shí)時核桃影像傳輸至控制電腦，通過控制電腦建立圖像分割模型，將權(quán)重文件導(dǎo)入圖像分割模型，然后通過圖像分割模型劃分實(shí)時核桃影像中的核桃區(qū)域，使每個核桃位于標(biāo)定框中，用于識別核桃的表面缺陷；

16、進(jìn)一步地，所述獲取位于傳送帶上核桃的三維點(diǎn)云數(shù)據(jù)，根據(jù)三維點(diǎn)云數(shù)據(jù)獲取核桃的三維信息，識別核桃的尺寸，具體包括：

17、通過激光雷達(dá)對位于傳送帶上的核桃進(jìn)行掃描，得到三維點(diǎn)云數(shù)據(jù)，將三維點(diǎn)云數(shù)據(jù)傳輸至控制電腦，通過控制電腦對三維點(diǎn)云數(shù)據(jù)進(jìn)行預(yù)處理、數(shù)據(jù)分割、統(tǒng)計(jì)離群點(diǎn)移除（sor）算法處理，獲得輸出的三維點(diǎn)云數(shù)據(jù)，將輸出的三維點(diǎn)云數(shù)據(jù)聚類在標(biāo)定框中核桃的位置，然后計(jì)算標(biāo)定框的中心點(diǎn)絕對坐標(biāo)，進(jìn)而獲取核桃的三維信息，用于識別核桃的尺寸；

18、進(jìn)一步地，所述預(yù)處理，具體包括：對三維點(diǎn)云數(shù)據(jù)進(jìn)行去噪和濾波；

19、所述數(shù)據(jù)分割，具體包括：區(qū)域劃分和目標(biāo)提??；區(qū)域劃分為：將預(yù)處理后的三維點(diǎn)云數(shù)據(jù)劃分為若干個區(qū)域；目標(biāo)提取為：從若干個區(qū)域的每個區(qū)域當(dāng)中提取核桃的三維點(diǎn)云數(shù)據(jù)；

20、進(jìn)一步地，所述統(tǒng)計(jì)離群點(diǎn)移除算法處理，具體包括：

21、計(jì)算每個區(qū)域當(dāng)中提取的核桃三維點(diǎn)云數(shù)據(jù)之間的平均值和標(biāo)準(zhǔn)差，根據(jù)平均值和標(biāo)準(zhǔn)差設(shè)定離群點(diǎn)檢測偏離均值的閾值，將偏離均值超過閾值的三維點(diǎn)云數(shù)據(jù)標(biāo)記為離群點(diǎn)后移除，對移除后剩余的三維點(diǎn)云數(shù)據(jù)進(jìn)行重構(gòu)，將重構(gòu)后的三維點(diǎn)云數(shù)據(jù)進(jìn)行輸出；

22、進(jìn)一步地，所述計(jì)算標(biāo)定框的中心點(diǎn)絕對坐標(biāo)，具體包括：

23、將實(shí)時核桃影像劃分為n×n的網(wǎng)格單元，獲取標(biāo)定框的中心點(diǎn)相對于網(wǎng)格單元的偏移量(,，然后計(jì)算標(biāo)定框的中心點(diǎn)絕對坐標(biāo)；

24、計(jì)算標(biāo)定框的中心點(diǎn)絕對坐標(biāo)具體計(jì)算公式為：

25、；

26、；

27、式中，為每個網(wǎng)格單元的左上角橫坐標(biāo)；為每個網(wǎng)格單元的左上角縱坐標(biāo)；為預(yù)測目標(biāo)中心點(diǎn)相對于每個網(wǎng)格單元的橫坐標(biāo)偏移量；為預(yù)測目標(biāo)中心點(diǎn)相對于每個網(wǎng)格單元的縱坐標(biāo)偏移量；為每個網(wǎng)格單元的寬度；為每個網(wǎng)格單元的高度；

28、進(jìn)一步地，所述根據(jù)核桃的表面缺陷和核桃的尺寸，將核桃區(qū)分為劣品核桃、存疑核桃和正常核桃，具體包括：

29、若滿足核桃的外殼不完整、核桃的外殼顏色不正常、核桃的直徑＜3?cm中的至少一種，則標(biāo)記為劣品核桃；

30、若滿足核桃的外殼存在裂紋或者識別度低，則標(biāo)記為存疑核桃；

31、若不滿足核桃的外殼不完整、核桃的外殼顏色不正常、核桃的尺寸＜3?cm、核桃的外殼存在裂紋和識別度低，則不進(jìn)行標(biāo)記，為正常核桃；

32、進(jìn)一步地，所述判斷存疑核桃是否有缺陷，具體包括：

33、機(jī)械手裝置通過觸覺傳感器識別存疑核桃是否有缺陷，如觸覺傳感器識別到高電平信號，則判斷存疑的核桃有缺陷；如觸覺傳感器識別到低電平信號，則判斷存疑的核桃無缺陷。

34、上述技術(shù)方案具有如下優(yōu)勢或者有益效果：

35、第一方面，本發(fā)明提供了一種基于混合感知的核桃智能篩選產(chǎn)線，通過在運(yùn)輸核桃的傳送帶側(cè)部固定多線激光雷達(dá)和一個工業(yè)相機(jī)，通過工業(yè)相機(jī)拍攝的圖像獲取核桃的外觀圖像，識別表面缺陷；通過激光雷達(dá)點(diǎn)云獲取物體的三維結(jié)構(gòu)和體積信息，幫助識別核桃的形狀，檢測空殼或破損核桃的內(nèi)部狀態(tài)；通過非接觸式檢測方法將問題較大的劣品直接淘汰，存疑的核桃進(jìn)行標(biāo)記前往下一步，不僅能夠大幅度減少勞動強(qiáng)度，還能夠提高篩選環(huán)節(jié)的效率與準(zhǔn)確度。

36、第二方面，本發(fā)明提供了一種基于混合感知的核桃智能篩選方法，通過設(shè)定自制數(shù)據(jù)集，使圖像中顯示被分割的各個核桃，再將三維點(diǎn)云通過統(tǒng)計(jì)離群點(diǎn)移除（sor）算法等處理后聚類再框中核桃的位置，通過確定中心點(diǎn)獲取到核桃的三維信息，從而使得缺陷較多的核桃能夠第一時間被去除，存疑的核桃被標(biāo)記；在激光雷達(dá)和工業(yè)相機(jī)的確認(rèn)下，能夠通過機(jī)械手裝置進(jìn)行抓取存疑核桃，機(jī)械手裝置布滿十個觸覺傳感器，使其能夠模擬人類的觸覺，通過檢測核桃表面觸感的變化，提供更全面的信息，識別硬度、表面光滑度、密度等特征，判斷是否有缺陷，將有缺陷的核桃去除，而將無缺陷的核桃放回傳送帶；本發(fā)明最大優(yōu)勢地將接觸式與非接觸式的感知融合，充分利用了圖像、點(diǎn)云和接觸式傳感器的多源信息，將其融合從而最大程度上保證處理后次品核桃出現(xiàn)的數(shù)量，避免了多次重復(fù)處理的問題，極大的降低了檢測時間，能夠高效率、高精度的完成劣品分揀工作。