專利名稱：基于計(jì)算機(jī)視覺技術(shù)的溫室作物水肥脅迫狀態(tài)識別方法
技術(shù)領(lǐng)域：
本發(fā)明屬于溫室植物監(jiān)測領(lǐng)域，具體涉及一種基于計(jì)算機(jī)視覺的溫室作物水肥脅迫狀態(tài)識別方法。
背景技術(shù)：
設(shè)施農(nóng)業(yè)作為新型的農(nóng)業(yè)生產(chǎn)方式，已經(jīng)成為解決人口、糧食、土地矛盾的重要途徑。當(dāng)前，我國設(shè)施農(nóng)業(yè)生產(chǎn)中普遍存在科技含量低、勞動強(qiáng)度大、生產(chǎn)水平和效益低下，迫切需要技術(shù)改進(jìn)，特別是利用現(xiàn)代信息技術(shù)，實(shí)現(xiàn)對設(shè)施溫室環(huán)境進(jìn)行自動控制和智能化管理，以提高我國設(shè)施農(nóng)業(yè)生產(chǎn)技術(shù)水平，進(jìn)一步提高經(jīng)濟(jì)效益和資源利用率。要實(shí)現(xiàn)溫室環(huán)境的精準(zhǔn)控制，獲取作物生理狀態(tài)包括水分、營養(yǎng)等信息是至關(guān)重要的。傳統(tǒng)的溫室環(huán)境水分、營養(yǎng)液控制是根據(jù)人工觀測或預(yù)設(shè)參數(shù)進(jìn)行，而不是針對植物特定時(shí)刻的特定需·要。接觸性測量常用于確定植物的生理特征，但存在操作不方便、費(fèi)時(shí)費(fèi)力、具有破壞性、易受主觀因素影響、不適合實(shí)時(shí)監(jiān)控等特點(diǎn)。當(dāng)作物出現(xiàn)水分不足、營養(yǎng)缺乏等脅迫特征時(shí)，會嚴(yán)重影響其生長。為此，必須盡早辨識甄別，以便進(jìn)一步采取措施進(jìn)行控制，避免遭受損失。植物脅迫狀態(tài)通過葉面反映出來，如縮卷、枯萎、下垂、發(fā)黃。葉片這種結(jié)構(gòu)變化會改變光的反射，引起的顏色或紋理方面的細(xì)微變化可用于監(jiān)測植物的生理變化[I]。利用計(jì)算機(jī)視覺系統(tǒng)對植物生長進(jìn)行非接觸測量具有快速無損、及時(shí)準(zhǔn)確、全天候等特點(diǎn)[2]，并且可獲取作物的生長參數(shù)、整體狀態(tài)信息并辨識其特殊需求，為合理灌溉和環(huán)境控制提供可靠依據(jù)，有效提高資源利用，節(jié)約能源消耗，提升產(chǎn)品品質(zhì)，降低作業(yè)成本，達(dá)到提高產(chǎn)量、節(jié)約成本、保護(hù)環(huán)境的目的。(I)水分狀態(tài)監(jiān)測方面。植物利用水分維持葉片健康，當(dāng)水分供給不足而無法滿足蒸騰作用時(shí)，葉片氣孔關(guān)閉，蒸騰減少，光合作用減弱，葉片枯萎[3]。不管生理因素或非生理因素導(dǎo)致的作物缺水都會影響作物生長和新陳代謝，嚴(yán)重的會影響作物產(chǎn)量。作物缺水的早期診斷對于增加產(chǎn)量、減少損失尤為重要。葉片含水率、莖流法等由于提供了植物水分狀態(tài)的直接信息而被廣泛用于植物水分狀態(tài)分析[4]，但存在直接接觸、破壞性采樣、采集樣本有限的缺點(diǎn)，難以獲得大規(guī)模的商業(yè)推廣應(yīng)用。人眼對光的感知個(gè)體差異較大，而且不同人對缺水癥狀的顏色和樣式估計(jì)就有差異，計(jì)算機(jī)視覺可以彌補(bǔ)這一缺陷。Seginer I等(1992)[5]通過對完全成熟的番茄葉片的觀察實(shí)驗(yàn)表明，葉尖的垂直運(yùn)動與缺水、二氧化碳吸收率高度相關(guān)。Kurata K等(1996) [6]利用圖像分析獲取了番茄葉軸的傾角，并將其與植株水分進(jìn)行關(guān)聯(lián)。Revollon P等(1998) [7]利用觀賞植物的葉尖軸線與水平線之間夾角的變化對植物缺水展開研究。Kacira M等(2002) [8]則利用葉冠頂部投影面積(TopProjected Canopy Area, TPCA)作為識別特征并建立植物缺水的檢測指標(biāo)。Foucher P等(2004) [9]利用神經(jīng)網(wǎng)絡(luò)分割作物圖像，對TPCA計(jì)算一階不變矩、分形維數(shù)、平均莖桿骨架長度等三個(gè)形狀特征，通過對缺水和正常灌溉的兩組盆栽植物的對比實(shí)驗(yàn)表明，通過選取合適的閾值，三個(gè)特征都可以診斷出作物的缺水癥狀。Ondimu S N等(2008) [I]從苔蘚圖像的灰度和彩色協(xié)方差矩陣中抽取了 6個(gè)紋理特征，并利用多層感知器神經(jīng)網(wǎng)絡(luò)對缺水狀態(tài)進(jìn)行識別。中國專利“基于計(jì)算機(jī)視覺的作物需水信息檢測新方法”(申請?zhí)?00510041045)，利用參考物來測量作物莖桿尺寸和果實(shí)大小的新方法，用于檢測作物需水信息，檢測系統(tǒng)由大小適當(dāng)?shù)膮⒖嘉?、圖像采集設(shè)備、圖像采集卡和計(jì)算機(jī)組成；利用計(jì)算機(jī)視覺非接觸測量作物莖桿和果實(shí)，通過把參照物放置在待測的作物莖桿和果實(shí)附近，通過相應(yīng)的圖像處理算法得到作物莖桿尺寸和果實(shí)大小，從而得到作物需水信息。“基于計(jì)算機(jī)視覺的灌溉水車系統(tǒng)”(申請?zhí)?006100287346)，包括一合包含數(shù)據(jù)庫中心以及用以監(jiān)控及實(shí)時(shí)顯示信息的遠(yuǎn)程監(jiān)控機(jī)；一個(gè)嵌入式單板機(jī)、可編程序控制器以及數(shù)顯設(shè)備構(gòu)成的灌溉控制箱；一個(gè)進(jìn)行實(shí)時(shí)圖像采集的CCD攝像機(jī)；一個(gè)控制水車行走速度和啟停的變頻調(diào)速器以及與變頻調(diào)速器連接的繼電器、電磁閥和執(zhí)行機(jī)構(gòu)；以及用于獲取當(dāng)前水車行走速度和行走距離的光電脈沖編碼器和獲取當(dāng)前灌溉量的脈沖式流量計(jì)；進(jìn)行實(shí)時(shí)無線通信的無線以太網(wǎng)裝置；用于控制微噴噴頭開關(guān)的電磁閥以及灌溉水車的行走軌道等組成。根據(jù)獲取的植物大小與數(shù)據(jù)庫中存儲的歷史信息比較，確定灌溉量。
·
(2)缺素監(jiān)測方面。氮、鈣等元素對植物的生長非常重要，但對土壤缺乏有效信息導(dǎo)致的過度施肥經(jīng)常出現(xiàn)，給環(huán)境造成很大威脅。另外，在溫室栽培中，植物通常會有營養(yǎng)缺乏癥狀，特別是在開花和結(jié)果時(shí)期，嚴(yán)重影響作物的產(chǎn)量和質(zhì)量[10]。對作物缺素的早期診斷并及時(shí)處理潛在問題如葉尖枯萎，可以提升資源使用效率，提高農(nóng)產(chǎn)品的質(zhì)量和產(chǎn)量。缺素的早期癥狀并不明顯，即便是經(jīng)驗(yàn)豐富的專家也難以確切診斷出來。鑒定植物是否缺氮要通常依賴于葉片顏色變化的識別，作物營養(yǎng)不良主要通過葉片反映出來，而且主要通過顏色和紋理體現(xiàn)出來[11]。Ahmad I S等(1996) [12]利用顏色特征來表示植物缺水或缺素水平，利用R (紅色)、G (綠色)、H (色調(diào))分量的平均值區(qū)分作物的低、中氮水平。Borhan M S等(2004) [13]基于彩色圖像的R、G分量和多光譜像的灰度直方圖，提取了均值、偏差、能量、熵等四個(gè)特征，利用多元線性回歸進(jìn)行分析，對植物葉綠素和氮水平進(jìn)行預(yù)測，識別結(jié)果優(yōu)于人工觀察。Xu G L等(2011)[11]利用CIE顏色空間中b*分量的直方圖特征，結(jié)合傅立葉變換和小波分析對植物葉片缺素進(jìn)行識別，為了避光線及其它環(huán)境因素的影響，圖像獲取是在一個(gè)封閉的采樣箱中進(jìn)行。David Story等(2010) [14]在LED為照射光源的可控環(huán)境中，利用植物葉片的I個(gè)形態(tài)特征、2個(gè)顏色及4個(gè)紋理特征對萵苣缺鈣進(jìn)行識別，結(jié)果顯示計(jì)算機(jī)視覺可比人工視覺早1-2天發(fā)現(xiàn)缺素狀態(tài)。國內(nèi)，李長纓等(2003) [15]利用葉冠投影面積的變化來反映植物的缺肥情況，由于葉冠投影面積的計(jì)算易受外界條件干擾(如風(fēng)速)，限制了該方法的應(yīng)用。毛罕平等(2003) [16]提取葉片顏色和紋理的12個(gè)特征對番茄缺素進(jìn)行了識別。計(jì)算機(jī)視覺技術(shù)在作物脅迫特征監(jiān)測方面取得了很大進(jìn)展，但是，還存在一些問題，(I)由于農(nóng)業(yè)作物環(huán)境光照不均、自然光照變化大、成像條件不理想、背景復(fù)雜、分割困難，大部分研究在光照可控的實(shí)驗(yàn)室條件下進(jìn)行，以使目標(biāo)作物和背景的灰度差異較大，適應(yīng)自然光照變化、復(fù)雜背景圖像的目標(biāo)分割問題未能得到有效解決；(2)視覺系統(tǒng)中的圖像處理算法是為特定對象定制，條件變化時(shí)缺乏魯棒性，面對不同問題時(shí)難以進(jìn)行擴(kuò)展和重用；(3)以往的研究是針對植物的單一脅迫特征(如缺水或缺氮)進(jìn)行監(jiān)測，而一套成功的視覺監(jiān)控系統(tǒng)要求能對多個(gè)脅迫特征能同時(shí)進(jìn)行識別；(4)圖像分割后提取一個(gè)或多個(gè)特征進(jìn)行識別，不同作物不同狀態(tài)的脅迫特征是不一樣的，如何針對不同作物、從形態(tài)、顏色、紋理等方面構(gòu)造識別脅迫特征所需的、數(shù)量足夠大的特征集合，并自適應(yīng)進(jìn)行優(yōu)化選擇缺乏有效性方法；(5)圖像處理算法耗時(shí)，如何選擇經(jīng)濟(jì)、合理、高效的硬件平臺上實(shí)現(xiàn)快速運(yùn)算以滿足實(shí)時(shí)監(jiān)控的要求也是一個(gè)問題。本發(fā)明針對以上問題，通過構(gòu)建計(jì)算機(jī)視覺監(jiān)測平臺，以溫室環(huán)境中的作物為研究對象，開發(fā)適應(yīng)自然光照變化、復(fù)雜場景下植物圖像分割方法，以及構(gòu)造數(shù)量足夠大的特征集合、并自適應(yīng)選擇最優(yōu)特征子集進(jìn)行作物水肥脅迫特征的計(jì)算機(jī)視覺識別方法.與前兩種技術(shù)通過植物不同生長階段的大小確定需水量不同的是，本發(fā)明從作物葉片的紋理、顏色、形態(tài)等多種特征中選擇最優(yōu)特征集合來判斷水、肥信息，實(shí)現(xiàn)水、肥兩種狀態(tài)的識別，滿足溫室作物水分、肥料脅迫狀態(tài)的實(shí)時(shí)、非破壞性監(jiān)測要求，為環(huán)境控制提供依據(jù)。參考文獻(xiàn)
[I]Ondimu S N， Murase H. Comparison of plant water stress detectionability of color and gray level texture in sunagoke moss. Transactions of the·ASABE, 2008, Vol. 51(3) : 1111 11120。[2]林開顏，徐立鴻，吳軍輝.計(jì)算機(jī)視覺技術(shù)在作物生長監(jiān)測中的研究進(jìn)展.《農(nóng)業(yè)工程學(xué)報(bào)》，2004，20 (2) :279 283。[3]Nilsson H. Remote sensing and image analysis in plant pathology.Annual Review of Phytopathology, 15 (1995):489 527。[4]Wang D， Gartung J. Infrared canopy temperature of early-ripeningpeach trees under postharvest deficit irrigation. Agricultural WaterManagement, 97(2010):1787 1794。[5] Seginer I，Elster R T，Goodrum, J W, Rieger M W. Plant wiltdetection bycomputer-vision tracking of leaf tips. Transactions of the ASABE,35 (1992):1563 1567。[6]Kurata K， Yan J. Water stress estimation of tomato canopy based onmachine vision. Acta Horticulturae，440(1996):389 394。[7]Revollon P，Chasseriaux G，Riviere L M et al. The use of imageprocessing for tracking the morphological modification of Forsythia followingan interruption of watering. In Proc. International Conference on AgriculturalEngineering, 872 - 873. AgEng 0SL098. 1998，August 24 27. Oslo, Norway。[8]Kacira M，Ling P P，Short T H. Machine vision extracted plantmovement for early detection of plant water stress. Transactions of the ASAB ，2002，45 (4):1147 1153。[9]Foucher P，Revollonl P，Vigouroux B, Chasseriaux G. MorphologicalImage Analysis for the Detection of Water Stress in Potted Forsythia.Biosystems Engineering (2004)，89 (2):131 138。[10] Mercure， S A， Daoust B， Samson G. Causal relationship betweengrowth inhibition, accumulation of phenolic metabolites, and changes ofUV-induced fluorescences in nitrogen-deficient barley plants. Can. J. Bot.82(2004) : 815 821。
[11] Xu G L, Zhang F L, Shah S G et al. Use of leaf color images toidentify nitrogen and potassium deficient tomatoes. Pattern Recognition Letters,32 (2011) :1584 1590。[12] Ahmad I S, Reid J F. Evaluation of colour representationsfor maize images. Journal of Agricultural and Engineering Research,63(1996):185 196。[13] Borhan M S, Panigrahi S, Lorenzen J H, Gu H. Multispectral andcolor imaging techniques for nitrate and chlorophyll determination of potatoleaves in a controlled environment. Transactions of the American Society ofAgricultural Engineers, 2004, Vol. 47(2): 599 608。[14] David Story, Murat Kacira, Chieri Kubota et al. Lettuce calcium·deficiency detection with machine vision computed plant features in controlledenvironments. Computers and Electronics in Agriculture, 74 (2010): 238 243。[15] 李長纓，滕光輝，趙春江等.利用計(jì)算機(jī)視覺技術(shù)實(shí)現(xiàn)對溫室植物生長的無損監(jiān)測 農(nóng)業(yè)工程學(xué)報(bào)，2003, 19 (3) : 14(Tl43。[16] 毛罕平，徐貴力，李萍萍.基于計(jì)算機(jī)視覺的番茄營養(yǎng)元素虧缺的識別 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2003，34(2) : 73 75。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于計(jì)算機(jī)視覺的溫室作物脅迫狀態(tài)識別方法，本發(fā)明構(gòu)建溫室作物計(jì)算機(jī)視覺監(jiān)測技術(shù)平臺，對溫室內(nèi)作物進(jìn)行連續(xù)、非破壞性監(jiān)測，實(shí)現(xiàn)作物水肥脅迫特征的早期診斷。本發(fā)明提出的基于計(jì)算機(jī)視覺的溫室作物脅迫狀態(tài)識別方法，具體步驟如下
(I)構(gòu)建計(jì)算機(jī)視覺監(jiān)測平臺，所述監(jiān)測平臺由C⑶相機(jī)I、支架9、計(jì)算機(jī)3、步進(jìn)電機(jī)
控制器4、X方向電機(jī)5、Y方向電機(jī)6、X方向?qū)к?和Y方向?qū)к?組成,其中導(dǎo)軌8位于溫室頂部前后兩側(cè)，導(dǎo)軌7兩端位于導(dǎo)軌8上；Y方向電機(jī)6控制X方向?qū)к?在導(dǎo)軌8上沿Y方向運(yùn)動；C⑶相機(jī)I通過支架9安裝于X方向?qū)к?上，X方向電機(jī)5控制支架9在導(dǎo)軌7上沿X方向來回移動，CXD相機(jī)I位于溫室作物上方；(XD相機(jī)I通過圖像采集卡2連計(jì)算機(jī)3的輸入端,計(jì)算機(jī)3的輸出端連接步進(jìn)電機(jī)控制器4的輸入端,步進(jìn)電機(jī)控制器4的輸出端分別連接X方向電機(jī)5和Y方向電機(jī)6。計(jì)算機(jī)通過向步進(jìn)電機(jī)控制器4發(fā)出指令，實(shí)現(xiàn)CCD相機(jī)在溫室上方的水平定位，依次采集作物圖像；計(jì)算機(jī)具有CUDA硬件平臺，用于實(shí)現(xiàn)復(fù)雜圖像處理運(yùn)算。電機(jī)5、電機(jī)6均為步進(jìn)電機(jī)。(2)對獲取的圖像，選擇歸一化顏色空間用于聚類分割，以消除自然光照變化對分割結(jié)果的影響；在顏色量化的基礎(chǔ)上，利用模糊C均值聚類算法(FCM)進(jìn)行圖像分割，將植物葉片圖像和土壤等背景分離；對分割后圖像，利用數(shù)學(xué)形態(tài)學(xué)運(yùn)算進(jìn)行處理，去除噪聲；對去噪后圖像，運(yùn)用像素標(biāo)記算法標(biāo)記圖像并進(jìn)行BLOB分析，根據(jù)BLOB分析結(jié)果去除雜草，填充葉片孔洞，抽取場景中的所有葉片圖像用于后續(xù)處理。(3)對植物葉片圖像，從形態(tài)、顏色和紋理等方面構(gòu)造數(shù)量足夠大的脅迫特征集合；對獲取的每個(gè)植物葉片，抽取葉片的周長、形心、面積、高度、寬度、內(nèi)切橢圓長軸、內(nèi)切橢圓短軸、面積周長比、緊致度、伸長率、長寬比對數(shù)、周長寬度比、周長長度比等13個(gè)形態(tài)特征。顏色對目標(biāo)的識別提供了豐富信息，顏色通常描述為三維空間的一個(gè)向量，即每個(gè)顏色為顏色空間中的一個(gè)坐標(biāo)。獲取圖像數(shù)據(jù)是RGB格式，HSI符合人眼感知心理，IE(L*a*b*)是均勻顏色空間可以用歐式距離測量小的色差。獲取R、G、B、H、S、L、a*、b*每個(gè)顏色分量的均值及灰度均值作為顏色特征。紋理是反映目標(biāo)表面亮度特征變化的測度，如光滑度、粗糙度、規(guī)則度等。二維灰度共生矩陣常用于紋理分析，因?yàn)樗芙y(tǒng)計(jì)圖像中灰度值的空間分布關(guān)系。比如說，熵用來描述灰度分布的隨機(jī)性，當(dāng)作物營養(yǎng)不足，表面復(fù)雜度降低，熵也會降低；能量是反映灰度亮度一個(gè)指標(biāo)，當(dāng)缺水時(shí)，葉片發(fā)黃，亮度增加，能量也增加，對比度提高。與灰度圖像相比，彩色圖像在可見光譜中提供了更多的顏色特征，據(jù)此，本項(xiàng)目擬利用彩色共生矩陣進(jìn)行彩色紋理分析。對于R、G、B、H、S、I、L*、a*、b*的每個(gè)分量，根據(jù)距離為I角度為O的空間關(guān)系計(jì)算共生矩陣，在此基礎(chǔ)上，計(jì)算能量(Energy)、熵(Entropy)、對比度(Contrast)、均勻性(Homogeneity)、倒數(shù)差分矩(Inverse DifferenceMoment, I DM)、互相關(guān)(Correlation)、均值和(Sum Mean),方差(Variance)、類趨勢(Cluster Tendency)、最大概率(Maximum Probability),每個(gè)分量計(jì)算 10 個(gè) Haralick 紋理特征，共90個(gè)特征?！?4)對構(gòu)造的特征集合，利用啟發(fā)式搜索算法結(jié)合神經(jīng)網(wǎng)絡(luò)選擇水、肥狀態(tài)最優(yōu)特征子集。(5)根據(jù)選出的水、肥狀態(tài)最優(yōu)特征子集，利用BP神經(jīng)網(wǎng)絡(luò)對作物脅迫特征進(jìn)行識別。本發(fā)明中，步驟(I)所述的圖像獲取具體為，計(jì)算機(jī)發(fā)出信號給步進(jìn)電機(jī)控制器4，控制X方向步進(jìn)電機(jī)5和Y方向步進(jìn)電機(jī)6的運(yùn)動，進(jìn)而移動CCD相機(jī)到指定位置，從作物上方采集圖像。本發(fā)明結(jié)構(gòu)上的一個(gè)優(yōu)點(diǎn)是通過水平定位系統(tǒng)移動相機(jī)到指定位置，可全方位獲取作物圖像，減少攝像機(jī)的安裝數(shù)量。硬件上另一個(gè)創(chuàng)新點(diǎn)是針對圖像處理算法耗時(shí)問題，利用CUDA (Compute Unified Device Architecture,統(tǒng)一計(jì)算設(shè)備架構(gòu))進(jìn)行圖像處理運(yùn)算，以提高運(yùn)算速度。CUDA是由NVIDIA (英偉達(dá))推出的旨在提高顯卡圖像處理能力且適合于并行計(jì)算的軟硬件解決方案，通過利用GPU (圖像處理單元)的處理能力，可大幅提升計(jì)算性能?；谟ミ_(dá)CUDA的GPU(顯卡)銷量已達(dá)數(shù)以百萬計(jì)，軟件開發(fā)商、科學(xué)家以及研究人員正在各個(gè)領(lǐng)域中運(yùn)用英偉達(dá)CUDA，包括圖像與視頻處理、計(jì)算生物學(xué)和化學(xué)、流體力學(xué)模擬等。因此利用CUDA來提高FCM算法的運(yùn)算速度，成本低廉容易推廣。本發(fā)明中，步驟(2)所述歸一化顏色空間采用基于最小色彩方差的分割法將像素點(diǎn)數(shù)量為n的圖像在RGB空間中分成
(I個(gè)子顏色空間，每個(gè)子空間的像素點(diǎn)數(shù)為::(〗)，滿足如下關(guān)系，
(I \
￡.1=1~~ --V丄乂
q取下式作為量化數(shù)值。G = floor{' 3；；(2)FCM算法將圖像數(shù)據(jù)集X =+( ,IPh分為e類，x中任意樣本對,類的隸
屬度為分類結(jié)果可以用一個(gè)模糊隸屬度矩陣II 二 e Rm表示。標(biāo)準(zhǔn)FCM算法中，每
個(gè)像素點(diǎn)X:都要參與FCM算法的迭代運(yùn)算，運(yùn)算量大，而進(jìn)行顏色量化后，每個(gè)子空間的代表顏色和顏色數(shù)量已知，因此只需用代表顏色進(jìn)行運(yùn)算，不需要重復(fù)運(yùn)算，可大幅提高運(yùn)算速度。量化后的圖像表示為他《)，顏色子空間(3 = { :1;^.,^,)€1^-，每個(gè)子空間代表顏色
對應(yīng)的數(shù)量為!! = ^〕^〗^^〕。基于顏色量化的FCM算法分類結(jié)果的隸屬度矩陣表示
為r = {_R”，模糊c一均值聚類是通過最小化關(guān)于隸屬度矩陣u和聚類中心V的目標(biāo)
函數(shù)W(u.v:;實(shí)現(xiàn)的，
A (n,￥)=2E (如)* 4.( , I)(3)·
A-I Ul
顏色量化后，相同的顏色不需要重復(fù)計(jì)算，目標(biāo)函數(shù)按下式計(jì)算
(4)
柳,￥)^全_(%)*^(1^)式中，隸屬度矩陣1 = _的計(jì)算公式采用(5)
,Ul Ui
式，量化后的維數(shù)為cXn變?yōu)閏Xq，計(jì)算量大為減少，
Uik= y(5)
其中 i = I.,.C k = l..,q
I
ZWX
v, =jH--為c個(gè)聚類中心點(diǎn)集，定義為
S(%r細(xì)
(6)
顏色量化后，中心計(jì)算采用下式，
零之 SX..............................................................................
! i 職Vw
Jl-I
(7)
由于q遠(yuǎn)小于n故，中心點(diǎn)的計(jì)算量也大幅減少。m e [1,00]為加權(quán)指數(shù)，當(dāng)W = I,模糊聚類就退化為硬C —均值聚類；通?！?= 2為比較理想的取值。第；個(gè)樣本到第※類中心的距離Cifk(XkTi)采用歐式距離進(jìn)行運(yùn)算。FCM
kI
是通過反復(fù)迭代優(yōu)化目標(biāo)函數(shù)式(4)，直到算法收斂。本發(fā)明FCM算法中，由于圖像數(shù)據(jù)經(jīng)過了預(yù)處理，在RGB空間的分布比較均勻，不再沿對角線附近聚集，故可直接利用圖像像素點(diǎn)的RGB數(shù)值進(jìn)行聚類，不需要變換到CIE均勻顏色空間，可減少計(jì)算量，而且不影響聚類效果，顏色量化后，在不影響分割質(zhì)量的前提下顯著提高運(yùn)算速度。本發(fā)明中，步驟(3) Haralick紋理特征定義為，
能量，Enery= ZfEfP2M(8)· 熵，
E ntropy = — If Ef P [l jl iog P(9)
對比度，(10)
均勻性，(11)
倒數(shù)差分矩，(12)
互相關(guān)，
Core^stior. = S';Zx(13)
* j-cr-
均值和，
Siun Mean =+ /PDjI)(14)
方差，Ysrkr.ce =— n}2 PU. jl + (j -p U-A j(15)
類趨勢，Clyster Tendeiic/ = If IJ(i + ; - lu;kP\i.iT；(16)
最大概率，
MaxiKmin ProbabJiity = [:,/](17)
P[i, j]為共生矩陣的第(i，j)個(gè)元素士 o分別為共生矩陣的均值和標(biāo)準(zhǔn)偏差。本發(fā)明中，步驟(4)從特征集合中選取最優(yōu)特征子集的方法為，采用遺傳算法、模擬退火算法、蟻群算法或粒子群算法等啟發(fā)式搜索算法尋找最優(yōu)特征組合，算法的目標(biāo)函數(shù)為神經(jīng)網(wǎng)絡(luò)的最小識別誤差，算法收斂后，統(tǒng)計(jì)每個(gè)特征的使用頻率，選擇最常用的特征作為識別能力最強(qiáng)的特征，并構(gòu)造特征子集，子集的特征數(shù)量控制在20-30個(gè)。算法選擇特征時(shí)，對于未使用的特征，神經(jīng)網(wǎng)絡(luò)的輸入設(shè)為O。通過優(yōu)化后，特征集合的數(shù)量下降，如此，可降低神經(jīng)網(wǎng)絡(luò)計(jì)算復(fù)雜度、提高泛化能力。本發(fā)明中，步驟(5)采用BP神經(jīng)網(wǎng)絡(luò)利用優(yōu)化的特征集合對作物的水肥狀態(tài)進(jìn)行識別。神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)，能從輸入、輸出的數(shù)據(jù)中提取出規(guī)律性的知識，記憶于網(wǎng)絡(luò)的權(quán)值中，并具有泛化能力，因此選擇神經(jīng)網(wǎng)絡(luò)用于植物脅迫特征特征識別是一種自然選擇。用于特征選擇的神經(jīng)網(wǎng)絡(luò)和最后上線用于特征識別的神經(jīng)網(wǎng)絡(luò)均采用三層BP(誤差反向傳播)神經(jīng)網(wǎng)絡(luò)，兩者的差別在于網(wǎng)絡(luò)輸入層和隱層神經(jīng)元數(shù)量不一致。后者的輸入特征向量為優(yōu)化后的特征子集，神經(jīng)網(wǎng)絡(luò)規(guī)模較前者小的多。輸入層為用于識別的特征量，輸出層為缺水、缺素、正常等特征量，中間層的神經(jīng)元數(shù)量根據(jù)經(jīng)驗(yàn)值確定。本發(fā)明的有益效果在于本發(fā)明以溫室環(huán)境中的作物為研究對象，構(gòu)造計(jì)算機(jī)視覺監(jiān)測平臺，研究適應(yīng)自然光照變化、復(fù)雜場景下植物圖像分割方法，對獲得的植物葉片圖像，從形態(tài)、顏色、紋理等方面提取并構(gòu)造數(shù)量足夠的特征集合，采用遺傳算法、模擬退火算法、蟻群算法、粒子群算法等啟發(fā)式搜索算法結(jié)合神經(jīng)網(wǎng)絡(luò)技術(shù)尋找最優(yōu)特征子集，最后利·用BP神經(jīng)網(wǎng)絡(luò)對作物脅迫特征進(jìn)行識別。采用水平定位系統(tǒng)移動相機(jī)，可以全方位獲取植物圖像。對于運(yùn)算耗時(shí)的算法，采用CUDA(Compute Unified Device Architecture)硬件平臺實(shí)現(xiàn)，以滿足監(jiān)測的實(shí)時(shí)性要求。本發(fā)明為溫室植物的水肥脅迫狀態(tài)費(fèi)破壞性測量提供了一種技術(shù)手段，具有廣闊的應(yīng)用前景。


圖I為本發(fā)明監(jiān)測平臺結(jié)構(gòu)圖示。圖2為本發(fā)明計(jì)算機(jī)結(jié)構(gòu)。 圖3為本發(fā)明方法流程圖。圖4為圖像處理過程。其中(a)原圖，(b)圖像分割，(C)數(shù)學(xué)形態(tài)學(xué)運(yùn)算，⑷Blob過濾，(e)孔洞填充，(f)抽取圖像。圖中標(biāo)號1為CXD相機(jī)，2為圖像采集卡，3為具有CUDA平臺的計(jì)算機(jī)，4為步進(jìn)機(jī)控制器，5為X方向步進(jìn)電機(jī)，6為Y方向步進(jìn)電機(jī)，7為X方向?qū)к墸?為Y方向?qū)к墸?為支架，10為溫室作物。
具體實(shí)施例方式為了更好理解本發(fā)明，下面結(jié)合附圖對本發(fā)明進(jìn)行詳細(xì)說明。實(shí)施例I :
如圖I所示，計(jì)算機(jī)根據(jù)設(shè)定的圖像采用間隔，發(fā)出指令，通過步進(jìn)電機(jī)控制器控制X、Y兩個(gè)方向的電機(jī)，將攝像機(jī)(CCD相機(jī))移動到指定位置，然后采集圖像，存儲于計(jì)算機(jī)中用于圖像分析。圖I中相機(jī)安裝在作物上方，有利于獲取植物葉片圖像。圖2為計(jì)算機(jī)結(jié)構(gòu)圖，電腦具有CUDA硬件平臺，以提高圖像處理運(yùn)算速度。圖3為圖像分析算法流程流程圖，圖4為圖像分割過程，算法處理各步驟如下
(I)如圖3，獲取圖像后，先進(jìn)行預(yù)處理，即進(jìn)行對比度調(diào)整和去相關(guān)拉伸變換
(Decorrelation Stretch Transformation, DST),以使得圖像數(shù)據(jù)在RGB空間中的分布更均勻，進(jìn)而提高圖像的動態(tài)范圍，處理后FCM聚類可以直接在RGB空間中進(jìn)行。
(2)圖像預(yù)處理后，進(jìn)行顏色量化，然后利用模糊C均值聚類算法(FCM)進(jìn)行圖像分割，將土壤和植物分離。基于顏色量化的FCM算法，如前所述。圖4 (a)是植物圖像，圖4 (b)為基于顏色量化的FCM分割后的結(jié)果。(3)對分割后圖像，利用數(shù)學(xué)形態(tài)學(xué)運(yùn)算進(jìn)行處理，去除噪聲，對圖4 (b)進(jìn)行形態(tài)學(xué)去噪后結(jié)果如圖4 (C)所示。(4)對去噪后圖像，運(yùn)用像素標(biāo)記算法標(biāo)記圖像并進(jìn)行BLOB分析，根據(jù)BLOB分析結(jié)果去除雜草、大的區(qū)塊(如圖4 (d))，填充葉片孔洞(如圖4 (e))，抽取場景中的所有葉片圖像(如圖4 (f)所示)用于后續(xù)處理。(5)對獲取的每個(gè)植物葉片，獲取R、G、B、H、S、L、a*、b*每個(gè)顏色分量的均值及灰
度均值作為顏色特征。 (6)抽取葉片的周長、形心、面積、高度、寬度、內(nèi)切橢圓長軸、內(nèi)切橢圓短軸、面積·周長比、緊致度、伸長率、長寬比對數(shù)、周長寬度比、周長長度比等13個(gè)形態(tài)特征。(7)確定合適的空間關(guān)系(角度為0，距離為1)，對于R、G、B、H、S、I、L*、a*、b*的每個(gè)分量，計(jì)算共生矩陣，在此基礎(chǔ)上提取前述10個(gè)Haralick紋理特征,共計(jì)90個(gè)特征。(8)構(gòu)造神經(jīng)網(wǎng)絡(luò)進(jìn)行脅迫特征識別，利用采用遺傳算法、模擬退火算法、蟻群算法、粒子群算法等啟發(fā)式搜索算法尋找最優(yōu)特征子集。(9)利用最優(yōu)特征子集，構(gòu)造BP神經(jīng)網(wǎng)絡(luò)，利用典型特征圖片進(jìn)行訓(xùn)練，實(shí)現(xiàn)復(fù)雜場景作下物脅迫特征狀態(tài)的在線識別。(10)對于運(yùn)算耗時(shí)的算法，研究和設(shè)計(jì)CUDA硬件平算法構(gòu)架(結(jié)構(gòu)如圖2所示)，提高運(yùn)算速度，滿足實(shí)時(shí)性要求?；谟ミ_(dá)CUDA的GPU(顯卡)銷量已達(dá)數(shù)以百萬計(jì)，軟件開發(fā)商、科學(xué)家以及研究人員正在各個(gè)領(lǐng)域中運(yùn)用英偉達(dá)CUDA，包括圖像與視頻處理、計(jì)算生物學(xué)和化學(xué)、流體力學(xué)模擬等。因此利用CUDA來提高算法的運(yùn)算速度，不僅方法可行且成本低廉。
權(quán)利要求
1.一種基于計(jì)算機(jī)視覺的溫室作物脅迫狀態(tài)識別方法，其特征在于具體步驟如下 (1)構(gòu)建計(jì)算機(jī)視覺監(jiān)測平臺，所述監(jiān)測平臺由CCD相機(jī)(I)、支架(9)、計(jì)算機(jī)(3)、步進(jìn)電機(jī)控制器⑷、X方向電機(jī)(5)、Y方向電機(jī)(6)、X方向?qū)к?7)和Y方向?qū)к墷墙M成相機(jī)水平定位系統(tǒng)，其中導(dǎo)軌(8)位于溫室頂部前后兩側(cè)，導(dǎo)軌(7)兩端位于導(dǎo)軌(8)上；Y方向電機(jī)(6)控制X方向?qū)к?7)在導(dǎo)軌⑶上沿Y方向運(yùn)動；C⑶相機(jī)⑴通過支架(9)安裝于X方向?qū)к?7)上，X方向電機(jī)(5)控制支架(9)在導(dǎo)軌(7)上沿X方向來回移動，CCD相機(jī)⑴位于溫室作物上方；CCD相機(jī)⑴通過圖像采集卡⑵連計(jì)算機(jī)(3)的輸入端，計(jì)算機(jī)⑶的輸出端連接步進(jìn)電機(jī)控制器⑷的輸入端，步進(jìn)電機(jī)控制器⑷的輸出端分別連接X方向電機(jī)(5)和Y方向電機(jī)(6);計(jì)算機(jī)通過向步進(jìn)電機(jī)控制器⑷發(fā)出指令，實(shí)現(xiàn)CCD相機(jī)在溫室上方的水平定位，依次采集作物圖像；計(jì)算機(jī)具有CUDA硬件平臺，用于實(shí)現(xiàn)復(fù)雜圖像處理運(yùn)算；電機(jī)(5)、電機(jī)(6)均為步進(jìn)電機(jī)； (2)對獲取的圖像，選擇歸一化顏色空間用于聚類分割，以消除自然光照變化對分割結(jié)果的影響；在顏色量化的基礎(chǔ)上，利用模糊C均值聚類算法進(jìn)行圖像分割，將植物葉片圖像和土壤等背景分離；對分割后圖像，利用數(shù)學(xué)形態(tài)學(xué)運(yùn)算進(jìn)行處理，去除噪聲；對去噪后圖像，運(yùn)用像素標(biāo)記算法標(biāo)記圖像并進(jìn)行BLOB分析，根據(jù)BLOB分析結(jié)果去除雜草，填充葉片孔洞，抽取場景中的所有葉片圖像用于后續(xù)處理； (3)對植物葉片圖像，從形態(tài)、顏色和紋理等方面構(gòu)造數(shù)量足夠大的脅迫特征集合；對獲取的每個(gè)植物葉片，抽取葉片的周長、形心、面積、高度、寬度、內(nèi)切橢圓長軸、內(nèi)切橢圓短軸、面積周長比、緊致度、伸長率、長寬比對數(shù)、周長寬度比、周長長度比13個(gè)形態(tài)特征，顏色通常描述為三維空間的一個(gè)向量，即每個(gè)顏色為顏色空間中的一個(gè)坐標(biāo)；獲取圖像數(shù)據(jù)是RGB格式，HSI符合人眼感知心理，CIE(L*a*b*)是均勻顏色空間可以用歐式距離測量小的色差；獲取R、G、B、H、S、L、a*、b*每個(gè)顏色分量的均值及灰度均值作為顏色特征；紋理是反映目標(biāo)表面亮度特征變化的測度；二維灰度共生矩陣用于紋理分析，熵用來描述灰度分布的隨機(jī)性，當(dāng)作物營養(yǎng)不足，表面復(fù)雜度降低，熵也會降低；能量是反映灰度亮度一個(gè)指標(biāo)，當(dāng)缺水時(shí)，葉片發(fā)黃，亮度增加，能量也增加，對比度提高；與灰度圖像相比，彩色圖像在可見光譜中提供了更多的顏色特征，據(jù)此，本項(xiàng)目擬利用彩色共生矩陣進(jìn)行彩色紋理分析；對于R、G、B、H、S、I、L*、a*、b*的每個(gè)分量，根據(jù)距離為I角度為0的空間關(guān)系計(jì)算共生矩陣，計(jì)算能量、熵、對比度、均勻性、倒數(shù)差分矩、互相關(guān)、均值和、方差、類趨勢、最大概率和每個(gè)分量計(jì)算10個(gè)Haralick紋理特征,共90個(gè)特征； (4)對構(gòu)造的特征集合，利用啟發(fā)式搜索算法結(jié)合神經(jīng)網(wǎng)絡(luò)選擇水、肥狀態(tài)最優(yōu)特征子集; (5)根據(jù)選出的水、肥狀態(tài)最優(yōu)特征子集，利用BP神經(jīng)網(wǎng)絡(luò)對作物脅迫特征進(jìn)行識別。
2.根據(jù)權(quán)利要求I所述的基于計(jì)算機(jī)視覺的溫室作物脅迫狀態(tài)識別方法，其特征在于其特征在于步驟(2)所述歸一化顏色空間采用基于最小色彩方差的分割法將像素點(diǎn)數(shù)量為n的圖像在RGB空間中分成q個(gè)子顏色空間，每個(gè)子空間的像素點(diǎn)數(shù)為Mij,滿足如下關(guān)系，IL {]j = Ji(I) q取下式作為量化數(shù)值，c = floor (% I;(2)FCM算法將圖像數(shù)據(jù)集1 = ( , ,分為e類，X中任意樣本X對I類的隸屬度為~，分類結(jié)果用一個(gè)模糊隸屬度矩陣n= WijJeRm表示；標(biāo)準(zhǔn)FCM算法中，每個(gè)像素點(diǎn)X:都要參與FCM算法的迭代運(yùn)算，運(yùn)算量大，而進(jìn)行顏色量化后，每個(gè)子空間的代表顏色和顏色數(shù)量已知，只需用代表顏色進(jìn)行運(yùn)算，大幅提高運(yùn)算速度；量化后的圖像表示為(Q， ，顏色子空間Q = (S1X2, ,xq}，每個(gè)子空間代表顏色對應(yīng)的數(shù)量為H =;基于顏色量化的FCM算法分類結(jié)果的隸屬度矩陣表示為U = MeRc^，模糊C一均值聚類是通過最小化關(guān)于隸屬度矩陣U和聚類中心V的目標(biāo)函數(shù)k{U.V〕實(shí)現(xiàn)的， Jw(UfV)(3)i-1 顏色量化后，相同的顏色不需要重復(fù)計(jì)算，目標(biāo)函數(shù)按下式計(jì)算 4(u,v)=SZ 卿■’5)⑷M i-1 式中，隸屬度矩陣U = {'k〕.的計(jì)算公式釆用(5)式，量化后的維數(shù)為cXn變?yōu)閏Xq，計(jì)算量大為減少, = Z(5)其中I' = I.,.C k = l...q V = h"vj € RF為c個(gè)聚類中心點(diǎn)集，定義為 ' =- (6)JUl 顏色量化后，中心計(jì)算釆用下式，
3.根據(jù)權(quán)利要求I所述的基于計(jì)算機(jī)視覺的溫室作物脅迫狀態(tài)識別方法，其特征在于其特征在于步驟(3) Haralick紋理特征定義為， 能量，
4.根據(jù)權(quán)利要求I所述的基于計(jì)算機(jī)視覺的溫室作物水肥脅迫狀態(tài)識別方法，其特征在于其特征在于步驟(4)從特征集合中選取最優(yōu)特征子集的方法為采用遺傳算法、模擬退火算法、蟻群算法或粒子群算法等啟發(fā)式搜索算法尋找最優(yōu)特征組合，算法的目標(biāo)函數(shù)為神經(jīng)網(wǎng)絡(luò)的最小識別誤差，算法收斂后，統(tǒng)計(jì)每個(gè)特征的使用頻率，選擇最常用的特征作為識別能力最強(qiáng)的特征，并構(gòu)造特征子集，子集的特征數(shù)量控制在20-30個(gè)；算法選擇特征時(shí)，對于未使用的特征，神經(jīng)網(wǎng)絡(luò)的輸入設(shè)為O。
5.根據(jù)權(quán)利要求I所述的基于計(jì)算機(jī)視覺的溫室作物脅迫狀態(tài)識別方法，其特征在于其特征在于步驟(5)采用BP神經(jīng)網(wǎng)絡(luò)利用優(yōu)化的特征集合對作物的水肥狀態(tài)進(jìn)行識別；神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)，能從輸入、輸出的數(shù)據(jù)中提取出規(guī)律性的知識，記憶于網(wǎng)絡(luò)的權(quán)值中，并具有泛化能力，因此選擇神經(jīng)網(wǎng)絡(luò)用于植物脅迫特征特征識別是一種自然選擇；用于特征選擇的神經(jīng)網(wǎng)絡(luò)和最后上線用于特征識別的神經(jīng)網(wǎng)絡(luò)均采用三層BP神經(jīng)網(wǎng)絡(luò)，兩者的差別在于網(wǎng)絡(luò)輸入層和隱層神經(jīng)元數(shù)量不一致；后者的輸入特征向量為優(yōu)化后的特征子集，神經(jīng)網(wǎng)絡(luò)規(guī)模較前者小的多；輸入層為用于識別的特征量，輸出層為缺水、缺素或正常特征量，中間層的神經(jīng)元數(shù)量根據(jù)經(jīng)驗(yàn)值確定。
全文摘要
本發(fā)明涉及一種基于計(jì)算機(jī)視覺技術(shù)的溫室作物水肥脅迫狀態(tài)識別方法，本發(fā)明以溫室環(huán)境中的作物為研究對象，構(gòu)造計(jì)算機(jī)視覺監(jiān)測平臺，研究適應(yīng)自然光照變化、復(fù)雜場景下植物圖像分割方法，對獲得的植物葉片圖像，從形態(tài)、顏色、紋理等方面提取并構(gòu)造數(shù)量足夠的特征集合，采用遺傳算法、模擬退火算法、蟻群算法或粒子群算法等啟發(fā)式搜索算法結(jié)合神經(jīng)網(wǎng)絡(luò)技術(shù)尋找最優(yōu)特征子集，利用BP神經(jīng)網(wǎng)絡(luò)對作物脅迫特征進(jìn)行識別。采用水平定位系統(tǒng)移動相機(jī)，可全方位獲取植物圖像。采用CUDA硬件平臺實(shí)現(xiàn)算法運(yùn)算，以滿足監(jiān)測的實(shí)時(shí)性要求。本發(fā)明為溫室植物的水肥脅迫狀態(tài)費(fèi)破壞性測量提供了一種技術(shù)手段，具有廣闊的應(yīng)用前景。
文檔編號G06K9/62GK102789579SQ201210260259
公開日2012年11月21日 申請日期2012年7月26日 優(yōu)先權(quán)日2012年7月26日
發(fā)明者司慧萍, 吳軍輝, 林開顏, 林振坤, 陳杰 申請人:同濟(jì)大學(xué)