1 介紹

21世紀(jì)的農(nóng)業(yè)面臨著一個關(guān)鍵挑戰(zhàn)：開發(fā)創(chuàng)新且廣泛適用的技術(shù)和方法，以滿足快速增長的食物生產(chǎn)需求，同時(shí)解決氣候危機(jī)和世界人口增長的后果。

溫室和其他保護(hù)種植系統(tǒng)可以應(yīng)對這些挑戰(zhàn)，因?yàn)樗鼈兺ㄟ^為作物提供遮蔽，防止不良天氣和害蟲，延長生長季節(jié)，節(jié)約用水和減少有害化學(xué)品的使用，從而提高產(chǎn)品產(chǎn)量和質(zhì)量。然而，溫室種植的廣泛采用目前受到初始投資、能源消耗和勞動力等高成本的限制，同時(shí)管理養(yǎng)分供應(yīng)、控制環(huán)境參數(shù)和減輕疾病和害蟲的復(fù)雜性也在增加。因此，溫室種植通常僅限于相對較少的高價(jià)值作物（例如番茄、黃瓜、辣椒和綠葉蔬菜）。

溫室的結(jié)構(gòu)化特性和受控環(huán)境促進(jìn)了自動化技術(shù)和智能機(jī)器人系統(tǒng)的集成，以實(shí)現(xiàn)效率提升、減少對人工勞動力的依賴和成本，并優(yōu)化植物生長與生產(chǎn)力。溫室機(jī)器人能夠協(xié)助或自主完成多種任務(wù)，包括種植、施肥和/或噴灑農(nóng)藥、授粉、作物監(jiān)測與表型分析、數(shù)據(jù)收集，以及收獲甚至修剪。此外，機(jī)器學(xué)習(xí)（ML）和其他人工智能工具已經(jīng)在管理和分析從溫室收集的復(fù)雜數(shù)據(jù)方面產(chǎn)生重大影響，以支持上述目標(biāo)。

在此背景下，我們提出一個用于溫室作物智能自動化監(jiān)測的集成框架，旨在能夠較早發(fā)現(xiàn)疾病和害蟲。我們的目標(biāo)作物是番茄，它是農(nóng)業(yè)和全球糧食供應(yīng)中最重要的作物之一，無論是在經(jīng)濟(jì)重要性方面，還是在營養(yǎng)價(jià)值與健康方面。該框架是在 SOUP 項(xiàng)目范圍內(nèi)開發(fā)的，結(jié)合使用機(jī)器人移動平臺自主采集植物的多光譜圖像，以及基于機(jī)器學(xué)習(xí)的工具來分析獲取的圖像，以檢測潛在的害蟲感染或疾病侵襲，以便采取適當(dāng)和及時(shí)的行動來控制并根除它們。我們提出的框架的實(shí)現(xiàn)設(shè)計(jì)為易于在溫室設(shè)施中部署，利用堅(jiān)固且經(jīng)過實(shí)地驗(yàn)證的組件。

本文其余部分組織如下：第二節(jié)概述相關(guān)工作。第三節(jié)描述了所提出框架的組件和技術(shù)。第四節(jié)展示實(shí)驗(yàn)結(jié)果，第五節(jié)進(jìn)行討論，而第六節(jié)提供結(jié)論性意見和對未來工作的建議。

2 相關(guān)工作

2.1 植物病害檢測

害蟲和植物病害的檢測通常依靠人工和實(shí)踐經(jīng)驗(yàn)進(jìn)行。相比之下，自動化檢測可以成為更結(jié)構(gòu)化流程的一部分，具有明顯的優(yōu)勢。盡管面臨各種障礙，葉片病灶檢測仍存在受影響葉片與周圍環(huán)境之間變化不明顯、對比度差、病灶面積大小波動、圖像噪聲以及光照變化等問題。

使用手工特征的傳統(tǒng)方法面臨太多困難；而深度學(xué)習(xí)的出現(xiàn)則徹底改變了病蟲害檢測的狀態(tài)。以下給出了一些典型方法。整體方法通過表征整個圖像來進(jìn)行描述是否包含病變。這類研究主要使用了卷積神經(jīng)網(wǎng)絡(luò)（CNNs），其中使用了葉片圖像，或者將手機(jī)攝像頭獲取的圖像輸入到 ResNet 架構(gòu)中。

局部檢測方法通常旨在以邊界矩形的形式定位病變。為此，已使用如 Faster R-CNN 等兩階段網(wǎng)絡(luò)。在兩階段情況下，首先計(jì)算區(qū)域建議，然后使用相關(guān)特征圖在 ROI 池化后對區(qū)域進(jìn)行分類。在單階段網(wǎng)絡(luò)中，檢測部分嵌入到骨干網(wǎng)絡(luò)中，這簡化了整體過程，比如使用 SSD 架構(gòu)處理來自 17 個疾病類別的現(xiàn)場圖像；另一種常用的架構(gòu)是 YOLO，采用了 CNN：一個異常檢測模型，驗(yàn)證輸入圖像是否有效（即包含占據(jù)圖像適當(dāng)部分的葉片）；然后一個疾病識別模型檢測輸入圖像中葉片上的病變并識別病變的可能原因。

當(dāng)對病變進(jìn)行完全分割時(shí)，可以提供更詳細(xì)的信息，通常使用各種配置的全卷積神經(jīng)網(wǎng)絡(luò)。其他方法使用 Mask R-CNN 架構(gòu)。然而，在大多數(shù)應(yīng)用中，將病變作為邊界矩形進(jìn)行檢測就足夠了。

迄今為止，將此類方法集成到移動機(jī)器人平臺上相對有限，因?yàn)榧僭O(shè)采集主要由手完成，甚至更糟是在被背景分開的平坦葉片上，這給出了相當(dāng)樂觀的結(jié)果。在如何利用其他光譜通道（例如紅外）的信息以及這是否有幫助方面，也有有限的工作。

2.2 溫室作物監(jiān)測機(jī)器人

為了有效部署開發(fā)的方法來監(jiān)測作物中的植物健康，需要定期收集和分析作物中大部分植物的數(shù)據(jù)。

為此，一種有效的解決方案是將成像傳感器安裝在自主導(dǎo)航的移動機(jī)器人上，通過依次成像單株植物來收集數(shù)據(jù)。文獻(xiàn)中已報(bào)道越來越多的此類系統(tǒng)，包括用于疾病/害蟲檢測或植物監(jiān)測和表型的任務(wù)特定機(jī)器人，以及結(jié)合檢測與靶向干預(yù)（如農(nóng)藥噴灑）的多功能機(jī)器人。由于許多目標(biāo)植物（包括番茄）可以長到相當(dāng)?shù)母叨?，因此建議將成像傳感器安裝在可擴(kuò)展平臺或機(jī)械臂上，以實(shí)現(xiàn)有效和多功能的數(shù)據(jù)收集。

      機(jī)器人平臺的自主導(dǎo)航是自動化植物監(jiān)測過程的關(guān)鍵前提。與露天作物基于衛(wèi)星的 GNSS 導(dǎo)航不同，這種方式通常在溫室內(nèi)部不可行，因?yàn)闇厥页Ｓ玫慕ㄖ牧希ㄈ绮Ａ?、聚碳酸酯或塑料薄膜）會阻?GNSS 信號。因此，在溫室內(nèi)部導(dǎo)航需要采用替代的定位方法，例如室內(nèi)定位系統(tǒng)（IPS）和傳感器融合。IPS系統(tǒng)使用放置在溫室周圍的信標(biāo)或標(biāo)簽，通過無線電波、紅外線或超聲波信號來三角測量機(jī)器人的位置。傳感器融合方法依賴于激光雷達(dá)、深度相機(jī)和超聲波測距儀等多種傳感器的組合，并結(jié)合適當(dāng)?shù)乃惴▉硖峁┒ㄎ恍畔?。然而，這種高級傳感元件套件的成本仍然相對較高，而其長期運(yùn)行可靠性可能會受到系統(tǒng)復(fù)雜性以及溫室（主要是高溫和濕度增加）的不利工作環(huán)境的影響。更簡單但功能較少的解決方案涉及機(jī)器人平臺沿固定路徑移動，并結(jié)合某種形式的里程計(jì)來定位其在溫室內(nèi)的位置。 一個典型的例子是設(shè)計(jì)用于在作物行之間的現(xiàn)有供暖管道上移動的移動機(jī)器人。在溫室內(nèi)部固定機(jī)器人運(yùn)動路徑的其他方法包括使用光學(xué)線跟蹤和附加的二維碼標(biāo)記來輔助定位，以及使用磁性引導(dǎo)傳感器沿著鋪設(shè)在地板上的磁帶來運(yùn)動。

3 框架組件和技術(shù)

我們提出的框架包含一套基于機(jī)器學(xué)習(xí)的圖像分析工具來用于疾病檢測，以及一個機(jī)器人平臺來用于在溫室內(nèi)部自動收集數(shù)據(jù)。這些組件如下所示。

3.1  疾病檢測工具

我們所提出框架中的集成疾病檢測工具考慮了番茄植物的兩個最重要的病害，即白粉病和番茄潛葉蛾。它們是利用機(jī)器學(xué)習(xí)方法和一個廣泛的多光譜數(shù)據(jù)集開發(fā)的，具體描述如下。

多光譜數(shù)據(jù)集：我們的數(shù)據(jù)集包含 314 條記錄，涵蓋了本研究考慮的兩種疾病。這些記錄都標(biāo)記了植物和感興趣區(qū)域（RoI）。與文獻(xiàn)中引用的大多數(shù)使用傳統(tǒng) RGB 相機(jī)捕獲的數(shù)據(jù)集不同，我們公開可訪問的數(shù)據(jù)集是通過多光譜相機(jī)獲得的。此外，這些圖像是在溫室內(nèi)部拍攝的，這減少了整個數(shù)據(jù)集中的環(huán)境變化。

數(shù)據(jù)集圖像是通過Spectricon  Muses9-ms-pl多光譜相機(jī)拍攝的。該相機(jī)配備4-6百萬像素的C-MOS傳感器，能夠以每秒25幀的速度錄制，覆蓋370-1100 nm光譜范圍。每臺相機(jī)的拍攝會捕捉到總共8個通道，圖像分辨率為1776×2368像素。該相機(jī)使用 USB3.0 接口。

對于數(shù)據(jù)集中的每張圖像，都提供了一個8通道的立方體。多光譜相機(jī)捕獲的8個通道中，前三個通道是通過相機(jī)的 RGB 傳感器獲取的，而其余通道則通過多光譜傳感器獲得。對于這個數(shù)據(jù)集，選擇了三個多光譜通道，分別為460nm（近藍(lán)光）、540nm（近綠光）和630nm（近紅光）。這些波段如表1所示。盡管多光譜相機(jī)選擇的波長與 RGB 相機(jī)使用的波長相似，但多光譜傳感器在這些頻率上的響應(yīng)比RGB相機(jī)更集中。具體來說這個數(shù)據(jù)集選擇的多光譜通道中有三個分別為 460nm（近藍(lán)光）、540nm（近綠光）和630nm（近紅光）。此外，最后兩個通道位于紅外光譜區(qū)域，分別為850nm和980nm。

表1：MUSES9-MS-PL 相機(jī)支持的波長區(qū)域以及當(dāng)前研究中使用的區(qū)域。

病灶檢測：我們的病灶檢測方法將其視為一個目標(biāo)檢測任務(wù)，因此我們采用了Faster-RCNN模型。我們使用了RGB通道和980nm波段，并結(jié)合了一個帶有Faster-RCNN頭的自定義模型。類似于，我們使用了兩個相同的預(yù)訓(xùn)練骨干網(wǎng)絡(luò)，一個用于處理RGB通道，另一個用于處理980nm波段。架構(gòu)如圖1所示。為了從輸入中提取特征我們采用了兩種ResNet架構(gòu)，一個用于處理RGB通道，另一個用于處理980nm波段圖像，然后使用一個基本的2D卷積層將它們結(jié)合在一起。得到的特征隨后通過FasterRCNN頭進(jìn)行進(jìn)一步處理。

圖 1：多通道疾病檢測模塊。它接收 RGB 通道和 NIR 通道，將它們分別通過各自的 ResNets 提取特征，并通過卷積層后，通過 FasterRCNN 網(wǎng)絡(luò)實(shí)現(xiàn)檢測

圖 2 展示了整體處理流程。在圖像采集后，基于其均值和標(biāo)準(zhǔn)差對光譜立方體進(jìn)行歸一化，以符合COCO數(shù)據(jù)集設(shè)定的先驗(yàn)，我們利用該數(shù)據(jù)集預(yù)訓(xùn)練模型。為處理誤報(bào)，我們通過使用圖像的NDVI指數(shù)裁剪出背景塊，即僅保留葉綠素密度高的區(qū)域（分割步驟）。隨后，歸一化的光譜立方體被輸入深度神經(jīng)網(wǎng)絡(luò)的檢測流程。該流程生成邊界框，表示為(x, y,寬度,高度)，以及相應(yīng)的分類分?jǐn)?shù)。每個邊界框定義了潛在病灶的邊界。在最后一步，基于網(wǎng)絡(luò)的置信度對生成的邊界框進(jìn)行過濾。

圖 2：包括圖像采集、背景分割、疾病檢測和評估的整體處理流程。

在參考文獻(xiàn)中，最常用的評估指標(biāo)是考慮分類精確度和召回率的指標(biāo)，而對于檢測部分則是基于目標(biāo)與預(yù)測的交并比（IoU）。我們的任務(wù)更加精細(xì)，需要一種指標(biāo)來正確測量每張圖像的檢測混淆矩陣。為此，我們設(shè)計(jì)了一種算法，將每個目標(biāo)與其“最接近”的檢測匹配。在該階段之后剩余的所有缺陷都被計(jì)為假陽性。

3.2 機(jī)器人系統(tǒng)

上述疾病檢測工具被用作自動化溫室管理集成系統(tǒng)的一部分，該系統(tǒng)采用圖3所示的機(jī)器人平臺。該機(jī)器人設(shè)計(jì)用于部署在溫室作物中，以實(shí)現(xiàn)植物診斷數(shù)據(jù)的自動收集（本工作的重點(diǎn)）、通過噴灑進(jìn)行植物保護(hù)以及水果的收獲。

圖 3：機(jī)器人平臺。

在本次提出的場景中，溫室機(jī)器人用于以系統(tǒng)的方式監(jiān)測番茄作物通過定期從一致的角度采集植物的多光譜圖像。圖像自動上傳到數(shù)據(jù)庫，供疾病檢測工具后續(xù)檢索分析。

機(jī)器人平臺：該機(jī)器人基于改裝的商業(yè)垂直桅桿式移動平臺（Bravi平臺Leonardo HD）構(gòu)建。選擇這種特定車輛是基于其重型結(jié)構(gòu)、良好的整體機(jī)動性、高達(dá)180公斤的大負(fù)載能力，以及將工作平臺提升至離地面最高2.9米的能力。這一特點(diǎn)結(jié)合機(jī)械臂的可達(dá)范圍，使得能夠照料超出人類工人可達(dá)范圍的植物，從而有可能通過允許植物比傳統(tǒng)栽培長得更高，從而提高產(chǎn)品產(chǎn)量。差速轉(zhuǎn)向車輛有一對驅(qū)動前輪和兩個自由旋轉(zhuǎn)的后輪。在其出廠配置中，移動底座由人工操作員通過手動搖桿驅(qū)動。為了實(shí)現(xiàn)其自動化運(yùn)行，進(jìn)行了一系列的改造和增配。改造完成后，車輛的移動以及垂直桅桿升降機(jī)的操作，現(xiàn)在都通過一臺工業(yè)P（戴爾嵌入式 Box PC5000）控制，該P(yáng)C運(yùn)行ROS系統(tǒng)，并作為機(jī)器人的主要控制單元。

在導(dǎo)航方面，機(jī)器人采用磁導(dǎo)引系統(tǒng)，該系統(tǒng)由磁軌傳感器（Roboteq MGS1600）和貼在地面上的磁帶組成。傳感器安裝在移動底盤的前部（見圖3），用于檢測形成機(jī)器人預(yù)定路徑的磁帶，并利用PI轉(zhuǎn)向控制律進(jìn)行導(dǎo)航。地面上的附加磁標(biāo)記有助于路徑規(guī)劃算法引導(dǎo)機(jī)器人到達(dá)特定通道中的單個植物。磁導(dǎo)引系統(tǒng)是一種可靠、經(jīng)濟(jì)且靈活的解決方案，被廣泛應(yīng)用于工業(yè)和倉庫環(huán)境中的自動導(dǎo)引車（AGV）。為了確定機(jī)器人的位置，通過融合驅(qū)動輪電機(jī)上的增量編碼器數(shù)據(jù)和安裝在車輛底部的光學(xué)流傳感器（Roboteq FLW100）的數(shù)據(jù)來獲取里程計(jì)數(shù)據(jù)。

溫室機(jī)器人配備了一臺安裝在垂直桅桿提升甲板前方的Universal Robots UR10e 6自由度機(jī)械臂，以方便進(jìn)行輔助植物管理任務(wù)。UR10e機(jī)械臂非常適合這項(xiàng)應(yīng)用，其工業(yè)級結(jié)構(gòu)、1.3米的較大工作范圍以及12公斤的高負(fù)載能力。此外，該機(jī)械臂兼容ROS，使其更容易與溫室機(jī)器人的整體控制系統(tǒng)集成。

該機(jī)械臂的定制多功能末端執(zhí)行器集成了Spectricon Muses9-ms-pl多光譜相機(jī)（即用于疾病檢測工具開發(fā)的相機(jī)）用于植物監(jiān)測，以及一臺用于收獲任務(wù)的深度相機(jī)（Intel RealSense D435）。多光譜相機(jī)直接連接到機(jī)器人的主控單元，而深度相機(jī)則連接到一個Nvidia Jetson Nano SBC，該SBC作為專用的視覺處理單元。

圖 4：為植物成像指定多光譜相機(jī)定位而開發(fā)的 Matlab 模擬快照。

植物成像：要拍攝番茄植株，機(jī)械臂將相機(jī)定位在預(yù)定義位置以獲取一系列多光譜圖像。這些位置借助Matlab中開發(fā)的仿真工具確定（見圖4），該工具利用機(jī)器視覺工具箱，基于以下簡化假設(shè)：i) 相機(jī)的光軸始終垂直于拍攝平面，ii) 拍攝的植物與相機(jī)的距離處處相同，iii) 視場內(nèi)沒有因鏡頭或制造缺陷引起的畸變。算法的輸入數(shù)據(jù)包括：i) 番茄攀爬植物的寬度和高度，ii) 相機(jī)與拍攝植物的平均距離，以及 iii) 所用相機(jī)的內(nèi)參（焦距、垂直和水平視場、成像分辨率和像素尺寸）。算法的目標(biāo)是確定圖像平面到拍攝平面的映射關(guān)系，進(jìn)而計(jì)算末端執(zhí)行器所需的水平和垂直增量位移。

機(jī)器人以兩列的方式對每株植物進(jìn)行側(cè)面拍攝，末端執(zhí)行器以Π形子模式移動（見圖5），子模式的高度可延伸至四個圖像采集位置，基于機(jī)械臂的可達(dá)范圍。如果植物更高，則升起提升平臺，并獲取新的子模式。對于每個成像位置，通過求解機(jī)械臂的逆運(yùn)動學(xué)來保持相機(jī)方向與地面平行。數(shù)據(jù)庫：多光譜相機(jī)捕獲的植物圖像被壓縮并上傳至已設(shè)置為亞馬遜網(wǎng)絡(luò)存儲服務(wù)器的云數(shù)據(jù)庫。同時(shí)，數(shù)據(jù)庫中添加相應(yīng)的條目，以將收集的數(shù)據(jù)與相應(yīng)的植物及其在溫室內(nèi)的位置相關(guān)聯(lián)。然后，通過第四節(jié)A中介紹圖像分析工具檢索圖像，以檢測和識別潛在病害。

圖 5：植物檢查程序的Gazebo仿真，涉及從8個位置沿Π形圖案獲取一系列多光譜圖像。

4 實(shí)驗(yàn)結(jié)果

4.1  疾病檢測工具

在希臘赫拉克利翁的希倫尼科斯地中海大學(xué)（HMU）的實(shí)驗(yàn)溫室設(shè)施中，于秋季對開發(fā)的疾病檢測工具進(jìn)行了評估。將Solanum lycopersicum var. ELPIDA 品種的番茄幼苗在四片真葉階段移植到巖棉板上，這些巖棉板放置在覆蓋著聚乙烯薄膜的不供暖的雙跨拱形溫室中。

為了產(chǎn)生人工的潛葉蛾侵害，從一個當(dāng)?shù)厣虡I(yè)溫室收集的昆蟲中開始建立群體，并在實(shí)驗(yàn)室（25℃；濕度 75 ±5%；12 小時(shí)亮：12 小時(shí)暗）中通過喂食番茄植物維持四周。八周后，成蟲被移入實(shí)驗(yàn)溫室內(nèi)的兩個防蟲室中。隨后，十二株無感染、九片完全發(fā)育的葉子的番茄植株每平方米被三個成蟲侵害。要制備人工白粉病菌感染，從當(dāng)?shù)厣虡I(yè)溫室中生長的番茄植株幼葉中分離出霜霉菌。通過用水強(qiáng)烈清洗感染葉片來收集分生孢子。

處理完成后，番茄植株每天使用標(biāo)準(zhǔn)營養(yǎng)液進(jìn)行施肥，該營養(yǎng)液根據(jù)計(jì)算得出，并使用自動營養(yǎng)混合系統(tǒng)。在人工接種和定殖兩周后，每三天使用多光譜相機(jī)對番茄植株進(jìn)行采樣。

我們使用了基于 Pytorch 的 Faster-RCNN 實(shí)現(xiàn)，其骨干特征提取器在ImageNet上預(yù)訓(xùn)練，而整個網(wǎng)絡(luò)在COCO’17上預(yù)訓(xùn)練。從該初始模型開始，我們繼續(xù)在驗(yàn)證控制約束下進(jìn)行訓(xùn)練。具體來說，當(dāng)驗(yàn)證損失達(dá)到第一個局部最小值時(shí)，我們停止訓(xùn)練，容忍度為其最后值的5%。

為了評估使用近紅外通道的好處，我們進(jìn)行了兩個實(shí)驗(yàn)。第一個實(shí)驗(yàn)，稱為A，將630nm、540nm和460nm的三個通道作為預(yù)訓(xùn)練Faster-RCNN模型的輸入。在第二個實(shí)驗(yàn)，B中，我們創(chuàng)建了一個具有兩個并行骨干的修改架構(gòu)，以整合一個我們將另外三個通道加入我們的輸入。使用的通道是 850 nm，980 nm和閾值化的NDVI，第三個通道作為立方體葉片面積掩膜。指示結(jié)果如圖6和圖7所示，表2總結(jié)了我們的發(fā)現(xiàn)?？梢钥闯觯_發(fā)的方法在檢測這兩種病害方面取得了非常好的整體性能。關(guān)于多光譜波段的使用，結(jié)果表明僅在LT情況下有積極影響。然而，需要進(jìn)一步實(shí)驗(yàn)以更全面地理解它們的優(yōu)勢。

圖6：使用Faster-RCNN的檢測結(jié)果 (a)，(b)。紅色框表示得分超過 98%的邊界框。

圖7：微調(diào) 3 個通道后的檢測結(jié)果：630 nm，540 nm，460 nm。

表 2：實(shí)驗(yàn) A 和 B 的檢測結(jié)果。在此，圖像中存在疾病被視為成功檢測。為提高準(zhǔn)確性，我們采用了五折交叉驗(yàn)證方法，并對獲得的結(jié)果進(jìn)行平均。

4.2  集成系統(tǒng)的實(shí)驗(yàn)

我們在此展示在實(shí)驗(yàn)室環(huán)境下進(jìn)行的實(shí)驗(yàn)結(jié)果，旨在評估所提出的機(jī)器人疾病檢測框架。實(shí)驗(yàn)在學(xué)校工程學(xué)院的建筑走廊中進(jìn)行。在3.2米寬的走廊兩側(cè)，安裝了一排9株植物（即總共18株），這些植物被放置在金屬提升式排水溝上，配置方式模擬了典型水培番茄溫室中兩排植物的排列。所有植物的高度和相對于固定參考框架的位置事先已知。這些番茄植株在 HMU 農(nóng)業(yè)系的溫室設(shè)施中通過水培方式種植，根部置于生長袋中。其中14株植物健康狀況良好，其余4株被有意感染。感染包括兩種Tuta absoluta病例和兩種Leveillula taurica病例。

機(jī)器人通過地板中間位置放置的磁帶來引導(dǎo)行進(jìn)。使用里程計(jì)數(shù)據(jù)在特定位置停止機(jī)器人，并用多光譜相機(jī)掃描走廊兩側(cè)的植物，然后移動到下一對植物（圖 8）。完整地拍攝走廊中所有 18 株植物大約需要 35 分鐘完成。

圖 8：機(jī)器人平臺實(shí)驗(yàn)的攝影實(shí)例

在兩天內(nèi)總共進(jìn)行了四次這樣的運(yùn)行以確保全面的數(shù)據(jù)收集。每天進(jìn)行兩次運(yùn)行，植物在運(yùn)行之間顛倒以捕捉兩側(cè)的圖像。值得注意的是，所有四次運(yùn)行都成功完成，未遇到任何問題或復(fù)雜情況。

圖 9 提供了指示性結(jié)果，展示了通過拼接使用多光譜相機(jī)獲取的圖像重建的三個番茄植株。請注意，與植株(b)和(c)相比，植株(a)獲取的圖像數(shù)量更多（16 張 vs 14 張），因?yàn)樗摺?/p>

獲取的圖像集隨后被檢索從數(shù)據(jù)庫中進(jìn)行分析，檢測算法能夠正確識別感染植株及其具體病癥，且無假陽性（即所有健康植株均被正確識別為健康）。

圖 9：通過拼接實(shí)驗(yàn)期間使用多光譜相機(jī)拍攝的圖像，獲得的番茄植株重建示例。

5 討論

總體而言，開發(fā)的疾病檢測工具在實(shí)際場景中證明非常有效，能夠識別受感染的番茄植株。我們的結(jié)果表明，與傳統(tǒng)的RGB圖像相比，使用多光譜圖像并未帶來顯著優(yōu)勢，但顯然需要更多實(shí)驗(yàn)來探索替代的深度架構(gòu)。

關(guān)于集成系統(tǒng)，目前的一個限制是單株植物成像所需時(shí)間的增加，每側(cè)植物的時(shí)間范圍在80到150秒之間（取決于植物高度）。這其中的主要瓶頸是大型的多光譜圖像文件的獲取、打包和上傳到數(shù)據(jù)庫，每張圖像大約需要8秒。升級到更新、更高效的相機(jī)，并優(yōu)化光譜波段配置，預(yù)計(jì)將在這方面帶來顯著改進(jìn)，這對系統(tǒng)的實(shí)際應(yīng)用具有重要意義。

在考慮該系統(tǒng)在田間應(yīng)用時(shí)，還應(yīng)指出，不必檢查每一株植物來確定作物是否感染了任何已訓(xùn)練的疾病。在單株植物圖像中檢測到感染葉片就足以發(fā)出潛在作物感染的警報(bào)，并促使采取適當(dāng)措施。根據(jù)所選的植物保護(hù)策略，這可能涉及實(shí)施全田預(yù)防性噴灑或針對受影響植物實(shí)施定點(diǎn)干預(yù)。

6 結(jié)論

我們已提出一個利用機(jī)器人和機(jī)器學(xué)習(xí)技術(shù)進(jìn)行溫室番茄作物病蟲害檢測的框架。我們的實(shí)驗(yàn)證明了檢測的準(zhǔn)確性以及機(jī)器人平臺自動化系統(tǒng)性地執(zhí)行植物成像任務(wù)的能力，且無需依賴人工。計(jì)劃在實(shí)際溫室中進(jìn)行測試，以對系統(tǒng)進(jìn)行更具應(yīng)用導(dǎo)向的評價(jià)。

此外，目前已實(shí)施額外的圖像分析工具，以增加從植物成像數(shù)據(jù)中提取的有用信息量，包括植物生長率的估計(jì)以及番茄果實(shí)檢測和成熟度評估。

最后，開發(fā)的框架可以通過利用相同的機(jī)器學(xué)習(xí)方法和工具，方便地?cái)U(kuò)展到其他溫室作物，如辣椒或茄子，以檢測這些作物特有的病蟲害。結(jié)合集成到機(jī)器人系統(tǒng)中的農(nóng)藥噴灑和果實(shí)收獲的附加功能，該系統(tǒng)可作為多功能且經(jīng)濟(jì)高效的平臺，用于各種溫室作物的智能化自動化。

摘自：Nikolaos Kounalakis, Emmanouil Kalykakis, Dimitrios Kosmopoulos,John Fasoulas, and Michael Sfakiotakis：A framework leveraging robotics and machine learning technologies for early disease and pest detection in greenhouse tomato crops

轉(zhuǎn)在的目的在于傳遞更多的知識，如有侵權(quán)行為，請聯(lián)系我們，我們會立即刪除。