內(nèi)容一覽：如果能在短期內(nèi)確定并預(yù)測(cè)田間所有作物的生長狀況，就可以設(shè)定最佳采收日期，減少非標(biāo)準(zhǔn)尺寸作物的數(shù)量，并最大限度地減少收入損失。對(duì)此，來自東京大學(xué)和千葉大學(xué)的研究人員，給出了 AI + 無人機(jī)解決方案。

關(guān)鍵詞：農(nóng)業(yè) 無人機(jī) 遙感影像

作者 | 李寶珠

編輯 | 三羊、雪菜

春耕夏耘，秋收冬藏，四者不失時(shí)，故五谷不絕而百姓有馀食也。

長久以來，人們遵循歷年傳承的經(jīng)驗(yàn)辛勤耕種，并根據(jù)普遍成熟周期收割農(nóng)作物，但由于生長情況不同，在收獲時(shí)，農(nóng)作物的質(zhì)量、大小、成熟度不可避免地存在些許差異，統(tǒng)一的機(jī)械化采收會(huì)浪費(fèi)很多并沒有達(dá)到售賣或食用標(biāo)準(zhǔn)的作物，從而導(dǎo)致利潤降低。所以，采收日期對(duì)于未達(dá)標(biāo)農(nóng)作物的比例以及農(nóng)戶的最終總收入至關(guān)重要。

隨著無人機(jī)飛向田間地頭，人們也開始探索基于無人機(jī)航拍圖像數(shù)據(jù)，預(yù)測(cè)最佳采收日期。來自東京大學(xué)和千葉大學(xué)的研究人員開發(fā)了一套利用無人機(jī)采集植物表型數(shù)據(jù)的系統(tǒng)化流程，基于無人機(jī)遙感和圖像分析，預(yù)測(cè)每個(gè)西蘭花頭的大小，并將數(shù)據(jù)輸入基于溫度的生長模型中，從而預(yù)測(cè)最佳的采收日期。

經(jīng)過兩年的實(shí)地應(yīng)用實(shí)驗(yàn)，該系統(tǒng)高精度地預(yù)估了西蘭花頭的大小，并基于相關(guān)數(shù)據(jù)成功預(yù)測(cè)出了最佳采收日期，可減少耕種損失并提高利潤。目前，相關(guān)成果已經(jīng)發(fā)表于「Plant Phenomics」。

這一成果已發(fā)表于「Plant Phenomics」

論文鏈接：

https://spj.science.org/doi/10.34133/plantphenomics.0086#body-ref-B4

01 生長模型+價(jià)格數(shù)據(jù)：6 個(gè)步驟生成利潤預(yù)測(cè)模型

研究團(tuán)隊(duì)以西蘭花為例，通過無人機(jī)獲取西蘭花生長期內(nèi)，所有西蘭花頭不同時(shí)段的頭部大小信息（幾何特征），然后在頭部大小和溫度數(shù)據(jù)之間建立一個(gè)簡單的生長模型，并將其與通過市場調(diào)查獲得的價(jià)格數(shù)據(jù)相結(jié)合，建立最佳收獲日期的利潤預(yù)測(cè)模型。

該方法主要包含 6 個(gè)關(guān)鍵步驟

步驟 1：無人機(jī)航拍 (Drone Flight) 得到原始圖像

* 實(shí)驗(yàn)時(shí)間：2020 年至 2021 年

* 實(shí)驗(yàn)地點(diǎn)：日本東京可持續(xù)農(nóng)業(yè)生態(tài)系統(tǒng)服務(wù)研究所 (ISAS) 實(shí)驗(yàn)農(nóng)場

* 航拍設(shè)備：大疆 DJI Mavic 2 Pro 和 DJI Phantom 4 RTK

* 圖像數(shù)據(jù)：224 GB（2020 年）+ 72 GB（2021 年）

大疆精靈 4 RTK，圖源：大疆官網(wǎng)

步驟 2：航拍圖像預(yù)處理 (Photogrammetry)

研究人員使用專業(yè)無人機(jī)圖像處理軟件 Pix4DMapper Pro，測(cè)量無人機(jī)拍攝圖像，并通過 3D 重建對(duì)圖像數(shù)據(jù)進(jìn)行預(yù)處理。使用默認(rèn)軟件參數(shù)，生成了數(shù)字正射地圖 (DOM) 和數(shù)字表面模型 (DSM)。

用于 3D 重建的計(jì)算機(jī)配置如下：

Intel i9-7980XE CPU 2.6GHz，64GB RAM，2 塊 NVIDIA GeForce GTX 1080Ti GPU

步驟 3：西蘭花育苗位置檢測(cè) (Seedling detection)

檢測(cè)算法：YOLO v5，NMS 算法

注：NMS 算法全稱 nonmaximum suppression，非極大值抑制算法

在幼苗階段，研究人員使用 YOLO v5 進(jìn)行了西蘭花頭位置檢測(cè)，并利用 NMS 算法來合并緩沖區(qū)域內(nèi)的重復(fù)檢測(cè)結(jié)果。

然后，將邊界框的中心點(diǎn)視為西蘭花的位置，在開源地理信息系統(tǒng) Quantum GIS 中手動(dòng)檢查、調(diào)整檢測(cè)結(jié)果，確保沒有遺漏或重復(fù)的檢測(cè)。

西蘭花育苗檢測(cè)工作流程

步驟4：西蘭花頭分割 (Head segmentation)

分割模型：BiSeNet v2

西蘭花頭分割工作流程

在實(shí)驗(yàn)過程中，為減輕深度學(xué)習(xí)數(shù)據(jù)標(biāo)注和處理的工作負(fù)擔(dān)，消除部分土壤和雜草的影響，研究人員以時(shí)間序列數(shù)據(jù)融合為指導(dǎo)，縮小了處理區(qū)域，僅使用幼苗周圍的正方形區(qū)域（約 100 × 100 像素，略大于西蘭花頭）進(jìn)行西蘭花頭分割。

此外，研究人員還利用交互式標(biāo)注減少了數(shù)據(jù)標(biāo)注的工作量。

注：交互式標(biāo)注 interactive annotation，是指使用一種智能的、基于算法的方法，來選擇標(biāo)注樣本，以最大限度地提高深度學(xué)習(xí)模型性能，并降低標(biāo)注成本。

研究人員使用圖像標(biāo)注開源工具 LabelMe，手動(dòng)標(biāo)記少量初始訓(xùn)練數(shù)據(jù)，并據(jù)此進(jìn)行分割模型的訓(xùn)練。然后隨機(jī)選擇圖像并應(yīng)用于分割結(jié)果，利用 Python 腳本將這些結(jié)果轉(zhuǎn)換為 LabelMe JSON 格式，手動(dòng)調(diào)整新訓(xùn)練數(shù)據(jù)的標(biāo)注。

持續(xù)重復(fù)這一過程，直到分割結(jié)果無需調(diào)整為止。

步驟 5：生成生長模型，預(yù)測(cè)西蘭花頭尺寸 (Size calculation)

預(yù)測(cè)模型：非線性回歸模型用于預(yù)測(cè)隨時(shí)間變化的西蘭花頭長度 (HD)

T 為日平均氣溫之和，下限為 0 ℃，上限為 20 ℃

a、b 和 c 是要確定的參數(shù)

步驟6：生成利潤預(yù)測(cè)模型

根據(jù)市場價(jià)格調(diào)查，結(jié)合生長模型生成利潤預(yù)測(cè)模型。

02 兩年田間實(shí)驗(yàn)，分割模型表現(xiàn)優(yōu)異

在準(zhǔn)備訓(xùn)練數(shù)據(jù)時(shí)，考慮到綠色的西蘭花植株和褐色土壤之間的明顯差異，研究人員只選擇了 2 個(gè)代表性的扇區(qū)作為訓(xùn)練圖像。

2020 年西蘭花幼苗位置檢測(cè)實(shí)例 (A-F)

通過交互式標(biāo)注的頭部分割實(shí)例 (G-I)

作為啟動(dòng)數(shù)據(jù)訓(xùn)練，研究人員從 2020 年的航拍圖像中隨機(jī)選擇了一張，并對(duì)其中約 5 個(gè)西蘭花頭進(jìn)行了盡可能簡單的標(biāo)注，如上圖 G-I 所示，并用這些注釋訓(xùn)練了 BiSeNet 模型 (v0)。

隨后，v0 模型被應(yīng)用于每次航測(cè)中隨機(jī)選擇的圖像，研究人員再手動(dòng)調(diào)整分析結(jié)果，并保存為 v1 模型的新訓(xùn)練數(shù)據(jù)。重復(fù)迭代這一步驟，直到模型取得更好的分割結(jié)果，從而形成了 v2 模型。

而經(jīng)過 4 次迭代后，模型性能大大提高，達(dá)到了 88.33 % 的中間 IoU (Intersection over Union) 。

此外，為了驗(yàn)證無人機(jī)測(cè)量 HD 的準(zhǔn)確性，研究人員將結(jié)果與現(xiàn)場人工測(cè)量數(shù)據(jù)進(jìn)行了比較。

無人機(jī)測(cè)量數(shù)據(jù)與手動(dòng)現(xiàn)場測(cè)量數(shù)據(jù)的對(duì)比

結(jié)果表明，二者之間西蘭花頭部尺寸數(shù)據(jù)的總體分布幾乎相同，決定系數(shù) R2≥0.57?？傮w而言，基于無人機(jī)的測(cè)量能夠準(zhǔn)確地表征整個(gè)農(nóng)田的西蘭花高清分布。

03 基于非線性回歸模型預(yù)測(cè)最佳采收日期

當(dāng)花頭直徑 (HD) 約為 3-3.5 cm 時(shí)，研究人員便啟動(dòng)了基于無人機(jī)的測(cè)量。

如下圖所示，為了獲取首次飛行的歸一化溫度 T(0) （HD 約為9.5厘米），研究人員將先前的模型反轉(zhuǎn)以從 HD 數(shù)據(jù)中計(jì)算 T(0)。然后計(jì)算后續(xù)天數(shù) (i) 的每日溫度和 (Ti)，最后對(duì)該模型進(jìn)行回歸計(jì)算。

基于這個(gè)模型，研究人員使用隨時(shí)間變化的 T，計(jì)算了第一次航測(cè)后的西蘭花頭部尺寸。

西蘭花頭尺寸預(yù)測(cè)模型的數(shù)據(jù)處理圖示

所有數(shù)字只是示例，并非實(shí)際結(jié)果

A：不同日期的現(xiàn)場測(cè)量直徑；淺色用作起始日期，西蘭花頭的大小約為 3-3.5 cm。T 為日平均氣溫之和。ΔTi 是溫度總偏差。

B：將上一個(gè)表重塑為 2 列表，用于 C 中所示的回歸分析。

D：將之前的回歸模型用于從 HD 初始化 T。隨后幾天的 T 加上偏差 ΔTi。

E：將之前的數(shù)據(jù)用于從 T 到 HD 的回歸預(yù)測(cè)模型。

使用無人機(jī)預(yù)測(cè)的花頭直徑 (HD) 來計(jì)算收入，對(duì)每個(gè)日期、每個(gè)尺寸標(biāo)準(zhǔn)的個(gè)體數(shù)量進(jìn)行了統(tǒng)計(jì)。

最終，通過將每個(gè)尺寸等級(jí)的數(shù)量和運(yùn)輸價(jià)格相乘，計(jì)算了每個(gè)收獲日期的總收入，選擇具有最高收入的日期作為最佳收獲日期。

04采收日期差之毫厘，菜農(nóng)利潤謬以千里

基于初始化和預(yù)測(cè)模型，研究團(tuán)隊(duì)計(jì)算了采收期間所有西蘭花大小的分布，然后計(jì)算非標(biāo)準(zhǔn)尺寸西蘭花的比例和所有日期的總收入。

在 2020 年的實(shí)驗(yàn)中，5 月 23 日是最佳收獲日期，即非標(biāo)準(zhǔn)尺寸西蘭花比例最小化、總收入最大化的日期。在 2021 年的試驗(yàn)中，5 月 17 日被確定為最佳收獲日期。

同時(shí)，研究人員發(fā)現(xiàn)，收獲時(shí)間偏離最佳日期 1 天可能會(huì)導(dǎo)致相當(dāng)大的收入損失——減少 3.7% 至 20.4%。

2020 年和 2021 年試驗(yàn)中預(yù)測(cè)的 HD 分布，以及非標(biāo)準(zhǔn)尺寸西蘭花的比例和總收入，橙黃色為最佳采收日期

此外，本研究表明，非標(biāo)準(zhǔn)尺寸的西蘭花比例和總收入隨采收日期而迅速變化。例如，比最佳采收日期提前或推遲 1 天會(huì)使非標(biāo)準(zhǔn)尺寸的西蘭花數(shù)量增加約 5％，總收入減少約 20％，而比最佳采收日期推遲 2 天會(huì)使非標(biāo)準(zhǔn)尺寸的西蘭花數(shù)量增加約 15％，總利潤減少約 40％。

05 智能化技術(shù)改革傳統(tǒng)勞作模式

「民以食為天，農(nóng)為食之源」，農(nóng)業(yè)對(duì)于人類社會(huì)的重要性無需贅述，同時(shí)，作為社會(huì)與經(jīng)濟(jì)發(fā)展的重要支柱，農(nóng)業(yè)也是最早一批投身智慧化升級(jí)的行業(yè)，各類農(nóng)田檢測(cè)系統(tǒng)、智慧化灌溉設(shè)備、無人駕駛采收設(shè)備已經(jīng)開始在地頭田間辛勤耕作了。

聚焦到無人機(jī)在農(nóng)業(yè)中的應(yīng)用，隨著 5G、機(jī)器視覺、大數(shù)據(jù)等技術(shù)的持續(xù)發(fā)展，其也飛入了尋常百姓家。

最初，無人機(jī)更多地是承擔(dān)了植保工作，更加高效、均勻的施肥打藥大大節(jié)省了人力與時(shí)間成本。而后，航拍技術(shù)更加成熟，加之成本下探，使得其與農(nóng)業(yè)也擦出了更多火花，基于無人機(jī)的農(nóng)田檢測(cè)、作物長勢(shì)可視化等應(yīng)用成為了新農(nóng)業(yè)的亮眼成績單。

可以預(yù)見，隨著 AI 相關(guān)技術(shù)的持續(xù)深化落地，更多的先進(jìn)成果將走出實(shí)驗(yàn)室，走進(jìn)農(nóng)田，改善「面朝黃土背朝天」的勞作模式。

參考鏈接：

[1]https://spj.science.org/doi/10.34133/plantphenomics.0086#body-ref-B4