EasyDAM_V2零數(shù)據(jù)標(biāo)注實(shí)現(xiàn)果實(shí)識(shí)別模型構(gòu)建助力現(xiàn)代化農(nóng)業(yè)研究

視覺檢測(cè)技術(shù)在現(xiàn)代化智慧果園中有著重要的應(yīng)用需求和發(fā)展意義。通過視覺檢測(cè)技術(shù)獲取圖像中果實(shí)的位置和類別信息，是果實(shí)定位、果實(shí)估產(chǎn)和果實(shí)自動(dòng)化采摘等果園智能化工作的技術(shù)基礎(chǔ)。當(dāng)前，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)技術(shù)具有檢測(cè)精度高、模型魯棒性好等優(yōu)點(diǎn)，已逐漸替代傳統(tǒng)視覺檢測(cè)方法。然而基于深度學(xué)習(xí)的果實(shí)檢測(cè)技術(shù)在實(shí)際應(yīng)用過程中，多數(shù)需要制作大量帶有標(biāo)簽數(shù)據(jù)的果實(shí)數(shù)據(jù)集支撐模型的訓(xùn)練學(xué)習(xí)，當(dāng)實(shí)際任務(wù)中果實(shí)采集場(chǎng)景或者果實(shí)類別發(fā)生更改時(shí)，通常需要重新制作相應(yīng)果實(shí)數(shù)據(jù)集并訓(xùn)練新的檢測(cè)模型，大量的數(shù)據(jù)集標(biāo)注工作導(dǎo)致整個(gè)工作過程耗時(shí)耗力、效率低下。因此，建立一種減少果實(shí)數(shù)據(jù)集標(biāo)注工作量且實(shí)現(xiàn)果實(shí)高精度檢測(cè)的方法具有迫切的需求。
 

近日，Plant Phenomics在線發(fā)表了北京工業(yè)大學(xué)信息學(xué)部張文利教授團(tuán)隊(duì)與東京大學(xué)農(nóng)學(xué)部郭威副教授團(tuán)隊(duì)合作完成的題為EasyDAM_V2: Efficient Data Labeling Method for Multishape, Cross-Species Fruit Detection的研究成果。該研究提出一種不同類別存在部分形狀差異的果實(shí)數(shù)據(jù)集之間的標(biāo)簽數(shù)據(jù)轉(zhuǎn)換方法，該方法在基于一套已標(biāo)注源域果實(shí)數(shù)據(jù)集基礎(chǔ)上，可自動(dòng)生成不同類別的無標(biāo)注目標(biāo)域果實(shí)數(shù)據(jù)集的標(biāo)簽數(shù)據(jù)，并獲取高檢測(cè)精度的目標(biāo)域果實(shí)檢測(cè)模型，有效減少數(shù)據(jù)集標(biāo)注工作量。

該團(tuán)隊(duì)前期研究成果“Easy domain adaptation method for filling the species gap in deep learning-based fruit detection”可應(yīng)用于實(shí)現(xiàn)形狀近似的不同類別果實(shí)數(shù)據(jù)集的標(biāo)簽轉(zhuǎn)換，基于前期研究基礎(chǔ)上，本次工作進(jìn)一步深入研究形狀存在部分差異的不同類別果實(shí)數(shù)據(jù)集標(biāo)簽數(shù)據(jù)的高精度轉(zhuǎn)換。
 

該研究提出并應(yīng)用生成對(duì)抗網(wǎng)絡(luò)Across-CycleGAN，學(xué)習(xí)不同域中不同類別果實(shí)的形狀特征差異，訓(xùn)練模型在不同類別且形狀存在部分差異的果實(shí)圖像域之間學(xué)習(xí)圖像分布映射關(guān)系，將源域果實(shí)圖像轉(zhuǎn)換生成與目標(biāo)域果實(shí)圖像高度相似的仿真圖像數(shù)據(jù)，并結(jié)合源域果實(shí)數(shù)據(jù)集標(biāo)簽數(shù)據(jù)構(gòu)建已標(biāo)注仿真果實(shí)數(shù)據(jù)集。文中實(shí)驗(yàn)以柑橘作為源域果實(shí)，火龍果及芒果等作為目標(biāo)域果實(shí)，實(shí)現(xiàn)柑橘到火龍果及芒果等果實(shí)的圖像轉(zhuǎn)換操作。（圖1）
 

圖1 源域果實(shí)圖像和目標(biāo)域果實(shí)圖像（基于Across-CycleGAN生成）：(a)源域真實(shí)柑橘果實(shí)圖像；(b)~(f)目標(biāo)域仿真果實(shí)圖像：果實(shí)類別分別為火龍果、芒果、梨、獼猴桃、青椒。

由于仿真果實(shí)圖像與真實(shí)目標(biāo)域果實(shí)圖像具有高度相似的特征，因此該研究通過采用已標(biāo)注仿真果實(shí)數(shù)據(jù)集訓(xùn)練果實(shí)檢測(cè)模型OrangeYolo，可應(yīng)用于目標(biāo)域果實(shí)檢測(cè)框的獲取，并將檢測(cè)框信息轉(zhuǎn)換為相應(yīng)果實(shí)圖像偽標(biāo)簽數(shù)據(jù)。
 

接著，該研究提出偽標(biāo)簽自適應(yīng)閾值選擇策略，通過動(dòng)態(tài)調(diào)整偽標(biāo)簽數(shù)據(jù)置信度閾值，自適應(yīng)調(diào)整檢測(cè)模型置信度閾值參數(shù)，有效降低噪聲偽標(biāo)簽數(shù)據(jù)（誤標(biāo)）的影響；并通過循環(huán)微調(diào)果實(shí)檢測(cè)網(wǎng)絡(luò)和更新偽標(biāo)簽數(shù)據(jù)，逐步提高果實(shí)檢測(cè)網(wǎng)絡(luò)對(duì)目標(biāo)域果實(shí)的檢測(cè)性能，最終獲取目標(biāo)域中更高質(zhì)量的果實(shí)圖像標(biāo)簽數(shù)據(jù)（圖2），實(shí)現(xiàn)無標(biāo)注目標(biāo)域真實(shí)果實(shí)數(shù)據(jù)集標(biāo)簽數(shù)據(jù)的高效獲取。
 

圖2 真實(shí)場(chǎng)景下不同類別果實(shí)圖像檢測(cè)結(jié)果示意圖：(a)和(b)分別表示火龍果及芒果果實(shí)圖像檢測(cè)結(jié)果；其中藍(lán)框表示模型檢測(cè)框，可應(yīng)用于轉(zhuǎn)換生成果實(shí)圖像相應(yīng)標(biāo)簽數(shù)據(jù)，實(shí)現(xiàn)果實(shí)數(shù)據(jù)集的自動(dòng)標(biāo)注功能

該研究通過Across-CycleGAN構(gòu)建已標(biāo)注目標(biāo)域仿真果實(shí)數(shù)據(jù)集，進(jìn)一步采用偽標(biāo)簽自適應(yīng)閾值選擇策略訓(xùn)練目標(biāo)域果實(shí)檢測(cè)模型并通過對(duì)比實(shí)驗(yàn)和消融實(shí)驗(yàn)進(jìn)行性能比較，驗(yàn)證該研究方法的有效性。(表1、表2、表3)
 

表1 基于不同圖像轉(zhuǎn)換網(wǎng)絡(luò)，初步獲取的目標(biāo)域預(yù)訓(xùn)練火龍果、芒果果實(shí)檢測(cè)模型的性能測(cè)試結(jié)果
 

表2 Across-CycleGAN網(wǎng)絡(luò)消融實(shí)驗(yàn)
 

表3 在基于Across-CycleGAN網(wǎng)絡(luò)構(gòu)建得到的目標(biāo)域預(yù)訓(xùn)練果實(shí)檢測(cè)模型基礎(chǔ)上，采用不同偽標(biāo)簽方法生成無標(biāo)注果實(shí)數(shù)據(jù)集標(biāo)簽數(shù)據(jù)的實(shí)驗(yàn)結(jié)果；其中，T-PL和PL-SL分別表示不同偽標(biāo)簽生成方法。

研究表明，在已標(biāo)注源域柑橘果實(shí)數(shù)據(jù)集基礎(chǔ)上，實(shí)現(xiàn)對(duì)與柑橘存在部分形狀差異的目標(biāo)域火龍果和芒果圖像的自動(dòng)標(biāo)注功能，并獲取高精度火龍果果實(shí)檢測(cè)模型和芒果果實(shí)檢測(cè)模型，果實(shí)檢測(cè)精度指標(biāo)mAP分別達(dá)到82.1%和 85.0%，有效減少果實(shí)數(shù)據(jù)集標(biāo)注工作量，提高現(xiàn)代化果園工作效率。

論文鏈接
https://doi.org/10.34133/2022/9761674‍

——推薦閱讀——FP Net: Balanced Feature Pyramid Network for Small Apple Detection in Complex Orchard Environment
https://doi.org/10.34133/2022/‍989246‍4
Plant Phenomics | 基于可平衡特征金字塔網(wǎng)絡(luò)的小蘋果檢測(cè)模型Objective Phenotyping of Root System Architecture Using Image Augmentation and Machine Learning in Alfalfa (Medicago sativa L.)
https://doi.org/10.34133/2022/9879610
Plant Phenomics | 基于圖像增強(qiáng)和機(jī)器學(xué)習(xí)的苜蓿根系表型研究

加入作者交流群

掃碼添加小編微信，拉您進(jìn)入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開展作者分享會(huì)、�？�發(fā)布會(huì)等高質(zhì)量活動(dòng)。

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics
《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國(guó)科學(xué)促進(jìn)會(huì)（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點(diǎn)領(lǐng)域具有突破性科研進(jìn)展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點(diǎn)。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機(jī)器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實(shí)踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計(jì)學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫(kù)收錄�？迫鹞ò睯CR2021影響因子為6.061，位于農(nóng)藝學(xué)、植物科學(xué)、遙感一區(qū)，生物大類一區(qū)（Top期刊）。2020年入選中國(guó)科技期刊卓越行動(dòng)計(jì)劃高起點(diǎn)新刊項(xiàng)目。

說明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。
中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。
特邀作者：張文利、郭威
編輯：胡君宇（實(shí)習(xí)）
審核：孔敏、王平