以小麥為例研究密集模式下圖像語義分割的半自監(jiān)督學習方法

Plant Phenomics | 密集模式下圖像語義分割的半自監(jiān)督學習

深度學習在具有大規(guī)模注釋數(shù)據(jù)集的領(lǐng)域顯示出了潛力。深度學習模型在各種計算機視覺任務(wù)中顯示出了很好的結(jié)果，包括物體識別，物體檢測，實例分割和語義分割。深度學習有可能應(yīng)用于作物圖像，為植物育種和精準農(nóng)業(yè)提供信息，以提高作物生產(chǎn)的質(zhì)量和數(shù)量。基于圖像的幾種重要植物性狀，如器官大小、器官健康以及對生物和非生物脅迫的響應(yīng)，都需要對植物器官進行細粒度語義分割。與一般物體分割不同，植物表型分析任務(wù)涉及到密集的、重疊的且高度自相似的實例分割。在這種應(yīng)用中，圖像通常包含許多重復(fù)的不規(guī)則模式，例如植物的頂端、水果、花或葉子（圖1）。因此，作物圖像中的語義分割仍然是一個巨大的挑戰(zhàn)。手動注釋昂貴、耗時且繁瑣，對于對象實例密集不規(guī)則模式的圖像，像素級注釋的語義分割成本特別高。
 

圖1植物表型任務(wù)涉及分割高度自相似的密集包裝和重疊實例

2023年1月，Plant Phenomics在線發(fā)表了加拿大University of Saskatchewan聯(lián)合University of Calgary等單位題為Semi-Self-Supervised Learning for Semantic Segmentation in Images with Dense Patterns 的研究論文。

本文提出了一種圖像合成和模型訓練流程，利用少量手動標注數(shù)據(jù)來開發(fā)高性能的語義分割深度學習模型。該方法利用一段麥田的短視頻剪輯、幾個有注釋的圖像和幾個沒有小麥的背景場景的短視頻剪輯來合成大規(guī)模的計算機注釋數(shù)據(jù)集。這些圖像用于以下兩個步驟合成計算機注釋的數(shù)據(jù)集（圖2）。步驟一：選擇兩個不同的麥田圖像wt和wv，分別合成訓練集和驗證集。步驟二：合成注釋數(shù)據(jù)集St和Sv。
 

圖2 注釋圖像合成注釋數(shù)據(jù)集

然后，使用合成的圖像訓練定制的U-Net模型用于小麥穗部分割，使用定制的U-Net模型架構(gòu)，并在ImageNet數(shù)據(jù)集上預(yù)訓練了EfficientNet B4編碼器。最后，當模型應(yīng)用于分布與其開發(fā)所使用的數(shù)據(jù)分布不同的數(shù)據(jù)集時，模型的性能會下降。這種數(shù)據(jù)分布的變化被稱為分布偏移或域偏移。由于合成數(shù)據(jù)集St和Sv中的圖像與真實圖像存在域偏移，因此需要進行域自適應(yīng)來提高模型性能。在本研究中，采用三個域自適應(yīng)步驟逐步微調(diào)模型，每個步驟都會生成一個新模型，分別標記為D，P和G（圖3）。
 

圖3模型開發(fā)過程的總結(jié)（定制的U-Net模型架構(gòu)，所有實驗都使用了EfficientNet B4編碼器）

在本研究中，僅使用兩張帶注釋的圖像，在內(nèi)部測試集中獲得了0.89的Dice分數(shù)。在從五個國家的18個不同領(lǐng)域收集的不同外部數(shù)據(jù)集上進行進一步評估時，該模型的Dice得分為0.73。為了將模型暴露在不同生長階段和環(huán)境條件下的圖像中，從18個域中每個域合并了兩張注釋圖像，以進一步微調(diào)模型。這將Dice分數(shù)提高到0.91。結(jié)果強調(diào)了在沒有大型注釋數(shù)據(jù)集的情況下所提出的方法的實用性。

本研究通過合成一個大規(guī)模計算注釋數(shù)據(jù)集，并應(yīng)用三個域適應(yīng)步驟來解決與域轉(zhuǎn)移相關(guān)的挑戰(zhàn)，為麥穗語義分割任務(wù)引入了半自監(jiān)督方法。該方法利用麥田和背景植被的短視頻片段，便于模型建立的數(shù)據(jù)收集。此外，由于所提出的模型只使用少量手動注釋的圖像，因此避免了對大型數(shù)據(jù)集的手動注釋，使得模型的開發(fā)速度更快，成本更低。雖然，本研究展示了所提出的麥穗分割方法的實用性，但它也可以應(yīng)用于具有類似密集重復(fù)對象模式的其他應(yīng)用，例如分割其他作物物種的植物器官，或分割顯微鏡圖像中的分子成分。這種方法也可以擴展到不可計數(shù)的模式，如估計葉面積或冠層覆蓋度。

數(shù)據(jù)和圖像合成代碼鏈接：

https://www.cs.usask.ca/ftp/pub/whs/
https://github.com/KeyhanNajafian/ImageSimulatorPipeline

論文鏈接：
https://doi.org/10.34133/plantphenomics.0025

——推薦閱讀——
From Prototype to Inference: A Pipeline to Apply Deep Learning in Sorghum Panicle Detection
https://doi.org/10.34133/plantphenomics.0017
Plant Phenomics | 從原型到推理：深度學習在高粱穗部檢測中的應(yīng)用
Global Wheat Head Detection 2021: An Improved Dataset for Benchmarking Wheat Head Detection
ethodshttps://doi.org/10.34133/2021/9846158
Plant Phenomics | GWHD_2021：改進后的全球麥穗檢測數(shù)據(jù)集

加入作者交流群

掃碼添加小編微信，拉您進入《植物表型組學》作者交流群，群內(nèi)不定期開展作者分享會、�？�發(fā)布會等高質(zhì)量活動。

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics

《植物表型組學》（Plant Phenomics）是由南京農(nóng)業(yè)大學和美國科學促進會（AAAS）合作創(chuàng)辦的英文學術(shù)期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學交叉學科熱點領(lǐng)域具有突破性科研進展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機器學習的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實踐中的表型組學新應(yīng)用，與植物表型相結(jié)合的分子生物學、植物生理學、統(tǒng)計學、作物模型和其他組學研究，表型組學相關(guān)的植物生物學等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫收錄。科睿唯安JCR2021影響因子為6.961，位于農(nóng)藝學、植物科學、遙感一區(qū)。中科院農(nóng)藝學、植物科學一區(qū)、遙感二區(qū)、生物大類一區(qū)（TOP期刊）。2020年入選中國科技期刊卓越行動計劃高起點新刊項目。

說明：本文由《植物表型組學》編輯部負責組稿。
中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準。
排版：張婕（南京農(nóng)業(yè)大學）
審核：孔敏、王平