基于圖像的植物表型自監(jiān)督預(yù)訓(xùn)練對(duì)比學(xué)習(xí)方法的基準(zhǔn)測(cè)試

Plant Phenomics | 基于圖像的植物表型自監(jiān)督對(duì)比學(xué)習(xí)方法的基準(zhǔn)測(cè)試

作物表型研究是作物育種計(jì)劃的重要組成部分，植物育種者的任務(wù)是雜交親本，選擇具有理想和改進(jìn)性狀的后代，包括產(chǎn)量和對(duì)生物和非生物脅迫的抗性。近年來，基于圖像的植物表型已成為緩解表型瓶頸的一種很有前途的工具�；�于圖像的植物表型包括使用一種或多種成像技術(shù)來捕獲一個(gè)生長(zhǎng)季節(jié)的植物圖像，并應(yīng)用圖像分析工具來以無損和（半）自動(dòng)化的方式測(cè)量/提取植物性狀。深度學(xué)習(xí)方法特別適合于同時(shí)從數(shù)據(jù)中提取具有語義意義的特征，并使用這些特征來執(zhí)行一組任務(wù)。近年來，自監(jiān)督學(xué)習(xí)（Self-Supervised Learning, SSL）方法的興起，為利用基于圖像的植物表型平臺(tái)生成的未標(biāo)記和特定領(lǐng)域的數(shù)據(jù)集來加速植物育種項(xiàng)目提供了機(jī)會(huì)。盡管對(duì)SSL的研究激增，但對(duì)SSL在基于圖像的植物表型任務(wù)中的應(yīng)用，特別是檢測(cè)和計(jì)數(shù)任務(wù)的研究卻較少。自監(jiān)督學(xué)習(xí)結(jié)合了有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)的特性，提供了一種方法來解決支持域內(nèi)轉(zhuǎn)移的問題，同時(shí)減少了對(duì)標(biāo)記數(shù)據(jù)的需要。
 

2023年3月，Plant Phenomics 在線發(fā)表了薩斯喀徹溫大學(xué)題為Benchmarking Self-Supervised Contrastive Learning Methods for Image-Based Plant Phenotyping的研究論文。
 

本研究中研究的關(guān)鍵問題是：對(duì)于基于圖像的植物表型任務(wù)，自我監(jiān)督預(yù)訓(xùn)練與有監(jiān)督預(yù)訓(xùn)練的效果如何？通過將2種自監(jiān)督學(xué)習(xí)方法MoCo（Momentum Contrast）v2和DenseCL（Dense Contrastive Learning）當(dāng)將學(xué)習(xí)到的表征轉(zhuǎn)移到4個(gè)目標(biāo)基于圖像的植物表型任務(wù)時(shí)：小麥穗檢測(cè)、植物實(shí)例檢測(cè)、小麥小穗計(jì)數(shù)和葉片計(jì)數(shù)，來研究這兩種方法間的差異。研究了預(yù)訓(xùn)練數(shù)據(jù)集的域?qū)δ繕?biāo)性能的影響，以及預(yù)訓(xùn)練數(shù)據(jù)集的冗余對(duì)學(xué)習(xí)表示質(zhì)量的影響。使用ResNet-50模型作為本研究中所有表示學(xué)習(xí)任務(wù)的編碼器，包括預(yù)訓(xùn)練和下游任務(wù)。訓(xùn)練是在4個(gè)Nvidia Tesla V100圖形處理單元（GPU）上完成的，所有預(yù)訓(xùn)練方法的批大小為256（下游任務(wù)在一個(gè)GPU上進(jìn)行訓(xùn)練）。對(duì)所有的預(yù)訓(xùn)練數(shù)據(jù)集保持了相同的批處理大小。所有任務(wù)都使用PyTorch框架實(shí)現(xiàn)，并以混合精度進(jìn)行訓(xùn)練，使用權(quán)重和偏差來跟蹤實(shí)驗(yàn)和執(zhí)行超參數(shù)掃描。
 

圖1實(shí)驗(yàn)流程圖：預(yù)訓(xùn)練數(shù)據(jù)集構(gòu)建的基本原理以及圖像的剪裁原理
 

圖2不同預(yù)訓(xùn)練數(shù)據(jù)集和預(yù)訓(xùn)練算法組合的ResNet-50編碼器的輸出之間的相似性（x軸顯示了每個(gè)對(duì)應(yīng)的ResNet-50塊的Procrustes相似度，范圍為0-1）

通過大量的自監(jiān)督學(xué)習(xí)實(shí)驗(yàn)，研究發(fā)現(xiàn)除了葉片計(jì)數(shù)任務(wù)外，有監(jiān)督的預(yù)訓(xùn)練比自監(jiān)督的預(yù)訓(xùn)練更有效。這意味著除了葉計(jì)數(shù)任務(wù)外，每個(gè)任務(wù)的最佳性能模型都是一個(gè)經(jīng)過監(jiān)督方法預(yù)先訓(xùn)練的模型，具體研究結(jié)果如下：（a）與MoCo v2和DenseCL相比，監(jiān)督預(yù)訓(xùn)練在除葉計(jì)數(shù)任務(wù)外的所有下游任務(wù)（下游任務(wù)即為真正想要解決的任務(wù)）上都產(chǎn)生了表現(xiàn)最好的模型。（b）在大多數(shù)情況下，一個(gè)應(yīng)用于特定鄰域并多樣化的預(yù)訓(xùn)練數(shù)據(jù)集可以在不同的預(yù)訓(xùn)練方法中獲得最好的下游性能。(c)與監(jiān)督方法相比，SSL方法對(duì)預(yù)訓(xùn)練數(shù)據(jù)集的冗余表現(xiàn)出更高的敏感性。（d）在所有層中，使用MoCo v2訓(xùn)練的模型與使用DenseCL訓(xùn)練的模型的內(nèi)部表示具有高度的相似性。相比之下，監(jiān)督模型和自監(jiān)督模型的內(nèi)部表征在早期一層開始相似，在最后幾層很快變得更加不同。這項(xiàng)研究顯示了SSL在利用未標(biāo)記數(shù)據(jù)集方面的植物表型方面的前景，但也指出了可能的改進(jìn)領(lǐng)域。
 

論文鏈接：

https://doi.org/10.34133/plantphenomics.0037

——推薦閱讀——

Self-Supervised Plant Phenotyping by Combining Domain Adaptation with 3D Plant Model Simulations: Application to Wheat Leaf Counting at Seedling Stage

https://doi.org/10.34133/plantphenomics.0041

Plant Phenomics | 虛擬圖像“以假亂真”，無需人工標(biāo)注，自監(jiān)督創(chuàng)建小麥表型算法

Multispectral Drone Imagery and SRGAN for Rapid Phenotypic Mapping of Individual Chinese Cabbage Plants 

‍https://doi.org/10.34133/plantphenomics.0007

Plant Phenomics | 基于無人機(jī)多光譜圖像和SRGAN的大白菜單株表型測(cè)定研究

加入作者交流群

掃碼添加小編微信，拉您進(jìn)入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開展作者分享會(huì)、專刊發(fā)布會(huì)等高質(zhì)量活動(dòng)。

添加小編微信，備注姓名+單位+PP，加入作者交流群

《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國(guó)科學(xué)促進(jìn)會(huì)（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點(diǎn)領(lǐng)域具有突破性科研進(jìn)展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點(diǎn)。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機(jī)器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實(shí)踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計(jì)學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫收錄�？祁Ｎò睯CR2021影響因子為6.961，位于農(nóng)藝學(xué)、植物科學(xué)、遙感一區(qū)。中科院農(nóng)藝學(xué)、植物科學(xué)一區(qū)，遙感二區(qū)，生物大類一區(qū)（TOP期刊）。2020年入選中國(guó)科技期刊卓越行動(dòng)計(jì)劃高起點(diǎn)新刊項(xiàng)目。

說明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。
中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。
排版：張婕（南京農(nóng)業(yè)大學(xué)）
審核：孔敏、王平