SegVeg通過深度和淺層方法的結(jié)合將RGB圖像分割成綠色和衰老植被

Plant Phenomics | SegVeg通過深度和淺層方法的結(jié)合將RGB圖像分割成綠色和衰老植被

對(duì)作物結(jié)構(gòu)和生化性狀進(jìn)行無損和及時(shí)的監(jiān)測(cè)對(duì)于評(píng)估植物的生理和物候狀態(tài)以及進(jìn)一步了解其隨時(shí)間推移的功能非常重要。因此有必要對(duì)綠色以及衰老植被進(jìn)行分類。先前的研究指出，可以通過閾值與植被指標(biāo)方法，機(jī)器學(xué)習(xí)分類方法，對(duì)背景-植被，植被衰老部分-植被健康部分分類。先前的閾值與植被指標(biāo)方法包括，使用植被分?jǐn)?shù)（VF），對(duì)背景像素與植被像素進(jìn)行劃分；使用綠色分?jǐn)?shù)（GF）可以計(jì)算單位水平地面面積的綠色植被元素面積；衰老指數(shù)（SF）通過計(jì)算VF和GF之間的區(qū)別描述作物功能，突出了衰老部分部分（非光合部分）的差異，可以表征生物或非生物脅迫，描述養(yǎng)分循環(huán)，并監(jiān)測(cè)衰老過程。先前的機(jī)器學(xué)習(xí)方法通過原始圖像通道信息，計(jì)算并提取多種光譜指數(shù)與色彩空間變換信息，標(biāo)注后作為機(jī)器學(xué)習(xí)分類器模型的輸入進(jìn)行計(jì)算。當(dāng)前觀測(cè)平臺(tái)有多個(gè)尺度，包過衛(wèi)星遙感、無人機(jī)遙感、車載傳感器、吊艙和手持平臺(tái)。
 

2022年11月，Plant Phenomics在線發(fā)表了法國(guó)國(guó)家農(nóng)業(yè)食品與環(huán)境研究院等單位題為SegVeg: Segmenting RGB Images into Green and Senescent Vegetation by Combining Deep and Shallow Methods 的研究論文。
 

作者分析，先前方法存在的問題在于：

（一）混雜效應(yīng)：根據(jù)照明條件和相機(jī)光學(xué)元件的質(zhì)量，由于色差，部分土壤可能呈現(xiàn)綠色。此外，圖像中飽和、具有強(qiáng)烈鏡面反射或非常暗的部分將難以僅使用像素的顏色進(jìn)行分類。最后，當(dāng)土壤含有藻類時(shí)，土壤也可能呈綠色。

（二）顏色的連續(xù)性：在細(xì)胞尺度上，衰老是由通常在細(xì)胞死亡之前發(fā)生的色素降解引起的。在葉片降解過程中，葉片色素成分的變化，導(dǎo)致RGB圖像中的葉片顏色色彩范圍在“綠色”和“衰老”狀態(tài)之間具有連續(xù)性。此外，當(dāng)像素位于器官的邊界時(shí)，其顏色將介于器官和背景之間。當(dāng)RGB圖像的空間分辨率過于粗糙時(shí)，這個(gè)問題明顯增強(qiáng)。

僅使用像素的顏色信息很難準(zhǔn)確而穩(wěn)健地分割RGB圖像的綠色植被部分。同樣的限制也適用于衰老植被部分的分割。因此本文作者M(jìn)ario Serouart提出使用SegVeg的兩步語義分割方法，該方法首先使用U-net 2C對(duì)植被和背景進(jìn)行分割，接下來使用SVM對(duì)植物綠色部分和衰老部分進(jìn)行分割。并且使用U-net 3C做分割性能的對(duì)比。
 

數(shù)據(jù)集：

數(shù)據(jù)集1：數(shù)據(jù)集1的圖像是用幾臺(tái)配備不同焦距光學(xué)元件，和距地面不同高度不同的相機(jī)采集的。所有模糊的圖像或質(zhì)量差的圖像都被。然后將原始圖像分成幾個(gè)方形的像素塊以保持足夠的上下文特征。共提取了2015個(gè)圖塊，數(shù)據(jù)及具有很大的多樣性。地面采樣距離 （GSD） 范圍在 0.3 到 2 毫米之間，以捕獲足夠的細(xì)節(jié)。

每個(gè)原始圖像都被仔細(xì)分割成植被（綠色和衰老組合）和背景像素。
 

Figure1數(shù)據(jù)集1中從八個(gè)子數(shù)據(jù)集中提取的512×512像素圖像樣本
 

Table1構(gòu)成最終數(shù)據(jù)集的子數(shù)據(jù)集的特征

數(shù)據(jù)集2：數(shù)據(jù)集2僅由帶注釋的像素組成。

該數(shù)據(jù)集用于訓(xùn)練和測(cè)試SegVeg方法的SVM階段。添加背景像素后，它還用于評(píng)估SegVeg和U-nets（2C和3C）的性能。
 

Figure2數(shù)據(jù)集2三個(gè)獨(dú)立數(shù)據(jù)集所使用的采集系統(tǒng)，以及它們各自從三個(gè)系統(tǒng)中提取的圖像
 

Table 2數(shù)據(jù)集2的測(cè)量參數(shù)
 

Table3數(shù)據(jù)集劃分

SegVeg模型結(jié)構(gòu)：

SegVeg第一階段使用U-net 2C在背景中提取植被像素，接下來使用SVM方法對(duì)作物綠色部分和衰老部分進(jìn)行分類。第一階段可以準(zhǔn)確的從圖像中提取植被像素信息，第二階段對(duì)比U-net 3C模型可以降低標(biāo)注工作量。模型結(jié)構(gòu)如下圖所示。
 

Figure 3 SegVeg結(jié)構(gòu)的輸入和輸出示意圖

研究結(jié)果：

作者首先使用U-net 2C在背景中提取植被像素（SegVeg第一階段），結(jié)果如下。

Table 4 模型在測(cè)試數(shù)據(jù)集上對(duì)植被和背景像素的分類性能

接下來執(zhí)行SVM方法分割綠色與枯萎的像素（SegVeg第二階段），并與僅使用SVM方法進(jìn)行對(duì)比，結(jié)果如下。
 

Table5僅用SVM分類法和使用完整的SegVeg方法在三個(gè)子數(shù)據(jù)集中的性能評(píng)價(jià)

接下來作者對(duì)比了SegVeg模型與U-net 3C的性能，結(jié)果如下。
 

Table6U-net 3C模型的性能和Similitude對(duì)SegVeg模型的評(píng)價(jià)

最后，作者在討論部分指出：

1. 眼睛靈敏度的差異會(huì)影響對(duì)顏色的感知。并且，衰老的第一階段也可能在操作員的標(biāo)簽之間產(chǎn)生差異，因?yàn)橛^察到的黃色和紅色與顏色空間中的綠色連續(xù)。作者通過雇傭多個(gè)標(biāo)注員，并創(chuàng)建了一個(gè)的35^3個(gè)體素的3D RGB 包含立方體解決。

2. 應(yīng)增加其他色彩空間參數(shù)作為SVM模型的輸入，相機(jī)采集的原始信息提供的RGB色彩空間不足以區(qū)分，。

3. 光照條件會(huì)影響分割性能。在高亮度和飽和度下觀察到的少數(shù)綠色像素可能對(duì)應(yīng)于標(biāo)記中的錯(cuò)誤或非常接近綠色和衰老植被之間極限的混合像素。這既適用于標(biāo)記過程，也適用于模型預(yù)測(cè)。
 

Figure 4 被SegVeg模型錯(cuò)誤分類的像素的亮度和飽和度的分布
 

Figure 5 受控和自然光照條件下的性能分布

4. SVM在SegVeg模型中，作為從背景中提取植被像素后的進(jìn)一步處理，對(duì)比U-net 3C的結(jié)果表明，可以在第二步使用SVM方法降低模型對(duì)標(biāo)注數(shù)據(jù)量的依賴。
 

Figure 6 使用SegVeg（b）或U-net 3C（c）進(jìn)行分割的結(jié)果

5. SegVeg模型提取綠色植被的性能更好，提取衰老植被的偏差更小。
 

Table 7 SegVeg和U-net 3C在網(wǎng)格上估計(jì)背景、綠色和衰老植被部分的表現(xiàn)
 

Figure 7 比較SegVeg方法預(yù)測(cè)的分?jǐn)?shù)與測(cè)試數(shù)據(jù)集1上標(biāo)記的分?jǐn)?shù)

論文鏈接

https://doi.org/10.34133/2022/9803570

——推薦閱讀——

Wheat Ear Segmentation Based on a Multisensor System and Superpixel Classification

https://doi.org/10.34133/2022/9841985

Plant Phenomics | 基于多傳感器系統(tǒng)和超像素分類的麥穗圖像分割

High-Throughput Corn Image Segmentation and Trait Extraction Using Chlorophyll Fluorescence Images

https://spj.sciencemag.org/journals/plantphenomics/2021/9792582/

Plant Phenomics | 基于葉綠素?zé)晒鈭D像的高通量玉米圖像分割和性狀提取

加入作者交流群

掃碼添加小編微信，拉您進(jìn)入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開展作者分享會(huì)、專刊發(fā)布會(huì)等高質(zhì)量活動(dòng)。
 

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics

《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國(guó)科學(xué)促進(jìn)會(huì)（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點(diǎn)領(lǐng)域具有突破性科研進(jìn)展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點(diǎn)。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機(jī)器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實(shí)踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計(jì)學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫(kù)收錄�？迫鹞ò睯CR2021影響因子為6.961，位于農(nóng)藝學(xué)、植物科學(xué)、遙感一區(qū)，生物大類一區(qū)（Top期刊）。2020年入選中國(guó)科技期刊卓越行動(dòng)計(jì)劃高起點(diǎn)新刊項(xiàng)目。

說明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。

中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。

特邀作者：李澍（實(shí)習(xí)）

編輯：蘇梓鈺（實(shí)習(xí)）

審核：孔敏、王平