利用3D U-Net分割改進虛擬現(xiàn)實工作流程中3D MRI圖像的根系重建

Plant Phenomics | 利用3D U-Net分割改進自動和手動虛擬現(xiàn)實工作流程中3D MRI圖像的根系重建

磁共振成像（MRI）常用于對生長在不透明土壤中的根系進行成像。然而,從三維 （3D）MRI圖像中重建根系結(jié)構(gòu)（RSA）是具有挑戰(zhàn)性的。低分辨率和低噪比（CNRs）阻礙了自動重建。因此,人工重建仍被廣泛應(yīng)用。本研究評估了一個新的自動化的根系結(jié)構(gòu)重建過程，主要分為兩部分：第一步，3D U-Net將MRI圖像以超分辨率分割成根和土壤。在第二步中，自動跟蹤算法從分割圖像中重建根系統(tǒng)。
 

本研究利用8個羽扇豆根系的磁共振圖像數(shù)據(jù)集評估了這兩個步驟的優(yōu)點。通過比較自動重建和人工重建未改變和分割基于虛擬現(xiàn)實系統(tǒng)的核磁共振成像圖像，我們發(fā)現(xiàn)U-Net分段提供手動重建的深刻好處:對于具有低CNR，高CNR圖像增加27%。重建根長度增加分別下降了20%和3%。因此，本研究建議使用U-Net分割作為主圖像手工工作流程中的預處理步驟。跟蹤算法得到的根長度小于在這兩種重建方法中，分割允許自動處理，否則不容易使用的核磁共振圖像。盡管如此，基于模型的功能根特征顯示了相似的水力自動和手動重建的行為。
 

2023年7月，Plant Phenomics在線發(fā)表了Juelich GmbH等單位題為3D U-Net Segmentation Improves Root System Reconstruction from 3D MRI Images in Automated and Manual Virtual Reality Work Flows 的研究論文。

虛擬現(xiàn)實場景中的人工重構(gòu)工作流程如圖4所示。在這個示意圖中，虛擬現(xiàn)實中的視角保持不變。為了啟動根系統(tǒng)跟蹤，用戶將掃描的原始圖像文件加載到虛擬現(xiàn)實系統(tǒng)中（圖4A）。然后，用戶選擇一個信號閾值，以便盡可能好地區(qū)分根和土壤。接下來，可以通過單擊不透明等值面上的相應(yīng)位置來定義父節(jié)點（即，tap/primary root的最上端）。一個圓形的圓盤出現(xiàn)在節(jié)點的位置，可以縮放到等邊面的徑向尺寸來定義節(jié)點半徑。現(xiàn)在，用戶沿著類似于tap/primary root的等值面并定義第二個節(jié)點（圖4B）。一旦tap/primary root由2段組成（圖4C），可以通過選擇一個內(nèi)部節(jié)點并繪制一個新的根段來創(chuàng)建側(cè)根（圖4D）。虛擬現(xiàn)實系統(tǒng)還允許對構(gòu)造的根圖進行修正和操作。
 

圖4 基于VR應(yīng)用程序圖像的手動根系重建工作流程。所示為MRI掃描在不同信號下的行進立方體等值面閾值(灰色)和不同重建階段用顏色編碼的根順序手工跟蹤。(A) VR顯示的MRI掃描原始圖像(B)閾值調(diào)整為了提高根的可視性，繪制和調(diào)整第一個絲錐根段的半徑。(C)重建主根，同時在潛在分支處創(chuàng)建節(jié)點點。(D)從下到上的側(cè)面重建。(E)完成手工跟蹤。(F) VR中的U-Net分割。工作流程M基于(A)M+和A基于分割圖像(F)。
 

通過M、M+和A重建方法得到的8個羽扇豆根系的rsa如圖5和圖6所示。因此，本文觀察到同一數(shù)據(jù)集的根系之間由于年齡差異而在外觀上存在很大差異，而且在不同土壤基質(zhì)中獲得的2個數(shù)據(jù)集的根系之間也存在很大差異。對于生長在沙地中的根系(圖5)，我們可以觀察到M+和M重建的根系長度的差異。除圖5C中的根系外，所有的M+重建都包含了M示蹤中不存在的根系。附加根主要是一階根。我們還觀察到在兩種重建中檢測到的一些根的長度略有增加，在M+重建中更長。除了M+重建中包含的額外根長度外，兩種人工重建中存在的根在根序、根向和根位置方面的相似性非常高。因此，處理分割圖像不會對人類決策產(chǎn)生太大影響，因為在處理原始MRI圖像時也可以識別根。這一觀察結(jié)果的一個例外是平均根半徑，M+重建的根半徑在質(zhì)量上更大。
 

圖5人工示蹤M(左)，分割后的人工示蹤M+(中)，以及4個白豆根系(A至D)在MRI掃描得到的沙中生長的自動示蹤A(右)。重建被裁剪以顯示感興趣的區(qū)域。顏色顯示根的順序，根段按各自的半徑縮放。根系年齡在8 ~ 14 D之間。
 

圖6人工示蹤M(左)，分割后的人工示蹤M+(中)，以及在MRI掃描土壤中生長的4個白豆根系(A至D)的自動示蹤A(右)。重建被裁剪以顯示感興趣的區(qū)域。顏色顯示根的順序，根段按各自的半徑縮放。根系年齡在8 ~ 15 D之間。

本研究發(fā)現(xiàn)通過3D U-Net進行超分辨率分割是MRI根重建管道的一個新的有益的基石，減少了人工重建時間，提高了根恢復率，并且通�？梢詫崿F(xiàn)低cnr數(shù)據(jù)的自動重建。此外，它還提供了一種在人工重建工作流程中標準化圖像預處理的方法，減少了不同的人工重建者對導出幾何形狀的影響。因此，U-Net分割應(yīng)該取代更簡單的分割程序，如全局閾值，目前應(yīng)用于手動和自動重建工作流程。對于自動跟蹤算法，本研究可以證明U-Net分割和超分辨率在對高和低CNR數(shù)據(jù)進行跟蹤時能夠?qū)崿F(xiàn)最先進的性能。然而，跟蹤算法的拓撲決策和缺口閉合仍需進一步改進。未來目標是通過考慮縫隙閉合時的局部分支方向，并利用MRI時間序列數(shù)據(jù)中包含的不同生長階段的根序信息來實現(xiàn)這些改進。如果對自動重建的目視檢查發(fā)現(xiàn)了對預期用途至關(guān)重要的錯誤，則會提出混合工作流程。在這里，分割圖像的自動重建可以用作在交互式VR環(huán)境中應(yīng)用手動校正的支架。這種混合工作流程應(yīng)該允許我們處理更多的根圖像，同時保持最佳的重建質(zhì)量。未來將進一步對此進行調(diào)查。

論文鏈接：

https://doi.org/10.34133/plantphenomics.0076

——推薦閱讀——

Panicle-3D: Efficient phenotyping tool for precise semantic segmentation of rice panicle point cloud

https://doi.org/10.34133/2021/9838929

Plant Phenomics | Panicle-3D：水稻穗點云精確語義分割的高效表型工具

Generating 3D multispectral point clouds of plants with fusion of snapshot spectral and RGB-D images 

‍https://doi.org/10.34133/plantphenomics.0040

Plant Phenomics | 浙江大學發(fā)現(xiàn)一種融合快照光譜圖像和RGB-D圖像生成高質(zhì)量三維多光譜植物點云的新方法

加入作者交流群

掃碼添加小編微信，拉您進入《植物表型組學》作者交流群，群內(nèi)不定期開展作者分享會、專刊發(fā)布會等高質(zhì)量活動。

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics

《植物表型組學》（Plant Phenomics）是由南京農(nóng)業(yè)大學和美國科學促進會（AAAS）合作創(chuàng)辦的英文學術(shù)期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學交叉學科熱點領(lǐng)域具有突破性科研進展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機器學習的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實踐中的表型組學新應(yīng)用，與植物表型相結(jié)合的分子生物學、植物生理學、統(tǒng)計學、作物模型和其他組學研究，表型組學相關(guān)的植物生物學等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫收錄�？祁Ｎò睯CR2022影響因子為6.5，位于農(nóng)藝學、植物科學、遙感一區(qū)。中科院農(nóng)藝學、植物科學一區(qū)，遙感二區(qū)，生物大類一區(qū)（TOP期刊）。2020年入選中國科技期刊卓越行動計劃高起點新刊項目。

說明：本文由《植物表型組學》編輯部負責組稿。
中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準。
撰稿：董明霞
排版：蘇梓鈺（南京農(nóng)業(yè)大學）
審核：孔敏、王平