用于水果三維重建的無監(jiān)督域自適應(yīng)體積回歸算法在高通量表型中的應(yīng)用

Plant Phenomics | GANana：用于水果三維重建的無監(jiān)督域自適應(yīng)體積回歸算法

三維重建技術(shù)目前已廣泛應(yīng)用于高通量表型中，能夠從一張或多張圖像中提取出三維形態(tài)信息。以水果的三維模型為例，在三維信息中我們可以同時測量果實體積等多種表型性狀，進而為果實尺寸估計和質(zhì)量控制乃至作物精確育種提供技術(shù)上的支持。近年來，研究者一直盡力將不同的重建方法應(yīng)用于水果表型中，但其中許多方法都依賴于昂貴的硬件外設(shè)，如激光掃描儀、激光雷達(dá)等。

近日，Plant Phenomics 在線發(fā)表了題為GANana: Unsupervised Domain Adaptation for Volumetric Regression of Fruit的研究論文。

在該文中，作者致力于實現(xiàn)單目三維重建，即從單張二維圖像中還原出目標(biāo)的三維結(jié)構(gòu)，從而規(guī)避高昂的硬件成本并降低用戶的使用門檻。與其他的計算機視覺研究一樣，三維重建任務(wù)在大部分領(lǐng)域也依賴于高質(zhì)量的大型數(shù)據(jù)集，且缺乏現(xiàn)成的訓(xùn)練數(shù)據(jù)。因此，該文章提出了一種用于三維重建的無監(jiān)督域適應(yīng)方法，標(biāo)注圖像僅存在于人工合成域中，并在模型訓(xùn)練時補充來自目標(biāo)真實域的未標(biāo)注數(shù)據(jù)集。

該文章使用體積回歸網(wǎng)絡(luò)(VRN)來解決三維重建問題(Figure 1)，并使用在三維建模工具Blender中人工構(gòu)建的香蕉三維模型生成了包含25000對數(shù)據(jù)的訓(xùn)練集，之后通過生成對抗網(wǎng)絡(luò)增強每張圖像，并引入體積一致性損失來提高用實際圖像進行三維重建時的性能(Figure 2)。該文章利用了計算機合成的方式降低了構(gòu)建數(shù)據(jù)集所需的人工和時間成本，同時保證了在實際圖像處理中的性能。

盡管該文重點介紹了如何從二維圖像中重建香蕉的三維模型，但理論上來說該方法適用于其他任何植物品種和器官的三維重建任務(wù)。

Figure 1Results of our volumetric regression network. Output volumetric banana models resting on 2D input images.

Figure 2 The proposed volumetrically consistent CycleGAN (VCC) using our real banana dataset as a target.

論文鏈接

https://spj.sciencemag.org/journals/plantphenomics/2021/9874597/

——推薦閱讀——

Robust Surface Reconstruction of Plant Leaves from 3D Point Clouds 

https://spj.sciencemag.org/journals/plantphenomics/2021/3184185/

Plant Phenomics | 基于植物葉片三維點云的穩(wěn)健表面重建

MVS-Pheno: A Portable and Low-Cost Phenotyping Platform for Maize Shoots Using Multiview Stereo 3D Reconstruction 

https://spj.sciencemag.org/journals/plantphenomics/2020/1848437/

Plant Phenomics | 基于多視角三維重建的低成本、便攜式玉米單株表型平臺—MVS-Pheno

About Plant Phenomics

《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國科學(xué)促進會（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線發(fā)行，是Science合作出版的第二本期刊。采用開放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點領(lǐng)域具有突破性科研進展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫收錄。

說明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。

中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。

撰稿人：王棟

編輯：趙瑜涵（實習(xí)）

審核：卞越、孔敏