光片熒光顯微鏡的應用及前景

熒光顯微鏡是生物醫(yī)學研究中的重要工具，通過使用熒光染料或熒光蛋白標記特定的細胞或分子，使其在顯微鏡下發(fā)出熒光，從而實現(xiàn)高分辨率的成像。

光片熒光顯微鏡是一種革命性的新興三維成像技術，通過快速掃描薄片樣本，實現(xiàn)高通量、高分辨率的三維成像。該技術具有光漂白與光毒性低、光子利用效率高、成像速度快和分辨率高等優(yōu)點，廣泛應用于神經(jīng)科學、細胞生物學、病理學等生物醫(yī)學領域。光片熒光顯微成像技術在三維病理分析中展現(xiàn)出了巨大的潛力。

相比于傳統(tǒng)的二維病理切片，三維病理分析能夠提供組織結構的完整空間信息，有助于更全面地理解疾病的發(fā)生和發(fā)展機制。三維病理分析領域的發(fā)展，將極大地推動病理學研究的深入和臨床診斷的精確化，為疾病的早期發(fā)現(xiàn)、精準治療和個性化醫(yī)療提供強有力的支持。

華中科技大學光學與電子信息學院的費鵬團隊發(fā)表綜述，介紹了光片顯微成像技術的發(fā)展及其在病理領域的應用，然后介紹了目前三維病理分析的主要工作和方法，著重討論了新興的多模態(tài)大語言模型在病理分析領域的應用前景。

光片顯微鏡的發(fā)展及應用

光片顯微鏡的發(fā)展歷程
2004年，Huisken課題組提出SPIM，首次將光片顯微鏡帶入人們的視野，大大降低了光漂白和光毒性，并能連續(xù)采集長時間序列圖像。

2007年，基于之前工作提出mSPIM，減少了SPIM中的條紋偽影。2008年，Keller等人提出DSLM，其通過掃描高斯光束形成虛擬光片。SPIM和DSLM奠定了光片顯微鏡的基本模式。

光片生成的并行化。SPIM同時照明并捕捉整個視野的熒光，而mSPIM通過圍繞其中心旋轉光片來減少條紋偽影。DSLM通過時間共享光束生成虛擬光片，任何給定時間內(nèi)僅有被照明條帶產(chǎn)生熒光。為了保持相同信噪比，隨著視野大小（沿掃描軸）相對于光片厚度的增加，DSLM需要更高的峰值強度Ipeak

近年來，光片顯微鏡朝著更高分辨率、更低光漂白和光毒性、更快成像速度以及更大成像體積發(fā)展。例如貝塞爾光片顯微鏡、Lattice顯微鏡、平面掃面共焦（SCAPE）顯微鏡及其改進版等多種先進顯微鏡技術被提出。

傳統(tǒng)熒光顯微鏡在三維成像、長時間活體成像、光漂白和光毒性方面存在局限性，寬場熒光顯微鏡圖像對比度低，共聚焦顯微鏡成像速度慢且光漂白和光毒性較大。

為解決這些問題，光片熒光顯微鏡應運而生。它用一束薄薄的光片從側面照射樣品，減少了總曝光量，大大降低了光漂白和光毒性，同時實現(xiàn)了快速、高分辨率的三維成像。

光片顯微鏡的重要技術發(fā)展
組織透明化技術：組織透明化技術通過化學試劑置換、沖洗等方法對生物樣本進行脫水、脫脂等操作，然后填充試劑使樣本具有均勻折射率，最后放入折射率匹配的試劑中實現(xiàn)光的透明。該技術與光片顯微鏡結合，可提取復雜哺乳動物和大型人類標本的結構信息，如構建單細胞分辨率小鼠大腦圖譜。

光片顯微鏡在病理組織樣本中的應用
腫瘤病理學研究：光片顯微鏡可實現(xiàn)腫瘤組織的三維成像，提供詳細結構信息，用于評估藥物療效和指導個性化治療。如開頂光片顯微鏡可對前列腺組織樣本進行成像，還有研究對乳腺癌、膀胱腫瘤等的相關組織進行了成像研究，展示了其在腫瘤病理診斷和藥物研究中的價值。

神經(jīng)病理學和大腦研究：在研究神經(jīng)網(wǎng)絡結構方面具有優(yōu)勢，可觀察腦組織及神經(jīng)元等結構的三維形態(tài)特征。如對腦部標本的透明化方法進行可視化，在人腦組織中尋找感興趣區(qū)域并進行相關研究，以及對人腦枕葉組織、厚人腦切片中的淀粉樣斑塊等進行成像研究，體現(xiàn)了其在研究神經(jīng)系統(tǒng)疾病病理機制中的重要性。

其他病理學研究：在皮膚、眼球、口腔等病理組織研究中也有重要應用。如對人體皮膚活檢組織樣本、人眼、人類牙髓等進行成像，展示了其在臨床環(huán)境的體內(nèi)組織原位體積成像中的重要作用。

病理分析的應用及發(fā)展
病理分析是一門醫(yī)學分支，其主要包含組織學、細胞學、免疫組織化學、分子病理學等方面。對于許多常見的癌癥和腫瘤，比如乳腺癌、前列腺癌、肺癌、胃腸道癌、皮膚癌以及各種良性和惡性的腫瘤等，病理分析通過對這些疾病的組織樣本進行詳細檢查，提供了明確的診斷依據(jù)，幫助醫(yī)生制定有效的治療方案。

光片顯微鏡作為一種新興的顯微成像技術，能夠以高速度、高分辨率和低光毒性成像大體積樣本。這種技術極其適用于三維組織成像、活體成像、多色熒光成像等場景，在病理分析中有著廣泛的應用前景。隨著光片顯微鏡技術的不斷發(fā)展，算法的進步也在推動病理分析邁向新的高度。

虛擬染色技術
傳統(tǒng)組織染色方法如H&E染色雖對病理學發(fā)展有重要作用，但存在時間成本高、操作繁瑣、樣本損壞和染色一致性差等問題。

虛擬染色技術興起得益于數(shù)字病理學和計算機視覺技術的快速發(fā)展。它利用圖像算法將顯微鏡下的無染色或輕度染色的生物組織圖像轉換為類似于傳統(tǒng)染色效果的技術。其顯著減少染色過程所需時間和成本，在組織病理學中，除固定樣本外，只需用類似H&E染色的熒光標記物進行標記，整個樣本準備過程少于3分鐘，并且減少額外材料開支。其圖像算法在GPU上并行處理時可在亞毫秒級處理每幀圖像。例如Jonathan T.C.Liu課題組提出的快速數(shù)字染色軟件包（FalseColor-Python）通過GPU加速處理大規(guī)模數(shù)據(jù)集，實現(xiàn)高效虛擬染色。

不同研究者針對各種視覺的定量指標進行對比，發(fā)現(xiàn)虛擬染色的結果與傳統(tǒng)染色結果非常接近。同時對一些臨床分析的結果進行對比，發(fā)現(xiàn)虛擬染色的結果并不會影響最終的判斷。這些結果表明通過虛擬染色生成的病理圖像是可靠的，可以在不影響診斷信息的情況下提供高質(zhì)量的組織圖像。

虛擬染色技術允許研究者在同一圖像上應用不同的染色方案，無需對樣本進行多次處理，減少對樣本的損耗和操作成本，提供更加靈活和多樣化的選擇。例如Zhang等人通過深度學習技術對未標記的組織樣本進行虛擬染色，成功復現(xiàn)H&E染色、Masson三色和Jones'銀染色，該方法能在單個組織切片上實現(xiàn)多重染色，無需進行多次物理處理，大大提高組織學分析的效率和準確性。Liu等人同樣利用深度學習方法，從H&E染色圖像中生成虛擬的免疫組織化學（Immunohistochemistry，IHC）圖像，從而在不進行實際染色的情況下，獲得同樣高質(zhì)量的診斷信息。

虛擬染色通過算法實現(xiàn)，對于同樣的組織樣本，只要保持參數(shù)一致，就能夠提供一致的染色效果，避免傳統(tǒng)染色方法中的人為誤差和實驗室間差異。

傳統(tǒng)染色方法可能對樣本造成損傷，而虛擬染色技術是非破壞性的。研究者可以多次對同一樣本進行不同的虛擬染色處理，保留原始樣本的完整性。例如Jonathan T.C.Liu課題組的研究展示一種多分辨率非破壞性三維病理學方法，通過結合熒光染色和光學透明化技術，對淋巴結進行全方位成像，提高淋巴結轉移分期的準確性。

同時，虛擬染色技術可以很好地與光片熒光顯微鏡相結合。例如 Jonathan T.C.Liu課題組的研究中采用開頂式光片顯微鏡對經(jīng)過H&E染色熒光類似物標記的組織樣本進行成像。

這種結合可以顯著降低染色成本、提高病理分析效率、減少樣品損傷等，為病理分析提供強有力的工具，具有廣闊的應用前景。

病理分析的研究進展
光片熒光顯微成像技術：可快速、非破壞性地獲取高分辨率三維圖像，在癌癥研究、神經(jīng)科學和發(fā)育生物學等領域有巨大潛力，能實現(xiàn)大樣本高通量分析和動態(tài)過程實時監(jiān)測。

虛擬染色技術：通過計算方法替代傳統(tǒng)染色過程，加快病理切片處理速度，減少染色劑使用，提高環(huán)境友好性。

機器學習和數(shù)字圖像處理技術：

• 二維病理分析：是病理學研究的基石，隨著人工智能發(fā)展，利用深度學習算法對病理圖像進行分類診斷，在乳腺癌等疾病的病理分析中有諸多應用，但存在無法充分展示組織結構復雜性和空間關系的局限性。

• 三維病理分析：光片熒光顯微鏡在三維病理分析中有諸多優(yōu)勢，能提供更全面精準的組織結構信息。如 Jonathan T.C.Liu課題組提出的TriPath平臺，以及在前列腺癌、乳腺癌等組織上的一系列工作，還有其他關于不同組織的研究，都展示了三維病理分析的優(yōu)勢，結合自動化算法可幫助醫(yī)生更準確診斷疾病。

病理分析大模型：病理分析大模型是在醫(yī)療健康領域應用的大規(guī)模預訓練模型，參數(shù)量大，具備更強的特征提取和學習能力，在不同任務場景下泛化性好。如UNI模型、Prov-GigaPath模型、Virchow模型等，這些模型在不同的病理學任務中表現(xiàn)優(yōu)異。

多模態(tài)大語言模型的應用及發(fā)展
多模態(tài)大語言模型的發(fā)展追溯到Transformer結構的提出，隨后基于Transformer的GPT、BERT等語言基礎模型誕生，接著ViT模型將Transformer應用到計算機視覺領域，CLIP架構實現(xiàn)了多模態(tài)信息的融合。

主流多模態(tài)大語言模型主要由圖像編碼器和文本編碼器經(jīng)過CLIP框架預訓練，再結合預訓練的LLM等組成，采用多種訓練方式，如參數(shù)高效微調(diào)方法等。

多模態(tài)大語言模型在病理分析領域的應用

• 生成醫(yī)學報告：根據(jù)病人影像資料和病歷文本自動生成詳細醫(yī)學報告，節(jié)省醫(yī)生時間，提高工作效率和報告準確性。

• 診斷疾�。航Y合影像和文本數(shù)據(jù)提高疾病診斷準確性，如在肺癌早期篩查中的應用。

• 數(shù)字病理分析：通過學習病理圖像和診斷信息，自動識別、計算和分類病理組織，為病理醫(yī)生提供輔助工具。

• 人機交互：實現(xiàn)自然和直觀的人機交互，方便醫(yī)學工作者獲取信息和建議。

• 應用案例：如Tiu等人利用CLIP模型實現(xiàn)對多種疾病的檢測，還有CONCH模型、PathChat模型、PathAsst模型、M3D-LaMed模型等在不同病理分析任務中的應用。

 

多模態(tài)大語言模型結合光片顯微鏡展望

• 模型復雜性與計算資源：模型結構復雜、參數(shù)多，三維病理圖像數(shù)據(jù)處理更復雜，需要強大計算資源，這是研究機構和醫(yī)療機構的瓶頸，但隨著技術發(fā)展有望突破。

• 三維病理數(shù)據(jù)獲取與標注困難：需要大量三維病理圖像-文本對數(shù)據(jù)，目前缺乏大規(guī)模三維病理數(shù)據(jù)集，光片顯微鏡可解決此問題，還可通過模態(tài)遷移與適配在現(xiàn)有二維病理大模型上進行改進。

• 可能存在的問題：可能存在偏見和知識抄襲問題，且容易產(chǎn)生幻覺和錯誤推薦，需要謹慎整合到病理實踐中，病理學家要驗證其生成內(nèi)容。

• 應用前景：光片顯微鏡與多模態(tài)大語言模型結合可改善三維病理數(shù)據(jù)獲取與標注困難，處理一系列病理分析任務，具有巨大臨床價值，雖然面臨挑戰(zhàn)，但隨著技術進步有望解決，應用前景廣闊。

總結與展望
光片熒光顯微鏡具有高分辨率、成像速度快、光毒性和光漂白低等優(yōu)勢，在生物醫(yī)學領域應用廣泛且不斷發(fā)展，在三維病理成像領域潛力巨大。人工智能技術在病理分析中的應用不斷發(fā)展，從傳統(tǒng)的CNN模型到通用的綜合性病理分析大模型。光片熒光顯微鏡與多模態(tài)大語言模型結合將為病理分析領域提供更強大的工具支持，推動該領域進一步發(fā)展。

內(nèi)容來源：費鵬, 思文天, 張敏超. 基于光片熒光顯微鏡的三維病理分析綜述[J]. 光學學報（網(wǎng)絡版）, 2024, 01(05): 02.