動脈粥樣硬化引起的易損斑塊破裂已經(jīng)嚴重危害到人類的健康,而血管內(nèi)光學相干斷層成像(IVOCT)憑借其高分辨率已經(jīng)成為識別冠脈易損斑塊的主要工具,但圖像判讀費時費力,通常還依賴于醫(yī)生的經(jīng)驗。
目前已有基于傳統(tǒng)機器學習的研究實現(xiàn)了對單幀圖像的分類,但這些信息不足以輔助醫(yī)生確定治療方案,仍然需要醫(yī)生二次判讀。
研究背景
急性冠脈綜合征(ACS)是極具危險性的心血管疾病,其致死率和致殘率頗高。近70%的ACS是由冠狀動脈粥樣硬化引發(fā)的易損斑塊破裂所導致。動脈粥樣硬化是血管壁中多種物質(zhì)積聚沉積形成粥樣斑塊的過程,隨著斑塊發(fā)展,易損斑塊形成,其破裂會造成嚴重后果。
血管內(nèi)光學相干斷層成像(IVOCT)分辨率高(10-20μm),能夠準確識別薄帽纖維粥樣(TCFA)斑塊等易損斑塊特征,已逐漸成為診斷易損斑塊的金標準。然而,在實際應用中,醫(yī)生手動在圖像中標注斑塊位置時,不可避免地會受到主觀判斷的影響,導致診斷結(jié)果存在一定偏差。而且一次回撤會產(chǎn)生數(shù)百張IVOCT腔內(nèi)截面圖像,手動判讀極為耗時費力,嚴重影響了對易損斑塊的診斷速度和精度。
深度學習技術已應用于斑塊分類和檢測,但現(xiàn)有算法如使用U型編碼器-解碼器結(jié)構(gòu)或基于多任務深度卷積神經(jīng)網(wǎng)絡的算法,只能提供目標斑塊的位置信息,其破裂風險及對應的治療方案仍完全依賴于醫(yī)生的主觀經(jīng)驗。由于IVOCT分辨率無法達分子水平,圖像僅能表征易損斑塊結(jié)構(gòu)特征,因此開發(fā)計算機輔助診斷(CAD)系統(tǒng)對于量化評估易損斑塊破裂風險、規(guī)范治療措施和減輕醫(yī)生負擔至關重要。
研究方法
一、IVOCT圖像處理流程
1、圖像預處理
第一步是將原始的IVOCT圖像轉(zhuǎn)換為極坐標下的灰度圖像。在常規(guī)的IVOCT圖像中,為了便于觀察,通常會進行偽彩色處理,但這種偽彩色處理后的顏色通道并不包含任何病理信息。將圖像轉(zhuǎn)換為極坐標下的灰度圖像有助于后續(xù)對斑塊特征的分析和處理,能夠更好地突出斑塊的形態(tài)、位置等信息,為準確識別易損斑塊奠定基礎。
2、易損斑塊定位
在極坐標下的灰度圖像中檢測易損斑塊的位置,并在圖像中輸出預測框(BBox)。這一步驟是整個算法的關鍵環(huán)節(jié)之一,通過特定的算法和模型,對圖像中的易損斑塊進行定位,確定其在圖像中的大致范圍,為后續(xù)的風險評估提供基礎。
3、破裂風險評估
對自動定位后的斑塊進行破裂風險評估。根據(jù)易損斑塊的多種特征,如病變累積角度、纖維帽厚度、巨噬細胞浸潤情況、淺表微鈣化情況和血管狹窄程度等,綜合分析判斷斑塊破裂的風險程度。這些特征相互關聯(lián),共同影響著斑塊的穩(wěn)定性和破裂風險,通過對它們的量化評估,可以更全面地了解斑塊的狀態(tài)。
4、模型測試與結(jié)果輸出
最后,對斑塊的定位方法和風險評估方法進行測試,并輸出相應的指標。通過在測試數(shù)據(jù)集上的驗證,評估算法的準確性、可靠性和有效性,為算法的優(yōu)化和改進提供依據(jù),同時也為臨床應用提供參考。
二、易損斑塊識別
1、基于Faster R-CNN的改進策略
2、網(wǎng)絡結(jié)構(gòu)與模塊功能
特征提取模塊:選用ResNet18作為主干網(wǎng)絡,其包含四組堆疊殘差塊,對輸入圖像逐層運算提取高級語義信息并壓縮特征圖大小,同時使用特征金字塔結(jié)構(gòu)保留底層紋理特征。
區(qū)域提取模塊:由區(qū)域建議網(wǎng)絡(RPN)負責在特征圖中選擇可能的候選區(qū)域,通過在特征圖上滑動卷積窗,RPN對每個特征點輸出分類和坐標回歸輸出,經(jīng)非極大值抑制(NMS)去除重疊率過高的Anchor得到候選區(qū)域。
二次檢測模塊:從候選區(qū)域中進一步過濾出正確區(qū)域,使用感興趣區(qū)域(ROI)池化技術將不同區(qū)域特征映射為相同大小特征圖,其原理與RPN相同,最后通過NMS去除重疊率過高的Anchor,因一幅IVOCT圖像中易損斑塊區(qū)域較少,只保留得分最高的5個邊框作為最終定位輸出結(jié)果。
A-Scan分類模塊:將圖像每列像素視為單條A-Scan,落在標注區(qū)域內(nèi)為陽性樣本,外為陰性樣本,得到A-Scan級分類標簽。對整張圖像所有A-Scan分類,采用UNet結(jié)構(gòu)輸出結(jié)果,通過反卷積、拼接操作融合特征,最后經(jīng)卷積層判斷A-Scan是否為陽性。
結(jié)果與討論
一、實驗數(shù)據(jù)集與環(huán)境
本研究使用的數(shù)據(jù)集為CCCV2017 IVOCT數(shù)據(jù)集,該數(shù)據(jù)集由中國科學院西安光學精密機械研究所提供,專門用于檢測IVOCT圖像中的薄纖維帽脂質(zhì)斑塊。
數(shù)據(jù)集分為訓練集數(shù)據(jù)和測試集數(shù)據(jù)兩部分,其中訓練集數(shù)據(jù)包含2000張圖片,測試集數(shù)據(jù)包含300張圖片,兩部分數(shù)據(jù)中均包含有易損斑塊的陽性樣本和沒有易損斑塊的陰性樣本。對于單個陽性樣本,數(shù)據(jù)集為,斑塊的BBox標記為和,即左右邊界。實驗模型運行在Linux上的Ubuntu 18.0.4操作系統(tǒng)環(huán)境下,并使用RTX 3090 GPU進行加速計算,以提高算法的訓練和測試效率。
二、斑塊識別結(jié)果從訓練曲線來看,在70個回合后網(wǎng)絡性能趨于穩(wěn)定,并在最高點附近振蕩,因此將訓練回合數(shù)設置為70。由于學習率呈梯度下降,前40回合將其設置為0.01,這樣可以幫助網(wǎng)絡快速收斂;在第41和61回合,學習率衰減為前一回合的十分之一,以逐步達到最優(yōu)解,同時穩(wěn)定網(wǎng)絡。此外,本研究還采用了線性WarmUp策略,使學習率在前兩個訓練回合中從0.0001逐漸增長至設定值0.01。
為了增強數(shù)據(jù)的多樣性,考慮到IVOCT圖像中血管在首尾端相連而極坐標圖像忽略空間連續(xù)的特點,采用隨機循環(huán)移位法。該方法通過在圖像尾端選擇隨機數(shù)目的A-Scan并移動到最左側(cè)實現(xiàn)。實驗結(jié)果表明,加入隨機循環(huán)移位方法后,網(wǎng)絡表現(xiàn)出了更好的性能。在對網(wǎng)絡的評價指標中,均值平均精度(mAP)、交并比閾值為50時的均值平均精度(mAP50)、召回率(Recall)、Dice系數(shù)(Dice)和幀速率等均有不同程度的提升。其中,mAP50增加到0.744,Dice系數(shù)增加到0.905。對比只加入單項改動的結(jié)果,可以發(fā)現(xiàn)隨機循環(huán)移位增強數(shù)據(jù)法對網(wǎng)絡性能的提升最大,這充分說明了先驗知識(關于圖像血管結(jié)構(gòu)特點的知識)在改進網(wǎng)絡性能方面的重要性。例如,在實際的IVOCT圖像中,斑塊位置和血管結(jié)構(gòu)的關系復雜多樣,隨機循環(huán)移位法能夠讓網(wǎng)絡學習到更多不同情況下的圖像特征,從而提高對易損斑塊的定位能力。
本研究提出的定位方法相比于弱監(jiān)檢測(WSD)方法和基于顯著區(qū)域的卷積神經(jīng)網(wǎng)絡(SRCNN)方法在召回率上分別提高了 0.028和0.012,Dice系數(shù)分別提高了0.075和0.018。這表明本方法在準確識別易損斑塊方面具有明顯優(yōu)勢。例如,在臨床診斷中,較高的召回率意味著能夠更全面地檢測出易損斑塊,減少漏診的可能性;而較高的Dice系數(shù)則表示預測結(jié)果與真實結(jié)果的吻合程度更高,定位更加準確,有助于醫(yī)生更精準地判斷斑塊位置和制定治療方案。三、易損斑塊破裂風險評估結(jié)果
1、管腔面積預測
在CCCV2017 IVOCT數(shù)據(jù)集中隨機選擇了300張圖像并標注了管腔面積,其中200張作為訓練集,100張作為測試集。為了更直觀地展示管腔面積的空間關系,標記和分割過程均在笛卡兒坐標系中進行(因為在極坐標系中圖像尺寸為像素點,轉(zhuǎn)換到笛卡兒坐標系中為像素點)。分割網(wǎng)絡的訓練優(yōu)化器選擇SGD,學習率設置為0.01。訓練回合基于批量(batch)計數(shù),總共訓練4000個batch,批量大小設置為 4。最終管腔面積預測的評估指標交并比(IOU)值為 0.9445,網(wǎng)絡的預測結(jié)果顯示紅色掩模區(qū)域幾乎與管腔區(qū)域完全一致。這表明本研究采用的DeepLabV3+算法在計算管腔面積方面具有較高的準確性,能夠有效地評估易損斑塊處血管的狹窄程度,為判斷斑塊破裂風險提供了可靠的依據(jù)。
通過混淆矩陣來顯示模型在預測斑塊表面微鈣化和巨噬細胞浸潤方面的性能。結(jié)果顯示,預測微鈣化的準確率為0.962,召回率為0.862,F(xiàn)1分數(shù)為0.909,準確率為0.932;巨噬細胞浸潤的準確率為0.846,召回率為0.917,F(xiàn)1分數(shù)為0.880,精密度為0.919。這些指標表明模型在預測淺表微鈣化和巨噬細胞浸潤方面具有較高的準確性,能夠較好地識別出易損斑塊中的這些特征,從而為全面評估易損斑塊的破裂風險提供了重要依據(jù)。例如,巨噬細胞浸潤是斑塊炎癥反應的重要標志,準確預測其存在情況有助于判斷斑塊的穩(wěn)定性和破裂風險。
結(jié)論與展望
本研究基于臨床診斷共識提出了一種用于識別易損斑塊和評估破裂風險的算法。該算法在準確定位易損斑塊區(qū)域方面取得了較好的效果,通過對Faster R-CNN的改進,如采用隨機循環(huán)移位法、簡化BBox編碼方法和增加語義分割頭,顯著提高了易損斑塊定位精度。同時,根據(jù)臨床判斷依據(jù),選取管腔面積、纖維帽厚度、病變累積角度、淺表微鈣化和巨噬細胞浸潤等因素作為易損斑塊破裂風險的評估指標,建立了相應的評估模型。
實驗結(jié)果表明,所提出的易損斑塊定位算法在各項性能評價指標方面均優(yōu)于以往研究人員提出的算法。在斑塊識別方面,改進后的網(wǎng)絡在CCCV2017 IVOCT數(shù)據(jù)集上的測試中表現(xiàn)出色mAP50和Dice系數(shù)等指標有明顯提升,且與其他相關方法對比在召回率和Dice系數(shù)上也具有優(yōu)勢。在易損斑塊破裂風險評估方面,管腔面積預測、纖維帽厚度測試、病變累積角度評估以及淺表微鈣化和巨噬細胞浸潤預測等均取得了較為滿意的結(jié)果,各項評估指標驗證了方法的可行性和準確性。
該算法的應用將有助于臨床醫(yī)生更準確地定位易損斑塊位置,更全面地評估斑塊易損性,從而減少工作量,同時減少主觀判斷對診斷結(jié)果的影響。這對于提高心血管疾病的診斷水平,改善患者的治療效果和預后具有重要意義。
目前的研究工作主要聚焦于斑塊的檢測任務,且使用的數(shù)據(jù)集存在一定局限性,不能保證所有圖像來源于同一病人。后續(xù)工作將結(jié)合IVOCT成像的特性,進一步深入研究。一方面,計劃利用序列圖像學習易損斑塊的三維空間特征或相鄰幀的序列特征,從高維度對斑塊進行精細分割,以更全面、準確地描述斑塊的形態(tài)和結(jié)構(gòu)。另一方面,將依托臨床平臺,開展大規(guī)模的臨床研究,探尋易損斑塊的各個單一風險因素對總破裂風險的影響,構(gòu)建更加全面、科學的斑塊破裂風險評估模型。
未來還將進一步對序列IVOCT圖像數(shù)據(jù)進行深入分析,深入研究易損斑塊的破裂機制。通過對大量臨床數(shù)據(jù)的挖掘和分析,爭取實現(xiàn)對斑塊的自動識別與更精準的風險評估。
聲明:本文僅用作學術目的。文章來源于:韓澤君, 林興康, 裘耀陽, 張曉, 高磊, 李勤. 基于IVOCT的動脈粥樣硬化斑塊識別與風險評估[J]. 中國激光, 2024, 51(9): 0907017. Zejun Han, Xingkang Lin, Yaoyang Qiu, Xiao Zhang, Lei Gao, Qin Li. Identification and Risk Assessment of Atherosclerotic Plaques Based on IVOCT[J]. Chinese Journal of Lasers, 2024, 51(9): 0907017.