騰訊天衍實(shí)驗(yàn)室在AI電子陰道鏡輔助診斷系統(tǒng)的研究中提出了新的深度學(xué)習(xí)框架

近日，騰訊天衍實(shí)驗(yàn)室圍繞AI輔助篩查宮頸癌的研究論文，相繼在《BMC Medicine》、《IEEE Transactions On Medical Imaging》、《Medical Image Analysis》及MICCAI等多個(gè)醫(yī)學(xué)頂級(jí)期刊及會(huì)議發(fā)表和收錄。

從技術(shù)層面來(lái)看，AI電子陰道鏡輔助診斷系統(tǒng)重點(diǎn)突破了醫(yī)生利用陰道鏡診斷宮頸癌與癌前病變時(shí)的幾大關(guān)鍵難題，包括宮頸病變區(qū)域進(jìn)行精確分割、對(duì)不同嚴(yán)重程度CIN的精準(zhǔn)分離、為陰道鏡醫(yī)師準(zhǔn)確定位活檢部位提供指導(dǎo)等多項(xiàng)技術(shù)瓶頸，顯著提升了電子陰道鏡診斷效率和準(zhǔn)確率。

由于子宮頸表面的光反射等成像條件有一定困難，醫(yī)師在檢查過(guò)程中需要準(zhǔn)確對(duì)病變區(qū)域進(jìn)行分割，為病理檢驗(yàn)進(jìn)行準(zhǔn)確的標(biāo)本取材。但病變區(qū)域分割以往比較依賴醫(yī)生經(jīng)驗(yàn)，如果醫(yī)生出現(xiàn)誤判，那么病理檢驗(yàn)階段極有可能出現(xiàn)假陰性（指實(shí)際有病但檢查未發(fā)現(xiàn)），假陽(yáng)性的誤診、漏診、過(guò)度活檢等現(xiàn)象的發(fā)生，貽誤病情。為此，如何提升基層醫(yī)院陰道鏡醫(yī)師專業(yè)能力，精準(zhǔn)分割宮頸病變區(qū)域等能力，也成為加速消滅宮頸癌待解決的問(wèn)題之一。

· 提出全局注意機(jī)制特征庫(kù)，輔助陰道鏡醫(yī)師對(duì)圖像進(jìn)行多尺度視角進(jìn)行病變區(qū)域分割

在臨床實(shí)踐中，陰道鏡醫(yī)師經(jīng)常需要放大潛在病變區(qū)域，以便更清晰地觀察，如圖1（a）和（b）所示。在這些圖像中，病變區(qū)域大小千差萬(wàn)別，這就對(duì)CAD系統(tǒng)進(jìn)行精確地宮頸病變分割提出了多尺度特征提取的高要求。雖然一些解決方案紛紛出臺(tái)，如U-Net、PSPNet和DeepLab，但仍有改進(jìn)的空間。

圖1:宮頸變分割數(shù)據(jù)集中的示例鏡圖像。宮頸上皮內(nèi)瘤變(CIN)和宮頸癌的病變區(qū)域分別用綠色和藍(lán)色輪廓標(biāo)注。

基于此，AI電子陰道鏡輔助診斷系統(tǒng)提出了一種新的全局注意機(jī)制，即特征圖書館（feature library）。該機(jī)制將整個(gè)骨干網(wǎng)絡(luò)視為一個(gè)特征庫(kù)，收集不同階段的所有特征，全局性地選擇有意義的特征來(lái)構(gòu)成穩(wěn)健的宮頸病變分割表征，并自適應(yīng)地選擇不同尺度上的特征來(lái)重新校準(zhǔn)最具信息量的表征，輔助陰道鏡醫(yī)師的臨床決策，而且可以為活檢部位的定位提供指導(dǎo)。

為了更好地訓(xùn)練和評(píng)估該深度學(xué)習(xí)網(wǎng)絡(luò)，騰訊天衍實(shí)驗(yàn)室構(gòu)建了一個(gè)大規(guī)模的宮頸病變分割數(shù)據(jù)集（CINEMA dataset）。該特征庫(kù)中的數(shù)據(jù)集包含了來(lái)自近萬(wàn)個(gè)病例的數(shù)萬(wàn)張圖像，宮頸病變可分為宮頸上皮內(nèi)瘤變（CIN）和癌癥，由經(jīng)驗(yàn)豐富的鏡醫(yī)師對(duì)其進(jìn)行注釋。用于深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練和評(píng)估。實(shí)驗(yàn)結(jié)果表明，該特征庫(kù)對(duì)宮頸病變區(qū)域具有較好的分割效果。特征庫(kù)是一個(gè)插件式模塊，可以很容易地集成到任何CNN中。

· 通過(guò)融合多時(shí)隙圖像排查低度鱗狀上皮內(nèi)病變或更嚴(yán)重的病變（LSIL+型，由CIN1/2/3和癌癥組合）區(qū)域，準(zhǔn)確識(shí)別需要陰道鏡活檢的患者

醋酸目視檢查法(VIA)是常用的陰道鏡檢查方法之一。典型VIA的過(guò)程可以概括為: 首先，在宮頸上應(yīng)用5%的醋酸，可將發(fā)育不良的上皮轉(zhuǎn)變?yōu)榘咨珔^(qū)域(醋白色)。然后，陰道鏡醫(yī)師在VIA期間的不同時(shí)間點(diǎn)捕獲不同數(shù)量的醋酸后圖像。

宮頸區(qū)域在醋酸作用下逐漸變白，并且在施用醋酸120s左右變白最為明顯。VIA(150秒)結(jié)束后，非癌患者的白色區(qū)域可能會(huì)消退，而LSIL+患者將會(huì)維持白色區(qū)域。白色區(qū)域的特征(白色程度、紋理等)被視為L(zhǎng)SIL+診斷的一個(gè)指標(biāo)。LSIL+識(shí)別的另一個(gè)重要臨床指標(biāo)是白色區(qū)域的持續(xù)時(shí)間。

當(dāng)前，宮頸癌自動(dòng)診斷系統(tǒng)針對(duì)VIA實(shí)驗(yàn)多采用單時(shí)隙圖像，即僅使用一幅醋酸陰道鏡后的圖像進(jìn)行診斷，宮頸發(fā)育不良分類的準(zhǔn)確度高度依賴于醋酸后圖像的質(zhì)量，而醋酸后圖像對(duì)噪聲的魯棒性不強(qiáng)，例如，鑷子等偽影可能會(huì)遮擋病變區(qū)域。此外，使用單一醋酸后圖像的框架不能利用VIA試驗(yàn)過(guò)程中包含的有價(jià)值的信息，如白色區(qū)域的維持時(shí)間。

為此，AI電子陰道鏡輔助診斷系統(tǒng)提出了一種采用延時(shí)陰道鏡圖像來(lái)進(jìn)行LSIL+(包括CIN和宮頸癌)識(shí)別的深度學(xué)習(xí)框架，擬用框架包括關(guān)鍵幀特征編碼網(wǎng)絡(luò)和特征融合網(wǎng)絡(luò)兩個(gè)部分。該框架首先采用子宮頸檢測(cè)網(wǎng)絡(luò)從整個(gè)圖像中檢測(cè)出子宮頸區(qū)域。然后，利用分離特征編碼網(wǎng)絡(luò)對(duì)不同時(shí)隙的子宮頸區(qū)域進(jìn)行特征提取（對(duì)醋酸試驗(yàn)中大約在第60、90、120、150秒捕獲的的原始(醋酸前)圖像和陰道鏡圖像進(jìn)行特征編碼）。最后，提取的特征通過(guò)基于節(jié)點(diǎn)和邊緣特征的可解釋性圖卷積網(wǎng)絡(luò)(E-GCN)進(jìn)行融合，識(shí)別出需要活檢的患者。

· 基于細(xì)粒度病變描述建立陰道鏡數(shù)據(jù)集，提升CIN分級(jí)準(zhǔn)確率

早期發(fā)現(xiàn)宮頸上皮內(nèi)瘤變(CIN)（可能是宮頸表面鱗狀細(xì)胞的癌前改變和異常生長(zhǎng)）可以明顯提高患者存活率。WHO將CIN分為三個(gè)等級(jí)，CIN1(輕度)、CIN2(中度)和CIN3(重度)。不同的CIN（宮頸上皮內(nèi)瘤樣病變）分級(jí)的治療方法不同。盡管現(xiàn)有的研究提出了計(jì)算機(jī)輔助診斷(CAD)系統(tǒng)用于宮頸癌診斷，但是由于在陰道鏡下，CIN1和CIN2/3有很大相似性，但都未能實(shí)現(xiàn)精準(zhǔn)分離CIN1和CIN2/3。

圖 2：GRAND數(shù)據(jù)集中的陰道鏡圖像樣本。CIN1患者(a)的圖像外觀可能與陰道鏡下的CIN2/3 (b)相似。CIN準(zhǔn)確分級(jí)存在一些困難，如正常宮頸表面光反射引起的假病變區(qū)域(c)和偽影引起的閉塞(d)。

AI電子陰道鏡輔助診斷系統(tǒng)中，研究人員構(gòu)建了一個(gè)陰道鏡圖像數(shù)據(jù)集（GRAND），用于采用細(xì)微病變描述對(duì)宮頸上皮內(nèi)瘤樣病變分級(jí)。陰道鏡專家主要是通過(guò)觀察120s時(shí)陰道鏡圖像上顯示的宮頸醋白上皮質(zhì)地(TAE)和血管外觀(ABV)來(lái)進(jìn)行CIN分級(jí)。

對(duì)于每名患者，研究人員記錄下施用醋酸后120s的圖像，并邀請(qǐng)經(jīng)驗(yàn)豐富的陰道鏡醫(yī)師對(duì)兩個(gè)臨床有用的線索宮頸醋白上皮質(zhì)地(TAE)和血管的外觀(ABV)進(jìn)行相應(yīng)標(biāo)注，為深度學(xué)習(xí)網(wǎng)絡(luò)系統(tǒng)提供了額外信息并提高其CIN分級(jí)的準(zhǔn)確率。

針對(duì)該數(shù)據(jù)集，研究人員建立了一個(gè)多評(píng)估者介導(dǎo)模型。提出的框架包含有幾個(gè)通過(guò)分別對(duì)比學(xué)習(xí)來(lái)利用細(xì)微病變特征TAE和ABV的子網(wǎng)絡(luò)系統(tǒng)(評(píng)估者)，以及一個(gè)從陰道鏡圖像中提取全部信息的骨干網(wǎng)絡(luò)。對(duì)GRAND數(shù)據(jù)集進(jìn)行了一項(xiàng)綜合試驗(yàn)。試驗(yàn)結(jié)果證明了使用附加病變描述(TAE和ABV)的獲益，可將CIN分級(jí)準(zhǔn)確率提高10%以上。此外，通過(guò)邀請(qǐng)陰道鏡醫(yī)師與AI電子陰道鏡輔助診斷系統(tǒng)競(jìng)賽，評(píng)測(cè)出所推出的基準(zhǔn)框架的CIN分級(jí)準(zhǔn)確率與陰道鏡專家相當(dāng)。

除此外，由于陰道鏡醫(yī)生在陰道鏡檢查時(shí)會(huì)分析圖像和非圖像信息(子宮頸細(xì)胞學(xué)檢查TCT和HPV狀態(tài))，AI電子陰道鏡輔助診斷系統(tǒng)也盡可能準(zhǔn)確地模擬陰道鏡專家的診斷，該輔助系統(tǒng)由兩個(gè)基于深度學(xué)習(xí)的模塊組成，分別用于對(duì)陰道鏡提示的分級(jí)和引導(dǎo)活檢。簡(jiǎn)而言之，擬用AI電子陰道鏡輔助診斷系統(tǒng)首先檢測(cè)圖像的宮頸區(qū)域，以便后續(xù)特征提取，然后利用圖形卷積網(wǎng)絡(luò)來(lái)融合所提取的特征，最后將非圖像信息與圖像的融合特征連結(jié)起來(lái)，得出分級(jí)提示的結(jié)果，預(yù)測(cè)疑似病變區(qū)域，限制引導(dǎo)活檢部位的范圍。

通過(guò)十幾萬(wàn)份陰道鏡圖像的培訓(xùn)和驗(yàn)證，AI電子陰道鏡輔助診斷系統(tǒng)與病理學(xué)結(jié)果作為黃金標(biāo)準(zhǔn)的一致性達(dá)到了82.2%的高水平，并且高于陰道鏡專家65.9%的原始陰道鏡解釋。上述研究表明，通過(guò)AI電子陰道鏡輔助診斷系統(tǒng)可有效協(xié)助基層醫(yī)院陰道鏡師，提升陰道鏡師診療水準(zhǔn)，縮小三級(jí)醫(yī)院與基層醫(yī)院之間的診斷能力差距，提高宮頸癌篩查質(zhì)量。

讓AI下沉基層

尖端技術(shù)的突破依賴于與醫(yī)療頂級(jí)專家合作，但醫(yī)療AI最廣泛的應(yīng)用場(chǎng)景仍在基層。服務(wù)基層醫(yī)療機(jī)構(gòu)，助力普惠醫(yī)療、服務(wù)分級(jí)診療、推進(jìn)早癌篩查等也是醫(yī)療AI的主場(chǎng)景。

AI電子陰道鏡輔診系統(tǒng)有望為“兩癌篩查”提供助力，輔助宮頸癌篩查全面落地應(yīng)用和推廣，高效提升宮頸癌篩查服務(wù)覆蓋人群范圍與服務(wù)效率，并有效緩解基層醫(yī)療服務(wù)能力和水平不足的現(xiàn)狀，助推衛(wèi)生資源欠發(fā)達(dá)地區(qū)打通宮頸癌篩查鏈條的“最后一公里”，讓早期宮頸癌檢查可以在基層大范圍普及，幫助適齡婦女人群，尤其廣大農(nóng)村女性從中獲益，最大化釋放醫(yī)療普惠價(jià)值，助推我國(guó)醫(yī)療資源均衡化發(fā)展。

科技改變生活，伴隨著互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等前沿技術(shù)的爆發(fā)，科技正在推動(dòng)基層醫(yī)院數(shù)字化升級(jí)，改善基層醫(yī)療服務(wù)質(zhì)量與水平，幫助患者在基層得到更優(yōu)質(zhì)的就醫(yī)體驗(yàn)以及更精準(zhǔn)的診療，為改變中國(guó)醫(yī)療難題發(fā)揮科技價(jià)值。

附：相關(guān)發(fā)表論文題目與作者

songjy