模型中的先驗探索(PrKE)模塊，可以通過預(yù)構(gòu)建包含心臟肥大、脊柱側(cè)彎、鈣化點、肺炎等常見異常特征信息的知識圖譜，模擬醫(yī)生學(xué)習(xí)過的醫(yī)學(xué)知識，以更好地識別出各種圖像中的異常。另一方面，通過在訓(xùn)練集中匹配、提取已知的相似圖像和報告，可以與病人的歷史報告做比對參考，模型亦在一定程度上模擬了醫(yī)生根據(jù)自身豐富的經(jīng)驗來做決策的過程，實現(xiàn)利用先驗知識來指導(dǎo)報告的生成。
在后驗探索(PoKE)模塊中，模型可實現(xiàn)將當(dāng)前圖像進行標(biāo)簽分類，模擬醫(yī)生找尋圖像異常的過程，大致框定異常的區(qū)域，提醒醫(yī)生針對該區(qū)域做進一步識別處理。先驗和后驗知識在經(jīng)過多領(lǐng)域知識蒸餾(MKD)模塊的綜合過濾后，將生成最終的報告。
這一創(chuàng)新模型在IU-Xray和MIMIC兩個國際公認(rèn)的公開數(shù)據(jù)集上，取得了比以往所有同類模型更好的結(jié)果，可以有效地生成更高質(zhì)量的報告。
醫(yī)學(xué)圖像報告自動生成模型的論文登上人工智能領(lǐng)域第一的行業(yè)會議，是騰訊醫(yī)典在人工智能領(lǐng)域的又一次深入探索。騰訊醫(yī)典AI團隊專注于醫(yī)學(xué)知識圖譜、醫(yī)學(xué)自然語言理解、多模態(tài)深度學(xué)習(xí)等領(lǐng)域的研究，將持續(xù)在醫(yī)學(xué)知識生成和推送、人工智能輔助診療等領(lǐng)域向行業(yè)輸出切實可行的解決方案和領(lǐng)先技術(shù)，用科技提升醫(yī)療服務(wù)效率，助力醫(yī)療行業(yè)的數(shù)字化轉(zhuǎn)型。
