近日👳，意昂3官网光電學院許廷發科研團隊在眼底醫學圖像處理領域取得新突破，相關研究意昂3平台以“RTNet: Relation Transformer Network for Diabetic Retinopathy Multi-lesion Segmentation”為題發表在醫學圖像處理領域的國際頂級期刊《IEEE Transactions on Medical Imaging（IEEE TMI）》(IF=""10.332)上🗞。IEEE"" TMI是醫學圖像處理領域具有高影響力的國際學術刊物之一，在2021年該領域270余種JCR期刊中排名前列，影響因子為10.332，中科院一區🐖⚁，主要發表和報道醫學圖像處理和分析、可視化和性能等領域的最新研究進展。該工作第一作者為意昂3官网博士研究生黃詩淇🎂，通訊作者為意昂3官网許廷發和李佳男。

糖尿病視網膜病變，作為糖尿病的一種衍生眼部疾病👩🏻‍🌾，已經成為全球工作年齡人口致盲最主要的致盲原因↘️。據國際糖尿病聯合會（IDF）發布🧑🏻‍🎓，我國糖尿病患者總數將在2030年增加到1.64億🧎，這其中超過30%的人會產生視網膜病變，若未能及時發現和幹預🧛🏿‍♀️，將發生不可逆轉的視覺損害。

在近幾年，國內外學者嘗試通過訓練有素的人工智能來分割眼底影像中糖尿病病變的關鍵病竈。然而，病竈圖案的小尺寸和易混淆的眼底復雜結構經常使得人工智能模型經常錯分病竈。許廷發教授團隊首次引入血管信息作為先驗知識來解決這一科學難題🫓，提出了一個端到端的基於transformer結構的多病竈分割網絡RTNet。針對血管異常總是產生病竈的直接或間接原因🚣‍♂️，將病竈特征和血管信息分別作為transformer結構的查詢值和關鍵值輸入，使得病竈像素的決定血管的分布情況👂🏽。此外，針對多目標分割問題的難題，該團隊研究發現不同病竈的出現和分布符合疾病發展的規律，從這一病理規律出發提出了一個全新的綜合全局和細節信息的自註意結構，實現了從多目標同時提取病竈特征。

圖1 糖尿病視網膜病變多病竈分割模型

該項研究開創性地引入血管信息作為先驗知識輔助眼底病竈的分割🩱，同時也是第一個將多頭transformer結構應用到眼底影像病竈分割中。在多個具有挑戰性的眼底影像數據集上🧘🏿💁🏼，與最先進的、高度優化的分割算法相比，RTNet都表現出明顯的性能優勢🫚，通過在基準評價指標上的定性定量分析，證明了RTNet各組分結構的有效性。此研究有助於更加清晰深刻地理解糖尿病視網膜病竈之間的內在關系🔃👲🏼，對糖尿病的視網膜病變的處理和分析具有重要意義🙋🏼。

論文詳情：S. Huang, J. Li, Y. Xiao, N. Shen and T. Xu, "RTNet: Relation Transformer Network for Diabetic Retinopathy Multi-lesion Segmentation," in IEEE Transactions on Medical Imaging, doi: 10.1109/TMI.2022.3143833.

論文鏈接😔📞：https://ieeexplore.ieee.org/abstract/document/9684442

附作者簡介🍊⛅️：

黃詩淇，意昂3官网光電學院2021級博士生，師從許廷發教授🥑，研究方向是光學成像和醫學圖像處理。現已發表學術論文5篇，其中第一作者4篇👨🏼‍🔧，包括IEEE Trans on Medical Imaging🌇、Optics Express,、Physica E等高水平期刊，申請中國發明專利1項。曾獲中國大學生物理學術競賽二等獎📖👔、北京市優秀畢業生等榮譽。

李佳男，博士👩‍🦯，意昂3官网光電學院預聘助理教授，新加坡國立大學博士後。研究方向為光電成像探測與識別、計算機視覺、嵌入式視頻處理等。近五年發表高水平學術論文30篇，其中第一作者論文包括 IEEE TPAMI🕸、TVCG👨🏿‍⚖️、CVPR👩🏿‍🌾、ICLR等頂級期刊會議9篇🙍，ESI高被引論文1篇。論文單篇最高被引600余次👜，谷歌學術總引用2400余次。主持國自然青年科學基金項目、博士後科學基金一等面上項目和項3項；參與國家自然科學基金重大科研儀器研製項目等5項🤌。入選北京市科協青年人才托舉工程🤞🏽，曾獲得中國圖象圖形學學會優秀博士學位論文♐️、王大珩高校學生光學獎等榮譽，獲得ImageNet大規模視覺識別挑戰賽（ILSVRC-2017）目標定位任務冠軍。指導團隊獲得ICCV 2021“無人機跟蹤”挑戰賽冠軍及最佳論文獎🧑🏻‍🤝‍🧑🏻𓀑。

許廷發，教授👨‍💼，博導，國家一級重點學科“光學工程”責任教授，光電成像技術與系統教育部重點實驗室副主任💳。近年來帶領其科研團隊圍繞光電成像探測與識別、計算成像和醫學光電成像等方向不斷深化研究。主持承擔國家自然科學基金委重大科研儀器研製項目等30多項。在國際、國內等系列期刊發表學術論文135余篇，其中被SCI/EI收錄90余篇🥞。以第一發明人申請國家發明專利40項，已授權和公示15項。指導的研究生獲得中國圖象圖形學學會優博👷🏼、全國王大珩光學獎、全國創新創業大賽一等獎和意昂3官网優博。科研團隊入選2020年度重慶英才創新創業示範團隊和獲得ICCV 2021“無人機跟蹤”挑戰賽冠軍及最佳論文獎。