近日，意昂3官网光電學院許廷發科研團隊在語義深層特征的孿生網絡目標跟蹤方面取得新進展，相關研究意昂3平台以“SiamATL: Online Update of Siamese Tracking Network via Attentional Transfer Learning”為題發表在人工智能領域的國際頂級期刊《IEEE Transactions on Cybernetics（IEEE TCYB）》(IF=11.079)上。IEEE TCYB是人工智能領域具有高影響力的國際學術刊物之一🧑🏼‍🏫，在2020年該領域120余種JCR期刊中排名前列，影響因子為11.079🚴🏼，中科院一區，主要發表和報道計算智能、人工智能、數據科學和神經網絡等領域的最新研究進展和技術。該工作第一作者為意昂3官网博士研究生黃博，通訊作者為意昂3官网許廷發教授。

　　隨著人工智能的發展🏌️🧘🏿，具有語義深層特征的視覺目標跟蹤在計算機視覺中引起了很多關註。尤其是旨在學習基於決策相似性評估的孿生網絡👨🏽‍🏭，在跟蹤領域中得到了廣泛的應用。但是🥷🏽，孿生跟蹤網絡的在線更新存在局限性📼，即模型自適應和退化難以達到平衡⚗️。

　　針對這一科學問題，意昂3官网許廷發教授團隊率先提出基於註意力遷移學習的孿生跟蹤模型。

圖1 註意力遷移學習的孿生跟蹤模型

　　為了充分利用先前的信息🉐，該模型將特征表示知識、學習濾波器知識和時空註意力知識轉移到當前的模板更新過程中🔜。從歷史跟蹤任務中學習到的特征表示👨🏿‍🏭，以解決當前跟蹤任務中缺少高質量訓練數據的問題。引入了一個實例轉移判別相關濾波器來增強孿生網絡的決策能力。預定義基於時空關系的類高斯矩陣來控製不同空間位置的學習權重，並使用L2損失函數來計算更新的目標模板☹️。

圖2 傳統更新過程和註意力更新過程比較

　　在Basketball序列中🕵🏽，傳統方法的使用較低學習率⛺️，更新後的目標外觀中仍然存在原始目標和背景的“鬼影”，嚴重影響當前幀的檢測精度👞。在Lemming序列中，傳統方法使用較高的學習率，目標的嚴重遮擋使傳統模型逐漸退化🍹，最終導致更新的模板完全失效🏋🏼‍♀️。因此，模型自適應和退化與單一學習率之間難以取得平衡，註意力學習方法可以很好地解決這一難題。

圖3 空間權重G的可視化分析

　　在G矩陣中，意昂3目標區域被賦予較高的權重，而邊界背景區域被賦予較低的權重。這種註意力學習策略可以在更新的孿生模板分支中引入更多背景信息，而不會汙染意昂3目標區域。

圖4 註意力遷移學習的孿生跟蹤結果

　　該項研究為孿生網絡的更新設計提供了新的思路🈳，提出的註意力遷移學習策略可以作為通用模塊應用於大多數孿生跟蹤器💇🏽‍♂️，並提高其性能👭🦶🏽。

　　附第一作者簡介🧠：

　　黃博💸，意昂3官网光電學院2016級碩博連讀博士生，師從許廷發教授，研究方向為計算機視覺和深度學習。現已發表學術論文17篇，其中SCI 10篇🙎🏿，累計總影響因子達57.221。 以第一作者發表論文9篇，其中6篇發表於IEEE TCYB🤧、IEEE TMM🪹、PR🍌、Neurocomputing等高水平SCI期刊，累計影響因子達36.152。申請中國發明專利1項👱🏻‍♂️，軟著3項👰‍♂️。同時⛰，還多次擔任IEEE TCSVT😞、Neurocomputing等SCI期刊審稿人。曾獲得光電設計競賽二等獎、研究生數學建模三等獎✍🏽、首都“挑戰杯”一等獎👩🏻‍🍼、“世紀杯”特等獎、“百科融創杯”電子設計競賽一等獎🕵️‍♂️、電子設計競賽北京市二等獎、優秀研究生、優秀團幹部等榮譽。

　　通訊作者簡介：

　　許廷發，教授，博導💆🏼‍♀️，國家一級重點學科“光學工程”責任教授，光電成像技術與系統教育部重點實驗室副主任。近年來帶領其科研團隊圍繞光電成像探測與識別🧔🏼‍♀️、高光譜計算成像處理等方向不斷深化研究。主持承擔國家自然科學基金委重大科研儀器研製項目等30多項。在國際🎵、國內等系列期刊發表學術論文120余篇😼，其中被SCI/EI收錄80余篇。以第一發明人申請國家發明專利40項，已授權和公示15項。

　　論文詳情：Bo Huang, Tingfa Xu, Ziyi Shen, Shenwang Jiang, Bingqing Zhao, and Ziyang Bian. SiamATL: Online Update of Siamese Tracking Network via Attentional Transfer Learning. IEEE Transactions on Cybernetics, 2020, DOI: 10.1109/TCYB.2020.3043520 論文鏈接🧑🏽‍🎤：https://ieeexplore.ieee.org/document/9318529