北理工團隊在多光譜目標(biāo)跟蹤領(lǐng)域取得新突破

2025-10-16 14:14:14來源：北京理工大學(xué) 閱讀量：11808 評論

　　近日，北京理工大學(xué)光電學(xué)院許廷發(fā)教授科研團隊在多光譜目標(biāo)跟蹤領(lǐng)域取得新突破。針對傳統(tǒng)RGB視覺在復(fù)雜航拍場景下存在的小目標(biāo)難檢測、密集遮擋嚴(yán)重和紋理特征退化等瓶頸問題，科研團隊構(gòu)建了全球首個無人機視角下的多光譜目標(biāo)跟蹤數(shù)據(jù)集(Multispectral Multi-Object Tracking，MMOT)，提出了一種多光譜目標(biāo)感知一體化目標(biāo)跟蹤方法，相關(guān)成果以《MMOT: The First Challenging Benchmark for Drone-based Multispectral Multi-Object Tracking》為題，發(fā)表于NeurIPS 2025(Conference on Neural Information Processing Systems)，該會議為人工智能與機器學(xué)習(xí)領(lǐng)域的頂級國際學(xué)術(shù)會議(CCF-A類)。論文第一作者為北京理工大學(xué)李天昊博士研究生，通訊作者為許廷發(fā)教授和李佳男長聘副教授。

　　多光譜目標(biāo)跟蹤框架主要包括Spectral 3D-Stem模塊、旋轉(zhuǎn)感知卡爾曼濾波器和端到端旋轉(zhuǎn)自適應(yīng)Transformer架構(gòu)，具體如圖1所示。

圖1 多光譜目標(biāo)跟蹤框架圖

　　該方法通過光譜空間聯(lián)合建模和引入目標(biāo)旋轉(zhuǎn)角度狀態(tài)參數(shù)，顯著提升光譜信息表達(dá)能力，實現(xiàn)了精準(zhǔn)的多光譜小目標(biāo)檢測和目標(biāo)間關(guān)聯(lián)，降低了誤檢、漏檢及ID轉(zhuǎn)換次數(shù)，如圖2所示。

圖2 多光譜輸入和RGB輸入的ID轉(zhuǎn)換和漏檢對比

　　團隊構(gòu)建了首個國內(nèi)外無人機航拍多光譜目標(biāo)數(shù)據(jù)集。其覆蓋城市街區(qū)、交通樞紐、運動場地等多種真實場景的航拍視頻，包含125段視頻序列、48萬余個高精度標(biāo)注目標(biāo)框，涵蓋8個典型類別(行人、汽車、自行車等)。多光譜成像跨越可見光至近紅外范圍，涵蓋多種挑戰(zhàn)場景如極小目標(biāo)、密集目標(biāo)、圖像模糊、嚴(yán)重遮擋、快速運動和平面內(nèi)旋轉(zhuǎn)等，如圖3所示。

圖3 數(shù)據(jù)集多種挑戰(zhàn)場景

　　MMOT發(fā)布填補了國內(nèi)外無人機多光譜目標(biāo)跟蹤領(lǐng)域空白，為研究人員提供了首個統(tǒng)一基準(zhǔn)與開源框架。該工作突破了傳統(tǒng)視覺感知對空間特征的依賴，充分利用光譜維度的差異性，為未來跨模態(tài)融合感知、復(fù)雜環(huán)境下的智能無人系統(tǒng)識別與跟蹤奠定了重要基礎(chǔ)。

　　附作者簡介：

　　李天昊，論文第一作者，2022級北京理工大學(xué)博士研究生，師從許廷發(fā)教授，主要研究方向為智能目標(biāo)探測、多目標(biāo)跟蹤技術(shù)。在高水平會議NIPS、CVPR及ACM MM發(fā)表論文3篇。

　　李佳男，論文通訊作者，北京理工大學(xué)光電學(xué)院長聘副教授，博士生導(dǎo)師，主要研究方向為光電成像目標(biāo)多維探測與感知技術(shù)研究。連續(xù)兩年入選全球前2%頂尖科學(xué)家(2023、2024年)。以第一或共同第一作者發(fā)表論文20篇，包括IEEE TPAMI論文5篇；以通訊作者發(fā)表論文60余篇。其中，3篇論文入選ESI高被引，2篇一作論文單篇引用超千次，谷歌學(xué)術(shù)總引用5600次。主持國家自然科學(xué)基金、工信部高質(zhì)量發(fā)展專項(課題)等項目10項。入選中國科協(xié)、北京市科協(xié)青托。獲得地理信息科技進步二等獎(序2)，中國圖象圖形學(xué)學(xué)會優(yōu)博，王大珩學(xué)生光學(xué)獎等。指導(dǎo)學(xué)生獲得反無人機跟蹤挑戰(zhàn)賽國際冠軍等競賽獎項10余項。研究成果應(yīng)用于“中國天眼”、礦產(chǎn)開發(fā)遙感監(jiān)測等領(lǐng)域。

　　許廷發(fā)，論文通訊作者，北京理工大學(xué)光電學(xué)院教授，博士生導(dǎo)師，國家一級重點學(xué)科“光學(xué)工程”學(xué)科責(zé)任教授，光電成像技術(shù)與系統(tǒng)教育部重點實驗室主任，北京理工大學(xué)重慶創(chuàng)新中心副主任。近年來帶領(lǐng)科研團隊圍繞光電成像探測與識別、計算成像和人工智能等領(lǐng)域不斷深化研究。主持承擔(dān)國家自然科學(xué)基金委重大科研儀器研制項目等40余項。在國際、國內(nèi)等系列期刊發(fā)表學(xué)術(shù)論文200余篇，其中被SCI/EI收錄120余篇。以第一發(fā)明人申請國家發(fā)明專利87項，已授權(quán)和公示45項。指導(dǎo)研究生獲得中國圖象圖形學(xué)學(xué)會優(yōu)秀博士學(xué)位論文，二人次獲得王大珩高校學(xué)生光學(xué)獎，三人次獲得全國光學(xué)與光學(xué)工程博士生學(xué)術(shù)聯(lián)賽全國百強，獲得中國高等教育博覽會“校企合作雙百計劃”典型案例和重慶英才創(chuàng)新創(chuàng)業(yè)示范團隊等榮譽稱號。

上一篇：“一種雙頭單口包餡機”發(fā)明公布

下一篇：環(huán)保新質(zhì)生產(chǎn)力|污泥及固體廢棄物高壓帶式連續(xù)深度脫水技術(shù)

版權(quán)與免責(zé)聲明：1.凡本網(wǎng)注明“來源：興旺寶裝備總站”的所有作品，均為浙江興旺寶明通網(wǎng)絡(luò)有限公司-興旺寶合法擁有版權(quán)或有權(quán)使用的作品，未經(jīng)本網(wǎng)授權(quán)不得轉(zhuǎn)載、摘編或利用其它方式使用上述作品。已經(jīng)本網(wǎng)授權(quán)使用作品的，應(yīng)在授權(quán)范圍內(nèi)使用，并注明“來源：興旺寶裝備總站”。違反上述聲明者，本網(wǎng)將追究其相關(guān)法律責(zé)任。 2.本網(wǎng)轉(zhuǎn)載并注明自其它來源（非興旺寶裝備總站）的作品，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點或和對其真實性負(fù)責(zé)，不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。其他媒體、網(wǎng)站或個人從本網(wǎng)轉(zhuǎn)載時，必須保留本網(wǎng)注明的作品第一來源，并自負(fù)版權(quán)等法律責(zé)任。 3.如涉及作品內(nèi)容、版權(quán)等問題，請在作品發(fā)表之日起一周內(nèi)與本網(wǎng)聯(lián)系，否則視為放棄相關(guān)權(quán)利。

我來評論

昵稱驗證碼匿名