近日,太阳成tyc122cc张伟涛教授课题组在高光谱图像分类领域取得突破性进展,最新研究成果“Tensor Transformer for hyperspectral image classification”被国际顶级期刊《Pattern Recognition》全文收录。《Pattern Recognition》是由国际著名出版社Elsevier出版的人工智能领域权威期刊,长期致力于图像识别、计算机视觉、模式分析等方向的前沿研究工作。该期刊为中科院一区TOP期刊,其所收录的论文代表了相关领域的最前沿学术研究成果,在国际学术界具有广泛而深远的影响。
本项研究聚焦于高光谱图像(Hyperspectral Image, HSI)分类这一核心问题。高光谱图像是对目标区域在多个连续波段成像的结果,它具有光谱分辨率高和空谱一体化的特性,在遥感、农业、资源勘探等领域具有重要应用价值。高光谱图像分类是高光谱图像语义分割、目标识别、智能解译的重要前置性基础研究,具有重要的研究意义。然而,高光谱图像的高维特性往往导致“维度灾难”,进而产生Hughes现象,给高光谱图像分类带来了巨大挑战;同时,现有的Transformer类网络主要针对序列输入设计,需对高光谱图像的原始张量进行序列化处理,这种操作不仅破坏了原始数据的空间与光谱结构,还难以有效捕获其深层次的空间-光谱联合相关性。

张量化注意力机制

Tensor Transformer 网络架构
针对上述问题,张伟涛教授团队提出了一种新型的张量化Transformer(Tensor Transformer, TT)模型。该模型基于其自主设计的张量化自注意力机制(Tensor Self-Attention Mechanism,TSAM)构建而成,支持高光谱图像以张量形式直接输入,能够有效保留原始数据中的空间结构与光谱信息。与传统的Transformer注意力机制需将数据序列化处理不同,TSAM模块融合了Tucker分解思想与自注意力机制的基本原理,实现在张量形态下对高维数据的空间-光谱联合结构进行建模,有效增强了模型对高光谱图像深层特征的提取能力。进一步地,研究团队构建了由TSAM组成的TEL层,并与全连接神经网络分类层相结合,形成完整的TT分类网络。该网络以张量形式输入原始高光谱图像,通过端到端结构自动完成特征提取与分类决策,避免了传统网络结构对数据空间特征的破坏,极大提升了模型性能。实验验证表明,所提出方法在多个经典高光谱遥感数据集上均取得了显著优于现有方法的分类精度,展现了良好的泛化能力和应用前景。
该研究成果的提出不仅为高光谱图像分类提供了全新的理论视角与技术路线,也为高维数据的张量建模与深度学习融合开辟了新的研究方向。同时,该方法为其他相似的应用场景也提供了参考方案。
论文链接:https://doi.org/10.1016/j.patcog.2025.111470