SIGMA课题组提出全球首个十亿级高光谱大模型

近日，SIGMA课题组联合重庆大学、东京大学、语音及语言信息处理国家工程研究中心和南洋理工大学，推出了全球首个专门为高光谱图像解译设计的十亿级基础模型——HyperSIGMA。该模型为高光谱图像的高层与底层视觉任务提供了统一的解决方案，开创了高光谱图像解译领域的新纪元。

为了支持模型的无监督预训练，课题组成员构建了数据采集位置覆盖全球范围且在规模上超过了现有多光谱和高光谱数据集的高光谱图像数据集——HyperGlobal-450K，获得面向高光谱图像理解的初始权重。针对高光谱数据具有的高维度和数据冗余特性，团队采用了经典的空间-光谱双分支特征提取架构，并创新性地提出了新型注意力机制与基于光谱信息增强的特征融合方法，不仅实现了多样化上下文特征的学习，还进一步提升了模型的空谱联合表征能力。

实验表明，HyperSIGMA在涵盖图像分类、目标探测、异常探测、变化检测、高光谱解混、图像去噪和超分辨率等多个高层与底层任务上展现了出色的多功能性与卓越的表征能力。此外，模型还具有极强的可扩展性、鲁棒性和优异的跨模态迁移能力，在真实应用场景中展现了巨大的潜力。目前，模型及其代码已全面开源。

据了解，HyperSIGMA模型的开发是由课题组成员出于研究兴趣，在业余时间自发组织完成的。攻关团队于2023年底组建，汇聚了组内具有组织与领导能力、遥感大模型预训练研发经验，以及长期深耕高光谱图像解译各个子方向的多名骨干成员。包括：博士生王迪，胡美琪（已毕业，现为中山大学博后），金垚，苗雨春，杨佳琪（已毕业，现为美国威斯康星大学麦迪逊分校博后），徐一楚，秦晓蕾，马嘉祺，孙凌瑜，李辰星以及毕业生付川（现重庆大学弘深青年教师）和陈洪瑞轩（东京大学博士在读）。项目的组织者为测绘遥感信息工程国家重点实验室的2020级博士生、武汉大学2024届研究生校友理事会理事长韩承熙，指导老师为杜博教授、武辰教授、张良培教授和张敬研究员。

值得一提的是，这是课题组历史上首次由学生自发选题并组织实施的项目，充分展示了课题组积极进取的科研氛围，体现了成员们团结一致、勇于探索的精神，为今后大规模科研任务的开展树立了良好的榜样，以下是模型能力展示：

HyperSIGMA在高光谱高层和底层任务以及多光谱场景中均展现出卓越的高精度表现

HyperGlobal-450K数据集样本全球分布图

HyperSIGMA模型的整体架构及所提出的各个模块的内部结构

HyperSIGMA模型具有良好的可扩展性，支持不同尺寸的版本，适应从小规模到大规模任务的多种需求，确保在资源受限和大规模应用场景中均能高效运行

HyperSIGMA模型在少量标注样本、对抗样本攻击和图像退化等复杂条件下，均展现出强大的鲁棒性

HyperSIGMA模型具备出色的真实世界应用能力，准确检测出墨西哥湾海上石油泄漏区域

论文引用及链接：

Di Wang, Meiqi Hu, Yao Jin, Yuchun Miao, Jiaqi Yang, Yichu Xu, Xiaolei Qin, Jiaqi Ma, Lingyu Sun, Chenxing Li, Chuan Fu, Hongruixuan Chen, Chengxi Han, Naoto Yokoya, Jing Zhang, Minqiang Xu, Lin Liu, Lefei Zhang, Chen Wu, Bo Du, Dacheng Tao and Liangpei Zhang, HyperSIGMA: Hyperspectral Intelligence Comprehension Foundation Model, arXiv 2024.

项目地址：

https://github.com/WHU-Sigma/HyperSIGMA

供稿人：王迪