Sigma团队4篇论文被CVPR 2022录用

Sigma团队以20级博士生汝理想, 21级博士生刘子翼，21级硕士生黄文柯和方修文为第一作者的四篇论文被人工智能顶级会议CVPR 2022录用。

CVPR是IEEE Conference on Computer Vision and Pattern Recognition的缩写，即IEEE国际计算机视觉与模式识别会议。该会议是由IEEE举办的计算机视觉和模式识别领域的顶级会议, 每年都会吸引大量研究机构和高校参会。作为人工智能领域的顶级会议，CVPR 在最新的学术期刊和会议影响力中排名第四,仅次于Nature, NEJM 和Science。

论文介绍：

论文题目：Learning Affinity from Attention: End-to-End Weakly-Supervised Semantic Segmentation with Transformers

作者: Lixiang Ru Yibing Zhan Baosheng Yu Bo Du

指导教师：杜博教授

基于卷积神经网络的弱监督语义分割方法无法准确探索全局信息，因此通常会导致对象区域不完整。在本文中，为了解决上述问题，我们引入视觉Transformers，它自然地整合了全局信息，为端到端的 WSSS 生成更完整的初始伪标签。同时，受 Transformers 中的自注意力和语义相关性之间的内在一致性的启发，我们提出了一个 Affinity from Attention (AFA) 模块来从 Transformers 中的多头自注意力 (MHSA) 中学习语义相关性。然后利用学习到的亲和力来细化初始伪标签以进行分割。此外，为了有效地导出用于监督 AFA 的可靠亲和标签并确保伪标签的局部一致性，我们设计了一个像素自适应细化模块，该模块结合了low-level图像外观信息来细化伪标签。提出的方法在 PASCAL VOC 2012 和 MS COCO 2014 数据集上显著优于最近的端到端方法。

                    图1：论文提出的端到端弱监督语义分割框架

                    图2：弱监督语义分割结果对比

论文题目：Multi-marginal Contrastive Learning for Multi-label Subcellular Protein Localization

作者： Ziyi Liu, Zengmao Wang, Bo Du

指导教师：杜博教授, 王增茂副教授

蛋白质亚细胞定位（PSL）是研究人体细胞功能和癌症发病机制的一项重要任务。免疫组织化学 (IHC) 图像的巨大尺寸、不同组织图像中无组织的位置分布以及有限的训练图像始终是亚细胞定位学习具有深度学习的强泛化模型的挑战。为了解决上述挑战，我们提出了一种具有多边缘对比学习的深度蛋白质亚细胞定位方法，以感知不同组织图像中的相同亚细胞定位和同一组织图像中的不同亚细胞定位。在所提出的方法中，我们通过将来自下采样图像的全局特征和来自所选切块的局部特征，通过激活图融合来学习 IHC 图像的表示，以解决 IHC 图像的过大​​问题。然后新颖地提出了一种多边缘注意机制来对比生成具有不同边缘的三元组，并有效地改善针对分类任务的判别特征。最后，使用不同的切块获得每个 IHC 图像的集成预测。基准数据集上的结果表明，所提出的方法对亚细胞定位任务实现了显着改进。

                       图1：算法的框架图

                       图2：算法的定量结果

论文题目：Learn from Others and Be Yourself in Heterogeneous Federated Learning

作者： Wenke Huang, Mang Ye, Bo Du

指导教师：叶茫教授, 杜博教授

联邦学习已经成为一种重要的分布式学习模式，它通常涉及与他人的合作更新和对私有数据的本地更新。然而，异构性问题和灾难性遗忘带来了重大的挑战。首先，由于非独立同分布的数据和个性化的模型结构，模型在其他领域的性能降低，以及与参与者模型通信存在障碍。第二，在局部更新中，模型对私有数据进行单独优化，这容易过度拟合当前数据分布，忘记以前获得的知识，导致灾难性遗忘。在这项工作中，我们提出了联合互相关和持续学习。对于异构性问题，我们方法利用未标记的公共数据进行通信，并构造互相关矩阵来学习域移位下的可概化表示。同时，对于灾难性遗忘，在局部更新中我们利用跨域和本域信息进行知识蒸馏，有效地提供域间和域内知识而不泄露参与者的隐私。在各种图像分类任务上的实验结果证明我们的方法的有效性和模块的效率。

                       图1：算法的框架图

                       图2：算法的定量结果

论文题目：Robust Federated Learning with Noisy and Heterogeneous Clients

作者： XiuWen Fang, Mang Ye

指导教师：叶茫教授

模型异构联邦学习是一项具有挑战性的任务，每个客户端都独立设计本地模型。由于注释难度和参与者搭便车问题，本地客户端通常包含不可避免且不同程度的标签噪声。在本工作中，我们创新性地研究了在噪声异构客户端下的鲁棒联邦学习问题，它包含三个方面。第一，如何在不依赖于全局共识或共享模型的情况下使异构客户端执行联邦学习；第二，如何减少本地更新阶段客户端内部标签噪声对本地模型收敛的负面影响；第三，如何避免合作学习阶段来自其他噪声客户端的噪声反馈。我们针对性地提出了一个解决方案，它利用公共数据直接对齐模型反馈以实现异构模型间的通信，不需要额外的共享全局模型进行协作；应用鲁棒的噪声容忍损失函数来减少内部标签噪声的负面影响。同时，我们设计了一种新颖的客户信心重新加权方案，该方案在协作学习阶段自适应地为每个客户分配相应的权重，以此降低来自其他参与者的噪声反馈。

                       图1：算法的框架图

                       图2：与SOTA方法比较的实验结果

发表论文清单:

[1]Ru, Lixiang, et al. "Learning Affinity from Attention: End-to-End Weakly-Supervised Semantic Segmentation with Transformers." arXiv preprint arXiv:2203.02664 (2022).

[2]Ziyi Liu, Zengmao Wang, Bo Du. "Multi-marginal Contrastive Learning for Multi-label Subcellular Protein Localization." CVPR 2022.

[3]Wenke Huang, Mang Ye, Bo Du. "Learn from Others and Be Yourself in Heterogeneous Federated Learning." CVPR 2022.

[4]XiuWen Fang, Mang Ye, "Robust Federated Learning with Noisy and Heterogeneous Clients." CVPR 2022.