近日，医学部生物医学工程学院雷柏英、汪天富教授团队在知名期刊IEEE Transactions on Medical Imaging（影响因子8.9）上发表题为“FAMF-Net: Feature Alignment Mutual Attention Fusion with Region Awareness for Breast Cancer Diagnosis via Imbalanced Data”的学术论文。深圳大学博士生柳懿垚为第一作者，汪天富教授、雷柏英特聘教授为通讯作者，深圳大学为第一作者单位和通讯单位。

多模式超声图像中乳腺癌的自动准确分类对于提高患者的诊疗效果、节约医疗资源至关重要。在深入研究中，多模态超声图像的融合经常遇到诸如错位、互补信息利用有限、特征融合的可解释性差以及样本类别不平衡等挑战。为解决上述问题，团队引入了一种特征对齐相互关注融合方法（FAMF-Net），该方法能有效融合未对准的多模态乳腺超声图像，并优化了不平衡数据上的乳腺肿瘤分类效果。具体而言，该方法通过平移变换在类激活图（CAM）上应用区域感知对齐（RAA），解决图像错位问题，实现了更好的特征交互融合。其次，引入了一种互注意力融合（MAF）机制，以交互方式融合B模式特征和剪切波弹性图像特征，针对两种模态的边缘和颜色特征进行针对性优化，从而实现了两种模态特征的可解释和有效融合。最后，设计了一种基于强化学习的动态优化策略（RDO）来调整损失函数的权重，减轻数据不平衡对分类性能的不利影响。该方法的有效性在团队基于临床获得的数据集和公开数据集均得到了验证。

图1  多模态超声特征融合的乳腺癌诊断方法

上述研究依托于广东省生物医学信息检测与超声成像重点实验室和医学超声关键技术国家地方联合工程实验室开展，并得到了国家自然科学基金、广东省自然科学基金、深圳市自然科学基金、博士后基金、粤港科技合作资助计划、香港研究资助局一般研究基金等项目的资助。

原文链接：https://ieeexplore.ieee.org/abstract/document/10742894