深圳大学医学部生物医学工程学院倪东教授团队在《Medical Image Analysis》（影响因子11.15）上发表了题为“AW3M: An Auto-weighting and Recovery framework for Breast Cancer Diagnosis using Multi-modal Ultrasound”的论文。该研究为倪东教授团队和上海交通大学瑞金医院合作完成。倪东教授与瑞金医院周建桥主任为共同通讯，团队成员助理教授黄若冰和研究生林泽辉为共同第一作者，深圳大学为第一署名单位。

多模态乳腺超声能有效提高乳腺癌诊断的准确性。由于1）融合不同模态时各模态的重要性难以确定；2）临床实践中模态缺失的问题导致多模态乳腺癌良恶性分类面临巨大挑战。为了利用多模态超声中丰富的诊断信息，该研究提出了一种新的深度学习多模态分类方法（图1）。该方法利用一致性损失约束特征的表达能力，使用强化学习自动学习各模态权重；设计的模态恢复模块可以有效应对模态缺失的问题，进而提升模型的通用性。文章在公开的数据集上也验证了方法的有效性，结果表明，该方法优于当前最先进的3种多模态诊断模型。

该研究依托广东省生物医学信息检测与超声成像重点实验室、医学超声关键技术国家地方联合工程实验室和深圳大学医学部超声图像计算实验室（Lab of Medical UltraSound Image Computing, MUSIC），得到国家重点研发计划、深圳市孔雀计划等的资助。

图1