近日，我校医学部生物医学工程学院倪东教授团队，联合英国牛津大学、苏黎世联邦理工学院、浙江大学、深圳市人民医院和度影医疗等单位，在国际医学图像分析领域的顶级期刊《Medical Image Analysis》（影响因子10.9）上，发表了一篇题为“Segment anything model for medical images?”的高质量论文。深圳大学医学部生物医学工程学院倪东教授和深圳市人民医院超声科董发进主任为共同通讯作者，生物医学工程学院博士生黄雨灏和助理教授杨鑫为共同第一作者，深圳大学为第一署名单位。

  为了充分评估分析Segment Anything Model（SAM）在医学影像分割上的泛化性能，并对其进行基于医学影像微调的分析，本研究收集并标准化了53个公开数据集，最终构建了一个包含了18种影像模态、84种生物医学领域分割目标和125个配对组合（分割目标-模态）、1050K 2D图像和6033K分割掩膜的大型医学影像分割数据集COSMOS 1050K（图1）。通过全面的实验分析，文章的主要结论为：（1）SAM在某些特定分割目标上表现出色，但在其他情况下表现不稳定、不完美甚至会完全分割失败。（2）与ViT-B（91M模型参数量）相比，基于ViT-H（636M模型参数量）的SAM在医学影像分割任务上有较高的整体性能；（3）SAM在手动提示下（尤其是框提示模式）的表现优于Everything模式。（4）SAM可以高效辅助专家标注，实现更高的标注质量并减少标注时间。（5）SAM的性能与边界复杂性、强度差异等因素相关- -边界越复杂、前景背景的差异越低，SAM对医学目标的感知能力越差。（6）使用医学数据对SAM进行微调，可使其在平均DICE性能提高4.39%（ViT-B）和6.68%（ViT-H）。同时，文章开源了相关代码和模型，希望能帮助读者和社区更好地了解SAM基础模型在医学影像中的分割性能，并最终促进新一代的医学影像分割基础模型的发展。

图1 COSMOS 1050K数据集展示

研究成果链接：https://www.sciencedirect.com/science/article/pii/S1361841523003213