深圳大学医学部生物医学工程学院医学倪东教授团队的研究工作“Modality Alignment Contrastive Learning for Severity Assessment of COVID-19 from Lung Ultrasound and Clinical Information”于近日被国际医学图像分析领域的顶级期刊《Medical Image Analysis》（2020最新IF为11.148）接收。该工作为倪东教授团队和华中科技大学同济医学院附属协和医院超声科合作完成。倪东教授和协和医院谢明星教授为共同通讯作者，团队成员薛武峰副教授和协和医院曹春艳医师为共同第一作者，深圳大学为第一署名单位。

 随着新冠疫情的突然爆发，世界各地的医疗健康资源都面临着极大的挑战。基于影像检查对患者进行严重等级的自动分级，对提高临床工作效率、监测患者病情的发展、评估治疗效果以及管理医疗资源等方面具有重要的应用价值。鉴于超声检查的便捷、无辐射等优点，肺超声检查在对抗新冠肺炎疫情的过程中发挥了重要作用。

  本研究提出了一种基于肺超声和临床信息多模态对比融合的新冠肺炎患者智能分级系统。该系统首先利用深度学习，在分阶段迁移学习的框架下，从新冠肺炎患者各个肺区的非标准超声图像及视频中，采用双端监督的注意力多示例学习方法提取标准化的判别性特征；然后利用对比学习多模态融合的思想有效的融合肺超声影像特征与病人临床信息特征，从而得到对患者病情严重程度的综合判断。通过在大量数据上的验证结果表明，该系统可以高效、准确的对新冠肺炎患者进行分级。该研究属于国际上第一个关于新冠肺炎的大规模肺超声智能诊断工作。

图1 分阶段迁移学习框架

    该研究依托广东省生物医学信息检测与超声成像重点实验室、医学超声关键技术国家地方联合工程实验室和深圳大学医学超声图像计算实验室（Lab of Medical UltraSound Image Computing, MUSIC），得到国家重点研发计划、国家自然科学基金、广东省医学科学基金、深圳市孔雀计划、深圳市基础研究等项目资助。