腾讯优图开源业界首个3D医疗影像大数据预训练模型MedicalNet!

雷锋网AI开发者:近日，腾讯优图首个医疗 AI深度学习预训练模型medical net(https://github . com/Tencent/medical net)正式对外开放，这也是全球首个提供多种3D 医疗图像专用预训练模型的项目。

MedicalNet具有以下特点:

MedicalNet提供的预训练网络可以迁移到任何3D 医疗图像AI应用，包括但不限于分割、检测和分类等任务。

尤其适用于小数据医疗图像AI场景，可以加速网络收敛，提升网络性能；

通过简单配置少量接口参数值就可以进行微调训练；

项目提供多卡训练和测试评估代码，接口丰富，扩展性强；

提供不同深度的3D ResNet预训练模型，可供不同数据级别的应用使用。

为了生成3D 医疗图像的预训练模型，MedicalNet聚合了多个来自不同3D 医疗域的具有语义分割的小规模数据集，并提出了一种基于多分支解码器的多域联合训练模型来解决数据集中的标签缺失问题。

整个系统的工作流程如下图所示:

腾讯团队将MedicalNet模型移植到预训练前未接触过的内脏和LIDC数据集，完成了全新的肺部分割和肺结节分类任务，并与常用的train from scratch和Kinetics video 3D预训练模型进行了性能和收敛速度的对比。

在肺分割的应用中，与从零开始训练相比，MedicalNet在Dice上有16%到33%的提高，在动力学上有4%到7%的提高。在肺结节良恶性分类的应用中，与从零开始训练相比，MedicalNet的预测准确率(Acc)提高了6% ~ 23%，与动力学相比，提高了7% ~ 20%。

在收敛速度方面，实验表明，无论是在肺部分割任务还是肺结节分类任务中，MedicalNet都能为模型提供较低的初始损失值，明显加快了损失下降的速度。下图是MedicalNet性能的一个简单例子，展示了在全器官分割应用中，在一定训练迭代下，不同预训练方法的测试结果。可以看出，基于腾讯MedicalNet模型的结果最接近地面真实，远优于train from scratch的结果。

更多详情请参考论文《3D医学图像分析的迁移学习》(arxiv print arxiv:1900.00625(2019))。