贾楠 马宁 吴燕 李燕
摘 要：文章构建了一个针对医学影像的低代码深度学习实验平台。该平台可以处理2D、3D医学影像数据，实现基于深度学习的医学影像分类任务。该平台由数据集整理、训练集和测试集划分、模型训练、模型推理、结果展示5部分构成。每一部分均不需要编程，只需要指定数据路径或简单编写配置文件即可。文章还以一个新冠病毒感染智能检测的案例贯穿始终。该平台能够方便学生开展“智慧医疗”类创新创业项目，培养学生的创新能力和动手实践能力。
关键词：智慧医疗；
深度学习；
医学影像；
创新创业；
实验平台
中图分类号：TP311；
TP18；
G482 文献标识码：A 文章编号：
2096-4706（2023）10-0018-04
Abstract：
This paper constructs a low code deep learning experimental platform for medical imaging. The platform can process 2D and 3D medical imaging data and realize medical imaging classification task based on deep learning. The platform consists of five parts：
data set sorting， training set and test set division， model training， model reasoning， and result display. No programming is required for each part， just specify the data path or simply write the configuration file is well. This paper also uses a case of intelligent detection of COVID-19 throughout. The platform can facilitate students to carry out “Wise Information Technology of Med” innovation and entrepreneurship projects， and cultivate students" innovation ability and practical ability.
Keywords：
Wise Information Technology of Med; deep learning; medical imaging; innovation and entrepreneurship; experimental platform
0 引 言
人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学[1]。世界各国都十分重视人工智能前沿研究、技术发展与教育培养。深度学习作为人工智能的一个细分领域，近年来发展迅速，它可帮助计算机理解文本、声音、图像方面的数据，其在各行各业正在逐步的渗透与应用[2]。近几年来，深度学习应用于医学图像分析已经成为当下的热点。它能够从各种医学图像数据中自动去学习以及推断疾病诊断特征。深度学习在醫学图像分类、检测、分割、配准、检索、图像生成等各方面都有应用。目前，随着可公开访问的相关医学图像数据集数量的不断增加，质量不断提高，以及我们常常能够看到网上举办的各种各样医学图像分割挑战赛，都在预示着随着深度学习算法的不断改进，基于深度学习的医学图像分析将大有可为。近年来，教育部开始大力推进高等学校创新创业教育，鼓励高校学生自主创业[3]。这是建设创新型国家的重大战略举措，是培养学生创新精神和实践能力的重要途径，也是落实以创业带动就业，促进高校毕业生充分就业的重要举措。然而，针对医学院校的学生，如何能将前沿的AI与医疗相结合来进行创新创业教育实践与实训，没有统一的模板和规律可循，亟待解决。
本文将从医学院校学生的专业背景出发，探索AI和医疗相结合的创新创业实践教育和实训平台的搭建。旨在培养学生跨学科学习能力，体验跨学科融合教育，从传授理论知识转向培养实践创新能力，锻炼学生在学习过程中提出问题、分析问题、解决问题的能力。
本项目研究的重要意义在于以人工智能、临床医学和影像医学为依托，探索智能、精准、快速的诊疗技术与疾病预防的应用模式[4]。以完成“智慧医疗”类的创新创业项目为目标，关注学生的创新创业激情，帮助学生了解该领域的前沿创新，开展智能技术与医疗健康交叉的科研活动及产品开发，全面提高学生在智慧医疗领域的创新创业实践能力。
1 人工智能平台构建
1.1 框架选择
目前可用的人工智能平台众多，包括Caffe、TensorFlow、
Keras、MXNet、PaddlePaddle、PyTorch等[5-11]。如何选择一个合适的平台辅助医学院校非计算机专业的学生进行“人工智能+医疗”创新创业项目的设计与开发是我们首先面临的问题，本文调研了人工智能平台如表1所示。
在选择开源框架时，首先要考虑开源框架的生态完善性，社区的活跃程度；
其次要考虑学生前期先修过哪些编程语言，从而降低学习门槛；
所以综合以上两方面的原因，我们选择PyTorch来搭建本实验平台。
1.2 设计目标
本实验平台主要处理的数据集为医学图像数据集，包括2D、3D两类数据，要能够实现基于深度学习的医学图像分类任务。由于实验平台面向的是医学专业的学生，所以平台使用要尽可能简单，只需简单的配置即可使用，尽可能让医学生少写代码。整个2D的实验平台框架如图1所示，3D是在此基础上稍做调整。整个平台由5部分构成，分别是数据集整理、训练集和测试集划分、模型训练、模型推理以及结果展示，每个部分都不需要编程，只需要改些配置文件即可。
1.3 2D医学图像分类实现思路
1.3.1 数据集制作
针对2D医学图像分类任务，平台可支持JPG、PNG、JPEG等常用图像类型。医学图像一般分为两种数据集，一种不带有掩膜，另一种带有掩膜。针对不带有掩膜的数据集，数据集整理步骤如下：1）手工整理数据，要求一个文件夹存放一个类别的数据，文件夹名称即为类别名称。2）运行实验平台的class_indices.py文件，自动生成标签索引文件label.txt。
本论文以一个新冠肺炎胸部X光片三分类（新冠肺炎、其他病毒肺炎、正常）数据集为例。整理后的文件夹以及运行class_indices.py程序的结果如图2所示（左边为数据集名称及各类别文件夹名称，右边为类别名称与之对应索引）。
针对带有掩膜的数据集，如果想利用原始影像和掩膜提取ROI图像来训练模型，需要先将原始图像放入名为images的文件夹中，然后将掩膜放入名为masks的文件夹中，图像文件名和掩膜文件名要相同，做到一一对应。然后运行img_roi_crop.py文件，将输出的结果（即提取的ROI图像）再按照前述不带有掩膜数据集的整理步骤来整理数據。
1.3.2 训练集和测试集划分
运行实验平台的split_data.py程序，根据程序提示输入整理后的数据集所在根路径，指定训练集（train）和测试集（test）的比例，该程序将自动划分训练集和测试集。生成相应目录结构如图3所示。
运行实验平台的get_label_info.py程序，自动生成训练集和测试集图像的“存储图像路径列表+所属标签”文件train.txt和test.txt，方便训练模型时加载数据。
1.3.3 模型训练和模型推理
针对2D医学图像分类任务，本实验平台集成了当前主流的图像分类模型，具体包括：AlexNet、VGG、ResNet系列、DenseNet、MobileNetV2、MobileNetV3、EfficientNet、ShuffleNetV1、ShuffleNetV2等。同时这些模型都提供在ImageNet上的预训练权重，满足迁移学习的要求。所有模型文件存放在models文件夹下。采用不同的模型训练时，只需要修改configs文件夹下的config.json配置文件即可，不需要修改代码，方便医学生操作。该文件可进行model参数配置、数据配置、优化器配置、损失函数配置、学习率调整策略配置等。配置文件样例如图4所示。
平台内通过json文件解析器对json配置文件进行解析，灵活实现程序中变量的赋值和函数的构建。训练模型时，只需执行如下命令便可开始模型训练，python train.py config.json。测试模型时，只需执行如下命令便可开始模型推理，python predict.py config.json。推理结束后会展示相关指标结果，如图5所示（图中Classes Result为各类别指标、Total Results为平均指标、Confusion Matrix为混淆矩阵）。
1.3.4 结果展示
为了能够对训练好的模型进行展示，我们可以利用了Hugging Face[11]这家公司的开源软件。Hugging Face在人工智能领域的影响力很大，运营着很大的一个社区。它开源了许多的模型、数据集、工具库，尤其在NLP领域特别出名。实验平台用到了Hugging Face新加入的AI应用展示的服务Spaces。该组件可以非常容易的将训练好的模型托管到Hugging Face Spaces中，然后编写一个app.py的文件，就可以很好展示模型的效果，使用非常方便。软件界面如图6所示。
1.4 3D医学图像分类实现思路
3D影像在医学领域也较为常见，如MR、CT等。针对3D影像分类任务也是有着非常大的需求。比如：根据肺部CT影像判断肿瘤的良、恶性；
根据脑部MR影像确定胶质瘤的分类级别。常见的实现分类方法有两种，平台也都支持。无论是哪种方法平台都要求3D影像数据以及3D掩膜数据必须先转换为nii或nii.gz的格式，然后才能使用。
第一种方法是3D转2D；
利用mask文件从3D影像中截取ROI区域最大的图片，然后构建出一个2D的影像数据集。为了实现该功能我们专门开发了nii_roi_crop.py程序，该程序可以实现提取MR、CT序列中ROI区域最大的那一张图像以及对该图像ROI区域进行最大化的剪裁。程序运行后得到是一个2D的图片数据集，余下的操作步骤和训练2D图像是一致的。
第二种方法是直接进行3D训练；
利用mask文件直接进行3D ROI区域剪裁，剪裁后的ROI影像仍然为3D nii格式。该功能的实现还是依赖于nii_roi_crop.py程序。将剪裁后的nii影像按照2D影像的要求那样去制作数据集、划分数据集。模型训练目前本实验平台只支持ResNet（3D）系列，因为ResNet（3D）支持3D影像数据的直接输入，更为关键的是该模型有腾讯公司提供的在多个医学影像数据上的预训练权重，能够很好的进行迁移学习。训练模型时只需要运行train_3D.py程序即可实现模型训练。最终也可以采用的Hugging Face Spaces进行模型效果展示。
2 结 论
基于深度学习的医学影像分类是人工智能在医疗领域的一个重要应用。该平台的搭建可以方便医学生开展“人工智能+医疗”方面的创新创业项目。同时该平台也为将来学生再做多组学（影像数据+临床数据+病理数据+生理生化数据等）融合方面的科学探索打下了基础。
参考文献：
[1] 国务院.关于印发新一代人工智能发展规划的通知 [EB/OL].（2017-07-08）http：//www.gov.cn/zhengce/content/2017-07/20/content_5211996.htm.
[2] 王翊，文静，张海鑫，等.“深度学习”实验教学四段式教学法的研究与实践 [J].实验技术与管理，2021，38（5）：208-212.
[3] 李波，覃俊，帖军.新工科及人工智能背景下计算机类专业创新创业教育研究 [J].实验技术与管理，2021，38（3）：18-22.
[4] 陈磊，刘爱娥，詹翊强，等.人工智能赋能医疗影像全流程 [J].人工智能，2021（3）：28-37.
[5] BVLC. Caffe：
A fast open framework for deep learning [DB/OL].[2022-10-09].https：//github.com/BVLC/caffe.
[6] Tensorflow. An open source machine learning framework for everyone [DB/OL].[2022-10-09].https：//github.com/tensorflow/tensorflow.
[7] keras. Deep Learning for humans [DB/OL].[2022-10-09].https：//github.com/keras-team/keras.
[8] Mxnet. A truly open source deep learning framework suited for flexible research prototyping and production [DB/OL].[2022-10-09].https：//github.com/apache/incubator-mxnet.
[9] PaddlePaddle. Parallel distributed deep learning：
Machine learning framework from industrial practice [DB/OL].[2022-10-09].https：//github.com/PaddlePaddle/Paddle.
[10] Pytorch. Tensors and dynamic neural networks in python with strong GPU acceleration [DB/OL].[2022-10-09].https：//github.com/pytorch/pytorch.
[11] Hugging Face. The AI community building the future [DB/OL].[2022-10-09].https：//github.com/huggingface.
作者簡介：贾楠（1984—），男，汉族，内蒙古包头人，讲师，硕士，研究方向：医学图像处理；
通讯作者：李燕（1983—），女，汉族，内蒙古包头人，副主任技师，硕士，研究方向：医学图像处理。