孙 红，杨喆地
（上海理工大学 光电信息与计算机工程学院，上海 200093）
随着社会的发展和生活水平的提高，人们对于医疗健康的重视程度在不断提升，医疗影像在医疗诊断中也发挥了越来越重要的作用。一张医学图像所包含的信息量是十分巨大的，但是当医生诊断的时候，通常只需要其中一小部分组织或某一片特点区域的数据，由此来进行病变情况的分析与确定。然而由于检测设备及设备工作原理的不同，医学图像上难免会出现噪点，如果噪点过多，将会对医生诊断带来一定困扰，且增大误诊的几率，而误诊的后果则是不言而喻的。基于此，将图像分割技术应用到医学领域即已成为当下热点。图像分割技术可以将医疗图像划分为感兴趣区域，医生就可有针对性对特定的区域展开图像分析处理，减少医生的时间成本，在提升疾病分析的准确性的同时、也提高了医务人员的工作效率。
以往，大多数医学图像均需要专业医务人员才能进行分割，相对于自然图像来说，医学图像有着更加复杂的特征，根据简单的纹理、颜色、形状往往很难做好图像分割。然而近年来，随着深度学习技术在计算机视觉领域取得了一系列突破性的进展，给这些问题的解决提供了有效的方法。自2012年以来，AlexNet、VGG、GoogleNet、Residual Net、DenseNet、胶囊网络等深度卷积神经网络（DCNN）模型相继问世，计算机视觉领域也随即得到了飞速的发展。2015年，Long等人提出了全卷积神经网络，第一次将全卷积神经网络应用于图像分割，该结构将原卷积神经网络中的全连接层替换为卷积层，使用反卷积将最后的低分辨率特征图复现回输入图片大小，再逐像素进行分类。为了解决FCN结构中分割结果并不精细、以及生物医学影像领域数据量较少问题，2015年Ronneberger等人提出U-Net，U-Net使用对称的编码与解码网络，解码网络中使用上采样加卷积的结构，同时使用特征复制思想减少池化层造成的位置信息丢失，该结构在数据量较少的医学影像数据集取得了当时最优的图像分割结果。U-Net结构虽然在一定程度上降低了位置信息损失，但却仍然存在可优化空间。2015年，Vijay等人提出了SegNet，这是在FCN的基础上进行了改进，并在上采样和下采样中加入了位置索引，且已在VOC12挑战中取得了很好的效果。Pohlen等人提出了全分辨率残差网络（FRRN）。FRRN使用一条独立的残差流以全分辨率处理特征图，处理低层像素信息以保证分割模型可以捕获良好的位置信息，同时在池化流部分使用卷积池化的层叠结构提取深度语义信息进行语义分割。FRRN更适合数据量较多的自然图像，在生物医学影像数据集的处理上容易造成过拟合。2018年，Zhang等人提出了Residual U-Net。Residual U-Net将残差网络和U-Net结合起来，在Massachusetts roads dataset的表现优于之前的其他 算 法。2019年，Nabil等 人提 出 了MultiResUNet，MultiResUNet在一个multiblock结构中构建了多级卷积层来实现不同尺度的特征提取并进行了concatenation拼接，同时将并行结构替换为串行结构，并在输出端增加残差连接，再用该结构去替换原有的卷积层，可以较好地处理图像的不同尺度问题，且在EM segmentation challenge中有着优异的表现。Fraz等人提出了R2U-Net，R2UNet使用了循环残差卷积神经网络，在Retina Blood Vessel Segmentation、Skin Cancer Lesion Segmentation和Lung Segmentation上取得了较好的效果。
综上，本文在U-Net结构和Residual U-Net基础上，结合模型融合思想构建多分支U-Net和Residual U-Net。各分支U-Net和Residual U-Net共享深层编码与解码网络，极大减少多分支网络的参数数量，同时可以在不破坏原有U-Net分割输出的基础上使用模型融合方法提高模型的总体分割效果。本文的创新贡献如下：
（1）针对如何构建差异输出，使用不同的位置权值掩膜与相应的正负标签统计比例构造互异的加权逐像素交叉熵损失函数。
（2）针对如何进行模型融合，使用相应的位置权值掩膜来加权各分支网络，输出得到融合分割图像。
（3）用本文提出的模型，在细胞和乳腺两个数据集上进行了实验，并与Unet网络和Residual UNet网络结果进行了对比。
实验证明，本文的多分支模型融合可以在原有分支模型基础上提高图像分割效果，本文方法在小样本的生物医学图像分割任务中可以提高模型泛化性能。
实际分类任务中，训练时需要进行超参数调优，由于样本中包含了客观规律和采样误差，需要特定的模型大小来均衡两者以达到最优的泛化性能，单个模型很难设定这一超参数。而通过将各个互异模型的输出进行一定的融合，却可以提高总体模型的泛化性能。
针对如何进行像素级别分类的分割网络模型融合，本文提出共享深层特征提取结构在达到共享网络对各个分支网络具有一定正则化效果的同时，大大减少了多网络输出的参数数量。由于U-Net在”U”型结构底部会使用大量的卷积核，如果分别对各分支网络独立构建该部分卷积核，整体模型参数会成倍增长，本文采用共享策略则很好解决了这一问题。
1.1 位置权值掩模
位置权值掩膜是对输入图像的不同位置进行不同的权值设置，本文通过该权值对各分支网络的损失函数进行改造，从而达到各分支网络的差异性输出。由于ISBI2015数据、INBreast图像数据label在各个位置上很难设计权值位置分布以适应所有数据，在折中参数数量与模型整体性能基础上，提出如下权值掩码方案。将图像以田字形式均分为4个区域，每一区域占比图像大小1／4，如图1所示。
图1 各分支模型位置权值掩膜Fig.1 The mask of the weight location at each branch
通过加大各个区域的位置权值，可以增加各分支网络对于特定区域的注意力，旨在使各分支网络对于特定位置进行更加专门化的权值更新，从而达到各分支网络的差异化输出。而当差异化输出较大、但模型表现接近的时候，融合模型可以在一定程度上提高性能。
1.2 基于位置权值掩膜的交叉熵损失函数
本文不对输入图像做位置加权，而是对损失函数的逐像素交叉熵做位置加权。研究中为了构建更合理的损失函数，使用训练集label中各区域正负类别的统计比例作为第二个加权项的参考因子，具体加权系数的计算可用到如下公式：
其中，表示区域索引；
α表示各个区域训练集中正类别像素占比；
表示整张图像所有训练集label中正类别像素占比。各区域相对于整张图像的正负类别像素比存在差异，该公式对各区域与整张图像正类别像素统计信息的比例进行了数值化处理，再通过训练集上的先验信息，从而达到提高网络泛化性的目的。
由于生物医疗数据较少，训练集上各区域正类别像素统计信息与测试集数据存在一定差异，但实验显示模型融合结果仍然得到了一定改进，当样本数据增多时，训练集的统计信息能够更加准确地预测测试集的像素类别占比，模型性能在理论上会得到进一步提升。本文提出的基于位置权值掩膜加权交叉熵损失函数见式（2）：
其中，表示批样本数目；
表示图像中的像素数目；
表示样本索引；
表示像素索引；
w表示像素的位置权值，大小由1.1节中定义的位置权值掩膜给定。
1.3 模型网络结构
本文共享U型网络底端多数目卷积核卷积层，在编码部分构建各分支输入，在对称的解码部分构建各分支输出，各分支网络具有相同的网络结构，模型整体结构如图2所示。
图2 模型网络整体结构Fig.2 Architecture of the model
各分支网络基于不同的加权交叉熵损失函数产生差异输出，本文使用位置权值掩膜作为权重进行模型融合。将各分支网络对应的位置权值掩膜与预测输出逐项素相乘，各加权结果求和取均值作为融合输出，融合方式如图3所示。
图3 模型融合示意图Fig.3 Model fusion
1.4 训练步骤
针对如何确保共享网络权值对于各个分支网络具有通用性，本文采用分级训练的方法。首先使用交叉熵损失函数预训练encodernet1＋sharednet＋decodernet1，在验证集最低处保存模型，然后加载所保存的模型，固定sharednet参数，初始化各分支encoder和decoder参数，使用各分支网络对应的位置权值掩膜加权交叉熵损失函数多优化器同时训练各分支网络，当融合后模型损失函数达到最低点时保存模型，这里对训练流程可做阐释如下。
为［，，，］的图像（）和为［，，，］的标签（）
图像的分类结果
采用U-Net模型或Residual U-Net作为分支模型训练模型1。
模型1的训练结束后，保存模型1，并固定share层参数，初始化两端encoder和decoder参数，使用4个优化器，同时利用第1节给出的逐像素交叉熵损失函数来训练4个模型。
对4个模型输出后的结果求平均。
2.1 实验平台
本文涉及的图像语义分割实验使用基于Tensorflow后端的keras深度学习框架进行神经网络模型搭建，使用Tensorflow进行模型训练。实验平台采用谷歌深度学习平台Google Colab，该平台GPU型号为NVIDIA Tesla T4，基于最新图灵架构，半精度浮点运算峰值性能65 TFlops，4位整数运算峰值性能260 TOPS，包含2560个CUDA核心，320个图灵张量核心，支持多精度推理，提供16 GB显存。
2.2 实验评价指标
在语义分割中，感兴趣的地方通常是整幅图像的一小段。因此，若仅仅利用精确度、召回率等指标却大多都会导致错误的结果，究其原因就在于放大了对背景的检测结果。因此，本文另行引入了系数和系数作为本文实验的评价指标，并使用以下字母表示度量公式中出现的变量：表示模型输出结果和实际标签均为正样本，表示模型输出结果为负样本，实际标签为正样本；
表示模型输出结果为正样本，实际标签为负样本；
表示模型输出结果和实际标签均为负样本。以此为基础，对文章选用指标的数学含义及公式将给出探讨分述如下。
（1）相似系数。主要用于衡量2个样本的相似性。系数可以很好地衡量2张图像的重合率。其计算公式具体如下：
当模型输出结果与标签完全重合时，系数为1；
当两者没有交集时，系数为0。
（2）系数。当使用较高的阈值进行分类时，可以得到较高的查准率，使用较低的阈值时可以得到较高的召回率。系数，又称分数，可以更好地均衡召回率和查准率，当召回率与查准率都较高时，才可以得到较高的系数。其计算公式具体如下：
2.3 ISBI2015细胞边缘图像数据集实验
本文使用ISBI2015细胞边缘图像分割数据集、INBreast乳 腺 图 像 分 割 数 据 集进 行 实 验。ISBI2015细胞边缘图像分割数据由30张512×512×1有标签显微图像组成，为了增加训练图像的多样性，减少模型过拟合问题，对数据图像进行图像增强。使用keras中ImageDataGenerator类进行图像增强，原始输入数据以及使用数据增强后标签分割图像如图4所示。图4中，（a）为原始输入图像，（b）为数据增强图像。
图4 ISBI2015细胞边缘图像数据集原始输入与数据增强对比Fig.4 The comparison between the source images and images with augmentation
随后，本文对增强后的数据集进行了训练，并在验证集最低处保存模型。各分支网络验证集部分图片的独立输出结果如图5所示。相应地，细胞边缘分割数据结果见图5（a）、图5（b）。为表示方便，图5中F-U-Net为网络分支采用U-Net时的结构，F-Res UNet网络分支采用Residual U-Net的结构，由于各分支网络在损失函数上的差异导致差异性输出，各分支网络的总体分割性能相近，融合后会得到性能提升。
图5 各分支图像输出结果Fig.5 The outputs from different branches
本文在验证集上挑选出较难分割图像，将模型融合后分割结果与融合前U-Net、和Res U-Net分割结果进行对比，细胞边缘数据集分割结果对比结果如图6所示。将模型输出以0.5作为分割阈值，对比结果见图6（a）、图6（b）。分析后可以发现，融合后的结果比融合前的结果更接近于label。
图6 细胞边缘数据集分割结果对比Fig.6 The comparison of the segmented results
U-Net和Residual U-Net是目前医学图像分割的最经典的模型之一，在实验中取得了较好的效果，利用本文的思想分别在2种模型上进行实验，细胞边缘分割数据集训练过程中系数和系数变化如图7所示。由图7可以验证，融合后的模型在细胞边缘分割数据集上表现得更好。训练过程中，系数变化和系数变化见图7（a）、图7（b），研究发现融合后的模型表现得比融合前的模型要更好。
图7 细胞边缘分割数据集训练过程中Jaccard系数和Dice系数变化图Fig.7 The changing of Jaccard and Dice during the training
2.4 INBreast乳腺图像分割数据集
本文使用的INBreast乳腺图像分割数据集经过文献［23-25］中进行提取、尺寸缩放，包括58张训练图像及58张测试图像，图像分辨率为40×40。原始标签分割图像及使用数据增强后标签分割图像如图8所示。通过翻转、平移、随机剪裁进行图像增强，输入如图8（a）所示。图8（b）与（c）为数据增强图像。
图8 乳腺分割数据集增强Fig.8 The augmentation on INBreast dataset
各分支网络验证集部分图片的独立输出结果如图9所示。图9（a）表示各分支网络为U-Net时各分支网络的输出结果，图9（b）表示各分支网络为Residual U-Net时各分支网络的输出结果，其中、、、为4个分支网络的输出结果，为融合模型输出结果。由此可以发现，各分支网络尽管总体分割精度接近，但仍存在差异，进一步证明了各分支网络在损失函数上的差异会导致差异性输出，而由于各分支网络的总体分割性能相近，因此融合后模型性能会得到部分提升。
图9 各分支网络乳腺分割数据集验证集分割结果Fig.9 The segmented results on INBreast dataset from different branches
本文在验证集上挑选出较难分割图像，将模型融合分割结果与原始U-Net、和Residual U-Net分割结果进行对比。将模型输出以0.5作为分割阈值，乳腺分割数据集结果对比如图10所示，通过指标结果可以发现，融合后的模型相较于融合前有了部分提高。
图10 乳腺分割数据集结果对比Fig.10 The comparison of results on INBreast
由图10分割结果进一步证明了本文提出的多分支融合策略，应用在U-Net和Residual U-Net模型可以得到更加接近label的分割结果，通过融合多分支U-Net和Residual U-Net，提高了模型的泛化性。仿真实验训练过程中，验证集平均的系数变化和系数变化如图11所示，相比融合前的U-Net和Residual U-Net，融合后的模型表现得更稳定，并且优于融合前的结果。
图11 乳腺分割数据集训练过程中Jaccard系数和Dice系数变化图Fig.11 The changing of Jaccard and Dice during the traning on INBreast
本文通过引入深层权值共享策略，同时构造对称的编码与解码结构，将分支网络的模型融合策略应用在U型网络中，并且使参数的增量控制在合理范围。使用位置权值与各区域正负像素类别的统计比例对逐像素交叉熵损失函数进行加权，增加各分支网络对各个区域的注意力，构造差异化输出，使模型融合方法提高了总体泛化性。针对如何保证共享网络权值对于各分支网络的通用性，采用不加权逐像素交叉熵损失函数进行预训练，对各个分支网络起到一定的正则效果；
针对如何进行模型融合，本文使用对应的权值掩膜对预测输出进行加权。实验结果证明，多分支融合预测输出在多数指标上优于融合前U-Net和Res U-Net，模型分割性能得到进一步提升。