基于改进的U-Net神经网络三维脑肿瘤图像分割方法[发明专利]

(12)发明专利申请

(10)申请公布号 CN 110120033 A(43)申请公布日 2019.08.13

(21)申请号 2019102953.3(22)申请日 2019.04.12

(71)申请人 天津大学

地址 300072 天津市南开区卫津路92号(72)发明人 白柯鑫　李锵　关欣　

(74)专利代理机构 天津市北洋有限责任专利代

理事务所 12201

代理人 程毓英(51)Int.Cl.

G06T 7/00(2017.01)G06T 7/12(2017.01)

权利要求书1页 说明书6页 附图3页

()发明名称

基于改进的U-Net神经网络三维脑肿瘤图像分割方法(57)摘要

本发明涉及一种基于改进的U-Net神经网络三维脑肿瘤图像分割方法，包括下列步骤：数据预处理：首先对三维脑肿瘤MRI图像数据进行N4ITK算法的去偏置场效应处理，其次对原始MRI图像中的各个模态图像分别进行灰度归一化预处理；搭建并训练改进的U-Net卷积神经网络模型，在训练过程中，将患者的四种模态数据当作神经网络的四个通道输入到改进的U-Net卷积神经网络模型中进行训练，以便网络学习到不同模态的不同特征，进行更精确的分割：以卷积神经网络U-Net作为基础，建立改进的U-Net卷积神经网络模型，包含一个用于提取特征的分析路径和一个用于恢复目标对象的合成路径。

CN 110120033 ACN 110120033 A

权　利　要　求　书

1/1页

1.一种基于改进的U-Net神经网络三维脑肿瘤图像分割方法，包括下列步骤：1)数据预处理：首先对三维脑肿瘤MRI图像数据进行N4ITK算法的去偏置场效应处理，其次对原始MRI图像中的Flair、T1、T1C和T2四种模态图像分别进行灰度归一化预处理；

2)搭建并训练改进的U-Net卷积神经网络模型，在训练过程中，将患者的四种模态数据当作神经网络的四个通道输入到改进的U-Net卷积神经网络模型中进行训练，以便网络学习到不同模态的不同特征，进行更精确的分割：以卷积神经网络U-Net作为基础，建立改进的U-Net卷积神经网络模型，包含一个用于提取特征的分析路径和一个用于恢复目标对象的合成路径；在分析路径中，随着网络的深入，不断对输入图像的抽象表示进行编码，以提取图像丰富的特征；在合成路径中，结合分析路径中的高分辨率特征，以精确定位感兴趣的目标结构；每个路径均有五个分辨率，滤波器基数即初始通道数量为8；

分析路径中，每个深度均包含两个内核大小为3×3×3的卷积层，并在它们之间加入丢失层以防止过度拟合，相邻的两个深度之间，采用步长为2内核大小为3×3×3的卷积层进行下采样，使特征映射的分辨率降低的同时维度加倍；

合成路径中，相邻两个深度之间，采用上采样模块使特征映射的分辨率增加的同时维度减半；上采样模块包括内核大小为2×2×2的上采样层和一个内核大小为3×3×3的卷积层；在上采样之后，合成路径中的特征映射与分析路径中特征映射级联，之后是一个内核大小为3×3×3的卷积层和内核大小为1×1×1的卷积层，在最后一层，内核大小为1×1×1的卷积层将输出通道的数量减少到标签数量，之后通过SoftMax层输出图像中每个体素点分别属于各个类别的概率，将经过上述改进的U-Net卷积神经网络模型记作var_UNet；

在合成路径中采用深度监督，将网络不同深度的分割层通过元素相加的方式进行融合以形成最终的网络输出，将添加了深度监督的网络记作DS_var_UNet；

在分析路径中分别加入残差结构和密集连接结构；并将添加有此结构的网络分别记作res_UNet和dense_UNet；

跳过连接采用密集跳过连接；并将添加有此连接的网络记作dense_skip_UNet；对所有卷积层的非线性部分采用leaky ReLu激活函数，采用多类Dice损失函数作为损失函数；

将预处理后的图像分为训练集和测试集，利用训练集对改进的卷积神经网络模型进行训练；

3)测试分割结果：当改进的U-Net卷积神经网络模型训练好后，在测试集上测试模型，并使用相应的评价指标对分割结果进行评估。

2

CN 110120033 A

说　明　书

基于改进的U-Net神经网络三维脑肿瘤图像分割方法

1/6页

技术领域

[0001]本发明是医学影像领域中的一个重要领域，将医学图像和深度学习算法结合起来，完成三维脑肿瘤核磁共振图像精确分割。背景技术

[0002]颅内的肿瘤又称“脑瘤”，是神经外科中最常见的疾病之一。就全身肿瘤的发病率而论，脑瘤位居第五位，仅低于胃、子宫、乳腺和食道肿瘤。核磁共振成像(Magnetic Resonance Imaging，MRI)具有无放射线损害，无骨性伪影，能多方面多参数成像，具有高度的软组织分辨能力等独特的优点，特别适合于临床脑部病变检查，为医生准确地做出诊断和制定治疗方案提供了条件。由于医疗仪器的成像原理和成像的条件以及一些其他的影响因素等，会使得到的图片不利于人眼的观察，以至于医生不能从中做出精准的判断。分割可以帮助医生将感兴趣的物体(病变组织等)分割出来，帮助医生能够对病变组织进行定性及定量的分析，进而提高医生诊断的准确性和科学性。肿瘤组织的手动分割是一项繁琐且耗时的工作，并且会受到分割者的主观意识影响，因此如何高效，精准且全自动的分割脑肿瘤成为研究的重点。

[0003]脑肿瘤图像分割的方法主要有基于区域，基于模糊聚类，基于图论，基于能量和基于机器学习等方法。

[0004]基于区域的分割方法，是将图像按照相似性准则分成不同的区域。主要包括区域生长法、分水岭法等。该类方法适用于分割形状变化比较大的目标，但难以用于分割复杂结构。模糊聚类算法是一种基于函数最优化方法的聚类算法。其中模糊C-均值(Fuzzy C-means，FCM)算法应用最广泛且较成功。但聚类算法通常仅考虑每个像素点的信息而忽略像素点之间的空间信息，最后导致算法受噪声影响较大且很难对连续区域进行分割。并且FCM聚类中心是随机产生的，对最终的分割结果影响很大。[0005]过去几年，机器学习方法发展迅速。Bauer等采用支持向量机算法实现了脑肿瘤的自动分割，但算法的空间和时间复杂度较高，分割效率过低。Wu等在条件随机场框架中使用超像素特征来分割脑肿瘤，但在不同的脑肿瘤患者病例中结果差异太大，特别是在低级别胶质瘤图像中表现更是不佳。Pinto等提出了采用随机森林的方法来分类外观和上下文特征，总体上实现了0.83的分割准确率。[0006]近年来，卷积神经网络(Convolutional Neural Network，CNN)通过展示非常有希望的脑肿瘤分割结果而受到欢迎。Pereira等成功地将CNN应用于脑肿瘤分割领域并取得了惊人的结果，但分割精度不高。Havaei等通过结合具有不同滤波器尺寸通路的特征来使用多尺度结构，并且通过级联模型进一步改进分割结果，但由于模型复杂训练难度加大导致分割精度仅达到0.85。邢波涛等提出一种基于改进的全卷积神经网络和条件随机场的全自动脑肿瘤MRI图像分割算法，虽然分割精度可达0.91，但算法针对的数据集是二维的切片。Ozgun等提出了基于体素分割的用于生物医学图像分割的三维全卷积神经网络3D U-Net，虽然直接对三维图像数据进行处理，但由于三维数据学习难度加大，导致分割结果边缘不

3

CN 110120033 A

说　明　书

2/6页

理想。

发明内容

[0007]为克服现有技术的不足，针对脑肿瘤图像数据集小、类别失衡严重以及现有算法分割精度低等问题，本发明旨在提出一种改进的U-Net卷积神经网络，实现三维脑肿瘤MRI图像的自动分割。本发明采用的技术方案是，基于改进的U-Net神经网络三维脑肿瘤图像分割方法，步骤如下：

[0008]一种基于改进的U-Net神经网络三维脑肿瘤图像分割方法，包括下列步骤：[0009]1)数据预处理：首先对三维脑肿瘤MRI图像数据进行N4ITK算法的去偏置场效应处理，其次对原始MRI图像中的Flair、T1、T1C和T2四种模态图像分别进行灰度归一化预处理；[0010]2)搭建并训练改进的U-Net卷积神经网络模型，在训练过程中，将患者的四种模态数据当作神经网络的四个通道输入到改进的U-Net卷积神经网络模型中进行训练，以便网络学习到不同模态的不同特征，进行更精确的分割：以卷积神经网络U-Net作为基础，建立改进的U-Net卷积神经网络模型，包含一个用于提取特征的分析路径和一个用于恢复目标对象的合成路径；在分析路径中，随着网络的深入，不断对输入图像的抽象表示进行编码，以提取图像丰富的特征；在合成路径中，结合分析路径中的高分辨率特征，以精确定位感兴趣的目标结构；每个路径均有五个分辨率，滤波器基数即初始通道数量为8；[0011]分析路径中，每个深度均包含两个内核大小为3×3×3的卷积层，并在它们之间加入丢失层以防止过度拟合，相邻的两个深度之间，采用步长为2内核大小为3×3×3的卷积层进行下采样，使特征映射的分辨率降低的同时维度加倍；[0012]合成路径中，相邻两个深度之间，采用上采样模块使特征映射的分辨率增加的同时维度减半；上采样模块包括内核大小为2×2×2的上采样层和一个内核大小为3×3×3的卷积层；在上采样之后，合成路径中的特征映射与分析路径中特征映射级联，之后是一个内核大小为3×3×3的卷积层和内核大小为1×1×1的卷积层，在最后一层，内核大小为1×1×1的卷积层将输出通道的数量减少到标签数量，之后通过SoftMax层输出图像中每个体素点分别属于各个类别的概率，将经过上述改进的U-Net卷积神经网络模型记作var_UNet；[0013]在合成路径中采用深度监督，将网络不同深度的分割层通过元素相加的方式进行融合以形成最终的网络输出，将添加了深度监督的网络记作DS_var_UNet；[0014]在分析路径中分别加入残差结构和密集连接结构；并将添加有此结构的网络分别记作res_UNet和dense_UNet；

[0015]跳过连接采用密集跳过连接；并将添加有此连接的网络记作dense_skip_UNet；[0016]对所有卷积层的非线性部分采用leaky ReLu激活函数，采用多类Dice损失函数作为损失函数；

[0017]将预处理后的图像分为训练集和测试集，利用训练集对改进的卷积神经网络模型进行训练；

[0018]3)测试分割结果：当改进的U-Net卷积神经网络模型训练好后，在测试集上测试模型，并使用相应的评价指标对分割结果进行评估。

[0019][0020]

针对脑肿瘤图像数据集小、类别失衡严重以及现有算法分割精度低等问题，本发

4

CN 110120033 A

说　明　书

3/6页

明提出一种基于改进的U-Net卷积神经网络三维脑肿瘤图像分割方法。与一些经典的方法相比较，其优势主要体现在：[0021]1)实用性：本发明提出的改进U-Net卷积神经网络是一个端对端的网络，可以直接对整个三维图像数据进行处理，更加实用；[0022]2)创新性：以卷积网络U-Net作为基础，通过添加深度监督、残差、密集连接以及密集跳过连接等结构，改进了U-Net卷积网络。采用多类Dice损失函数应对类别失衡，并使用数据增强技术来成功地防止过度拟合，提高了网络性能。[0023]3)准确性：本发明算法在全肿瘤、肿瘤核心和增强肿瘤的平均Dice评价分别可达0.63、0.8466和0.7626，相较于目前脑肿瘤图像分割领域较先进的分割算法，本发明算法具有更高的精确性。

附图说明

[0024]图1本发明分割算法流程图[0025]图2 3D U-Net网络结构图；白色方块表示特征图；每个特征图上方标注通道的数量

[0026]图3改进的U-Net卷积神经网络结构图[0027]图4本发明提出的改进卷积网络与3D U-Net网络损失曲线图[0028]图5不同卷积网络模型的分割结果比较图

具体实施方式

[0029]本发明将医学图像和深度学习算法结合起来，完成三维脑肿瘤核磁共振图像精确分割。针对脑肿瘤图像数据集小、类别失衡严重以及现有算法分割精度低等问题，本发明提出一种基于改进的U-Net卷积神经网络三维脑肿瘤图像分割方法。图1是本发明提出的算法框图，首先对原始MRI图像中的四种模态分别进行预处理；其次将预处理后的图像分为训练集和测试集，搭建并在训练集上训练改进的U-Net卷积神经网络模型；最后当改进的U-Net卷积神经网络模型训练好后，在测试集上测试模型，并使用相应的评价指标对分割结果进行评估。

[0030]1)数据预处理

[0031]由于MRI图像中存在容积效应与磁性偏置场伪影，故本发明对三维数据进行N4ITK算法的去偏置场效应处理，加强脑肿瘤部分的灰度对比度，提高算法对脑肿瘤特征的提取与识别。

[0032]由于MRI强度值是非标准化的，因此对MRI数据进行标准化处理非常重要。但数据来自不同的研究所，并且使用的扫描仪和采集协议也有所不同，因此采用同一种算法进行处理至关重要。在处理过程中，需要确保数据值的范围不仅在患者之间而且在同一名患者的各种模态之间都要匹配，以避免网络的初始偏差。

[0033]本发明首先通过减去平均值并除以大脑区域的标准偏差，来地标准化每个患者的每种模态。然后，将结果图像裁剪到[-5,5]以去除异常值，之后重新归一化为[0,1]，并将非脑区域设置为0。在训练过程中，将患者的四种模态数据当作四个通道输入到网络模型中进行训练，以便网络学习到不同模态的不同特征，进行更精确的分割。

5

CN 110120033 A[0034]

说　明　书

4/6页

2)搭建并训练改进的U-Net卷积神经网络模型

[0035]Ronneberger等修改和扩展了全卷积网络的架构，提出了用于生物医学图像分割的卷积网络U-Net。Ozgun等在U-Net的基础上，通过用3D对应物取代所有2D操作，提出了基于体素分割的三维全卷积神经网络3D U-Net。[0036]3D U-Net包括一个用于分析整个图像，获取上下文信息的分析路径和一个连续扩展的合成路径实现精确定位以产生全分辨率分割输出。图2为3D U-Net网络结构，每个路径都有四个分辨率步骤。两条路径中，每层均包含两个内核大小为3×3×3的卷积层，每个卷积层后跟一个ReLu激活函数。相邻两层之间分别是最大池化层和上采样层，步长均为2内核大小均为2×2×2。为了避免瓶颈，分析路径中在最大池化层之前已将通道数量加倍，合成路径中同理。来自分析路径中同层的快捷连接为合成路径提供了基本的高分辨率特征，使网络能够最大程度上保留图像的特征信息。在最后一层，内核大小为1×1×1的卷积层将输出通道的数量减少到标签数量。[0037]受U-Net网络的启发，本发明提出的卷积神经网络包含一个用于提取特征的分析路径和一个用于恢复目标对象的合成路径。在分析路径中，随着网络的深入，不断对输入图像的抽象表示进行编码，以提取图像丰富的特征。在合成路径中，结合分析路径中的高分辨率特征，以精确定位感兴趣的目标结构。每个路径均有五个分辨率步骤，即网络的深度为5，滤波器基数(即初始通道数量)为8。网络结构如图3所示。[0038]分析路径中，每个深度均包含两个内核大小为3×3×3的卷积层，并在它们之间加入丢失层(丢失率为0.3)以防止过度拟合。相邻的两个深度之间，采用步长为2内核大小为3×3×3的卷积层进行下采样，使特征映射的分辨率降低的同时维度加倍。[0039]合成路径中，相邻两个深度之间，采用上采样模块使特征映射的分辨率增加的同时维度减半。上采样模块包括内核大小为2×2×2的上采样层和一个内核大小为3×3×3的卷积层。在上采样之后，合成路径中的特征映射与分析路径中特征映射级联，之后是一个内核大小为3×3×3的卷积层和内核大小为1×1×1的卷积层。在最后一层，内核大小为1×1×1的卷积层将输出通道的数量减少到标签数量，之后通过SoftMax层输出图像中每个体素点分别属于各个类别的概率。在本发明中，将以上改进的U-Net网络记作var_UNet。[0040]本发明在合成路径中采用深度监督(图中虚线部分)，将网络不同深度的分割层通过元素相加的方式进行融合以形成最终的网络输出。将此添加了深度监督的网络记作DS_var_UNet。

[0041]为了解决网络深度较深时梯度消失和不收敛的问题，也为了加速网络训练时的收敛速度，更有效地利用特征，提高网络的精确度，在分析路径中分别加入残差结构和密集连接结构。并将添加有此结构的网络分别记作res_UNet和dense_UNet。[0042]已经证明跳过连接在恢复目标对象的细节方面是有效的。在U-Net中，合成路径直接接收分析路径中的特征图，从而导致语义不同的特征映射的融合。为了减少分析路径和合成路径子网络的特征映射之间的语义差距，使网络学习更加容易，分割性能更加优化，本发明的跳过连接采用密集跳过连接，并将添加有此连接的网络记作dense_skip_UNet，此网络也是本发明提出的最终改进的全卷积神经网络。本发明提出的不同改进网络所具有的主要特点总结如表1所示。

6

CN 110120033 A

说　明　书

5/6页

[0043]

表1

[0045]在整个网络中，本发明对所有卷积层的非线性部分采用了leaky ReLu激活函数，来解决ReLu函数对负数完全抑制的问题。实验室环境中，批量大小较小，而小批量引起的随机性使批量标准化(Batch Normalization,BN)不稳定，因此本发明采用了实例标准化取代了传统BN。

[0046]当使用较小的训练数据训练大型神经网络时，必须特别注意防止过度拟合。为了解决这个问题，本发明利用了适当应用刚性变换和轻微弹性形变仍能产生生物合理图像的原理，在训练过程中使用了随机翻转，随机缩放，随机弹性形变和镜像等数据增强技术。[0047]医学图像分割中的一个挑战是数据中的类别不平衡问题，例如在脑肿瘤MRI图像中，要分割的目标对象所占整个数据的比例特别小，导致严重的类别失衡。在这种情况下，使用传统的分类交叉熵损失函数会妨碍训练，而Isensee等提出的多类Dice损失函数可以有效应对类别失衡问题，因此本发明采用此损失函数，具体表示如下：

[0048]

[0044]

其中u是网络的softmax输出，v是标签图的编码。u和v大小均为i，通道数为c，其中i是训练块中的像素个数，k∈K是类别。[0050]3)测试分割结果[0051]为验证本发明对3D U-Net网络改进的有效性，将本发明提出的改进卷积网络与原3DU-Net网络取相同深度和相同滤波器基数，在相同的训练集，验证集和测试集上进行模型训练、验证及测试。[0052]首先，从模型训练过程中的损失曲线变化进行分析。从图4可以看出，在训练集和验证集上，本发明提出的改进卷积网络均比原3D U-Net网络的损失值有所降低。原3D U-Net网络的损失值在训练集上收敛于-0.56左右，在验证集上收敛于-0.左右；本发明提出的改进卷积网络的损失值在训练集上收敛于-0.72左右，在验证集上收敛于-0.68左右。另外从损失迭代变化情况看，改进卷积网络的损失变化较小，曲线较为平滑没有过大的波动。因此，本发明提出的改进卷积网络比原3D U-Net网络更加易于训练，并且更加稳定。[0053]其次，从模型测试过程中的分割结果图进行定性分析。图5为测试集中一例数据分别采用不同卷积网络模型进行分割后，在横断面、冠状面和矢状面三个方向的分割结果比较图。从图5可以看出，采用3DU-Net模型只能简单地分割出全肿瘤的大致轮廓，不能分割出更细的边缘以及肿瘤核心和增强性肿瘤此类小的目标对象。采用var_UNet模型已经能够分割出三类目标对象，但针对小的对象，尤其是增强性肿瘤粘连特别严重的情况，可以看出增

7

[0049]

CN 110120033 A

说　明　书

6/6页

强性肿瘤呈较小的分散点状分布，较难分割，var_UNet模型仅能分割其为片状，不能很好地分割出每个分散点。采用DS_var_UNet，res_UNet和dense_UNet模型进行分割，每个模型针对上一个模型的分割结果均有所改善，也越来越接近标签，但边缘还不够精细并且小的目标还不够精确。采用本发明最终提出的dense_skip_UNet模型分割的结果，已经特别接近标签，不论是边缘还是小的目标对象，分割结果都比较满意。[00]最后，从模型测试过程中的分割结果的Dice相似系数评价指标进行定量分析。表2为测试集数据分别采用不同卷积网络模型进行分割后，全肿瘤、肿瘤核心和增强性肿瘤三种分割目标的Dice均值结果。从表2可以看出，本发明改进的网络结构均比原3D U-Net网络有一定提高，并且本发明最终提出的dense_skip_UNet模型在三种分割目标上都有更高的分割精度，这也与上面的定性分析结果相一致。实验结果表明，在U-Net模型中适当添加深度监督，残差结构，密集连接结构以及密集跳过连接可以在一定程度上提高模型的分割精度和稳定性。

[0055]

表2

[0057]为验证本发明所提分割算法的优越性，选取目前脑肿瘤图像分割领域较先进的三种分割算法与本发明分割算法在相同测试集上进行分割精确性比较。表3为三种分割算法和本发明算法在Dice相似系数方面的性能比较。从表3可以看出，与这些分割算法相比，本发明所提分割算法具有更高的精确性。

[0056]

[0058]

[0059]

表3。

8

CN 110120033 A

说　明　书　附　图

1/3页

图1

9

CN 110120033 A

说　明　书　附　图

2/3页

图2

图3

10

CN 110120033 A

说　明　书　附　图

3/3页

图4

图5

11