段继忠,贾 伟
(昆明理工大学 信息工程与自动化学院,昆明 650500)
磁共振成像(Magnetic Resonance Imaging,MRI)技术是临床应用中最广泛的医学影像诊断技术之一,相对于其他影像技术有比较突出的优势,例如:无电离辐射危害,软组织成像分辨率高,可以实现任意断层的成像,多参数成像,可以获得更全面更丰富的临床诊断信息等.虽然MRI有着显著的优势,但其成像原理导致了较长的扫描时间,这成为了磁共振成像最主要的缺点.因此,在保证质量的情况下缩短扫描时间对于磁共振成像至关重要.
近年来,一些学者提出了压缩感知(CS)理论[1],可利用少量的测量数据重构出精确的原始信号.Lustig等人[2]将压缩感知应用于磁共振成像中,用少量的采样数据重构磁共振图像,有效的减少了磁共振成像的扫描时间.CS理论提出以来,已经发展了多种CS-MRI方法,这类方法称为传统重构方法,主要有:基于固定稀疏变换的重构方法,如基于小波变换的重构算法[2]、基于小波变换的重构算法[3]等;基于自适应稀疏变换的重构方法,这类方法的典型代表有DLMRI算法[4]、TLMRI算法[5]等;还有基于非局部低秩矩阵的重构方法,如CS-NLR算法[6]等.
深度学习已在传统图像处理领域取得巨大成功,例如图像分割[7-9]、超分辨率[10-12]和目标检测[13,14]等.它能够从数据中提取特征来构建高度抽象的表示,这得益于充分利用海量的训练数据来构建良好的网络模型.
随着深度学习的迅速发展,研究者们开始将深度学习应用到磁共振成像的重构中,既能加快成像重构速度,又能提高重构质量.例如:熊承义[15]等将ADMM-Net与ResNet级联用于MR图像重构,有效的提高成像质量.Souza等[16]提出用于训练端到端的CNN的频域/图像域混合级联模型;Schlemper等[17]提出级联的CNN,其中包含数据一致性层;Hammernik等[18]训练了一个变分网络来解决CS-MRI;Sun等[19]提出的RDN模型将递归学习、空洞卷积、残差学习很好的结合在一起,取得了不错的效果;Liu等[20]提出IFR-Net,与IFR-CS[21]相比,该网络不仅可以学习模型参数和特征增强算子,而且可以将关键工作从在线优化阶段转移到预先的离线训练阶段,从而缩短重构时间.
深度学习需要依赖大量数据进行训练,越复杂的网络结构需要的数据量越多.而由于患者隐私等问题,大量的医学数据很难获得.因此,本文提出一个在小数据集上表现很好的深度学习MRI重构方法.受U-Net的启发,结合GoogleLeNet和ResNet的优势,对U-Net进行改进,提出了UGR-Net模型,并与数据一致性层结合得到级联的UGR-Net.使用3种欠采样模式对脑部复数数据进行欠采样,并对级联CNN网络、级联U-Net模型、以及新提出重构模型(即:级联UGR-Net模型)的重构性能进行了比较.仿真实验结果表明,本文提出的级联UGR-Net模型的重构质量在采样率不同的各种欠采样模式下均优于所比较的重构模型.
论文结构安排:第1节为介绍,第2节为磁共振重构问题描述,第3节为本文提出的网络架构即级联的UGR-Net描述,第4节为实验结果和分析,第5节为本文的结论.
通常,基于压缩感知磁共振成像的重构问题可以表示为如下形式:
(1)
其中,x∈N表示待重构的2D图像数据堆叠为N=m×n的列向量(m和n是图像的长和宽,N表示图像的所有像素点数),y∈M(M≪N)表示欠采样的k空间数据(M是欠采样k空间数据点的个数),Fu=PF表示感知矩阵,P=M×N表示欠采样矩阵,F∈n×n是傅里叶变换矩阵,R(x)是正则项,是数据保真项,λ为正则化参数,用于平衡正则化项和保真项.在k空间中采样索引的相应子集表示为Ω.
虽然传统的CS-MRI重建方法不仅可以减少扫描时间,而且对磁共振成像的质量也有提高,但是传统的正则项方法不容易去除混叠伪影,因此一些学者将深度学习用于磁共振成像重构中,能有效的去除混叠伪影.
基于深度学习模型的磁共振成像重构问题可以表示为:
(2)
这里fDL是由θ参数化的UGR-Net前向映射,包含数百万或数千万个可调整的网络权重,该映射接收需要重构的零填充图像xu,并且直接产生重构结果作为输出.
在UGR-Net中,参数θ是根据损失函数L(θ)来调节的,可表示为:
(3)
为了降低网络显存和计算量,提升网络的表达能力,防止网络退化,从而重构出高质量的磁共振图像,本文提出一个基于UGR-Net的级联神经网络模型的重构算法.
3.1 UGR-Net
结合GoogleLeNet和ResNet的优势,对U-Net进行改进,本文提出了一个新的网络:UGR-Net.该网络的输出为公式(3)中的xDL,尺寸与欠采样图像相同.
整个网络由收缩路径(用于降低特征图分辨率)和扩张路径(用于提高特征图分辨率)组成.在收缩路径中,所有的下采样均采用最大池化.在扩张路径中,每个层次的开始都与收缩路径相对应层次的卷积结果做组合处理,目的是为增加图像本身的特征.上采样方式使用Up-sample函数,而非传统的反卷积函数,每次上采样使得图像大小加倍,最后的输出卷积核为1×1.
整个网络的收缩路径和扩张路径都具有多个层次,在每个层次中,特征图的分辨率都保持不变,在两个3×3卷积核基础上添加1×1的卷积核,步长为1,每个卷积层都伴随着激活函数,激活函数均使用ReLU.借鉴GoogleLeNet模型的优势,添加1×1卷积核的作用是加入非线性,在前一层的学习表示上添加了非线性激励,提升网络的表达能力.另外,在扩张路径中,1×1卷积核不仅加入非线性,而且还起到了降维的作用.收缩路径和扩张路径由重复的模块M组成,M结构如图1所示.
图1 本文提出的M结构图(每个特征下方数字代表通道数)
另外,在深度学习的神经网络中,随着网络层数的增加,网络会发生退化的现象,训练集损失逐渐下降,然后趋于饱和,这时再增加网络深度,训练集损失反而会增大.所以在前向传输的过程中,随着层数的加深,特征图包含的图像信息会逐层减少,而ResNet直接映射的加入,保证了L+1层的网络一定比L层包含更多的图像信息.因此,在此基础上本文加入了ResNet模型的思想,具体为用“global shortcut”连接编码器和解码器的相应级别.最后,由于MR图像的数据量比较小,所以为了改善训练神经网络时的收敛性,要尽量缩小模型复杂度,这可以通过减少通道数实现,因此整个网络的通道数不变,均为64.本文提出的UGR-Net模型结构如图2所示.
图2 本文提出的UGR-Net模型结构图(每个特征下方数字代表的是通道数)
3.2 数据一致性层
式(2)的解可通过以下方式得到:
(4)
其中,F-1是逆傅里叶变换,I是单位矩阵,PT是P的转置.式(4)实际是利用采集的k空间数据对UGR-Net输出的图像进行保真处理.具体是:将UGR-Net输出的图像进行傅里叶变换后得到k空间数据,然后用采集的原始k空间数据替换掉该数据中相应的部分,合并后的k空间反傅里叶变换可获得最终的图像.
3.3 级联的UGR-Net模型
本文提出的级联UGR-Net网络模型是在多个UGR-Net模块之间穿插数据一致性层(DC),并用于训练端到端的级联神经网络模型,级联深度用nc表示.
级联UGR-Net网络模型接受来自于欠采样的零填充数据,由于是复数数据,所以模型的输入数据分为实部和虚部两个通道分别处理.模型结构如图3所示.
图3 级联的UGR-Net模型结构
3.4 参数设置
目标函数使用逐像素平方误差.由于级联UGR-Net模型需要耗费大量的显存,因此在实验中使用batch_size=1来训练网络,这并不会影响模型的收敛性.使用Xavier初始化权重,用Adam优化器训练整个网络模型,α=5×10-4,β1=0.9,β2=0.999,l2参数权重衰减为10-7.
4.1 实验设定
本文采用Calgary-Campinas的脑部原始数据(1)https://sites.google.com/view/calgary-campinas-dataset/home来验证新提出重构模型的有效性.训练数据集来自20个受试者的100个图像,测试集来自其余4个受试者的8个图像.为了提升模型的收敛速度和精度,本文对数据进行了归一化处理.
在随后的实验中,本文将进行回溯性的仿真实验.使用高斯欠采样、笛卡尔欠采样和泊松欠采样图案对脑部成像数据进行欠采样(采样图案如图4所示),再使用所比较的算法进行重构,评价其重构性能.
图4 实验中使用的欠采样图案
在后面的实验中,本文将比较深度级联模型[17](即Cascaded CNN,选用D5-C6.D5表示CNN深度为5,C6表示有6个DC层.)、经典的Cascaded U-Net模型[8]、以及本文提出的网络模型(Cascaded UGR-Net).UGR-Net和U-net均在pytorch框架(2)https://pytorch.org下实现,而Cascaded CNN采用作者公布的代码(3)https://github.com/js3611/Deep-MRI-Reconstruction.所有的实验都在配置为Intel Core i7-8700@2.6GHz CPU,16GB内存,Nvidia RTX 2070(8G显存)显卡,Ubuntu 18.04操作系统(64位)的服务器上进行的.
在以下实验中,峰值信噪比(Peak Signal to Noise Ratio,PSNR)[16]、标准均方根误差(Normal Root Mean Square Error,NRMSE)[16]、结构相似性(Structural Similarity,SSIM)[22]和高频误差范数(High-Frequency Error Norm,HFEN)[4]用于定量评估重建图像的质量,PSNR和SSIM的值越高,NRMSE和HFEN的值越低,说明重构质量越好.
4.2 级联网络层数nc的选择
本实验探索了不同级联深度nc∈{1,2,3,4,5,6}对模型重构性能的影响,每个级联深度执行1000次反向传播.图5显示了4倍加速因子下的高斯欠采样、笛卡尔欠采样和泊松欠采样下不同nc的级联UGR-Net模型的重建性能比较.从图5可以看出,随着级联深度nc的不断增加,重构误差变得越来越低,所需显存也逐渐增加.实验设备的显存仅能支持nc=6的情况,因此以后的实验取nc=6对模型进行评估.
图5 3种欠采样图案下不同nc的级联UGR-Net模型对重建性能的影响
4.3 不同加速因子的重构性能比较
表1、表2和表3分别列出了3种加速因子下的高斯欠采样、笛卡尔欠采样和泊松欠采样模式下,使用模型Cascaded CNN、Cascaded U-Net和提出的Cascaded UGR-Net进行重构的PSNR、NRMSE、HFEN和SSIM的比较结果,所有评价指标的值均为8张测试图像的平均值,表中的AF代表加速因子.
表1 不同加速因子的高斯欠采样下各重构网络模型的PSNR,NRMSE,HFEN和SSIM
表2 不同加速因子的笛卡尔欠采样下各重构网络模型的PSNR,NRMSE,HFEN和SSIM
表3 不同加速因子的泊松欠采样下各重构网络模型的PSNR,NRMSE,HFEN和SSIM
表4列出了在高斯欠采样、笛卡尔欠采样和泊松欠采样模式下,Cascaded UGR-Net分别与Cascaded U-Net和Cascaded CNN的所有加速因子平均PSNR值的差. 从表4可以看出,在3种欠采样模式下,Cascaded UGR-Net比Cascaded U-Net分别高0.53dB、0.53dB和0.37,Cascaded UGR-Net比Cascaded CNN高1.01dB、0.67dB和0.73dB.因此,Cascaded UGR-Net的图像重构质量均优于Cascaded CNN和Cascaded U-Net.
表4 在3种欠采样模式下,Cascaded UGR-Net模型与比较模型的平均PSNR差
4.4 视觉比较
图6给出了在4倍加速因子的泊松欠采样模式下,使用Cascaded CNN、Cascaded U-Net和Cascaded UGR-Net的重构图像(顶行)和重构误差(底行).
从图6可以看出,在4倍加速因子的泊松欠采样模式下,Cascade CNN重构图像质量较差,重构图像过于平滑,丢失了一些细节,Cascade U-Net保留了更多细节从而改进了重构质量,Cascade UGR-Net则更准确的重构了更多细节.
图6 4倍加速因子的泊松欠采样下3种模型的重构图像及误差图对比
本文提出了一种用于磁共振成像重构的级联UGR-Net模型算法.该方法在U-Net模型基础上,结合GoogleLeNet模型和ResNet模型的优点,同时加入数据一致性层,实现对磁共振图像的高质量快速重构.大量的实验结果表明,级联UGR-Net在视觉和PSNR、NRMSE、HFEN和SSIM等定量指标上均优于级联CNN模型和级联U-Net模型.特别需要注意的是,新提出的级联UGR-Net模型即使在小数据集上训练也能够得到较好的重构效果.未来将探索把UGR-Net模型用于并行磁共振成像的重构中,让提出的算法在多种场景下适用.
猜你喜欢 卷积磁共振重构 基于全卷积神经网络的猪背膘厚快速准确测定农业工程学报(2022年12期)2022-09-09心脏磁共振对心房颤动射频消融术后早期复发的预测价值中华实用诊断与治疗杂志(2022年1期)2022-08-31青少年劳动教育实施的认知与策略重构中国德育(2022年9期)2022-06-20“双减”能否重构教育生态?当代陕西(2022年4期)2022-04-19基于图像处理与卷积神经网络的零件识别计算技术与自动化(2022年1期)2022-04-15长城叙事的重构摄影世界(2022年1期)2022-01-21不同序列磁共振成像诊断脊柱损伤的临床准确率比较探讨医学食疗与健康(2021年27期)2021-05-13CT和磁共振用于颈椎病诊断临床价值比较中国药学药品知识仓库(2021年18期)2021-02-28探讨磁共振增强减影技术在颅脑出血性病变中的应用价值健康体检与管理(2021年10期)2021-01-03基于深度卷积网络与空洞卷积融合的人群计数上海师范大学学报·自然科学版(2019年5期)2019-12-13