基于GAN的脑部MRI影像模态内转换算法研究.pdf

基于GAN的脑部MRI影像模态内转换算法研究

研究生姓名：卢向疆导师姓名：唐素勤教授

学科：软件工程（专业硕士）研究方向：医学影像合成年级：2021级

中文摘要

随着神经网络在医学辅助方面的持续突破与创新，应用深度学习技术进行脑部

MRI

磁共振成像（）的跨模态转换，逐渐凸显了在提高医疗影像领域成本效益与诊

断效率方面的重要性。该技术能将特定成像序列转化为其他序列，消减了重复扫描

的必要性，从而显著削减了成本。同时，转换过程能够提升诊疗速度，节约医疗资

源。为了使转换的图像可为后续任务如脑肿瘤识别和疾病诊断提供支持，需要考虑

两个方面：一方面，生成图像的细节必须足够清晰和准确，以确保医生能够基于这

些图像做出可靠的诊断。另一方面，模型要有很强的鲁棒性，在复杂图像环境中依

然能够保持高性能。这要求模型不仅能够处理正常情况下的图像，还能在面对病

变、伪影、成像差异等复杂情况时，依然生成高质量的转换图像。本文提出两个结

合多任务学习策略的跨模态转换模型，旨在优化MRI图像的转换质量并增强模型的

鲁棒性，以下是主要的研究任务：

1

（）现有的研究分别将边缘算子或配准网络引入GAN模型，以解决细节保留和

复杂图像环境下的生成问题。受此启发，本研究结合二者优势，将边缘算子和配准

网络同时引入GAN模型，期望进一步提升模型在复杂场景下的细节生成能力。在最复

杂的实验场景中，与当前最先进的算法相比，该方法实现了1.3%的精度提升。模型

架构包含三个协同模块：主模块负责生成目标模态图像，两个辅助模块分别进行复

杂数据的初步配准和图像纹理信息提取。具体而言，初始生成的图像首先送入小型

变形场预测网络进行初步配准，随后配准后的图像被送入负责处理边缘信息的辅助

模块。最后，两个辅助模块的输出被整合至主模块，引导主生成器更好地适应噪声

并优化边缘信息保存，从而提升目标模态图像的真实性和精度。

2

（）对于MRI图像的转换，直接映射整个图像信息容易导致信息丢失或混淆。

由于MRI图像通常包含噪声，直接处理全图像会放大这些噪声，进而影响图像质量和

后续分析。噪声主要集中在高频子带，而低频子带则包含主要的图像内容和相对较

少的噪声。这些低频子带中的弱纹理有助于去除高频子带中的噪声。为此，本研究

提出一种融合深度卷积神经网络（CNN）和视觉Transformer架构的新型模型。该模

型首先将图像分离成高低频信息，分别学习不同频率的特征，以降低学习难度，并

更好地捕捉细节和色彩分布信息。模型利用CNN提取局部特征，并借助视觉

Transformer整合全局上下文信息，实现更全面的图像表征。此外，本研究还提出了

任务Transformer模块，用于融合高频、低频和图像原始信息，促进跨任务信息共享，

进一步提升模型性能。

通过与其他先进方法的比较分析，本研究所提出的两个模型在峰值信噪比、结

构相似性指数以及平均绝对误差这三个图像质量评估指标上均展现出显著的性能优

势。此外，相较于第一种模型，第二种模型在性能表现上呈现出显著的提升。

关键词：医学图像合成；生成对抗网络；多任务学习；跨模态学习

ResearchonBrainMRIImageModalityIntra-Conversion

AlgorithmBasedonGAN

Graduatestudent:XiangjiangLu

Supervisor:Prof.SuqinTang

Major:SoftwareEngineering

Researchdirection:Medicalimagesynthesis

Grade:2021

Abstract

Withthecontinuousbreakthroughsandinnovationsofneuralnetworksinmedical

assis