学位论文简介
本论文主要讨论了深度学习背景下的医学影像分割存在的若干突出问题，包括图像复杂、噪声干扰、标注成本高等，围绕基于U型神经网络架构的CNNs与Transformer在医学图像分割中的应用，提出了一系列的解决方案：
（1）针对医学图像中的器官、组织和病灶等分割对象定位困难以及分割对象边界像素分类准确率低等问题，本研究提出了一种全监督医学图像分割模型，强调边界感知的重要性。该模型由粗分割阶段和边界细化阶段组成，能够有效解耦区域感知和边界感知，并实现高精度的分割结果。在粗略分割阶段，我们引入了双任务分支，同时生成医学组织或病灶的粗分割掩码图和相应的有符号距离图。这一阶段旨在初步捕捉分割对象的大致形状和位置。在边界细化阶段，我们运用了边界感知技术，以强化医学组织或病灶的边界图像特征。这有助于更准确地捕捉和处理分割对象的边界信息，从而提高了分割的精确性和细节度。最后，在将粗分割结果和边界强化分割结果融合时，我们获得了最终的分割结果。实验结果明确展示了边界感知对于分割性能的积极影响，同时也验证了整个模型的有效性。这一研究为医学图像分割领域的进展提供了重要的方法和思路，强调了边界感知在解决医学图像分割中的难题时的关键作用。
（2）为了克服高质量、带标注的医学图像样本不足对模型训练和泛化性能的不利影响，本研究提出了一种基于多任务一致性的半监督医学图像分割模型。该模型通过金字塔池化模块实现对医学组织和病灶的多尺度特征提取，并利用粗分割阶段的边界感知结果来增强这些多尺度特征，从而有效提高了分割边界附近区域的分类准确度。在这一基础上，我们构建了三个关键输出任务之间的一致性，这三个任务包括粗分割结果、对应的有符号距离图以及最终的分割结果。这种一致性的构建使得任何一个任务的性能提升都能够促进其他两个任务的完成。多任务一致性的引入增强了这三个分割任务输出之间的关系，更充分地利用了未标记样本的信息。实验结果明确表明，这一模型在标注样本较少的情况下，能够有效地利用未标记样本来提高分割性能。这一研究为应对医学图像分割中标注数据有限的问题提供了有力的解决方案，同时也突显了多任务一致性在半监督学习中的潜力。
（3）为了解决CNNs在有效感受野方面的限制以及Transformer对大量训练数据的需求，本研究提出了一种将CNNs与Transformer单元级融合的基础模块，并利用这一模块构建了U型神经网络分割模型。在该U型分割模型的每一层基础模块中，包括金字塔卷积和多层感知机，以实现多尺度特征的提取和融合。金字塔卷积包括小核卷积和大核卷积，用于捕捉不同尺度的特征信息。多层感知机则用于将这些多尺度特征进行有效融合。此外，在U型分割模型的编码器和解码器之间的跳跃连接处，还添加了另一版本的金字塔卷积模块，以增强空间特征的提取。这个金字塔卷积模块基于通道分裂，使不同尺度的卷积分别作用于分裂出的不同特征组。这一模型在多种模态医学图像数据集上进行了广泛验证，令人印象深刻的是，即使在没有在大规模数据集上进行预训练的情况下，该模型在关键评估指标如Dice和HD95上表现出较大的优势，特别是在小样本医学数据集上。这证明了将CNNs引入Transformer模型中以解决归纳偏置问题的有效性。这一研究为医学图像分割领域的模型设计提供了有力的创新，同时也突显了模型的多尺度特征融合和空间特征强化的重要性。
（4）由于自然图像与医学图像之间存在显著的差异，为了使自然图像上的预训练模型能够在医学图像分割任务中发挥作用，我们提出了一种创新的宏观融合架构，将预训练的Transformer和预训练的CNNs模型相融合，以充分发挥它们的优势，旨在更好地利用局部语义信息和远程依赖性。该架构包括CNNs和Transformer双编码器及其对应的特征融合模块，同时还包括了边界检测和区域分割的双解码器。这些组件相互协作，显著提升了图像分割的性能。我们还引入了一个边界引导的解码器网络，利用边界检测解码器分支提取的边界注意力特征，有助于模型更好地学习和理解图像中的边界信息。通过广泛的实验验证，我们的方法在与预训练数据集同模态的医学数据集上实现了显著的性能提升，充分展示了在医学图像分割领域的巨大潜力。这一创新性的宏观融合架构为解决医学图像分割任务中的挑战提供了一种有力的方法，强调了CNNs和Transformer特征融合和边界感知对于图像分割的重要作用。
主要学术成果
Xiaowei Liu, Kenli Li, Keqin Li. Attentive semantic and perceptual faces completion using self-attention generative adversarial networks[J]. Neural Processing Letters, 2020, 51(1): 211-229. (第一作者，if=3.1，CCF C)
Xiaowei Liu, Lei Yang, Jianguo Chen, Siyang Yu, Keqin Li. Region-to-boundary deep learning model with multi-scale feature fusion for medical image segmentation[J], Biomedical Signal Processing and Control, 2022, 71: 103165. (第一作者，if=5.1，SCI 二区)
Xiaowei Liu, Yikun Hu, Jianguo Chen, Keqin Li. Shape and boundary-aware multibranch model for semi-supervised medical image segmentation[J]. Computers in Biology and Medicine, 2022, 143: 105252. (第一作者，if=7.7，SCI二区)
Xiaowei Liu, Yikun Hu, Jianguo Chen. Hybrid CNN-Transformer Model for Medical Image Segmentation with Pyramid Convolution and Multi-Layer Perceptron[J]. Biomedical Signal Processing and Control, 2023, 86: 105331. (第一作者，if=5.1，SCI二区)
Rongsheng Liu, Xiaowei Liu, Chengfeng Peng, Anping Li and Yong Liao. Automatic Brain Tumour Subregion Segmentation from Multimodal MRIs Fusing Muti-channel and Spatial Features[C]. Journal of Physics: Conference Series. 2023, 2449(1): 012034. (通信作者，EI)
Xiaowei Liu, Yikun Hu, Jianguo Chen. A Medical Image Segmentation Model based on Macro Fusion of Pretrained CNN and Transformer[J]. Medical Image Analysis. (第一作者，if=10.9，SCI 一区，在审)
李肯立, 刘晓伟, 阳王东, 刘楚波, 李胜利. 超声标准切面获取的并行方法、装置和计算机设备[P]. 中国专利：ZL 2020 1 0115397.4, 2023-09-29.
刘楚波, 刘晓伟, 朱宁波, 李肯立, 陈建国, 陈岑, 李克勤. 基于自注意力的深度生成式对抗网络的人脸图像补全方法[P]. 湖南省：CN110288537A, 2019-09-27.
Juanxiu Tian, Xiaowei Liu, Jianguo Chen, Xizheng Zhang, Keqin Li. (2023). Advanced Techniques of Medical Image Segmentation. In Advances in Engineering Research (Vol. 56). Nova Science Publishers. (并列第一作者, in press)
