qq_45807235的博客

前面两节课我们讲了Swin Transformer的结构，以及其中的细节部分，进行了实现，其中由Swin Block 以及 Patch Merging等等，上节课讲了 SW-MSA的shift和mask，对于shift之后，其中window中需要的保留，不需要的去掉，用到了boardcasting等等。这节课我们考虑卷积和Transformer如何结合，我们首先看一下conv是如何计算的，如果输入是5×5，卷积核是3×3，进行一个滑窗之后，最终输出是3×3的特征图那我们看一下细节，如何实现。

Python将nii图像进行padding扩充以及crop裁剪，以及最终将图片保存为pickle(pkl)或者png格式

大多数人强调阐述深度网络的内部结构，以增强学习肿瘤相关特征的能力，而其他有价值的相关信息，如正常的大脑外观，往往被忽视。受放射科医生在识别肿瘤区域时经常被训练为与正常组织进行比较这一事实的启发，在本文中，我们提出了一种新的脑肿瘤分割框架，通过采用正常脑图像作为参考，在学习的特征空间中与肿瘤脑图像进行比较。通过这种方式，可以突出和增强肿瘤相关特征，以实现准确的肿瘤分割。

从磁共振成像（MRI）中准确地分割脑肿瘤是多模态图像的联合学习所需要的。然而，在临床实践中，并不总是能够获得一套完整的MRI，缺失模态的问题导致现有多模态分割方法的性能严重下降。在这项工作中，我们首次尝试利用Transformer进行多模态脑肿瘤分割，该方法对可用模态的任何组合子集都具有鲁棒性。具体而言，我们提出了一种用于不完全多模态学习的新型多模态医学Transformer（mmFormer）。

论文提出一种新的嵌套的模态感知transformer（NestedFormer）来显式地探索用于脑肿瘤分割的多模态磁共振成像的，效果很好

该论文使用CNN架构使用MR图像的脑肿瘤进行分类的研究进行全面回顾，目的是确定该技术发展的有用策略和可能的障碍。对于每篇文章，提取了关于训练数据、目标问题、网络架构、验证方法和报告的定量性能标准的数据。然后评估这些研究的临床相关性，通过考虑卷积神经网络的优点来确定局限性，以及为了促进CNN算法的临床应用和发展需要解决的剩余挑战。最后，为生物医学和机器学习领域的研究人员讨论了未来研究的可能方向。共确定并回顾了83项研究。它们在目标的精确分类问题和用于构建和训练所选CNN的策略方面有所不同。

一脚踹进ViT系列

transform

monai第一步，加载医学图像数据

Course数字图像处理 Week3习题(Image and Video Processing: From Mars to Hollywood with a Stop at the Hospital)

Course数字图像处理 Week2习题

Weak1习题——Image and Video Processing