Deep similarity-based methods
传统的基于像素的图像度量方法对于图像对具有相似分布的情况是work很好的. 但是图像质量本身不好,比如超声图像,就使得传统的相似度度量在单模态的图像中表现很差. 互信息被用于多模态之间的相似度. correlation ratio-based MI, contextual conditioned MI, modality independent neighborhood descriptor (MIND) 被用于提高MI性能.
基于深度相似度度量的方法利用CNN代替上述传统的相似度测量方法.
通过训练CNN, 使用已经经过专家配对的数据作为Ground-truth,学习一个度量网络.输出一个相似分数.
但是通过配对的数据训练一个相似度度量网络, 是很难的, 因为很难获取大量的数据. 另外, 已经人工配准的质量会影响相似度度量网络精度. 数据增广, dithering and symmetrizing技术被用于训练, 缓和训练对配准质量的要求, 但是仍然需要粗配准的图像对.
为了彻底消除对配对的数据对的依赖, stacked autoencoders (SAE), 作为无监督学习技术,可以将图像编码到低维空间计算相似度,这个可以减少计算量. SAE学到的特征表示被用于Demons 和HAMMER进行图像配准.
这类方法最大的问题与传统方法一样, 只不过度量方法变成了神经网络或特征由神经网络提取,配准过程仍需要反复迭代,这是非常耗时的. 随着有关直接变换预测的论文越来越多，这一领域的研究前景不容乐观.
Reinforcement learning in medical image registration
结合强化学习与卷积神经网络, 将配准任务分解为一系列的分类问题. 这种策略就是找到一些列的action,如旋转,平移, 从而迭代地进行图像配准.
但是这些搜索空间, 比如旋转,平移,缩放, 只能用于刚性配准, 因为刚性配准可以由这些参数空间表示. 而非刚性的配准更高维,且非线性, 这样会导致搜索空间非常大. 因此就要降维, 使用低维的参数空间去建立统计形变模型( statistical deformation model, SDM). PCA就是在B样条形变向量场( B-spline deformation
vector field, DVF)构建SDM. 以位移主元的模态作为未知向量，进行优化。
这类方法的局限在于, 变换模型限于低维度空间, 这导致大多数这类方法使用刚性变换模型. 尽管可以预测SDM模型的低维参数空间, 使之适用于非刚性配准, 但是精确度和灵活性受限. 这类基于RL方法似乎也不再受欢迎. 越来越多的直接变换预测方法被提出, 因此将配准任务分解为一系列的分类问题正在逐渐消失.
监督学习的变换预测
这种直接预测变换的方法有几个挑战:1)输出参数空间维度很高;2) 缺乏带有ground-truth变换的数据集;3) 预测变换的正则. 关于这三的挑战,分别有以下解决方案:1) groound-truth变换生成;2)图像重采样;3)变换正则.
监督学习是指使用ground truth变换对网络进行训练，标签变换是自由变形的稠密DVF和刚性变换的参数为6的参数向量
通过随机旋转或平移图像, CNN预测旋转或平移参数, 但是这种参数的方法表示的变换只能适用于刚性配准. artificial affine transformations也被用于合成训练集.这些方法在真实的数据上却不work.
使用传统方法去配准,将其变换当作ground-truth用于训练神经网络,其基本思想就是随机生成的变换与真实的变换差异太大.
使用来自少部分数据已知的变换, 生成大量各样的图像对,学习高表示能力的统计外观模型 statistical appearance models (SAM).
groound-truth变换生成
Random transformation generation
traditional registration-generated transformation
model-based transformations
监督学习方法
训练时, 损失计算采用相应的解剖结构标记，而不是稠密的体素级空间对应
使用两种类型的损失训练.
监督学习的方法最主要的限制还是在用于训练的变换的生成.因为变换合成的变换可能不能反映真实的生理结构, 或不能抓住真实配准场景中大量的变化情况,或者训练阶段的图像-变换对与真实的图像不同. 尝试不同的变换生成模型,域适应以及多种损失和DVF正则是上述限制的解决方案.
Weak supervision
Dual supervision
无监督学习的变换预测
无监督学习指的是在没有Ground-truth的情况下进行图像配准, 难点在于设计一个合适的损失函数.
卷积自编码将图像编码为向量, 称之为特征向量, 将其用于相似度测量. STN可以直接插入到卷积网络中, 从而与相似度测量标准一起进行无监督学习.
DSC loss可以与相似度损失以及变换平滑损失一起构成目标函数.
配准考虑辅助分割损失, 甚至两个任务是相互补充,可以提高对方的性能.
逆一致性正则项惩罚变换和逆变换的不同. 损失函数由以下损失项组成: similarity loss, a transformation smoothness loss, an inverse consistent loss and an anti-folding loss
cycle consistent loss, identity loss(当浮动图像与固定图像一样, 损失为0)
使用辨别器提供对抗损失,惩罚不真实的变形图像
无监督学习克服了缺乏标注数据的困难. 由于缺乏ground-truth作为监督, 各种损失函数被提出来. 这些无监督的配准方法有些能超越无监督性能. 但是这些方法都是集中在单模态配准.
训练一个神经网络,当作损失.判别器去辨别一个变换是生成的还是ground-truth, 一张图像是真实的还是由预测的变换形变得到的,对齐是正效果还是负效果.以上是从图像或者变换的外观层面引进损失, 也有人尝试引入生物力学约束, 辨别一个变换是通过有限元分析预测的还是生成的.
多模态配准没有像单模态那样受益于深度学习, 这主要是由于各个模态之间的外观差别太大了. 因此, GAN用于将不同模态的图像映射到单模态.
GAN在医学图像配准是一个有前景的方向, 如新颖的对抗损失, 图像域翻译.
Some auxiliary loss terms include the DSC loss of the anatomical labels or TRE loss of pre-selected landmark pairs
GAN在医学图像配准中的应用
为预测的变换提供正则
进行交叉域的图像映射
一些损失函数
intensity-based image appearance loss: SSD, MSE, MAE, MI, MIND, SSIM, CC and its variants.
deep similarity-based image appearance loss: calculates the correlation between the learnt feature-based image descriptors
transformation smoothness constraint: usually involve the calculation of the first and second orders of spatial derivatives of predicted transformation
transformation physical fidelity loss : includes inverse consistency loss, negative Jacobian determinant loss, identity loss, antifolding loss and so on
transformation error loss with respect to ground truth transformation: the error between predicted and ground truth transformations
adversarial loss: the trainable network-based loss
