论文题目:Person Re-identification with Deep Similarity-Guided Graph Neural Network 来源: ECCV2018 论文地址: https://arxiv.org/abs/1807.09975
动机: 这篇论文以往的行人重识别模型往往是给出一张probe图像,在gallery中找到相同id的行人图像,只关注probe和gallery其中一张图像之间的相似度关系,而忽略了不同probe-gallery图像对之间的关系。举个例子:给出一张probe图像p1,gallery图像中包含两张图像(g1,g2),以往只关注(p1,g1)之间的关系,而忽略了(p1,g1)和(p1,g2)图像对之间的关系信息。因此会导致一些难样本的识别准确率低下,本文就是将不同probe-gallery对之间的关系考虑进来。
解决方法: 简单来说,给出一个probe样本p和两个gallery样本g1,g2。我们假设(p,g1)是难以识别的positive样本,而(p,g2)和(g1,g2)是相关性高的positive样本,即两者之间相似度较高。如果(p,g1)和(p,g2)没有任何的信息交流,(p,g1)最后的相似性得分就不可能很高,因此可以利用(g1,g2)关系信息去帮助(p,g1)的特征信息进行细化,最后(p,g1)细化后的特征就可能产生更高的相似性得分,完成难样本的识别,也称为信息传递。
具体思路: (a)是常规的卷积操作,求得probe和每一个gallery之间的特征差异di(i=1,2,3,4…),再经过评估得出相似度值,判断是否属于同一个ID。 (b)是作者提出的SGGNN模型方法,将probe-gallery之间的差异特征组成一个无向完全图,每一条边上传递对应的(gi,gj)关系信息,不断细化差异特征di(i=1,2,3,4…),使得di具有更强的区分度。
我们的目标就是去评估probe-gallery图像对之间的相似度得分,因此也可以把reid问题看成是节点分类(差异特征di)问题。
差异特征的获取过程: 1、给出一个probe图像和N个gallery图像,每一对probe-gallery图像被送入siamese ResNet-50网络中进行特征编码。经过一个全局均值池化分别得到probe和gallery的特征向量。 2、将得到的两个向量元素相减(subtract),再经过一个向量元素的平方操作和BN层得到一个差异特征di(i=1,2,3,…N),作为图中第i个节点的输入特征。
融合不同probe-gallery对的特征信息
在构建的图关系结构中,每一条边也就代表了不同probe-gallery对之间的关系,使用Wi,j表示每条边的权重,用来权衡节点i和节点j之间的关系密切程度,计算公式如下: S()是相似度估计函数,用来计算gi和gj之间的相似度得分,使用了probe-gallery对相同的分类模型计算。
上图结构分为以下几步:
1、得到的差异特征di经过message network得到对应的message ti,每一个差异特征都经过这个fc层 2、对di而言,其余的probe-gallery差异特征dj,dk,dh在经过message network之后得到tj,tk,th。在分别使用gallery-gallery相似度得分去引导细化probe-gallery关系特征,使其变得更加具有区分度。di使用上面得到的Wi,j(表示gi和gj之间的关系)值和Wi,k, Wi,h值进行自我更新,公式如下,α是用来平衡融合特征和原始特征的超参数,表示融合特征占比重要度: 3、使用交叉熵损失函数进行节点的分类
实验结果: K表示sample中每一个ID的图像数,top-k表示test阶段用来更新的gallery图像数,t表示di更新时候的迭代次数。