基于中心点预测损失函数的目标重识别方法

1.本发明属于行人重识别技术领域，具体涉及一种基于中心点预测损失函数的行人重识别方法。


背景技术：

2.重识别任务是深度度量学习领域中一项重要且富有挑战性的任务，其目标是在待查询数据集中重新检索出相同身份的图片，主要解决的问题为跨摄像头跨场景下行人的识别与检索。该技术能够根据行人的衣着、体态、发型等信息认知行人，与人脸识别相结合能够为更多的应用场景提供更加精确的解决方案，将人工智能的认知水平提高到一个新阶段。可以对无法获取清晰人脸的行人进行跨摄像头连续跟踪，增强数据的时空连续性。
3.该项技术的主要难点为：由于现实生活中监控摄像头角度变化的多样性，导致无法收集到数量充足的正脸照，变化多样的姿态，配饰，服饰等等对最终重识别结果的影响也不容小觑，建筑物以及车辆等交通工具的遮挡。图片模糊，室内外环境和光线变化，服装搭配迥异，行人穿衣风格多样等因素也会对提升重识别性能带来了挑战。
4.基于表征学习(representation learning)的方法是一类非常常用的行人重识别的方法。它的特点就在于虽然行人重识别的最终目标是为了学习出两张图片之间的相似度，但是表征学习的方法并没有直接在训练网络的时候考虑图片间的相似度，而是把行人重识别任务当作分类问题或者验证问题。分类问题就是把行人的id或者属性作为训练标签来训练模型，每次只需要输入一张图片就够了；而验证问题呢，则需要输入一对(两张)行人的图片，让网络学习这两张图片是否属于同一个行人。这类方法的特点就是网络的最后一层全连接层输出的并不是最后要使用的图像特征向量，而是要再经过一个softmax激活函数来计算表征学习损失，相应的此时的fc层作为特征向量层。
5.度量学习是基于全局特征学习的一种方法，且被广泛用于图像检索领域。不同于表征学习通过分类或者验证的方式，度量学习目的在于通过网络学习两张图片的相似度。在行人重识别问题上，表现为同一行人的不同图片之间的相似度远大于不同行人的不同图片。距离度量函数并不唯一，只要是能够在特征空间描述特征向量的相似度的函数都可以作为距离度量函数。为了实现端到端训练的函数，度量函数应尽可能连续可导，常用的是归一化特征的欧氏距离或者特征的余弦距离。
6.常用的度量学习损失方法包括对比损失、三元组损失、四元组损失。
7.对比损失的输入是两张图片，两张图片可以是同一行人的图片(正样本)，也可以是不同行人的图片(负样本)。通过将一对图片输入孪生网络进行训练，调节相应参数，最终使得正样本间的距离趋近于0，负样本的距离大于某个给定值。对于每一对训练图片，都会给一个标签y，y＝1表示两张图片同属于一个人，此时激活该函数的前半部分，只有尽可能缩小正样本之间的距离，才能使得损失尽可能小；同理当y＝0时，会激活函数的后半部分，此时前半部分为0，应保证负样本之间的距离超过给定值，才能使得损失尽可能小。
8.三元组损失的输入是三张图片，包括原始图片anchor(a)，以及对应的正样本(p)
和负样本(n)，训练模型应使得正样本之间的距离+某个阈值仍然小于负样本之间的距离。这种方式仅考虑了正负样本之间的相对距离，而并没有考虑正样本对之间的绝对距离。
9.四元组损失是三元组损失的另一个改进版本。顾名思义，四元组(quadruplet)需要四张输入图片，和三元组不同的是多了一张负样本图片。即四张图片为固定图片anchor，正样本图片positive，负样本图片n1和负样本图片n2。其中n1和n2是两张不同行人id的图片，相比于三元组损失只考虑正负样本间的相对距离，四元组所考虑的是正负样本间的绝对距离。因此，四元组损失通常能让模型学习到更好的表征。
10.度量学习可以近似看作样本在特征空间进行聚类，表征学习可以近似看作学习样本在特征空间的分界面.正样本距离拉近的过程使得类内距离缩小，负样本距离推开的过程使得类间距离增大，最终收敛时样本在特征空间呈现聚类效应.度量学习和表征学习相比，优势在于网络末尾不需要接一个分类的全连接层，因此对于训练集的行人id数量并不敏感，可以应用于训练超大规模数据集的网络.总体而言，度量学习比表征学习使用的更加广泛，性能表现也略微优于表征学习.但是目前行人重识别的数据集规模还依然有限，表征学习的方法也依然得到使用，而同时融合度量学习和表征学习训练网络的思路也在逐渐变得流行。
11.通用的解决方法为构建一个嵌入式向量空间以此来将相同身份的样本聚合并区分不同身份的样本。由于该项技术在在智能监控和跟踪等领域具有极高的应用价值，重识别技术不仅在社会上引起了广泛的关注，也取得了巨大的进步。
12.大致来讲，经典的行人重识别系统中的损失函数大致分为两种，分别是类间损失和类内损失，前者以三元组损失，id交叉熵损失函数，环形损失为例，促进分离不同id的样本，类内损失被用作相同id的样本群中，使用该方法的主要目的是减小相同id样本群下的类内差异，以中心损失函数为例，迫使所有同类的样本群分布在指定的类中心点周围，并在特征空间中尽可能地将所对应地集群缩至一个点，从而尽可能地减小相似性结构，现有的理论研究表明，类内损失可以有效地提高在人脸识别等应用中学习到的度量泛化性能，然而，对于以行人重识别为代表的类内差异变化更为明显的应用，中心损失函数可以加速特征的集群影响，但是会减小重识别模型的识别效果，这是因为类内样本可以很好地呈现显著的类内差异并且可能不会被中心点或其他现存地样本分布所定性。
13.在行人重识别领域，训练过程中的损失函数在构建训练样本分布模式起到关键的作用，除了最基本的辨识度之外，不同身份所对应的特征不应该被融合，额外的类间分布限制比如来自于同一身份的特征群应该更加靠近所属类的中心，诸如此类的因素也应该加入损失函数的考虑范畴之内，尽管目前新出现了多种先进的损失函数，在减少类内的差异与确定样本的自由分布之间形成良好的平衡关系仍然是一个巨大的挑战。


技术实现要素：

14.要解决的技术问题
15.为了解决类内损失函数所带来的问题，本发明提出了一种中心预测损失函数，以此来减少类内的差异性并且与减少类内分布建模的灵活性之间形成良好的平衡关系。主要思想就是根据样本需求来正则化类内数据分布，只有样本进行正确地正则化分布之后，便可以正确地预测剩余样本地中心值，预测地误差值便是中心预测损失函数值，通过使用中
心预测损失数所对应地预测器，可以更加自由地选择类内分布簇并且可以自然地保留类间的差异性。并将上述中心预测损失函数用于目标重识别，提出了一种基于中心点预测损失函数的目标重识别方法。
16.技术方案
17.一种基于中心点预测损失函数的目标重识别方法，其特征在于步骤如下：
18.步骤1：将待训练图片进行预处理，缩放成指定大小，并将其送入深度学习网络resnet得到初步的特征图，经过平均池化操作得到了全局特征；
19.步骤2：将全局特征经过全连接层，映射到跟训练类别数相等维度的特征进行身份损失的计算；
20.步骤3：在步骤1生成的全局特征基础之上，加入公式1所示的中心预测损失函数的计算；
[0021][0022]
其中，k为类内样本数，f(xi；θ)为包含由θ参数化的多层感知机的中心预测器，；θ)为包含由θ参数化的多层感知机的中心预测器，为期望值；
[0023]
步骤4：中心预测损失函数对于训练批次中的某一个特征，经过多层感知机去预测类别中心，并且在该批次内，求该批次内相同类别的其他样本的均值，作为预测类别中心的一个学习目标，并利用二者之间的距离来计算出中心预测损失函数的值；
[0024]
步骤5：在利用反向传播过程中结合中心损失函数值对深度学习模型resnet50以及错层感知机mlp进行训练，使深度学习模型逐步更新至理想性能；
[0025]
步骤6：测试阶段：从校园监控数据集中抽出指定数目的待测试图片，将待测试图片进行预处理，缩放成指定大小，将预处理之后的图片送入残差网络resnet50，提取到初步特征，经过平均池化操作得到全局特征，将全局特征经过全连接层，映射到跟训练类别数相等维度的特征进行身份损失的计算得到了与类别数相等的概率集合，其中概率最大的标号所对应的类便是该图片所对应的类别。
[0026]
一种计算机系统，其特征在于包括：一个或多个处理器，计算机可读存储介质，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的方法。
[0027]
一种计算机可读存储介质，其特征在于存储有计算机可执行指令，所述指令在被执行时用于实现上述的方法。
[0028]
一种计算机程序，其特征在于包括计算机可执行指令，所述指令在被执行时用于实现上述的方法。
[0029]
有益效果
[0030]
本发明就选择类内分布集群方面允许更多的自由性，并且可以自然的保留不同类样本集之间的区分性。图2为两种带有不同的协方差矩阵的样本高斯分布，两种样本分布分别用黑色和浅灰色来表示，本发明通过中心预测损失函数来训练中心预测器，并计算预测错误，为每一个数据点计算中心损失函数的预测值可以表示为接下来利用z坐标轴上的值来代表ei，图3和图4分别代表了中心损失函数
以及中心预测损失函数的可视化效果图，从图中可以看出，由于浅灰色类别样本相较于黑色类别样本有相对较大的协方差阵，因此中心损失函数对浅灰色样本施加了更多的惩罚项，相反中心预测损失函数并没有过度惩罚大部分的浅灰色类别点，只会在类别的边界点产生较高的损失值，因此，最小化中心预测损失函数的值将会不仅仅迫使浅灰色中心点靠近中心点，并且会将样本更加远离类别边界。
附图说明
[0031]
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
[0032]
图1本发明方法结构图；
[0033]
图2两种类别样本对应的不同分布形状；
[0034]
图3利用中心损失下的两种类别样本对应的分布情况；
[0035]
图4利用中心预测损失下的两种类别样本对应的分布情况。
具体实施方式
[0036]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0037]
本发明的主要结构如图1所示。
[0038]
该损失函数为类间损失损失函数并且其需要与另一个类间辨别损失函数共同使用。在本发明方法中，使用全连接层作为身份分类层并在此基础之上只用身份交叉熵损失函数。该损失函数可以被定义为预测从该样本到剩下同类样本的中心的错误优化器。
[0039]
该损失函数的公式如公式1所示，k为类内样本数，f(xi；θ)为包含由θ参数化的多层感知机的中心预测器，层感知机的中心预测器，为期望值。
[0040][0041]
本发明提供了一种基于中心点预测损失函数的目标重识别方法，具体过程如下：
[0042]
1.从校园行人数据集market1501，duke，msmt17数据集中抽取64张训练姓行人图片样本，并对待训练样本进行图像的预处理，并将其维度重新定义为24*8维。
[0043]
2.对输入24*8维的行人训练样本放入深度学习模型(resnet50)中提取深度特征，得到空间大小24*8维的张量t。
[0044]
3.经过平均池化操作(average-pooling)得到了全局特征g。
[0045]
4.将全局特征g经过全连接层，映射到跟训练类别数相等维度的特征即24*8维，利用公式进行交叉熵损失的计算。
[0046]
5.利用步骤2生成的全局特征g，根据公式1所示的中心预测损失函数，对于训练批次中的特征张量t，经过多层感知机去预测类别中心。
[0047]
6.在该批次内，求该批次内相同类别的其他样本的均值，作为刚才预测的中心的一个学习目标，并利用二者之间的距离带入公式1，来计算出中心预测损失函数的值。
[0048]
7.针对公式1，利用随机梯度下降的方法对深度学习模型resnet50进行参数的更新。
[0049]
8.并从market1501数据集种抽取6张测试行人图片，生成测试结果，并针对结果不断调整学习率以及循环次数等训练参数，使最终的测试结果不断逼近理想情况。
[0050]
9.将待测试图片进行预处理，缩放成指定大小，将预处理之后的图片送入残差网络resnet50，提取到24*8维的初步特征，经过平均池化操作得到全局特征(global feature)，将全局特征经过全连接层，映射到跟训练类别数相等维度的特征进行身份损失的计算。得到了6个概率集合，其中概率最大的标号所对应的类便是该图片所对应的类别，如概率集合分别为0.01，0.03，0.06，0.19，0.13，0.58，则该图片属于6号人物。
[0051]
本发明参数细节：
[0052]
在实验中，统一使用resnet50作为主干网络。中心预测器设定为两层的多层感知机，其中隐藏层为512维，人物和车辆图片的尺寸分别被重新定义为256
×
128维与224
×
224维。批量数据的大小为64(共16个身份，每个身份对应4张图片)。模型的训练迭代次数为120次，初始的学习率设置为3.5
×
10-4
，并在第40次，70次的迭代中将学习率缩小10倍。
[0053][0054]
表1在三种经典重识别方法中加入中心预测损失函数的性能提升情况
[0055]
本发明通过进一步使用实例来论述通过大量的重识别实验结论可以本发明可以在多个重识别基准上实现优越的性能，并且可以作为现有损失函数集的一种补充。表1为基于行人局部区域之间联系的目标重识别算法(alignedreid)，重识别经典的强壮基线(bot)，以及加入了注意力机制的目标重识别算法rga在经典重识别数据集下的性能参数，并与加入中心预测损失函数(cpl)之后的性能做对比，从表4中可以看出本发明可以在现有的目标重识别方法在重识别数据集上在衡量算法搜索能力的指标上有了较高的提高，以测评结果准确度排序指标rank-1为例，加入了中心预测损失函数之后，在在market1501数据集，duke数据集，msmt17数据集分别有了最高1％，2.3％，3.9％的涨幅；以平均准确度map为例，加入了中心预测损失函数之后，在market1501数据集，duke数据集，msmt17数据集分别有了最高2.1％，1.7％，2.8％的涨幅。
[0056]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明公开的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。