王苁蓉， 吴静静*， 翁陈熠
(1.江南大学 机械工程学院， 江苏 无锡 214122；
2.江南大学 江苏省食品先进制造装备技术重点实验室， 江苏 无锡 214122)
智能视频分析技术是计算机视觉的一个重要领域，其广泛应用于对安全要求比较敏感以及无人值守的场合，如邮局、银行、政府机关和机场等[1-4]。在进行行为分析之前，需要先进行运动目标分割，分割结果的准确与否直接影响到行为识别的精度。因此，运动目标分割问题一直是视频智能监控和人体行为识别研究领域的热点问题之一。
运动目标分割方法中的高斯混合建模法(GMM)因为具有良好的时效性和鲁棒性，被广泛地应用在各种智能视频分析系统中[5-6]。但是当运动目标产生停留、缓行及往返运动等行为时，该方法的分割准确率会大大降低[7]。现如今有许多研究者在这方面进行了改进[8-10]。Xiang等[11]提出了一种基于HSV的高斯混合模型，该模型在面对周围环境复杂、光线变化强烈等场景时，也具有良好的鲁棒性。Su[12]提出了一种基于高斯复合模型和3帧差法的运动目标检测算法，该算法能有效抑制在光照突变时引入的干扰信息。这些方法都是在传统高斯混合模型的基础上进行了改进，但在复杂应用场景下仍然没有完全解决孔洞，鬼影和阴影等运动目标分割的共性问题。阴影检测也是运动目标分割中的关键问题之一，阴影往往会导致目标间的粘连以及目标前景区的放大，导致分割结果的准确率明显降低。Shi等[13]提出了一种基于颜色和统计建模的交通视频阴影检测算法，能够提高交通视频分析的效果。Wang等[14]提出了一种针对监控视频内挡风玻璃图像的反射去除算法，该方法在视觉质量和定量指标上均表现良好，但该方法对数据集的依赖度较高。上述文献提出的优化阴影检测方法只能解决个别特殊场景下阴影问题，但无法满足不同光强和不同反射率背景下阴影检测要求。
针对以上问题，课题组提出一种基于改进GMM的运动目标分割算法，根据目标的运动速度来定义像素点的速度，动态调整学习率以实现模型的智能化更新，从而有效解决前景结果中的孔洞、鬼影干扰；
从经典的颜色相关性方法出发，结合像素的坐标位置以及加权HSV模型，实现阴影的去除。有效提高了阴影检测的准确率。课题组提出的方法能够准确地分割出前景目标，保留了目标ROI(region of interest)的完整性。
高斯背景建模方法(GMM)被广泛地应用于各种智能视频分析系统中，高斯混合模型是将一个事物分解为若干个高斯分布概率密度函数来描述而形成的一个模型[15]。概率分布函数为：
(1)
概率密度函数为：
(2)
式中Φ(y|θk)也是第k个分模型。
通过EM算法以迭代求解的方式进行最大似然估计的运算，从而得到GMM模型，从数据中计算得出GMM模型中每个分布的权重系数、期望和方差。在对视频场景进行背景建模时，某一帧图像中任意一个像素点均由k个高斯概率密度函数来共同表示，该像素点的灰度值的表达式为：
{I(x,y,i),1≤i≤t}={V1,V2,…,Vt}。
(3)
式中：I代表所有图像集合；
V代表在t时刻的图像帧中，坐标为(x,y)的像素点所代表的灰度值。
由高斯混合模型的定义可以得到在t时刻观察到出现Vt的概率为：
(4)
为了找到符合描述的分布，接下来使用一种实时的K-means估计方法[16]依次匹配背景模型中的各个高斯分布，如式为：
|Vt-μk|<2.5σk。
(5)
每次匹配完成后都会对高斯分布的权重进行更新，如式(6)～(7)所示：
(6)
(7)
权重更新后，将对高斯分布的其余参数进行更新。最后，根据优先级Q=wi/σi对每个分布进行排序，将方差小、权重高的模型排在前列，并根据式(8)将高斯分布分为前景和背景分布：
(8)
式中：T为固定阈值，作用是约束背景分布数量的最小权重和，根据优先级Q从大到小来计算权重和。
综上所述，经典GMM在学习的过程中，所有的概率密度函数均具有相同且固定的学习率，如果运动目标在视野内突然停留，一段时间后，该目标所对应的高斯概率密度函数的权重会上升，分割出的运动目标二值图会逐渐出现孔洞直至消失，逐渐由前景转为背景。前景目标分割过程出现的孔洞、阴影和鬼影等干扰，如图1所示。图1(c)中的矩形区域从左到右依次为孔洞和阴影，图1(d)中矩形区域为鬼影。这种情况会对目标的分割与提取造成较大的干扰，从而对目标的行为分析产生较大的影响。因此，需要研究一种自适应参数更新的方法来解决上述出现的问题。
图1 孔洞、阴影和鬼影干扰示意图
根据以上分析，经典GMM背景建模的学习率无法动态调整，导致目标分割中出现孔洞、鬼影以及阴影等干扰问题，因此课题组提出了基于改进高斯混合模型的运动目标分割算法，流程图如图2所示。课题组在经典GMM背景建模的框架中改进学习率，提出了一种基于像素速度的自适应学习率调节因子，能够避免经典GMM背景建模引起的目标分割孔洞和鬼影问题。针对阴影问题，结合了像素点位置约束和加权的HSV模型，然后通过余弦相似性进行相关性分析，最终实现对前景运动目标的准确提取。
图2 整体算法流程图
2.1 改进的高斯混合背景建模
经典的高斯混合模型在解决低速、静止目标的分割问题时，其前景分布的权重会不断上升，直至突破阈值被误归类为背景分布，而较高的学习率则会加快这一过程的进行。为了避免以上情况的发生，课题组对高斯混合模型的学习率参数进行了优化，使其根据运动目标的速度进行动态调整，改进后算法的流程图如图3所示。在新像素值输入后，匹配现有的模型分布，若匹配成功，则根据像素点的速度对学习率进行动态调整。
图3 改进的高斯混合模型算法流程图
首先对每个匹配成功的高斯分布模型进行学习率αx,y,t的调整，定义了每个像素点的运动速度vx,y,t，如式(9)和(10)所示：
(9)
(10)
式中：Δt为时间间隔，xt和yt是第t帧图像中目标区域最小外接矩形的中心像素点坐标。
对于目标区域内的每一个像素点，其速度vx,y,t均由相同的速度值来表示，然后根据vx,y,t对每个像素点的学习率αx,y,t进行调整，计算公式为：
(11)
式中：r为常数；
v0是固定阈值，用来判断当前像素点是高速运动目标还是低速运动目标。
对于高速目标来说，由于其运动速度较快，因此不会从前景分布转变为背景分布，所以像素点需保持稳定和较高的学习率。
最后，考虑到学习率变化曲线的单调递减特性，为了避免长时间运行之后模型失效的问题，还增加了恢复机制。当像素点满足以下条件时，它的学习率会初始化为初值αx,y,0：①t-1和t时刻所匹配的分布模型发生变化；
②该像素点在连续5～10帧内速度均为0。
2.2 基于位置约束和加权HSV的阴影去除
已知在一个固定视角和照明稳定的监控系统中，目标与阴影之间的角度因目标移动而产生的波动较小，如图4所示。针对该情况下的阴影问题，课题组使用余弦相似性进行相关性分析，提出了基于像素点位置约束和加权HSV模型的阴影去除算法，算法流程图如图5所示。通过引入阴影的空间位置特征，结合经典的颜色相关性方法设计阴影检测算子，可准确快速地去除阴影，有效提高运动目标分割精度。
图5 融合位置信息和加权HSV模型的阴影检测算法流程图
对于目标区域中的每个像素点，它们的位置参数Pos(x,y)，计算公式为：
(12)
式中：xT和yT为运动目标最小外接矩形左上角点的坐标值，TW和TH则代表运动目标最小外接矩形的宽度与高度像素值。
根据标定得到的预设区间对像素点的Pos(x,y)进行过滤，符合要求的部分归类为目标像素点，其余的则进行颜色相关性分析。许多阴影检测模型在进行相关性分析时，不会考虑多个特征分量的权重。但实际上，每一个特征分量都代表了不同的含义，如果赋予相同的权重，相关性分析的准确性就会下降。因此课题组拟分别计算颜色特征各分量的权重，得到的特征向量Ix,y如式(13)所示。
Ix,y(k0H,k1S,k2V)(k0，k1，k2∈[0,1])。
(13)
式中：参数k0,k1和k2的取值区间为[0,1];具体取值取决于应用场景条件，在面对阴影问题时，k0∶k1∶k2≈1∶1∶3。
课题组采用计算余弦值相关性的方法进行相关性分析，计算并区分阴影点与非阴影点。通过计算2个向量之间的夹角来判断其相似程度，夹角越接近0°，则表示这2个特征向量越相似。特征向量Ix,y的余弦夹角cosα的计算公式为：
(14)
式中：Hb,Sb和Vb代表背景图像中像素点的HSV值，Hf,Sf和Vf代表当前帧图像中像素点的HSV值。
在当前帧中，阴影像素点判定条件的数学表达式为：
(15)
式中：为了保证相关性分析的有效性和准确性，φ0的通常取值区间为[0.60,0.95]，在本研究中φ0=0.90；
当阴影位于人员下方时，φ1，φ2通常取值为0.30和1.00。
3.1 实验数据集介绍
为了验证改进算法在前景提取和阴影检测问题上的有效性，分别对邮局快递场景的视频、CDNET视频数据集和CVPR-ATON视频数据集等进行了测试，并将本文算法与其它主流的算法进行了对比，如图6所示为数据集的部分示例。
图6 部分数据集示例
3.2 评价指标选取
为了验证本优化方法的精度，使用经典高斯混合模型、KNN最近邻法和Vibe[17]算法进行了对比验证。在进行改进的高斯混合模型算法性能对比实验时，为了更直观地对比各算法的准确性差异，使用区域相似度的杰卡德系数J、阴影检测率η和阴影判别率ξ来作为主要度量标准，其中杰卡德系数J的计算公式为：
(16)
式中，杰卡德系数是前景提取结果M和真值G之间的交集和并集区域的比值，它反映了前景提取结果的准确率。
在进行阴影去除算法性能对比实验时，选择使用的性能评价指标为阴影检测率η和阴影判别率ξ，具体定义分别为：
(17)
(18)
式中：TS表示正确检出的阴影像素数，TF表示正确检出的目标ROI像素数，FS表示误检的阴影像素数，FF表示误检的目标ROI像素数。
3.3 改进的高斯混合模型算法性能对比实验
为了验证本算法在改进的高斯混合模型算法性能的优越性，使用经典高斯混合模型、KNN最近邻法和ViBe这3种方法与本文算法在实验数据集上进行了对比实验，部分实验结果如图7所示。从图7中可以看出，在3种对比算法中，ViBe算法的性能明显优于经典GMM和KNN算法，而本文算法在去除孔洞方面的能力明显优于ViBe算法，而且能够有效抑制白色噪点的干扰。
图7 前景提取结果
本次实验在每个数据集的视频中随机抽取20帧，人工统计其中实际前景像素总数G，再计算得到杰卡德系数J。最后，将3组视频中的结果统计完成后计算平均值，汇总如表1所示。从表中可知，本文算法在各视频上的前景提取准确率均优于其他算法。KNN和经典GMM在检测人员停留视频和邮局快递站视频时，因其中存在人员长时间停留的情形，容易将其识别为背景，从而导致准确率下降。ViBe法在准确率上与本文算法近似，但其时间复杂度较高。综上所述，本文算法在前景提取问题上的准确性和鲁棒性更优。
表1 前景提取结果比对汇总表
3.4 阴影去除算法性能比对实验
为了验证本文算法在阴影检测问题上的准确性和鲁棒性，分别在室内稳定光照场景、邮局快递场景、CDNET阴影视频中进行了测验。且在保证实验条件一致的前提下，使用经典的HSV颜色相关性算法[18]进行了对比验证，部分实验结果如图8所示。从图8中可以看出，经典HSV相关性算法分割出的前景有明显的阴影干扰，且存在边缘分割不全的现象。而本文算法的分割前景图中出现阴影的情况明显改善，有效地抑制了阴影的干扰。
图8 阴影检测结果
本次实验在每个数据集的视频中随机抽取了若干帧，人工统计目标ROI和阴影的像素点后将其与检测结果进行比对，计算并得到每帧图像的TS，TF，FS和FF。最后，将所有视频帧的结果统计完成并计算平均值，汇总如表2所示。根据表2可以得出，本文算法在解决前景分割结果中的阴影问题时优于经典HSV颜色相关性算法。其中，室内人员停留视频、高速公路和隔间为阴影场景时，本文算法的检测效果略优于经典方法；
邮局快递站视频为阴影场景时，本文算法的效果远高于经典方法。逐帧排查发现，经典方法在目标外观颜色与背景颜色较为相似时容易产生误检，而本文算法因为添加了位置约束，所以能够一定程度地规避该风险。在面对阴影问题时，阴影与背景在H通道上的差异较大而在S和V通道上2者近似，因此课题组通过调整各通道权重的方法有效地避免了误检的产生。
表2 阴影检测结果比对汇总
课题组针对运动目标分割中出现的孔洞、鬼影及阴影等干扰问题，提出了一种基于改进高斯混合模型的运动目标分割算法和一种基于位置约束和加权HSV的阴影检测算法。将学习率与运动目标的速度相关联，通过目标的运动速度来定义像素点的速度，动态调整学习率，实现了模型的智能化更新，从而有效排除前景分割二值图中的孔洞、阴影和鬼影等干扰；
在HSV颜色空间中结合阴影的颜色特征，动态调整各通道的权重，利用位置约束来减少误检，有效提高了阴影检测的准确率。实验结果表明：本文算法能够达到较高的目标完整率、阴影检测率和判别率，基本保全了目标ROI的完整性，为后续的行为分析打好了基础，具有良好的实用价值。