技术领域

本发明涉及交通监控技术领域， 尤其是一种交通违章检测方法。 背景技术 说

在大中型城市， 随着城市化的发展， 交通阻塞、 交通违章和交通事故的情 况也越来越多。 为了对交通进行更有效的控制和管理， 智能交通已经引起了广 泛的重视。 交通信息服务是智能交通系统功能的一个重要 部分， 这一功能的实 书

现必须首先对交通路况进行监控， 快速、 准确地获取各种交通参数。 随着视频 传感器数量的急剧增加， 传统的人工被动监控已经远远无法满足监控任 务的需 要。 因此， 实现可以代替人眼的智能自动监控功能成为视 频监控研究的目标。 尤其是， 基于监控视频的交通违章检测系统， 可以监控车辆的违章行为并完成 车辆号牌识别。

基于视频的交通违章检测系统可以通过规范驾 驶员的驾驶行为来减少交通 事故， 缓解交通违章带来的交通问题。 目前在视频中检测交通违章的技术主要 包括： 车辆定位、 车辆跟踪和号牌识别。 在现有的智能交通系统中， 车辆定位 技术在交通监控中广泛应用， 其主要分为基于运动目标和静态目标的定位方 法。 基于运动目标的定位方法将道路上的车辆看作 运动目标， 可以处理光照变化、 适用于多模态以及缓慢变化的背景。 然而运动的目标未必是车辆， 因此许多研 究人员利用车辆表面的视觉信息来定位车辆。 这些方法利用颜色、 边缘及角点 特征来学习车辆或车辆部件模型， 然后利用分类器以及生成式模型来定位车辆。 车辆跟踪方法主要使用基于均值漂移、 卡尔曼滤波器和粒子滤波器等技术来实 现。 在最简单的情况下， 欧氏距离、 尺寸和角度约束用来匹配相邻帧之间的目 标。 进一步， 卡尔曼滤波器和粒子滤波器可以用来估计下一 帧的目标位置， 从 而更好的完成跟踪过程。 基于均值漂移的目标跟踪是一种目标外观模型 跟踪方 法， 即使在拥堵交通环境下效果也比较好。 总结现有的交通视频监控系统， 在 工程应用中依然存在以下挑战：

1、 全天候监控： 一天中的不同时间段内， 光照条件变化大， 尤其是白天和 夜间的光照差异； 在夜间条件下， 通常采用频闪补光灯， 可以看清补光范围内 的车辆信息， 但补光范围通常在几十米内， 难以完成车辆跟踪、 进而判断车辆 违章等行为。

2、 车辆遮挡： 图像中的车辆被其他车辆遮挡， 或者被非车辆目标 （行人、 自行车、 树木、 建筑等） 遮挡。 比如， 监控摄像机布设在交通路口， 排队等候 信号灯的车辆易产生互相遮挡； 再如， 小车容易被大车遮挡， 造成短时间的丢 失检测。

3、 姿态变换： 车辆在转弯、 变道等姿态变换时， 在图像中呈现的表面特征 变化很大。

4、 类内差异大， 背景多样性： 车辆具有不同形状、 尺寸、 颜色； 在复杂场 景中， 有非机动车、 行人、 道路交通设施等背景目标， 与车辆目标混杂在一起。

5、 不同分辨率： 当车辆驶过摄像机视野的过程中， 其在图像中的像素数变 化很大。

经对现有技术文献的检索发现， 在第 201310251206.7号中国专利申请中， 使用基于背景建模的方法， 提取运动车辆目标， 通过运动前景的位置判断车辆 的违章行为， 但是， 在车辆检测过程中， 运动目标未必是车辆， 并且基于背景 建模的方法难以处理车辆遮挡问题。 在第 200810240499.8号中国专利申请中， 公开了一种车辆违章检测系统， 可以检测闯红灯、 超速行驶等违章行为， 但该 系统除了使用摄像头， 还需要增加压力传感设备和测速装置， 辅助抓拍过程， 成本较高。 综上所述， 现有的交通违章检测系统， 通常利用运动信息进行检测， 监控精度较低， 无法满足日益增长的交通监控需求。 很多系统需结合视频摄像 机和线圈等辅助设备进行检测， 成本较高， 同时， 在维修和安装时需要中断交 通， 破坏路面， 因此维护难度大， 维护成本高。

发明内容

本发明解决的技术问题在于提供克服现有技术 中的不足， 为城市交通监控 提供一种基于显著车辆部件模型的交通违章检 测方法。 能在光照变化、 检测噪 声等实际工程应用的复杂环境下， 实时准确地定位、 跟踪车辆目标， 通过轨迹 分析完成车辆违章检测， 为城市交通管理提供一种可靠而有效的途径。

本发明解决上述技术问题的技术方案是：

包括以下步骤：

步骤 Sl， 对道路交通场景进行图像标定；

步骤 S2， 定位视频序列中的所有车牌位置：

步骤 S3， 定位视频序列中的所有车辆尾灯位置：

步骤 S4, 基于车辆的多个显著部件， 对车辆进行跟踪从而获取车辆的运动 轨迹：

根据前一帧图像中的车辆定位结果， 预测当前帧的车辆位置； 将当前帧中 的车辆定位结果作为测量值， 对于每一个跟踪车辆， 通过判断其预测位置与测 量值之间的欧式距离， 搜索其观察值； 通过加权计算预测值与观察值， 更新预 测值， 作为目标的当前位置；

步骤 S5, 分析车辆的运动轨迹， 设置各种违章类型的检测区域， 完成车辆 违章检测。

所述步骤 S4中， 基于车辆的多个显著部件、 采用扩展卡尔曼滤波方法对车 辆进行跟踪从而获取车辆的运动轨迹； 在扩展卡尔曼滤波方法中， 将车牌的中 心位置及速度信息作为系统状态变量；

该步骤中， 定义如果一个车辆部件连续跟踪 3 帧以上， 即认为该部件为稳 定状态；

在预测位置搜索车辆目标位置观察值采用如下 规则：

RULE 1： 如果预测位置附近检测到稳定状态的车牌， 但车灯状态不稳定， 则用车牌表示车辆， 并作为观察值； 同时， 更新车灯的稳定状态及其与车牌的 相对位置；

RULE 2： 如果预测位置附近没有检测到车牌， 或者检测到车牌但是该车牌 为不稳定状态， 则进一步搜索车灯， 如果有稳定的车灯， 用车灯表示车辆， 并 作为观察值；

RULE 3： 如果预测位置检测到稳定车牌， 同时搜索到稳定车灯， 则判断它 们与预测位置的距离， 取距离近者作为观察值； 同时更新车牌与车灯之间的相 对位置。

RULE 4： 如果预测位置附近搜索到不稳定的车牌， 且没有稳定车灯， 则取 车牌位置作为观察值；

RULE 5： 如果预测位置附近既没有稳定车牌， 也没有稳定车灯， 认为当前 目标丢失跟踪； 如果某个目标连续三帧丢失跟踪， 即认为该目标退出场景。

所述步骤 S5中， 为不同的违章类型设置特定的检测区域， 同时， 保存多张 取证图片和违章信息；

各种违章类型的检测区域设置和轨迹分析方法 如下：

( 1 ) 闯红灯： 在每条车道的停车线前后各设置一个检测区域 ， 记录并分析 每辆车的运动轨迹， 如果当前车道的信号灯状态为红灯， 并且车辆轨迹依次穿 过设置的两个检测区域， 则认为该车辆闯红灯； 提取车辆在停止线前、 压停止 线和驶过停止线的三张全景图片， 以及车辆的一张特写图片， 并调用车牌识别 程序进行车牌识别， 最后将四张图片进行拼接并标注违章信息， 包括违章时间、 路口位置、 车道、 车牌号码等， 供交通管理部门做后续处理；

(2) 压线行驶： 在图像中， 标记禁止压线行驶的车道线区域， 记录并分析 车辆的运动轨迹， 如果车辆轨迹经过该检测区域， 则认为该车辆压线行驶； 提 取车辆压线状态下的全景图片， 以及一张特写图片， 并调用车牌识别程序进行 车牌识别， 最后将两张图片进行拼接并标注违章信息， 供交通管理部门做后续 处理； (3 ) 不按规定车道行驶： 在图像中的两条车道标记两个检测区域， 如果车 辆的运行轨迹， 依次经过两个检测区域， 则认为该车辆不按规定车道行驶； 提 取车辆变换车道前、 变换车道中、 变换车道后的三张全景图片， 以及车辆的一 张特写图片， 并调用车牌识别程序进行车牌识别， 最后将四张图片进行拼接并 标注违章信息， 供交通管理部门做后续处理；

由此完成基于显著部件模型的交通违章检测过 程。

步骤 S1 , 对道路交通场景进行图像标定是选取一段监控 摄像机拍摄的高清 视频片段， 分辨率为 2592 X 1936， 视频场景为覆盖三车道的交通路口， 为了获 取图像相关的物理坐标参数， 使用 OpenCV 自带的摄像机标定功能函数对交通 场景进行标定， 根据图像中已知尺寸的道路标线， 标记图像区域， 进而实现图 像坐标系和物理坐标系的相互转换， 由此可以获取图像中每个位置的物理坐标； 另外， 采用 OpenCV中的功能函数进行视频读取， 把视频读入计算机；

步骤 S2,定位视频序列中的所有车牌位置是对于黑底 白字和白底黑字车牌， 直接采用其灰度图作为颜色灰度图像； 对于蓝底、 黄底车牌， 首先， 利用如下 公式将图像空间转换至一个特定的颜色空间；

C, B R _{X V} , G _X

然后， 使用 Sobel算子计算车牌颜色图像中的图像梯度； 接着， 使用滑动窗 口扫描梯度图像， 获得窗口内的平均梯度； 滑动窗口大小与车牌大小一致， 通 过使用 OpenCV的标定结果， 即可以获得车牌尺寸；

最后， 在所述得分图像中确定车辆的区域大小， 利用非极大值抑制方法在 车辆区域范围内求得局部极大值， 如果该局部极大值大于设定的得分阈值， 则 以所述局部极大值为中心点， 根据国标车牌的尺寸信息得到车牌区域， 将该车 牌区域作为候选车牌区域；

步骤 S3 , 定位视频序列中的所有车辆尾灯位置是根据车 辆尾灯的颜色， 即 红色， 获取视频序列每一帧图像的颜色灰度图像； 图像中某一像素 X的颜色灰度 值按照下式来计算： 然后， 利用多阈值方法将所述颜色灰度图像分割为多 幅二值化图像； 接着， 对所述多幅二值化图像分别做连通域分析， 取长宽比、 面积大小在 一定范围内的连通域作为候选车辆尾灯区域；

最后， 对于出现重叠的候选车辆尾灯区域， 保留其中面积最大的那个区域， 最终得到检测出来的车辆尾灯区域；

上述公式中， R _x ， _y 、 G _x ^ _y 分别是像素 χ的红、 绿、 蓝通道的像素值， 为像素 X变换后的灰度值。

有益效果：

本发明相比于现有技术可以自动检测视频序列 中的车辆部件位置， 并通过 跟踪车辆部件获取车辆运动轨迹， 最后通过车辆轨迹分析， 检测车辆违章行为， 不需要对原始视频信号进行任何的预处理， 而且对实际监控视频中所出现的车 辆遮挡、 车辆在强光条件下的阴影、 光照变化、 摄像机抖动、 检测噪声等干扰 同时具有较高的鲁棒性。 由于克服了这些现有技术在实际工程应用方面 难以解 决的困难， 因此本发明真正实现了交通监控视频中的交通 违章检测。

本发明针对智能视频监控中交通违章检测的需 要， 利用图像处理、 特征提 取、 目标跟踪技术， 实时检测车辆的违章行为， 具有算法简单、 精确度高、 鲁 棒性强等优点。 特别是不需要对原始视频信号进行任何的预处 理， 自动实现了 车辆违章检测， 克服了现有技术难以克服的难点， 也消除了实现真正工程应用 的主要障碍。 本发明使用图像处理、 特征提取、 目标跟踪技术， 实时准确地定 位、 跟踪车辆目标， 通过轨迹分析完成车辆违章检测， 为城市交通管理提供一 种可靠而有效的途径。

附图说明

下面结合附图对本发明进一步说明：

图 1是本发明基于显著车辆部件模型的交通违章� �测方法流程图； 图 2是本发明基于显著部件的跟踪算法流程图； 图 3是本发明工控机上的配置软件界面；

图 4是根据本发明实施例的车辆闯红灯的检测结� �图；

图 5是根据本发明实施例的车辆压线行驶的检测� �果图；

图 6是根据本发明实施例的车辆不按规定车道行� �的检测结果图。

具体实施方式

为使本发明解决技术问题的技术方案更清楚， 以下结合具体实施例， 并参 照附图， 对本发明进一步详细说明。

图 1 是本发明基于显著车辆部件模型的交通违章检 测方法流程图， 如图 1 所示， 本发明基于显著车辆部件模型的交通违章检测 方法包括以下步骤：

步骤 Sl， 对道路交通场景进行图像标定：

本发明的实施例中， 选取一段监控摄像机拍摄的高清视频片段， 分辨率为

2592 X 1936, 视频场景为覆盖三车道的交通路口， 为了获取图像相关的物理坐 标参数， 本发明使用 OpenCV (Intel开源计算机视觉库） 自带的摄像机标定功能 函数对交通场景进行标定， 根据图像中已知尺寸的道路标线， 标记图像区域， 进而实现图像坐标系和物理坐标系的相互转换 ， 由此可以获取图像中每个位置 的物理坐标。 另外， 采用 OpenCV中的功能函数进行视频读取， 把视频读入计 算机。

步骤 S2， 定位视频序列中的所有车牌位置：

该部分内容不作为本发明的重点， 可以采用通用的技术实现， 在此仅简要 描述计算过程。 中国国标车牌的底色包括蓝色、 黄色、 白色、 黑色， 本发明实 施例以蓝底白字和黄底黑字车牌为例进行说明 ， 类似地， 对于黑底白字和白底 黑字车牌， 直接采用其灰度图作为颜色灰度图像。 根据统计结果， 对于蓝底车 牌来说， 车牌底色像素的蓝色通道值 _y 远远大于其他两个通道， 红色 和绿 色 通道的值均比较小， 并且相差不大。 黄色与蓝色在颜色上互补， 对于黄底 车牌来说， 车牌底色像素的蓝色通道值 远远小于其他两个通道， 红色 和 绿色 (^通道的值均比较大， 并且相差不大。 首先， 根据以上观察结果， 利用公 式 （1 ) 将图像空间转换至一个特定的颜色空间。

c, _y =\K-^K' ^G , _y }\ ^{( 1} )

然后， 使用 Sobel算子计算车牌颜色图像中的图像梯度。接� ��， 我们使用滑 动窗口扫描梯度图像， 获得窗口内的平均梯度。 滑动窗口大小与车牌大小一致， 通过使用 OpenCV的标定结果， 我们可以获得车牌尺寸。

最后， 在所述得分图像中确定车辆的区域大小， 利用非极大值抑制方法在 车辆区域范围内求得局部极大值， 如果该局部极大值大于设定的得分阈值， 则 以所述局部极大值为中心点， 根据国标车牌的尺寸信息得到车牌区域， 将该车 牌区域作为候选车牌区域。

步骤 S3， 定位视频序列中的所有车辆尾灯位置：

该部分内容不作为本发明的重点， 可以采用通用的技术实现， 在此仅简要 描述计算过程。 根据车辆尾灯的颜色， 即红色， 获取视频序列每一帧图像的颜 色灰度图像； 图像中某一像素 X的颜色灰度值按照下式来计算：

其中， R _x ， _y 、 G _x ^ _y 分别是像素 χ的红、 绿、 蓝通道的像素值， 为像素

X变换后的灰度值。

然后， 利用多阈值方法将所述颜色灰度图像分割为多 幅二值化图像； 本发 明中分别选取了三个阈值对所述颜色灰度图像 进行阈值分割， 所述三个阈值分 别为 20、 60、 80。

接着， 对所述多幅二值化图像分别做连通域分析， 取长宽比、 面积大小在 一定范围内的连通域作为候选车辆尾灯区域；

最后， 对于出现重叠的候选车辆尾灯区域， 保留其中面积最大的那个区域， 最终得到检测出来的车辆尾灯区域。 步骤 S4, 基于车辆的多个显著部件， 对车辆进行跟踪从而获取车辆的运动 轨迹： 在本发明的实施例中， 使用扩展卡尔曼滤波方法进行车辆的跟踪， 进而得 到车辆的运动轨迹， 在扩展卡尔曼滤波方法中， 将车牌的中心位置及速度信息 作为系统状态变量。

图 2是本发明基于显著部件的跟踪算法流程图， 如图 2所示， 所述步骤 S4 进一步包括以下步骤：

步骤 S41 , 根据前一帧图像中的车辆定位结果， 预测当前帧的车辆位置； 步骤 S42,将当前帧中的车辆部件定位结果作为测量� �，对于每一个跟踪车 辆， 通过判断其预测位置与测量值之间的欧式距离 ， 以及车辆部件的稳定状态， 搜索其观察值。

有关车辆部件的稳定状态定义如下： 如果一个车辆部件连续跟踪 3帧以上， 即认为该部件为稳定状态。

在该步骤中， 采用如下规则 （RULE)在预测位置搜索车辆目标位置的观察 值：

RULE 1： 如果预测位置附近检测到稳定状态的车牌， 但车灯状态不稳定， 则用车牌表示车辆， 并作为观察值。 同时， 更新车灯的稳定状态及其与车牌的 相对位置；

RULE 2： 如果预测位置附近没有检测到车牌， 或者检测到车牌但是该车牌 为不稳定状态， 则进一步搜索车灯， 如果有稳定的车灯， 用车灯表示车辆， 并 作为观察值；

RULE 3： 如果预测位置检测到稳定车牌， 同时搜索到稳定车灯， 则判断它 们与预测位置的距离， 取距离近者作为观察值； 同时更新车牌与车灯之间的相 对位置。

RULE 4： 如果预测位置附近搜索到不稳定的车牌， 且没有稳定车灯， 则取 车牌位置作为观察值；

RULE 5： 如果预测位置附近既没有稳定车牌， 也没有稳定车灯， 认为当前 目标丢失跟踪。 如果某个目标连续三帧丢失跟踪， 即认为该目标退出场景。 步骤 S43，通过上一步骤获得的车辆位置观察值，加 权计算预测值与观察值， 进而更新预测值， 作为目标的当前位置。

步骤 S5, 设置各种违章检测区域， 分析车辆的运动轨迹， 完成车辆违章检 本实施例的交通违章检测系统硬件平台包括一 台 500万像素的高清摄像机， 一台工控机， 以及两盏补光灯。 其中高清相机的分辨率为 2592*1936， 帧速为每 秒 8.3帧， 工控机的处理器为 θΗΌ ^σΜ ) ί5 - 3210M CPU@2.50GHZ和 4G内存， 补光 灯在夜间或光照不足条件下开启， 其补光范围可以达到三车道。 工控机与摄像 机之间的数据传输采用网线方式。 下面， 进一步描述交通违章检测的详细步骤: 本发明的实施例检测三种交通违章， 包括闯红灯、 压线行驶和不按规定车 道行驶， 运行在工控机上的配置软件如图 3 所示， 各种违章类型的检测区域设 置和轨迹分析方法如下：

( 1 ) 闯红灯： 在每条车道的停车线前后各设置一个检测区域 ， 如图 4 (a) 中的黄色四边形所示。 记录并分析每辆车的运动轨迹， 如果当前车道的信号灯 状态为红灯， 并且车辆轨迹依次穿过设置的两个检测区域， 则认为该车辆闯红 灯。 提取车辆在停止线前、 压停止线和驶过停止线的三张全景图片， 以及车辆 的一张特写图片， 并调用车牌识别程序进行车牌识别， 最后将四张图片进行拼 接并标注违章信息， 包括违章时间、 路口位置、 车道、 车牌号码等， 供交通管 理部门做后续处理， 如图 4 (b)所示。 车牌识别过程不作为本发明的核心内容， 在此不再赘述。

(2) 压线行驶： 在图像中， 标记禁止压线行驶的车道线区域， 如图 5 (a) 中的黄色四边形所示。 记录并分析车辆的运动轨迹， 如果车辆轨迹经过该检测 区域， 则认为该车辆压线行驶。 提取车辆压线状态下的全景图片， 以及一张特 写图片， 并调用车牌识别程序进行车牌识别， 最后将两张图片进行拼接并标注 违章信息， 供交通管理部门做后续处理， 如图 5 (b) 所示。

(3 ) 不按规定车道行驶： 在交通图像中进行车辆非法左右转、 非法直行检 测， 本质上， 是检测车辆由一条车道区域驶入另一条车道区 域， 如车辆在左转 车道驶入直行车道， 即认定为非法直行。 在图像中的两条车道标记两个检测区 域， 如图 6 ( a) 中的黄色四边形所示。 如果车辆的运行轨迹， 依次经过两个检 测区域， 则认为该车辆不按规定车道行驶。 提取车辆变换车道前、 变换车道中、 变换车道后的三张全景图片， 以及车辆的一张特写图片， 并调用车牌识别程序 进行车牌识别， 最后将四张图片进行拼接并标注违章信息， 供交通管理部门做 后续处理， 如图 6 (b) 所示。

由此完成基于显著部件模型的交通违章检测过 程。

以上所述是对本发明具体实施例的描述， 并不用于限制本发明， 凡在本发 明的精神和原则之内， 所做的任何等同替换等， 均应包含在本发明的保护范围 之内。