Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD AND DEVICE FOR TRACKING VEHICLE
Document Type and Number:
WIPO Patent Application WO/2013/053159
Kind Code:
A1
Abstract:
A method and a device for tracking a vehicle are used for improving the efficiency of an intelligent transportation system. The method comprises: determining a license plate recognized in a detection region of a current video image frame as a current target point (101); if license plate information of the current target point matches license plate information of a target point to be tracked, determining the current target point as the target point to be tracked and updating tracking list information of the target point to be tracked (103); otherwise, determining the current target point as a new target point to be tracked, and establishing tracking list information of the new target point to be tracked (104).

Inventors:
WANG XIAOMAN (CN)
CHEN WEIQIANG (CN)
LIU XIN (CN)
LIU WEI (CN)
LIU SHAO (CN)
Application Number:
PCT/CN2011/081782
Publication Date:
April 18, 2013
Filing Date:
November 04, 2011
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
QINGDAO HISENSE TRANSTECH CO LTD (CN)
WANG XIAOMAN (CN)
CHEN WEIQIANG (CN)
LIU XIN (CN)
LIU WEI (CN)
LIU SHAO (CN)
International Classes:
G08G1/017; G06K9/64
Domestic Patent References:
WO2008088409A22008-07-24
Foreign References:
CN101727748A2010-06-09
CN102074113A2011-05-25
CN101247479A2008-08-20
CN1909012A2007-02-07
CN101556697A2009-10-14
CN101383003A2009-03-11
US20010010540A12001-08-02
US20100208986A12010-08-19
JP2006059252A2006-03-02
Attorney, Agent or Firm:
TDIP & PARTNERS (CN)
北京同达信恒知识产权代理有限公司 (CN)
Download PDF:
Claims:
权 利 要 求 1、一种车辆跟踪的方法, 其特征在于, 包括:

将从当前帧视频图像的检测区域内识别出的一个车牌确定为当前目标点;

将所述当前目标点的车牌信息分别与每个待跟踪目标点的车牌信息进行匹配; 若所述当前目标点的车牌信息与一个待跟踪目标点的车牌信息匹配, 则确定所述当前 目标点为所述待跟踪目标点, 并更新所述待跟踪目标点的跟踪列表信息; 否则,

确定所述当前目标点为新的待跟踪目标点, 并建立所述新的待跟踪目标点的跟踪列表 信息, 其中, 各跟踪列表信息包括: 对应待跟踪目标点在每帧视频图像上的位置信息和车 牌字符标识。

2、 如权利要求 1所述的方法, 其特征在于, 将所述当前目标点的车牌信息分别与每个 待跟踪目标点的车牌信息进行匹配包括:

根据所述当前目标点在当前帧视频图像上的位置信息, 以及每个待跟踪目标点在上一 帧视频图像上的位置信息, 确定所述当前目标点与每个待跟踪目标点的距离;

若所述当前目标点与每个待跟踪目标点的距离中的最小距离小于第一阈值, 则确定所 述当前目标点的车牌信息与所述最小距离对应的第一待跟踪目标点的车牌信息匹配; 否 则,

将所述当前目标点的字符标识信息与每个待跟踪目标点的字符标识信息进行匹配, 根 据匹配结果确定所述当前目标点的车牌信息是否与一个待跟踪目标点的车牌信息匹配。

3、 如权利要求 2所述的方法, 其特征在于, 将所述当前目标点的字符标识信息与每个 待跟踪目标点的字符标识信息进行匹配, 根据匹配结果确定所述当前目标点的车牌信息是 否与一个待跟踪目标点的车牌信息匹配包括:

若所述当前目标点与每个待跟踪目标点的距离中的次小距离小于第二阔值, 且所述当 前目标点的车牌字符标识与所述次小距离对应的第二待跟踪目标的车牌字符标识中相同 字符的个数大于设定个数, 则确定所述当前目标点的车牌信息与所述第二待跟踪目标点的 车牌信息匹配; 否则, 确定所述当前目标点的车牌信息不与任一个待跟踪目标点的车牌信 息匹配。

4、 如权利要求 1所述的方法, 其特征在于, 在当前帧视频图像的检测区域内未检测到 指定的一个待跟踪目标点时, 该方法还包括:

从未检测到的待跟踪目标点的跟踪列表信息中获取该未检测到的待跟踪目标点在至 少三帧视频图像中的位置信息;

根据所述至少三个位置信息, 确定当前帧视频图像中的预测区域;

对所述预测区域中的车牌进行模板匹配, 获取模板匹配过程中得到的各目标区域的像 素灰度差均值中的最小均值; 当所述最小均值小于第三阈值时, 将所述最小均值对应的目标区域确定为所述未检测 到的待跟踪目标点, 并更新所述未检测到的待跟踪目标点的跟踪列表信息。

5、 如权利要求 4所述的方法, 其特征在于, 当所述最小均值大于或等于第三阈值时, 还包括:

在所述预测区域内对所述未检测到的待跟踪目标点的车牌进行粗定位, 当粗定位成功 时, 确定粗定位到的车牌为所述未检测到的待跟踪目标点, 并更新所述未检测到的待跟踪 目标点的跟踪列表信息。

6、 如权利要求 1所述的方法, 其特征在于, 各跟踪列表信息中还包括: 每帧视频图像 的帧号和存储位置信息; 该方法还包括:

当指定的待跟踪目标满足设定的捕获条件时, 从所述指定的待跟踪目标的跟踪列表信 息中查找到最小视频图像帧号, 并确定最小视频图像帧号对应的存储位置信息;

根据所述存储位置信息, 从图像緩存区中提取对应的视频图像, 并将提取的视频图像 确定为捕获图像。

7、一种车辆跟踪的装置, 其特征在于, 包括:

识别单元, 用于将从当前帧视频图像的检测区域内识别出的一个车牌确定为当前目标 匹配单元, 用于将所述当前目标点的车牌信息分别与每个待跟踪目标点的车牌信息进 行匹配;

第一跟踪单元, 用于当所述当前目标点的车牌信息与一个待跟踪目标点的车牌信息匹 配时, 确定所述当前 标点为所述待跟踪目标点, 并更新所述待跟踪目标点的跟踪列表信 息; 当所述当前目标点的车牌信息不与任一个待跟踪目标点的车牌信息匹配时, 确定所述 当前目标点为新的待跟踪目标点, 并建立所述新的待跟踪目标点的跟踪列表信息, 其中, 各跟踪列表信息包括: 对应待跟踪目标点在每帧视频图像上的位置信息和车牌字符标识。

8、 如权利要求 7所述的装置, 其特征在于,

所述匹配单元, 具体用于根据所述当前 标点在当前帧视频图像上的位置信息, 以及 每个待跟踪目标点在上一帧视频图像上的位置信息, 确定所述当前目标点与每个待跟踪目 标点的距离; 若所述当前目标点与每个待跟踪目标点的距离中的最小距离小于第一阈值, 则确定所述当前目标点的车牌信息与所述最小距离对应的第一待跟踪目标点的车牌信息 匹配; 否则, 将所述当前目标点的字符标识信息与每个待跟踪目标点的字符标识信息进 行匹配, 根据匹配结果确定所述当前目标点的车牌信息是否与一个待跟踪目标点的车牌信 息匹配。

9、 如权利要求 8所述的装置, 其特征在于,

所述匹配单元, 还具体用于当所述当前目标点与每个待跟踪目标点的距离中的次小距 离小于第二阈值, 且所述当前目标点的车牌字符标识与所述次小距离对应的第二待跟踪目 标的车牌字符标识中相同字符的个数大于设定个数时, 确定所述当前目标点的车牌信息与 所述第二待跟踪目标点的车牌信息匹配; 当所述当前目标点与每个待跟踪目标点的距离中 的次小距离不小于第二阈值或者所述当前目标点的车牌字符标识与所述次小距离对应的 第二待跟踪目标的车牌字符标识中相同字符的个数不大于设定个数时, 确定所述当前目标 点的车牌信息不与任一个待跟踪目标点的车牌信息匹配。

10、 如权利要求 7所述的装置, 其特征在于, 还包括:

第二跟踪单元, 用于在当前帧视频图像的检测区域内未检测到指定的一个待跟踪目标 点时, 从未检测到的待跟踪目标点的跟踪列表信息中获取该未检测到的待跟踪目标点在至 少三帧视频图像中的位置信息, 根据所述至少三个位置信息, 确定当前帧视频图像中的预 测区域, 对所述预测区域中的车牌进行模板匹配, 获取模板匹配过程中得到的各目标区域 的像素灰度差均值中的最小均值, 当所述最小均值小于第三阈值时, 将所述最小均值对应 的目标区域确定为所述未检测到的待跟踪目标点, 并更新所述未检测到的待跟踪目标点的 跟踪列表信息。

11、 如权利要求 10所述的装置, 其特征在于,

所述第二跟踪单元, 还用于当所述最小均值大于或等于第三阈值时, 在所述预测区域 内对所述未检测到的待跟踪目标点的车牌进行粗定位, 当粗定位成功时, 确定粗定位到的 车牌为所述未检测到的待跟踪目标点, 并更新所述未检测到的待跟踪目标点的跟踪列表信 息。

12、 如权利要求 7所述的装置, 其特征在于, 在各跟踪列表信息中还包括: 每帧视频 图像的帧号和存储位置信息; 该装置还包括:

捕获单元, 用于当指定的待跟踪目标满足设定的捕获条件时, 从所述指定的待跟踪目 标的跟踪列表信息中查找到最小视频图像帧号, 并确定最小视频图像帧号对应的存储位置 信息; 根据所述存储位置信息, 从图像緩存区中提取对应的视频图像, 并将提取的视频图 像确定为捕获图像。

Description:
一种车辆跟踪的方法及装置 本申请要求在 2011年 10月 09日提交中国专利局、 申请号为 201110302716.3、 发明名称 为"一种车辆跟踪的方法及装置 "的中国专利申请的优先权, 其全部内容通过引用结合在本 申请中。 技术领域

本发明涉及智能交通监控技术领域, 特别涉及一种车辆跟踪的方法及装置。 背景技术

随着城市的迅猛发展, 城市的人口和车辆在急剧增长, 交通流量日益加大, 交通拥堵 现象日益严重, 交通问题已经成为城市管理中的重大问题, 其严重阻碍了城市的发展, 特 别是各种车辆违章现象的随时随地的发生, 使得城市交通的监控变得非常困难, 由此出现 了采用运动目标视频跟踪技术监控车辆的智能 交通系统。

目前车辆跟踪方法包括: 基于车牌的跟踪捕获方法以及基于运动信息的 跟踪捕获方 法。 其中, 基于车牌的跟踪捕获方法包括: 确定当前帧视频图像中当前目标点的地理位置 信息, 提取前一帧视频图像中所有已跟踪上目标点的 地理位置信息, 并获得当前目标点与 所有已跟踪上目标点之间的距离中的最小距离 , 当该最小距离小于设定值时, 则确定当前 目标点为最小距离对应的已跟踪上目标点。 这种方法必须首先定位出当前目标点的地理位 置信息, 对于未定位的车辆容易漏车, 跟踪错误的几率也比较大。

基于运动信息的跟踪捕获方法包括: 将当前帧视频图像中设定虚拟线圏中的图像与 前 一帧视频图像中设定虚拟线圏中的图像进行比 较, 获得帧差图, 遍历帧差图中每个像素点 是否为白点, 若白点的个数超过帧差图中像素点总数的一半 , 则将虚拟线圏的状态设定为 1 , 否则设定为 0。 当虚拟线圏状态由 0变为 1时, 则确定有车辆进入虚拟线圏, 接下来继续 判断虚拟线圏中的白点个数是否超过虚拟线圏 中像素点总数的一半, 在超过时, 确定该车 辆还在通过虚拟线圏的过程中; 当虚拟线圏状态由 1变为 0时,确定车辆从虚拟线圏中离开, 此时, 捕获车辆。 这种方法的局限性比较大, 具有重复捕获、 漏捕获等缺点, 特别在交叉 路口, 重复捕获的可能性会更大。

可见, 目前车辆跟踪方法的准确性还不高, 直接影响了智能交通系统的效率。 发明内容

本发明实施例提供一种车辆跟踪方法及装置, 用以提高智能交通系统的效率。

本发明实施例提供一种车辆跟踪方法, 包括: 将从当前帧视频图像的检测区域内识别出的一 个车牌确定为当前目标点; 将所述当前目标点的车牌信息分别与每个待跟 踪目标点的车牌信息进行匹配; 若所述当前目标点的车牌信息与一个待 3艮踪目标点的车牌信息匹配, 则确定所述当前 目标点为所述待跟踪目标点, 并更新所述待跟踪目标点的跟踪列表信息; 否则,

确定所述当前目标点为新的待跟踪目标点, 并建立所述新的待跟踪目标点的跟踪列表 信息, 其中, 各跟踪列表信息包括: 对应待跟踪目标点在每帧视频图像上的位置信 息和车 牌字符标识。

本发明实施例提供一种车辆跟踪的装置, 包括:

识别单元, 用于将从当前帧视频图像的检测区域内识别出 的一个车牌确定为当前目标 点;

匹配单元, 用于将所述当前目标点的车牌信息分别与每个 待跟踪目标点的车牌信息进 行匹配;

第一跟踪单元, 用于当所述当前目标点的车牌信息与一个待跟 踪目标点的车牌信息匹 配时, 确定所述当前目标点为所述待跟踪目标点, 并更新所述待跟踪目标点的跟踪列表信 息; 当所述当前 标点的车牌信息不与任一个待跟踪 标点的车牌信息匹配时, 确定所述 当前目标点为新的待跟踪目标点, 并建立所述新的待跟踪目标点的跟踪列表信息 , 其中, 各跟踪列表信息包括: 对应待跟踪目标点在每帧视频图像上的位置信 息和车牌字符标识。

本发明实施例中, 对于检测区域内的车辆, 采用车牌信息匹配进行车辆跟踪, 这样, 只需要较小的计算量就可以实现准确的车辆跟 踪, 从而, 不需要大量的人员参与车辆跟踪 过程中, 提高了智能交通系统的效率。 附图说明

图 1为本发明实施例中车辆跟踪的流程图;

图 2为本发明实施例中非检测区域内车辆跟踪的 程图;

图 3为本发明实施例中车辆跟踪装置的结构图。 具体实施方式

本发明实施例中, 通过摄像头获取了当前帧图像后, 对当前帧图像检测区域内的每辆 车的车牌进行识别, 将识别出的每个车牌的车牌信息与每个待跟踪 目标点的车牌信息进行 匹配, 根据匹配结果确定识别出的每个车牌是否为待 跟踪目标点。 其中, 当识别出的一个 车牌的车牌信息与一个待跟踪目标点的车牌信 息匹配, 则该识别出的车牌为该待跟踪目标 点; 当识别出的车牌的车牌信息与所有的待跟踪目 标点的车牌信息都不匹配时, 则确定该 识别出的车牌为新的待跟踪目标点。 而对于未在检测区域中出现的待跟踪目标点, 通过预测轨道跟踪, 确定该待跟踪目标 点是否还在当前帧视频图像中, 其中, 当预测区域中出现的目标车牌与待跟踪目标点 匹配 时, 确定该目标车牌为待跟踪目标点, 否则, 待跟踪目标点未出现在该当前帧视频图像中, 即未被跟踪上。

本发明实施例中, 通过摄像头可获取多车道中的车辆画面信息, 根据路口的情况及摄 像头安装的位置, 确定视频图像中的检测区域及跟踪区域, 检测区域设置的原则为, 普通 车辆在正常的速度下在检测区域出现的帧数在 10帧及以上, 一般将视频图像下方 1/4到 1/3 确定为检测区域; 将从检测区域的上端到对面路口的斑马线之间 的区域设置为跟踪区域, 在跟踪区域内不对车辆进行定位及识别, 只对车辆进行预测轨道跟踪。 这样, 既保证车牌 识别准确, 车辆可以正确 Ϊ艮踪, 并节省时间。

本发明实施例中, 每个待跟踪目标点都已在前面的视频图像中出 现了, 即待跟踪目标 点已在上一帧视频图像中出现了, 或在上上一帧视频图像中出现了, 因此, 已存储了每个 待跟踪目标点的跟踪列表信息, 其中, 跟踪列表信息包括: 待跟踪目标点在每帧视频图像 上的位置信息, 车牌字符标识; 还可以包括每帧视频图像的帧号和存储位置信 息。 例如: 当前视频帧图像为第 110帧视频图像, 一个待跟踪目标点已分别出现在第 108、 109帧视频图 像, 则该待跟踪目标点的跟踪列表信息包括: 车牌字符标识: 0012300, 出现在第 108帧视 频图像上的位置坐标为 (xl , yl ), 第 108帧视频图像存储在存储单元 8中, 出现在第 109帧 视频图像上的位置坐标为 (x2 , y2 ), 第 109帧视频图像存储在存储单元 9中。

存储了每个待跟踪目标点的跟踪列表信息后, 对于检测区域内的车辆, 采用车牌信息 匹配进行跟踪, 对于未出现在检测区域内的待跟踪目标点, 还需确定该待跟踪目标点是否 出现在跟踪区域, 即还需采用预测轨道跟踪。

下面结合说明书附图对本发明实施例作进一步 详细描述。

参见图 1 , 本发明实施例提供的车辆跟踪方法的具体过程 包括:

步驟 101 : 从当前帧视频图像的检测区域内识别出一个车 牌, 并将识别出的车牌确定 为当前目标点。

通过摄像头获取了当前帧视频图像并存入图像 緩存区后, 通过车牌定位、 字符分割、 车牌识别可识别出该当前帧视频图像的检测区 域内的一个车牌, 并获得了该车牌的车牌信 息, 车牌信息包括: 车牌字符标识, 以及该车牌在当前帧视频图像上的位置信息。

将识别出的车牌确定为当前目标点, 并获得了当前目标点的车牌信息。

步骤 102: 将当前目标点的车牌信息分别与每个待跟踪目 标点的车牌信息进行匹配, 即在所有的待跟踪目标点中查找是否有一个待 跟踪目标点的车牌信息与当前目标点的车 牌信息匹配, 若有, 执行步骤 103 , 否则, 执行步骤 104。

由于车牌信息包括: 车牌字符标识, 以及该车牌在当前帧视频图像上的位置信息。 因 此, 这里可首先根据位置信息进行匹配, 若匹配不成功后, 再采用车牌字符标识进行匹配。 或者, 直接采用车牌字符标识进行匹配。

较佳地, 先才 M居位置信息进行匹配, 然后采用车牌字符标识进行匹配, 这样, 计算量 小, 匹配比较过程简单。 其中, 根据位置信息进行匹配具体包括:

从每个待跟踪目标点的跟踪列表信息中, 获取每个待跟踪目标点在上一帧视频图像上 的位置信息, 然后, 根据当前目标点在当前帧视频图像上的位置信 息, 以及每个待跟踪目 标点在上一帧视频图像上的位置信息, 确定当前目标点与每个待跟踪目标点的距离, 并将 当前目标点与每个待跟踪目标点的距离中的最 小距离与第一阈值进行比较, 若当前目标点 与每个待跟踪目标点的距离中的最小距离小于 第一阈值, 则确定该当前目标点的车牌信息 与最小距离对应的第一待跟踪目标点的车牌信 息匹配, 执行步驟 103 , 否则, 采用车牌字 符标识进行匹配, 即将当前目标点的字符标识信息与每个待跟踪 目标点的字符标识信息进 行匹配, 并根据匹配结果确定当前目标点的车牌信息是 否与一个待跟踪目标点的车牌信息 匹配。

第一阈值是车牌在图像中的最大宽度乘于一个 比率值, 该比率值大于 1, 一般, 最大 宽度是蓝色车牌在图像最底部时的宽度。

本发明实施例中, 采用车牌字符标识进行匹配, 可直接将当前目标点的车牌字符标识 与每个待跟踪目标点的车牌字符标识进行比对 , 当相同字符的个数大于设定个数时, 确定 当前目标点的车牌信息与对应待跟踪目标点的 车牌信息匹配, 执行步骤 103 , 否则, 执行 步驟 104。

为进一步减少计算量, 还可将当前 标点与每个待跟踪目标点的距离中的次小距离 与 第二阈值进行比较, 当次小距离小于第二阈值, 再将当前目标点的车牌字符标识与次小距 离对应的第二待跟踪目标点的车牌字符标识进 行比对, 当相同字符的个数大于设定个数 时, 确定当前目标点的车牌信息与第二待跟踪目标 点的车牌信息匹配, 执行步骤 103 , 其 他情况都确定当前目标点的车牌信息不与任一 个待跟踪目标点的车牌信息匹配, 并执行步 骤 104。 即当当前目标点与每个待跟踪目标点的距离中 的次小距离小于第二阈值, 且当前 目标点的车牌字符标识与次小距离对应的第二 待跟踪目标的车牌字符标识中相同字符的 个数大于设定个数时, 确定当前目标点的车牌信息与第二待跟踪目标 点的车牌信息匹配, 执行步骤 103 , 否则, 执行步骤步骤 104。 其中, 第二阈值大于第一阔值, 也与车牌在图像 中的最大宽度有关。

这样, 只需比对一次, 就可确定当前目标点的车牌信息是否与待跟踪 目标点的车牌信 息匹配, 极大地节省了资源。

步骤 103: 将当前目标点确定为车牌信息匹配的待跟踪目 标点, 并更新待跟踪目标点 的跟踪列表信息。 在所有的待跟踪目标点中已查找到一个待跟踪 目标点的车牌信息与当前目标点的车 牌信息匹配, 因此, 将当前目标点确定为车牌信息匹配的待跟踪目 标点, 并更新待跟踪目 标点的跟踪列表信息。 即将该待跟踪目标点在当前帧视频图像上的位 置信息, 当前帧视频 图像的帧号和存储位置信息添加到跟踪列表信 息中。

仍以上述的当前视频帧图像为第 110帧视频图像, 一个待跟踪目标点已分别出现在第

108、 109帧视频图像上为例, 当识别出的当前目标点为该待跟踪目标点时, 这里, 更新后 的跟踪列表信息包括: 车牌字符标识: 0012300, 出现在第 108帧视频图像上的位置坐标为 ( xl , yl ), 第 108帧视频图像存储在存储单元 8中, 出现在第 109帧视频图像上的位置坐标 为 (x2 , y2 ), 第 109帧视频图像存储在存储单元 9中, 出现在第 110帧视频图像上的位置坐 标为 (x3 , y3 ), 第 10帧视频图像存储在存储单元 10中。

步骤 104: 将当前目标点确定为新的待跟踪目标点, 并建立新的待跟踪目标点的跟踪 列表信息。

由于在所有的待跟踪目标点中未查找到一个待 跟踪目标点的车牌信息与当前目标点 的车牌信息匹配, 因此, 将当前目标点确定为新的待跟踪目标点, 并建立新的待跟踪目标 点的跟踪列表信息。 即该新的待跟踪目标点的跟踪列表信息包括: 车牌字符标识, 新的待 跟踪目标点在当前帧视频图像上的位置信息, 以及当帧视频图像的帧号和存储位置信息。

重复上述过程, 可将从检测区域内识别出的每个车牌进行定位 , 并确定每个车牌为待 跟踪目标点或为新的待跟踪目标点。 若通过上述过程, 对于每个待跟踪目标点, 在当前帧 视频图像的检测区域内都能确定一个目标点与 其匹配, 那么跟踪过程结束。 若还有待跟踪 目标点未出现在当前帧视频图像的检测区域内 时, 则该待跟踪目标点可能会出现跟踪区 域, 因此, 在当前帧视频图像的检测区域内未检测到指定 的一个待跟踪目标点时, 还需进 行后续的预测轨道跟踪过程。 例如: 待跟踪目标点分别为车辆 1、 车辆 2和车辆 3。 在当前 帧视频图像的检测区域内出现了 4个目标点, 若通过上述跟踪过程, 确定这 4个目标点分别 为车辆 1、 车辆 2、 车辆 3和车辆 4, 此时, 由于每个待跟踪目标点都已被跟踪上了, 因此跟 踪流程结束。 若通过上述跟踪过程, 确定这 4个目标点分别为车辆 1、 车辆 2、 车辆 4和车辆 5。 此时, 由于车辆 3未被跟踪上, 车辆 3可能会出现在跟踪区域, 因此, 还需进行后续的 预测轨道跟踪过程。

因此, 本发明实施例中在当前帧视频图像的检测区域 内未检测到指定的一个待跟踪目 标点时, 车辆跟踪过程还包括预测轨迹跟踪, 参见图 2 , 具体包括:

步骤 201 : 从未检测到的待跟踪目标点的跟踪列表信息中 获取该未检测到的待跟踪目 标点在至少三帧视频图像中的位置信息。

从未检测到的待跟踪目标点的跟踪列表信息中 获取该未检测到的待跟踪目标点在前 面任意三帧, 四帧或多帧视频图像中的位置信息, 较佳地, 获取该待跟踪目标点在前三帧 视频图像中的位置信息, 分别为 Al ( xl, yl ), A2 ( x2, y2 ), A3 ( x3 , y3 )。

步骤 202: 根据获取的位置信息, 确定当前帧视频图像中的预测区域。

已获取了待跟踪目标点在至少三帧视频图像中 的位置信息, 根据两点连成一条直线的 原理, 分别计算任意两点构成的直线的斜率和截距, 然后获得平均斜率和平均截距, 有了 平均斜率和平均截距, 即可根 y=ax+b的原理, 计算该待跟踪目标点在当前帧视频图像中 的位置信息。 最后以该位置信息为中心的设定区域为预测区 域。 预测区域的大小与车牌的 大小有关。

例如: 获取的位置信息分别为 Al ( xl , yl ), A2 ( x2, y2 ), A3 ( x3 , y3 ), 分别计算 直线 Al A2的斜率 tmpSlopel和截距 tmpOffsetl , 直线 A1 A3的斜率 tmpSlope2和截距 tmpOfFset2, 直线 A2A3的斜率 tmpSlope3和截距 tmpOffset3 , 然后求出平均斜率 Slope和平均 截距 Offset, 有了斜率和截距, 可以根据 =810 6 ( X ) +Offset, 计算待跟踪目标在当前帧视 频图像上可能出现的大致位置 B ( X, y )。 将以 B ( X, y )为中心的设定区域确定为预测区 域。

步驟 203: 对预测区域中的车牌进行模板匹配, 获取模板匹配过程中得到的各目标区 域的像素灰度差均值中的最小均值。

将待跟踪目标点的车牌图像作为模板, 将模板的左上角点和预测区域的左上角点重 合, 将与模板大小一致的一块区域作为当前目标区 域, 将模板与当前目标区域中对应像素 的灰度值作差, 获得绝对值, 并将当前目标区域中所有像素对应的绝对值取 和, 将取和结 果除以模板中的像素总数得到当前目标区域的 像素灰度差均值; 然后, 以左上角点的下一 个像素为重合点, 仍然进行上述模板匹配过程, 直至遍历预测区域中每个像素, 获得每个 目标区域对应的均值, 比较每个目标区域对应的均值, 获得模板匹配的最小均值。

步骤 204: 将模板匹配的最小均值与第三阈值进行比较, 当最小均值小于第三阈值时, 执行步骤 205 , 否则, 执行步骤 206。

步驟 205 : 将最小均值对应的目标区域确定为未检测到的 待跟踪目标点, 并更新该未 检测到的待跟踪目标点的跟踪列表信息。

对预测区域中的车牌进行模板匹配时, 获得每个目标区域对应的像素灰度差均值, 当 最小均值小于第三阈值时, 确定最小均值对应的目标区域为真目标, 即该目标区域为未检 测到的待跟踪目标点,并更新该未检测到的待 跟踪目标点的跟踪列表信息。更新过程包括: 将目标区域的位置信息 c ( X, y ), 以及当前帧视频图像的帧号和存储位置信息添 加到跟踪 列表信息中。

步骤 206: 在预测区域内进行粗定位, 粗定位成功时, 执行步骤 207, 否则, 粗定位不 成功, 确定当前帧视频图像中未出现该未检测到的待 跟踪目标点。

获取预测区域的灰度图像,并对灰度图像进行 二值化处理,获得二值化图像,利用 sobel 算子提取二值化图像的边缘, 并对整幅边缘二值化图进行逐行扫描, 以根据车牌垂直边缘 的跳变的特点找到疑似的车牌扫描区域: 在当前扫描行的特定像素段内, 如果像素跳变的 个数达到一定值, 则确定该特定像素段为疑似车牌段, 待所有行扫描结束后, 再将疑似车 牌段合并, 具体的, 将邻近行的且左右位置也比较接近的疑似车牌 段合并, 就会形成疑似 的车牌扫描区域, 例如, 第 1行的疑似车牌段 A中最左边像素为第 3个像素、 最右边像素为 第 83个像素, 第 2行的疑似车牌段 B中最左边的像素为第 2个像素、 最右边像素为第 82个像 素, 第 3行的疑似车牌段 C中最左边的像素为第 3个像素、 最右边像素为第 83个像素, 则可 以认为第 1-3行的的疑似车牌段的左右位置比较接近, 并将这三个疑似车牌段进行合并,得 到疑似的车牌扫描区域, 该疑似的车牌扫描区域的第一行为疑似车牌段 A、 第二行为疑似 车牌段 B、 第三行为疑似车牌段 C。 如果这个疑似的车牌扫描区域的高度小于 2倍车牌的高 度, 大于 1/2倍车牌的高度, 则确定粗定位成功, 并将该疑似的车牌扫描区域确定为粗定位 到的车牌, 否则, 粗定位不成功, 确定当前帧视频图像中未出现该未检测到的待 跟踪目标 步驟 207: 将粗定位到的车牌确定为未检测到的待跟踪目 标点, 并更新该未检测到的 待跟踪目标点的跟踪列表信息。

粗定位成功时, 已将疑似的车牌扫描区域确定为粗定位到的车 牌, 则获取该疑似的车 牌扫描区域的位置信息, 将该位置信息, 以及当前帧视频图像的帧号和存储位置信息添 加 到跟踪列表信息中。

通过上述过程, 可对未出现在当前帧视频图像的检测区域内的 待跟踪目标点进行跟 踪。 当然在本发明另一实施例中, 可不执行步驟 206和 207 , 即只进行模板匹配, 而不进行 粗定位。

本发明实施例中, 通过摄像头可获取多车道中的车辆画面信息, 将获取的当前帧视频 图像存入图像緩存区中, 在上述车辆跟踪完成后, 可根据设定条件对车辆进行捕获。

这里, 通过摄像头获取了当前帧视频图像后, 采用循环存入的方式将其存入图像緩存 区中, 当确定一个待跟踪^]标满足设定的捕获条件, 则从该待跟踪^]标的跟踪列表信息中 查找到该待跟踪目标的最小视频图像帧号, 并确定该最小视频图像帧号对应的存储位置信 息, 最后, 根据该存储位置信息, 从图像緩存区中提取对应的视频图像, 并将提取的视频 图像确定为捕获图像。

例如: 图像緩存区分配了 100个存储单元, 每个单元存储一帧视频图像, 每次摄像头 获取一帧视频图像, 就循环存入图像緩存区中, 并在待跟踪目标的跟踪列表信息中包括存 储位置信息。 当一个待跟踪目标连续出现在 10帧视频图像中, 或该待跟踪目标连续出现违 章情况时, 在待跟踪目标的跟踪列表信息中查找到最小视 频图像帧号, 以及确定最小视频 图像帧号对应的存储位置信息。 例如: 最小视频图像帧号为 103帧, 存储位置信息为第 3存 储单元。 则从第 3存储单元中提取第 103帧视频图像, 并第 103帧视频图像确定为捕获图像。 通过上述序列緩存式捕获算法,捕获车道都是 刚出现在视野中的图像,车辆信息清晰, 容易辨认。

根据上述车辆跟踪的过程, 可以构建一种车辆跟踪的装置, 参见图 3 , 包括: 识别单 元 100、 匹配单元 200和第一跟踪单元 300 , 其中,

识别单元 100 , 用于将从当前帧视频图像的检测区域内识别出 的一个车牌确定为当前 目标点。

匹配单元 200 , 用于将当前目标点的车牌信息分别与每个待跟 踪目标点的车牌信息进 行匹配。

第一跟踪单元 300, 用于当当前目标点的车牌信息与一个待跟踪目 标点的车牌信息匹 配时, 确定当前目标点为待跟踪目标点, 并更新待跟踪目标点的跟踪列表信息; 当当前目 标点的车牌信息不与任一个待跟踪目标点的车 牌信息匹配时, 确定当前目标点为新的待跟 踪目标点, 并建立新的待跟踪目标点的跟踪列表信息, 其中, 跟踪列表信息包括: 待跟踪 目标点在每帧视频图像上的位置信息, 车牌字符标识, 以及每帧视频图像的帧号和存储位 置信息。

其中, 匹配单元 200, 具体用于根据当前目标点在当前帧视频图像上 的位置信息, 以 及每个待跟踪目标点在上一帧视频图像上的位 置信息, 确定当前目标点与每个待跟踪目标 点的距离; 若当前目标点与每个待跟踪目标点的距离中的 最小距离小于第一阈值, 则确定 当前目标点的车牌信息与最小距离对应的第一 待跟踪目标点的车牌信息匹配; 否则, 将当 前目标点的字符标识信息与每个待跟踪目标点 的字符标识信息进行匹配, 根据匹配结果确 定当前目标点的车牌信息是否与一个待跟踪目 标点的车牌信息匹配。

其中, 匹配单元 200将当前目标点的字符标识信息与每个待跟踪 目标点的字符标识信 息进行匹配过程可直接当前目标点的车牌字符 标识与每个待跟踪目标的车牌字符标识进 行比对, 若相同字符的个数大于设定个数, 则确定当前目标点的车牌信息与待跟踪目标点 的车牌信息匹配, 否则确认不匹配。 或者, 该匹配单元 200 , 还具体用于当当前 标点与 每个待跟踪目标点的距离中的次小距离小于第 二阈值, 且当前目标点的车牌字符标识与次 小距离对应的第二待跟踪目标的车牌字符标识 中相同字符的个数大于设定个数时, 确定当 前目标点的车牌信息与第二待跟踪目标点的车 牌信息匹配; 当当前目标点与每个待跟踪目 标点的距离中的次小距离不小于第二阈值或者 当前目标点的车牌字符标识与次小距离对 应的第二待跟踪目标的车牌字符标识中相同字 符的个数不大于设定个数时, 确定当前目标 点的车牌信息不与任一个待跟踪目标点的车牌 信息匹配。

该车辆跟踪装置对于检测区域内的车辆, 采用车牌信息匹配进行跟踪, 对于未出现在 检测区域内的待跟踪目标点, 还需确定该待跟踪目标点是否出现在跟踪区域 , 即还需采用 预测轨迹进行跟踪, 因此, 该车辆跟踪装置还包括第二跟踪单元。 其中, 第二跟踪单元, 用于在当前帧视频图像的检测区域内未检测到 指定的一个待跟踪目标 点时, 从未检测到的待跟踪目标点的跟踪列表信息中 获取该未检测到的待跟踪目标点在至 少三帧视频图像中的位置信息, 根据至少三个位置信息, 确定当前帧视频图像中的预测区 域, 对预测区域中的车牌进行模板匹配, 获取模板匹配过程中得到的各目标区域的像素 灰 度差均值中的最小均值, 当最小均值小于第三阈值时, 将所述最小均值对应的目标区域确 定为该未检测到的待跟踪目标点, 并更新该未检测到的待跟踪目标点的跟踪列表 信息。

当最小均值大于或等于第三阈值时, 可确定待跟踪目标点未被跟踪上, 或者, 第二跟 踪单元进一步采用粗定位进行轨道跟踪, 因此, 该第二跟踪单元, 还用于当最小均值大于 或等于第三阈值时, 在预测区域内对该未检测到的待跟踪目标点的 车牌进行粗定位, 当粗 定位成功时, 确定粗定位到的车牌为该未检测到的待跟踪目 标点, 并更新该未检测到的待 跟踪目标点的跟踪列表信息。

上述车辆跟踪完成后, 还可根据设定条件对车辆进行捕获。 因此, 车辆跟踪装置还包 括: 捕获单元。

该捕获单元, 用于当指定的待跟踪^]标满足设定的捕获条件 , 从指定的待跟踪罔标 的跟踪列表信息中查找到最小视频图像帧号, 并确定最小视频图像帧号对应的存储位置信 息; 根据存储位置信息, 从图像緩存区中提取对应的视频图像, 并将提取的视频图像确定 为捕获图像。

本发明实施例中, 对于检测区域内的车辆, 采用车牌信息匹配进行跟踪, 对于未出现 在检测区域内的待跟踪目标点, 还需确定该待跟踪目标点是否出现在跟踪区域 , 即还需采 用预测轨道进行跟踪。 这样, 只需要较小的计算量就可以实现准确的车辆跟 踪, 从而, 不 需要大量的人员参与车辆跟踪过程中, 提高了智能交通系统的效率。 并且, 准确的跟踪还 有助于违章事件的判断。

另外, 采用序列緩存捕获算法, 捕获的车辆都是刚出现的视频图像, 这样, 车辆信息 清洗, 容易辨认。

本领域内的技术人员应明白, 本发明的实施例可提供为方法、 系统、 或计算机程序产 品。 因此, 本发明可釆用完全硬件实施例、 完全软件实施例、 或结合软件和硬件方面的实 施例的形式。 而且, 本发明可釆用在一个或多个其中包含有计算机 可用程序代码的计算机 可用存储介质(包括但不限于磁盘存储器、 CD-ROM、 光学存储器等)上实施的计算机程 序产品的形式。

本发明是参照根据本发明实施例的方法、 设备(系统)、 和计算机程序产品的流程图 和 /或方框图来描述的。 应理解可由计算机程序指令实现流程图和 /或方框图中的每一流 程和 /或方框、 以及流程图和 /或方框图中的流程和 //或方框的结合。 可提供这些计算机 程序指令到通用计算机、 专用计算机、 嵌入式处理机或其他可编程数据处理设备的处 理器 以产生一个机器, 使得通过计算机或其他可编程数据处理设备的 处理器执行的指令产生用 于实现在流程图一个流程或多个流程和 /或方框图一个方框或多个方框中指定的功能 装置。

这些计算机程序指令也可存储在能引导计算机 或其他可编程数据处理设备以特定方 式工作的计算机可读存储器中, 使得存储在该计算机可读存储器中的指令产生 包括指令装 置的制造品, 该指令装置实现在流程图一个流程或多个流程 和 /或方框图一个方框或多个 方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他 可编程数据处理设备上, 使得在计算机 或其他可编程设备上执行一系列操作步骤以产 生计算机实现的处理, 从而在计算机或其他 可编程设备上执行的指令提供用于实现在流程 图一个流程或多个流程和 /或方框图一个 方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例, 但本领域内的技术人员一旦得知了基本创造性 概 念, 则可对这些实施例作出另外的变更和修改。 所以, 所附权利要求意欲解释为包括优选 实施例以及落入本发明范围的所有变更和修改 。

显然, 本领域的技术人员可以对本发明进行各种改动 和变型而不脱离本发明的精神和 范围。这样,倘若本发明的这些修改和变型属 于本发明权利要求及其等同技术的范围之内, 则本发明也意图包含这些改动和变型在内。