本发明涉及一种目标投影方法以及运用该方法 的目标投影系统，更具体地 说， 涉及一种具有验证过程的目标投影方法以及运 用该方法的目标投影系统。 背景技术

在以摄像机为获取信息的系统中，从图像中正 确的提取可利用的信息是关 键。 对目标识别正确性的判断主要依靠的是目标的 形状， 颜色和尺寸等信息， 对两个摄像机间识别目标的匹配主要依靠的就 是极线约束和顺序一致性约束。 在采用双目摄像机的系统中，采用视差原理来 实现三维目标的建立。这种系统 的缺点是目标的识别， 匹配和建立的正确性验证较为困难。 发明内容

本发明要解决的技术问题在于，针对现有技术 的目标投影系统的三维坐标 识别， 匹配和建立的正确性验证较为困难的缺陷， 提供一种利用双摄像机建立 目标与单摄像机间的仿射变换关系，将目标的 识别， 匹配和重建的信息集中到 投影图像上， 根据投影图像来验证三维坐标识别， 匹配和建立的正确性的目标 投影方法以及运用该方法的目标投影系统。

本发明解决其技术问题所采用的技术方案是： 构造一种目标投影方法， 其 中， 包括：

获取目标物在第一摄像机和第二摄像机中的匹 配点对对应的三维坐标； 获取第三摄像机的仿射投影矩阵；

验证过程：

根据所述第三摄像机的仿射投影矩阵和所述目 标物在第一摄像机和第二 摄像机中的匹配点对对应的三维坐标计算所述 目标物在所述第三摄像机上的 理论重心坐标；

根据所述匹配点对对应的三维坐标计算所述目 标物在第三摄像机上的理 论投影大小；

获得所述目标物在所述第三摄像机上投影的实 际重心坐标；

获得所述目标物在所述第三摄像机上的实际投 影大小；

根据所述理论重心坐标和所述实际重心坐标的 比较结果以及所述理论投 影大小和所述实际投影大小的比较结果共同判 断所述匹配点对对应的三维坐 标是否正确。

本发明所述的目标投影方法， 其中，所述匹配点对对应的三维坐标通过标 定过程和三维坐标建立过程获得：

标定过程： 利用所述第一摄像机和所述第二摄像机的标定 参数， 得到将所 述第一摄像机和所述第二摄像机校正成平行摄 像机的所述第一摄像机的第一 校正矩阵和所述第二摄像机的第二校正矩阵；

三维坐标建立过程：通过对所述第一摄像机和 所述第二摄像机的目标识别 匹配得到所述目标物在所述第一摄像机和所述 第二摄像机中的匹配点对；利用 所述第一校正矩阵、所述第二校正矩阵以及所 述匹配点对计算出所述匹配点对 对应的三维坐标。

本发明所述的目标投影方法， 其中， 所述标定参数包括内部参数和外部匹 配参数， 所述内部参数通过立体标定板标定方法获得， 所述外部匹配参数采用 固定顺序匹配所述第一摄像机和所述第二摄像 机采集的坐标数据，然后利用利 文贝格-马夸特算法进行非线性最小二乘优化� �述固定顺序匹配所述第一摄像 机和所述第二摄像机采集的坐标数据来获得。

a ϊ "0 本发明所述的目标投影方法， 其中， 所述内部参数包括 A 0 α _γ ν ₀

0 0 1 a _x = fl dx, a _y = fl dy, 其中 /是摄像机焦距， dx、 ^分别是水平方向和竖直方 向的像元间距， 、 是摄像机的光心， 是 u轴和 V轴的不垂直因子； 径向 畸变参数 kl、 k2 _; 切向畸变参数 pl、 p2 _; 所述外部匹配参数包括旋转矩阵参 和平移矩阵参数

本发明所述的目标投影方法，其中，所述仿射 投影矩阵通过以下方法获得: 采集至少 6 组不同位置的所述匹配点对对应的三维坐标以 及所述匹配点 对对应在所述第三摄像机上投影的二维坐标；

根据所述至少 6 组不同位置的所述匹配点对对应的三维坐标以 及所述匹 配点对对应在所述第三摄像机上投影的二维坐 标，采用线性最小二乘法算出仿 射投影矩阵。

本发明所述的目标投影方法， 其中，所述采集至少 6组不同位置的所述匹 配点对对应的三维坐标以及所述匹配点对对应 在所述第三摄像机上投影的二 维坐标通过以下方法获得：

设置第三摄像机为坐标系， 从所述坐标系取至少 6 组不同位置的二维坐 标；

当所述目标物的运动至所述匹配点对在所述第 三摄像机上投影的二维坐 标与所述从所述坐标系取至少 6组不同位置的二维坐标重合时，得到与所述� � 少 6组不同位置的二维坐标对应的至少 6组不同位置的所述匹配点对对应的三 维坐标。

构造一种目标投影系统， 包括处理单元、 成像单元， 其中， 还包括验证单 元，所述成像系统包括第一摄像机和第二摄像 机，所述验证单元包括验证模块 和第三摄像机：

所述处理单元：用于获取目标物在第一摄像机 和第二摄像机中的匹配点对 对应的三维坐标； 和获取第三摄像机的仿射投影矩阵；

所述验证模块：用于根据所述第三摄像机的仿 射投影矩阵和所述目标物在 第一摄像机和第二摄像机中的匹配点对对应的 三维坐标计算所述目标物在所 述第三摄像机上的理论重心坐标；

根据所述匹配点对对应的三维坐标计算所述目 标物在第三摄像机上的理 论投影大小；

获得所述目标物在所述第三摄像机上投影的实 际重心坐标； 获得所述目标物在所述第三摄像机上的实际投 影大小；

根据所述理论重心坐标和所述实际重心坐标的 比较结果以及所述理论投 影大小和所 222述实际投影大小的比较结果共同判断所述匹 配点对对应的三维坐 标是否正确。 333

本发明所述的目标投影系统， 其中，所述处理单元包括标定模块和三维坐 标建立模块：

所述标定模块： 用于利用所述第一摄像机和所述第二摄像机的 标定参数， 得到将所述第一摄像机和所述第二摄像机校正 成平行摄像机的所述第一摄像 机的第一校正矩阵和所述第二摄像机的第二校 正矩阵；

所述三维坐标建立模块：用于通过对所述第一 摄像机和所述第二摄像机的 目标识别匹配得到所述目标物在所述第一摄像 机和所述第二摄像机中的匹配 点对； 利用所述第一校正矩阵、所述第二校正矩阵以 及所述匹配点对计算出所 述匹配点对对应的三维坐标。

本发明所述的目标投影系统， 其中，所述标定参数包括内部参数和外部匹 配参数， 所述内部参数通过立体标定板标定方法获得， 所述外部匹配参数采用 固定顺序匹配所述第一摄像机和所述第二摄像 机采集的坐标数据，然后利用利 文贝格-马夸特算法进行非线性最小二乘优化� �述固定顺序匹配所述第一摄像 机和所述第二摄像机采集的坐标数据来获得。

a ϊ "0 本发明所述的目标投影系统， 其中， 所述内部参数包括 A 0 a _y v ₀

0 0 1 a _x = fl dx, a _y = fl dy , 其中 /是摄像机焦距， dx、 分别是水平方向和竖直方 向的像元间距， 、 是摄像机的光心， 是 u轴和 V轴的不垂直因子； 径向 畸变参数 kl、 k2 _; 切向畸变参数 pl、 p2 _; 所述外部匹配参数包括旋转矩阵参

和平移矩阵参数

本发明所述的目标投影系统，其中，所述仿射 投影矩阵通过以下方法获得: 采集至少 6 组不同位置的所述匹配点对对应的三维坐标以 及所述匹配点 对对应在所述第三摄像机上投影的二维坐标；

根据所述至少 6 组不同位置的所述匹配点对对应的三维坐标以 及所述匹 配点对对应在所述第三摄像机上投影的二维坐 标，采用线性最小二乘法算出仿 射投影矩阵。

本发明所述的目标投影系统， 其中，所述采集至少 6组不同位置的所述匹 配点对对应的三维坐标以及所述匹配点对对应 在所述第三摄像机上投影的二 维坐标通过以下方法获得：

设置第三摄像机为坐标系， 从所述坐标系取至少 6 组不同位置的二维坐 标；

当所述目标物的运动至所述匹配点对在所述第 三摄像机上投影的二维坐 标与所述从所述坐标系取至少 6组不同位置的二维坐标重合时，得到与所述� � 少 6组不同位置的二维坐标对应的至少 6组不同位置的所述匹配点对对应的三 维坐标。

本发明所述的目标投影系统， 其中，所述第一摄像机和所述第二摄像机安 装有红外透射滤光片。

本发明所述的目标投影系统， 其中，所述验证单元包括至少两个所述第三 本发明所述的目标投影系统， 其中，所述成像单元还进一步包括至少一个 成像用摄像机。

实施本发明的目标投影方法以及运用该方法的 目标投影系统，具有以下有 益效果： 在原有的目标投影系统的基础上增加一个具有 验证模块的第三摄像 机， 利用建立的三维坐标与二维坐标间的映射， 验证三维坐标识别、 匹配和建 立的结果的准确性。

事先获取的标定参数使得目标投影过程更加简 单准确；内部参数和外部匹 配参数的获得使得第一摄像机的第一校正矩阵 和第二摄像机的第二校正矩阵 更加准确，第一摄像机和第二摄像机的平行校 正更加有效； 仿射投影矩阵的计 算使得可以准确的计算第三摄像机上的第一投 影大小；并且仿射投影矩阵可以 通过多种方法获得； 所述第一摄像机和所述第二摄像机安装有红外 透射滤光 片， 排除了可见光的干扰， 三维坐标建立更加准确； 采用带有验证模块的多摄 像机的验证， 进一步增加了判断双摄像机的识别、 匹配和建立的正确性； 所述 验证单元也可使用在多摄像机 （大于等于三个） 的目标投影成像系统中。 附图说明

下面将结合附图及实施例对本发明作进一步说 明， 附图中：

图 1是本发明目标投影系统的较佳实施例的结构� �意图；

图 2A是本发明目标投影系统的较佳实施例的一副� ��定摄像机的内部参数 和外部匹配参数的标定用图像；

图 2B是本发明目标投影系统的较佳实施例的另一� ��标定摄像机的内部参 数和外部匹配参数的标定用图像；

图 3是本发明目标投影系统的较佳实施例的计算� �射投影矩阵的 8组不同 位置的匹配点的二维坐标排列及坐标值图。 具体实施方式

下面结合图示， 对本发明的优选实施例作详细介绍。

如图 1所示， 在本发明的目标投影方法中， 包括标定过程、 三维坐标建立 过程以及验证过程， 其中三维坐标建立过程中利用的第一摄像机 21和第二摄 像机 22的标定参数通过以下方法获得：

摄像机的标定参数包括内部参数和外部匹配参 数。

内部参数标定：

摄像机内部参数， 对于定焦式摄像机系统是固定不变的。 内部参数包括：

A- a _x = fl dx, a = fl dy , 其中 "是摄像机焦距， dx、 分别是

0 0 1 水平方向和竖直方向的像元间距， ， 是摄像机的光心， 是 U轴和 V轴的 不垂直因子； 径向畸变参数 k l、 k2 _; 切向畸变参数 p l、 p2。 米用立体标定板标定方法标定所有摄像机的内 部参数。 标定用图像如图

2A、 2B所示。 所有摄像机采集到标定图像后， 采用连通域的连通性分析获得 所有标定块成像的重心坐标。然后利用这些数 据信息， 按照平板标定方法对摄 像机内部参数进行标定。标定方法为目前常用 方法， 可以有不同的标定方法实 现。

外部匹配参数标定：

摄像机外部匹 主要是摄像机间相对位置关系信息， 包括

旋转矩阵参数

利用上述中所采集第一摄像机 21和第二摄像机 22标定块成像的重心坐 标。 采用固定顺序匹配两个摄像机采集的坐标数据 。 然后利用利文贝格 -马夸 特 (Levenberg-Marquardt ) 算法进行非线性最小优化所述固定顺序匹配第 一 摄像机 21和第二摄像机 22采集的坐标数据， 获得最终的摄像机标定参数。最 终参数包括第一摄像机 21和第二摄像机 22各自的摄像机的内部参数和两摄像 机间的外部匹配参数。 本步骤地实现方法并不唯一。

标定过程： 利用第一摄像机 21和第二摄像机 22的标定参数，将两个摄像 机采集图像校正成平行摄像机； 本步骤实现方法并不唯一。

a.计算第一摄像机 21的第一校正矩阵 ： 设定第一摄像机 21坐标系下标定用虚拟点 = ( ^{Q 0 2000} ) ,

按照公式：

计算出第一摄像机 21坐标系下虚拟点坐标（ 按照公式:

R、 +R

p ¹⁷ oi +p【

分别计算第一校正矩阵内列向量。根据 (2)式得到第一摄像机 21的第一? 正矩阵: 2

b.计算第二摄像机 22的第二校正矩阵 ： 设定第二摄像机 22坐标系下标定用虚拟点 =( ^{Q 0 2000} )

按照公式：

Pn=RPu + T (4) 计算出第二摄像机 22坐标系下虚拟点坐标。 按照公式：

分别计算第二校正矩阵内列向量。根据 (5)式得到第二摄像机 22的第二校 正矩阵:

Η、

(6) 。

三维坐标建立过程：通过对第- 像机 21和第二摄像; 22的目标识别匹 配得到目标物相应的匹配点对： 采用圆形反光物体作为目标识别物。 在第一摄像机 21和第二摄像机 22 中分别采用经过圆形反光物体样本训练过的支 持向量机分类器对目标物进行 识别，并计算出目标物在第一摄像机 21和第二摄像机 22中成像的匹配点对 (重 心坐标对） 和 ，然后利用极线约束和顺序一致性约束实现目 标的正确匹配。

利用所述第一校正矩阵、所述第二校正矩阵以 及所述匹配点对计算所述匹 配点对对应的三维坐标；

a.像素点坐标畸变校正， 同时将匹配点对 P。和 变为无畸变图像坐标 和 一。 这里使用迭代计算对坐标进行矫正。

b.校正图像坐标计算按照公式：

Po

c.目标三维坐标建立按照公式：

Disparity = _Pl [l] - ¹ ]， 其中 和 为图像 _x 坐标 （9)

Β ξ + ζ Zc=B氺 1.0 /Disparity; Xc=B氺 p _Q [l] /Disparity; (10) Yc=Zc * 7 ₀ [1]/1.0; 本步骤地实现方法并不唯一。

验证过程： 三维坐标建立过程得到了所述匹配点对对应的 三维坐标 P; 根据第三摄像机 32的仿射投影矩阵和目标物在第一摄像机 21和第二摄像 机 22中的匹配点对 P。和 Pi对应的三维坐标 P计 所述匹配点对 P。和 在第三 摄像机 32上的坐标

/ / (12)；

根据所述目标物的所述匹配点对第三摄像机 32上的坐标 Q计算所述目标 物在第三摄像机 32上的理论重心坐标： 本方法是已知目标识别物尺寸， 这里为圆形目标物的直径 D , 第三摄像机

32的焦距 f和目标物三维坐标 P, 然后按照公式计算圆目标物的投影圆半径:

Radius = Dx f I P _z (13) · 根据所述匹配点对在第三摄像机 32上的坐标计算所述目标物在第三摄像 机 32上的理论投影大小：

在第三摄像机 32的图像上画以理论重心坐标为中心， Radius为半径的实 心圆；

获得所述目标物在第三摄像机 32上投影的实际重心坐标；

根据所述匹配点对在第三摄像机 32上的坐标获得所述目标物在第三摄像 机 32上的实际投影大小：

根据所述理论重心坐标和所述目标物在第三摄 像机 32上投影的实际重心 坐标之差是否小于第一设定值以及所述理论投 影大小和所述实际投影大小之 差是否小于第二设定值共同判断所述匹配点对 P。和 对应的三维坐标是否正 确。 当两种判断都小于设定值时则认为所述匹配点 对对应的三维坐标的识别、 匹配和建立是正确的。

如图 3所示（图 3采用的是 640*480解析度， 其他解析度的话坐标做相应 的修改即可）， 验证过程中利用的仿射投影矩阵通过以下方法 获得： 采集至少 6组 （图 3中为 8组） 不同位置的所述匹配点对 和 对应的 三维坐标 Q以及所述匹配点对 P。和 对应在所述第三摄像机 32上投影的二维 坐标：

设置第三摄像机 32为坐标系，取所述坐标系中 8组不同位置的二维坐标； 当所述目标物的运动至所述匹配点对 P。和 在所述第三摄像机 32上投影 的二维坐标与以第三摄像机 32为坐标系的所述 8组不同位置的二维坐标重合 时，得到与所述 8组不同位置的二维坐标对应的 8组不同位置的所述匹配点对 Po和 对应的三维坐标^

建立方程公式：

Ax= b (15)

其中仿射投影矩阵参数为 其中 式（14)可简写为

¾o ¾i a ₁₂ 式（15) ; 采用线性最小二乘法计算参数 X：

x= {A ^T Ay ^l A ^T b ( ₁₆ ) 。 采集至少 6组不同位置的所述匹配点对 P。和 Pi对应的三维坐标以及所述 匹配点对 P。和 对应在所述第三摄像机 32上投影的二维坐标的方法也可以通 过正确的匹配识别， 建立至少 6组对应的三维坐标和二维坐标来实现。

作为本发明的优选实施例， 本发明的实现至少需要三台摄像机， 并保持摄 像机拍摄图像的同步性， 用于三维坐标建立的第一摄像机 21和第二摄像机 22 为安装有红外透射滤光片的摄像机， 使得通过第一摄像机 21和第二摄像机 22 的拍摄的图像进行的三维坐标建立可以有效地 排除可见光的干扰，三维坐标建 立更加准确， 这种设置可以根据实际需要选用。

作为本发明的优选实施例，验证单元 3包括至少两个用于验证建立的三维 坐标的第三摄像机 32。 采用带有验证模块的多摄像机的验证， 进一步增加了 判断双摄像机的识别、匹配和建立的正确性。 可以根据实际精度需要选择使用 验证用摄像机的数量。

作为本发明的优选实施例， 成像单元 2可以是多摄像机 （大于等于三个） 的目标投影成像系统，可以增加了判断多摄像 机的识别、匹配和建立的正确性。

以上所述仅为本发明的实施例， 并非因此限制本发明的专利范围， 凡是利 用本发明说明书及附图内容所作的等效结构变 换，或直接或间接运用在其他相 关的技术领域， 均同理包括在本发明的专利保护范围内。