本申请涉及计算机视觉技术领域， 尤其涉及一种基于计算机视觉的 实时三维目标重建系统和方法及所使用的三维 坐标信息获取装置、 以及 一种立体交互设备。

背景技术

随着人们对智能化人机交互领域的需求越来越 高， 如何使机器理解 人成为一个亟待解决的问题。 研究表明， 如果能够借助各种传感设备实 时提取人的行为的三维（ 3D )信息并设定某些规则使机器理解这些信息， 将是解决这个问题的关键环节， 其中 3D 目标重建是实现该关键环节的 基础。 3D目标重建是指在一个有限的 3D视场中， 提取目标在空间直角 坐标系的 X方向、 Y方向以及 Z方向的位置信息， 据此实现 3D重建。 发明内容

根据本申请的第一方面， 提供一种用于实时三维目标重建的坐标获 取装置， 包括： 图像采集模块， 用于通过红外双目摄像机的第一摄像头 和第二摄像头对同一目标物进行拍摄， 分别得到第一图像和第二图像； 区域选择模块，用于基于图像灰度特征在第一 图像中确定出感兴趣区域； 边缘点提取模块， 用于对感兴趣区域进行边缘点提取； 深度计算模块， 用于在第二图像中， 搜索与第一图像的边缘点对应的匹配点， 根据边缘 点的坐标及匹配点的坐标， 得到匹配点的三维坐标。

根据本申请的第二方面， 提供一种使用上述坐标获取装置的实时三 维目标重建系统， 其还包括目标重构模块， 用于在第一校准图像中， 根 据边缘点进行插值得到插值点， 在第二校准图像中搜索与插值点对应的 匹配插值点， 根据插值点的坐标及匹配插值点的坐标， 结合双目摄像机 的焦距及两摄像头中心点的距离进行计算，得 到匹配插值点的三维坐标， 根据匹配插值点的三维坐标实现目标物的三维 重建。

根据本申请的第三方面， 提供一种使用上述坐标获取装置或三维目 标重建系统的立体交互设备。

根据本申请的第四方面， 提供一种实时三维目标重建方法， 包括： 图像采集步骤， 通过红外双目摄像机的第一摄像头和第二摄像 头对同一 目标物进行拍摄， 分别得到第一图像和第二图像， 所述第一图像包括第 一红外图像和第一红外增强图像， 所述第二图像为第二红外增强图像； 区域选择步骤， 针对第一红外增强图像中的每个像素点以及与 该像素点 对应的第一红外图像中的每个像素点， 计算二者的灰度值的比值或灰度 值的差值， 比值大于第一预设阈值或差值大于第二预设阈 值的像素点构 成感兴趣区域； 边缘点提取步骤， 对感兴趣区域进行边缘点提取； 深度 计算步骤， 在第二图像中， 搜索与第一图像的边缘点对应的匹配点， 根 据边缘点的坐标及匹配点的坐标， 结合双目摄像机的焦距及两摄像头中 心点的距离进行计算， 得到匹配点的三维坐标； 目标重构步骤， 在第一 图像中， 根据边缘点进行插值得到插值点， 在第二图像中搜索与插值点 对应的匹配插值点， 居插值点的坐标及匹配插值点的坐标， 结合双目 摄像机的焦距及两摄像头中心点的距离进行计 算， 得到匹配插值点的三 维坐标， 根据匹配插值点的三维坐标实现目标物的三维 重建。

本申请的有益效果是： 通过从第一图像中提取边缘点， 在第二图像 中找出该边缘点的匹配点， 结合双目摄像机的焦距及两摄像头中心点的 距离进行计算， 从而得到匹配点的空间三维坐标， 这种方案适用于近距 离三维目标重建。

一种实施例中， 结合红外光源的辅助可得到具有稳定亮度的图 像， 使得后续计算的准确度增加， 区域选取时只采用筒单的灰度特征， 加快 了处理速度， 仅以选取出的感兴趣区域的边缘点进行计算， 达到了减少 计算量且又提高速度的目的。 进一步地， 通过腐蚀处理消除区域边界处 的不可靠点， 从而达到提高精度的目的。

附图说明

图 1为本申请一种实施例的坐标获取装置的结构� �意图；

图 2为本申请一种实施例的深度计算方法的流程� �意图；

图 3为本申请一种实施例的双目摄像机的结构示� �图；

图 4为本申请另一种实施例的坐标获取装置的结� �示意图； 图 5为本申请一种实施例的校准和区域选择处理� �结构示意图； 图 6为本申请另一种实施例的坐标获取装置的结� �示意图； 图 7为本申请另一种实施例的坐标获取装置的结� �示意图； 图 8为本申请一种实施例的坐标获取装置的一种� �用示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进 一步详细说明。

实施例 1 :

由于目标在空间直角坐标系的 X方向和 Y方向上的实时坐标可以通 过任意一个摄像头拍摄到的数据得到， 而 Z方向的坐标信息无法直接得 到，所以如何计算 Z方向的实时坐标是实现三维目标重建的关键� �之一。

本申请的一种用于实时三维目标重建的坐标获 取装置可参考图 1 , 包括： 图像采集模块 101、 区域选择模块 103、 边缘点提取模块 105和深 度计算模块 107。

图像采集模块 101用于通过双目摄像机的第一摄像头和第二摄 像头 对同一目标物进行拍摄， 分别得到第一图像和第二图像。 双目摄像机可 采用常规的双目摄像机。 区域选择模块 103用于基于图像灰度特征在第 一图像中确定出感兴趣区域。 边缘点提取模块 105用于对感兴趣区域进 行边缘点提取。 深度计算模块 107用于在第二图像中搜索与第一图像的 边缘点对应的匹配点， 根据边缘点的坐标及匹配点的坐标， 结合双目摄 像机的焦距及两摄像头中心点的距离， 根据图像间立体视差反比于测量 深度进行计算， 得到匹配点的三维坐标。

这里深度计算的方法可采用基于区域的方法进 行计算， 这样可以在 保证精度的情况下提高速度。 如图 2所示， 最上方的虚线框内为待拍摄 的目标物， 中间为双目摄像机（含摄像头 1和摄像头 2 ), 最下方的左边 图为摄像头 1拍摄得到的图像 L,右边图为摄像头 2拍摄得到的图像 R, 其中 T为摄像头 1和摄像头 2的中心点距离， f为摄像头焦距， dl和 d2 分别为两个摄像头拍摄到的图像在 X方向上的偏移距离。在图像 L中以 提取的边缘点为中心 PC, 选取 m*m ( m为像素点的数目 ） 大小的扫描 区域， 扫描图像 R中以与 PC位置相同的像素点为中心的相同大小 （即 m*m )的区域， 对图像 L和图像 R中的相应的扫描区域中像素灰度值差 的绝对值求和， 所求和的值最小的中心点位置就是图像 L中边缘点在图 像 R中的匹配点的相对位置， 由此可以得到 d2的值， 利用如下公式：

可以得到该匹配点在 Z方向上的坐标， 至此， 目标物在 X方向、 Y 方向以及 Z方向的坐标全部确定。

基于该坐标获取装置可实现一种实时三维目标 重建系统， 即该系统 包括该坐标获取装置以及目标重构模块， 其中， 目标重构用于在第一校 准图像中， 根据边缘点进行插值得到插值点， 在第二校准图像中搜索与 插值点对应的匹配插值点， 根据插值点的坐标及匹配插值点的坐标， 结 合双目摄像机的焦距及两摄像头中心点的距离 进行计算， 得到匹配插值 点的三维坐标， 根据匹配插值点的三维坐标实现目标物的三维 重建。 其 中， 搜索匹配插值点的方法可采用如前述的基于区 域的方法进行计算， 插值方式可采用线性插值， 即针对感兴趣区域内的非边缘点 Pa, 可以通 过在同一行上左右两个方向搜索最近的边缘点 ， 记为 aL和 aR, 通过公 式：

a.x - aL.x

a.z = aL.z + (aR.z aL.z)

aR.x - aL.x

其中. x、 .y、 .z分别表示坐标点的行、 歹l、 高度方向的值， 根据该公 式计算可得到该非边缘点的插值深度值。

由于在近距离拍摄中绝大多数情况下得到的内 部区域满足平滑条 件， 因此这样的插值理论是比较精确的， 这里平滑条件是指感兴趣区域 内部总体是近似一个二维平面， 没有复杂的褶皱； 近距离是根据计算机 理决定的， 例如几十厘米等。

本申请还提供了一种立体交互设备， 其包括本实施例的坐标获取装 置或实时三维目标重建系统。

本实施例通过从第一图像中提取边缘点， 在第二图像中找出该边缘 点的匹配点，结合双目摄像机的焦距及两摄像 头中心点的距离进行计算， 从而得到匹配点的空间三维坐标，这种方案适 用于近距离三维目标重建。

基于本实施例的坐标获取装置， 本申请还提供一种实时三维目标重 建方法， 包括如下步骤：

图像采集步骤， 通过双目摄像机的第一摄像头和第二摄像头对 同一 目标物进行拍摄， 分别得到第一图像和第二图像；

区域选择步骤，基于图像灰度特征在第一图像 中确定出感兴趣区域； 边缘点提取步骤， 对感兴趣区域进行边缘点提取；

深度计算步骤， 用于在第二图像中， 搜索与第一图像的边缘点对应 的匹配点，根据边缘点的坐标及匹配点的坐标 ，得到匹配点的三维坐标。

目标重构步骤， 在第一校准图像中， 根据边缘点进行插值得到插值 点， 在第二校准图像中搜索与插值点对应的匹配插 值点， 根据插值点的 坐标及匹配插值点的坐标， 结合双目摄像机的焦距及两摄像头中心点的 距离进行计算， 得到匹配插值点的三维坐标， 根据匹配插值点的三维坐 标实现目标物的三维重建。

该方法的各步骤可采用本实施例的实时三维目 标重建系统中涉及的 对应部分实现， 在此不作详述。

实施例 2:

本实施例的一种用于实时三维目标重建的坐标 获取装置可参考图 4 , 包括： 图像采集模块 401、 校准模块 402、 区域选择模块 403、 边缘 点提取模块 405和深度计算模块 407。

图像采集模块 401 用于通过双目摄像机的第一摄像头和第二摄像 头对同一目标物进行拍摄， 分别得到第一图像和第二图像。 双目摄像机 采用本申请提供的红外双目摄像机， 如图 3所示， 该红外双目摄像机的 结构包括两个普通摄像头（摄像头 1和摄像头 2 )、 红外光源、 红外滤光 片以及相应的控制电路。 图示中红外光源为红外 LED, 当然， 也可以是 其他类型的红外光源。红外光源设置在摄像头 1和摄像头 2的镜头外围， 红外光源可以是均勾分布在该外围以达到最佳 拍摄效果； 红外滤光片位 于镜头和摄像头的图像传感器之间； 控制电路用于根据需要控制各摄像 头的拍摄。 红外双目摄像机各元器件之间的连接关系及控 制方式可采用 本领域常用的技术实现， 在此不作详述。

本实施例提供的红外双目摄像机相比普通双目 摄像机的优势在于： 普通双目摄像机在出现光线很亮或光线很暗时 ， 图像的亮度极不稳定， 成像结果会偏亮、 偏暗或出现局部阴影， 这对于后续主要依靠图像的灰 度进行图像分析和运算即为不利， 因为图像亮度发生变化， 意味着后续 分析和运算结果也可能发生变化， 最终导致结果不准确。 而采用本申请 的双目摄像机在红外光源开启与关闭状态下生 成的红外增强图像和红外 图像， 利用红外增强图像和红外图像的灰度差抓取感 兴趣区域， 使得当 外界光线强度出现频繁变化时， 减小抓取感兴趣区域的误差。

图像采集模块 401在红外光源处于关闭状态时， 利用摄像头 1拍摄 图像得图像 I10FF, 在红外光源处于开启状态时分别利用摄像头 1和摄 像头 2拍摄得到图像 I10N和 I20N,图像 I10FF为红外图像，图像 I10N 和 I20N为红外增强图像。

校准模块 402用于基于双目摄像机的标定参数，对图像 11 OFF、 11 ON 和 I20N进行校准并输出到区域选择模块 403。 具体校准过程可采用已 有的校准方法实现， 即根据摄像头定标后获得的单目内参数据 （焦距、 成像原点、 畸变系数）和双目相对位置关系 （旋转矩阵和平移向量）， 分 别对摄像头 1和摄像头 2拍摄的图像进行消除畸变和行对准， 使得拍摄 得到的图像的成像原点坐标一致、 两摄像头光轴平行、 左右成像平面共 面、 对极线行对齐。

区域选择模块 403用于基于图像灰度特征在第一图像中确定出 感兴 趣区域。 本实施例中， 区域选择模块包括计算选择单元， 用于针对校准 后的图像 I10FF 中的每个像素点以及与该像素点对应的校准后 的图像 HON 中的每个像素点， 计算二者的灰度值的比值或灰度值的差值， 比 值大于第一预设阈值或差值大于第二预设阈值 的像素点构成感兴趣区 域。第一预设阈值和第二预设阈值可根据实际 实验数据确定， 为经验值。 易理解，灰度值的比值或差值与设备（即三维 重建系统或立体交互设备） 所处的环境有关， 在光线较亮的环境下， 该比值可很小以防止无法采集 到感兴趣区域， 在光线较暗的环境下， 该比值可适当提高以防止采集到 因红外光源影响变化的背景区域。

本实施例中校准模块和区域选择模块的处理工 作流程如图 5所示， 包括：

关闭时拍摄步骤，红外光源处于关闭状态， 利用摄像头 1拍摄图像， 并经校准后得到图像 Ref;

开启时拍摄步骤， 红外光源处于开启状态， 利用摄像头 1和 2拍摄 图像， 并经校准后得到图像 L和图像 R;

灰度计算步骤， 将图像 L和图像 Ref逐点遍历， 计算图像 L和图像 Ref 中相对应的每个像素点的灰度值的比值或差值 ， 把比值超过第一预 设阈值或差值超过第二预设阈值的像素点提取 出来， 从而得到感兴趣区 域。

边缘点提取模块 405用于对感兴趣区域进行边缘点提取。 边缘点提 取可采用图像处理中常用的点提取算法。 一种筒单的边缘点提取方法可 通过逐点判断得到， 即判断感兴趣区域中的点是否是边缘点就以该 点为 中心点， 看该中心点的邻域（例如 3*3邻域， 即周围 8个点） 中是否存 在某个点不在感兴趣区域内， 如果有， 则该中心点为边缘点。 之所以提 取边缘点， 是因为通常这些点在立体交互设备中代表了操 作点， 这样就 可以免于计算整个感兴趣区域的所有像素点， 从而减少计算量。

深度计算模块 407采用如实施例 1的深度计算模块，在此不做重述。 本实施例的区域选择采用的算法仅基于图像的 灰度值， 可使得处理 速度加快。 此外， 为实现实时区域选择， 可以使红外光源以一定频率闪 烁， 即一个闪烁流程周期要小于人眼可分辨的最小 延迟。

类似地， 基于本实施例的坐标获取装置， 还可提供一种实时三维目 标重建系统， 其包括该坐标获取装置以及目标重构模块， 其中， 目标重 构的过程可参考实施例 1 , 在此不做重述。 本申请还提供了一种立体交 互设备， 其包括本实施例的坐标获取装置或实时三维目 标重建系统。

基于本实施例的坐标获取装置， 本申请还提供了一种实时三维目标 重建方法， 包括：

图像采集步骤， 通过红外双目摄像机的第一摄像头和第二摄像 头对 同一目标物进行拍摄， 分别得到第一图像和第二图像， 所述第一图像包 括第一红外图像和第一红外增强图像， 所述第二图像为第二红外增强图 像；

校准步骤， 基于双目摄像机的标定参数， 对第一红外图像、 第一红 外增强图像和第二红外增强图像进行校准并输 出以用于后续步骤。

区域选择步骤， 针对第一红外增强图像中的每个像素点以及与 该像 素点对应的第一红外图像中的每个像素点， 计算二者的灰度值的比值或 灰度值的差值， 比值大于第一预设阈值或差值大于第二预设阈 值的像素 点构成感兴趣区域；

边缘点提取步骤， 对感兴趣区域进行边缘点提取；

深度计算步骤， 在第二红外增强图像中， 搜索与第一红外增强图像 的边缘点对应的匹配点， 根据边缘点的坐标及匹配点的坐标， 结合双目 摄像机的焦距及两摄像头中心点的距离进行计 算， 得到匹配点的三维坐 标；

目标重构步骤， 在第一红外增强图像中， 根据边缘点进行插值得到 插值点， 在第二红外增强图像中搜索与插值点对应的匹 配插值点， 根据 插值点的坐标及匹配插值点的坐标， 结合双目摄像机的焦距及两摄像头 中心点的距离进行计算， 得到匹配插值点的三维坐标， 根据匹配插值点 的三维坐标实现目标物的三维重建。

该方法的各步骤可采用本实施例的坐标获取装 置中涉及的对应部分 实现， 在此不作详述。

实施例 3 :

本实施例的一种用于实时三维目标重建的坐标 获取装置可参考图 6 , 包括： 图像采集模块 501、 区域选择模块 503、 校准模块 504、 边缘 点提取模块 505和深度计算模块 507。图像采集模块 401采用如实施例 2 的图像采集模块， 在此不做重述。 区域选择模块 503类似实施例 2的区 域选择模块， 不同之处在于，此时是直接基于拍摄得到的图 像进行处理， 该图像尚未经过校准， 处理后再通过校准模块 504进行校准， 区域选择 模块 503、校准模块 504、边缘点提取模块 505和深度计算模块 507的实 现可参考实施例 2中对应的模块， 在此不做重述。

类似地， 基于本实施例的坐标获取装置， 还可提供一种实时三维目 标重建系统， 其包括该坐标获取装置以及目标重构模块， 其中， 目标重 构的过程可参考实施例 1 , 在此不做重述。 本申请还提供了一种立体交 互设备， 其包括本实施例的坐标获取装置或实时三维目 标重建系统。

基于本实施例的坐标获取装置， 本申请还提供了一种实时三维目标 重建方法， 包括： 图像采集步骤、 区域选择步骤、 校准步骤、 边缘点提 取步骤、 深度计算步骤和目标重构步骤。

该方法的各步骤可采用本实施例的实时三维目 标重建系统中涉及的 对应部分实现， 在此不作详述。

实施例 4:

本实施例的一种用于实时三维目标重建的坐标 获取装置如图 7 所 示， 包括： 图像采集模块 601、 校准模块 602、 区域选择模块 603、 无效 点去除模块 604、 边缘点提取模块 605和深度计算模块 607 , 其中， 图像 采集模块 601、 校准模块 602、 区域选择模块 603、 边缘点提取模块 605 和深度计算模块 607可采用实施例 3或实施例 4的对应模块实现， 也就 是说， 本实施例的校准模块和区域选择模块的位置顺 序可以是如图 7所 示先校准后区域选择， 也可以是如实施例 3的先区域选择后校准方式。 无效点去除模块 604用于在提取边缘点之前对感兴趣区域进行形 态学处 理。 本实施例中采用腐蚀操作， 目的是消除感兴趣区域边界处的不可靠 点。 腐蚀操作的次数与物体的厚度及与双目摄像机 的距离有关， 通常距 离越大厚度越小， 则腐蚀次数越小。

如图 8所示为采用本实施例的一种实例的示意图， 左上方的图为红 外光源关闭时拍摄得到的图像 Ref, 左下方的图为红外光源开启状态拍 摄的图像 L, 中间图像中的 "手" 为确定出的感兴趣区域， 最右图为腐 蚀结果图。 本领域技术人员可以理解， 上述实施方式中各种方法的全部或部分 步骤可以通过程序来指令相关硬件完成， 该程序可以存储于一计算机可 读存储介质中， 存储介质可以包括： 只读存储器、 随机存储器、 磁盘或 光盘等。

本申请针对近距离应用条件下， 结合红外 LED的辅助，精确提取有 效区域， 去除无效点， 并计算深度信息， 从而达到实现实时 3D 目标重 建的目的， 实时是指可以动态提取目标的 3D信息， 并且其延迟时间小 于人眼识别动态目标的最小延迟时间； 同时还可利用这些 3D信息结合 实际应用场景下设定的操作规则来实现 3D体感操控。

以上内容是结合具体的实施方式对本发明所作 的进一步详细说明， 不能认定本发明的具体实施只局限于这些说明 。 对于本发明所属技术领 域的普通技术人员来说， 在不脱离本发明构思的前提下， 还可以做出若 干筒单推演或替换。