本申请要求于 2012 年 4 月 5 日提交中国专利局、 申请号为 201210101656.3、 发明名称为 "金融自助设备及其防偷窥系统和方法"的中国 专利申请的优先权， 其全部内容通过引用结合在本申请中。

技术领域 本发明涉及一种金融自助设备，尤其是金融自 助设备的防偷窥系统和偷窥 检测及报警的方法。 背景技术

随着我国经济的迅速发展， 纸币的流通日益增多， 自助终端设备已成为现 代商业银行为用户提供服务的主要途径。 随着自助终端设备的广泛应用， 自助 终端安全问题日益凸现， 特别是在金融自助设备周边安全问题， 如偷窥密码、 偷换卡等。 针对金融自助设备周边安全问题， 现有的防范措施主要有防窥镜， 基于物理隔离的安全岛等。

专利 20090214311.7提出了一种金融自助服务终端及其� �全区域的控制方 法： 图像摄取模块依据基准线标定该安全区域控制 系统， 图像处理模块根据欲 交易者与标定基准线的成像位置关系判断控制 安全区域内的交易者个数，当交 易者个数有多个时进行提醒报警。

然而， 基于人脸检测的安全防范技术是利用金融自助 设备上安装摄像头， 进行人脸的判断， 若出现多个人脸， 根据人脸之间的位置关系， 进而进行判定 是否有偷窥事件发生， 这样很容易发生误报现象，给交易客户带来了 不必要的 紧张。如当有人从交易者身后通过，人脸信息 被摄像头捕捉，会发生误报现象； 在多台 ATM机并排放置时， 由于交易人数较多， 会发生排队现象， ATM机的 摄像头， 可能会把正常排队人员 （并没有偷窥屏幕）误认为是偷窥者， 产生误 报。

因此， 在基于人脸检测的安全防范技术上， 还有待提高检测的准确率， 减 少报警的误报率。

发明内容

本发明的目的之一在于提供一种金融自助设备 ， 其具有防偷窥的功能，提 高设备安全性。

本发明的目的之二是提供该金融自助设备的防 偷窥系统。

本发明还提供该金融自助设备的防偷窥方法。

该金融自助设备的防偷窥系统包括图像摄取及 处理模块、存储模块、异常 检测模块及报警模块， 该图像摄取及处理模块包括一图像摄取控制器 、至少一 对图像传感器以及一图像处理单元，该至少一 对图像传感器位于同一水平面且 设置在该金融自助设备的一机壳上， 用以摄取监控场景的原始图像数据； 将离 显示屏幕中心半径为一预定距离且能同时被所 述的一对水平设置的图像传感 器捕捉的区域，设置为一安全区域； 该图像摄取控制器用以初始化图像传感器 以及控制该至少一对图像传感器提供采集同步 信号；该图像处理单元用以将原 始图像数据进行三维立体重建并获得图像中人 脸相对于金融自助设备的距离 信息； 该存储模块用于存储预定距离， 两个摄像头之间的距离， 及上述采集的 原始图像数据； 该异常检测模块包括人脸检测单元和人眼视角 计算单元，人脸 检测单元检测该安全区域内是否有多个人脸； 人眼视角计算单元计算人眼注视 的视角方向，用以判断距离金融自助设备较远 的在后人脸是否注视操作面板或 显示屏幕； 该报警模块， 用以对该异常检测模块的检测结果进行响应以 提醒当 前客户是否被偷窥。

优选的， 该异常检测模块还包括一遮挡判别单元，在该 视角计算单元判断 该在后人脸注视操作面板或显示屏幕时，该遮 挡判别单元用以进一步判断在后 人脸的视线是否被距离金融自助设备较近的在 先人遮挡。

可选择的， 该报警模块包括显示单元和 /或声音单元， 分别通过显示文字、 图像和 /或语音提示客户。

本发明提供的防偷窥方法，运行于一金融自助 设备，其依次包括：步骤（ 1 ), 通过一图像摄取模块采集原始图像； 步骤（2 ), 利用原始图像进行三维立体重 建， 计算图像中人脸相对于该金融自助设备的距离 信息； 步骤（3 ), 判断安全 区域内是否有多个人脸图像， 如果有多个人脸， 则进行步骤（4 ), 否则回到步 骤（ 1 ); 步骤（ 4 ) ,通过一异常检测模块进一步计算在后人脸的� �眼注视角度， 判断在后人脸是否注视操作面板或显示屏幕， 如果是， 则进行步骤（5 ), 否则 回到步骤（1 ); 以及步骤（5 ), 报警， 通过显示文字、 图像和 /或语音提示客 户有被偷窥事件。

优选的， 该步骤（4 )与步骤（5 )之间还包括视线遮挡判断的步骤， 通过 异常检测模块进一步判断在后人脸其视线是否 被在距离金融自助设备较近先 人遮挡， 如果是， 则回到步骤（1 ), 如果否， 则进行步骤（5 )。

具体的， 该步骤（2 )进一步包括： 步骤（21 ), 消除畸变， 使用数学方法 消除径向和切向方向上的镜头畸变； 步骤（22 ), 摄像机矫正， 调用图像传感 器间的角度和距离， 输出行对准的矫正图像； 步骤（23 ), 图像匹配， 查找左 右图像传感器视场中的相同特征， 得到视差图； 以及步骤（24 ), 重投影， 利 用图像传感器的相对几何位置， 将视差图通过三角测量的方法转成距离信息。

优选的， 该步骤（3 ) 中该安全区域为离显示屏幕中心半径为 0.8~1.5m且 能同时被所述的一对水平设置的图像传感器捕 捉的区域，当然根据金融自助设 备安全性的实际需要， 该区域可以按需设定。

本发明提供的一种金融自助设备， 其包括机壳、 内部机芯以及一防偷窥系 统， 该防偷窥系统包括： 一图像摄取及处理模块， 其包括一图像摄取控制器、 至少一对图像传感器以及一图像处理单元，该 对图像传感器位于同一水平面且 设置在该机壳上， 用以摄取监控场景的原始图像数据； 该图像摄取控制器用以 初始化图像传感器以及控制至少一对图像传感 器采集同步信号；该图像处理单 元用以将原始图像数据进行三维立体重建并获 得每一图像中人脸相对于金融 自助设备的距离信息； 一存储模块， 存储预定距离， 两个摄像头之间的距离， 及上述采集的原始图像数据； 一异常检测模块， 包括人脸检测单元和视角计算 单元，人脸检测单元检测该安全区域内是否有 多个人脸； 视角计算单元计算人 眼注视的视角方向， 用以判断在后人脸是否注视操作面板或显示屏 幕； 以及一 报警模块，用以对该异常检测模块的检测结果 进行响应以提醒当前客户是否被 偷氣。

优选的， 该异常检测模块还包括一遮挡判别单元，在该 视角计算单元判断 在后的人脸注视操作面板或显示屏幕时，该遮 挡判别单元用以进一步判断在后 的人脸其视线是否被在先的人遮挡。

优选的， 该报警模块包括显示单元和 /或声音单元， 分别通过显示文字、 图像和 /或语音提示客户。

本发明在基于人脸检测进行安全防范的现有技 术上，进一步对多个人脸与 金融自助设备间距离进行判断，且对在后的人 脸进行注视角度计算， 以其是否 注视操作面板或显示屏幕为依据， 判断其是否偷窥在先的当前用户，从而报警 提示。这样可以大大提高判断偷窥者的准确率 ，减少报警的误报率。进一步的， 在确定在后的人脸其注视操作面板或显示屏幕 时， 还可再进行视线遮挡判断， 即判断在后的人其视线是否被在先的当前用户 遮挡，如果被遮挡， 则可判断在 后的人为排队者， 不是偷窥者， 从而不需要报警。 这样， 更进一步提高了判断 的准确率， 降低报警的误报率。 附图说明 图 1是本发明优选实施例提供的一种防偷窥系统� �框架图；

图 2是本发明优选实施例提供的防偷窥方法流程� �；

图 3是图像摄取及处理模块中图像传感器的安装� �置示意图；

图 4是双目摄像头立体重构方法示意图；

图 5是三维立体重构方法流程图；

图 6是安全区域设置方法示意图；

图 7是人眼注视角度计算方法示意图；

图 8是尾随偷窥者判断方法示意图；

图 9是视线遮挡判断方法示意图； 以及 图 10是 警情形示意图。 具体实施方式

为进一步阐述本发明， 以下结合图示介绍本发明的具体实施例，该实 施例 以自动拒员机为例， 说明金融自助设备及其防偷窥系统及方法。

图 1是该较佳实施例提供的的防偷窥系统 100的框架图， 该防偷窥系统 100包括图像摄取及处理模块 40、存储模块、异常检测模块 60及报警模块 80, 该图像摄取及处理模块 40包括一图像摄取控制器 41、 一对图像传感器 42以 及一图像处理单元 43。 该对图像传感器 42设置在该金融自助设备的机壳上， 且设置在同一水平面上，如同人体的一对眼睛 ， 用以摄取监控场景的原始图像 数据；该图像摄取控制器 41用以初始化图像传感器 42且控制该至少一对图像 传感器 42采集同步的信号；该图像处理单元 43用以将原始图像数据进行三维 立体重建并获得图像中人脸相对于金融自助设 备的距离信息。该存储模块用于 存储预定距离， 两个摄像头之间的距离， 及上述采集的原始图像数据； 该预定 距离用于划定金融自助设备操作的安全区域， 该安全区域为离显示屏幕中心半 径为 0.8~1.5m (优选 lm )且能同时被所述的一对水平设置的图像传感� �捕捉 的区域， 该异常检测模块 60包括人脸检测单元 61、 视角计算单元 62以及遮 挡判别单元 63。 该人脸检测单元 61检测该安全区域内是否有多个人脸； 该视 角计算单元 62计算人眼注视的视角方向， 用以判断距离金融自助设备较远在 后人脸是否注视操作面板或显示屏幕； 该遮挡判别单元 63用以进一步判断在 后的人脸其视线是否被距离金融自助设备较近 在先的人遮挡。 该报警模块 80 包括显示单元 81和声音单元 82分别通过显示文字、 图像和 /或语音提示客户。

需要说明的是， 该异常检测模块 60中视角计算单元 62的设置，是对在后 的人脸进行注视角度计算， 以其是否注视操作面板或显示屏幕为依据， 判断其 是否偷窥在先的当前用户， 从而报警提示该当前用户， 这样已经大大提高了报 挡判别单元 63的设置， 则是进一步对在后的人其视线是否被在先的当 前用户 遮挡进行判断，把视线被当前用户遮挡的正常 排队等候的人员排除在偷窥者之 夕卜， 从而进一步提高了报警的准确率， 是本发明的优选方案。

以下说明该防偷窥系统执行防偷窥方法的流程 ， 如图 2所示， 该防偷窥方 法包括：

步骤 1 , 通过一图像摄取模块采集原始图像； 如图 3所示， 在自动拒员机 的显示屏幕上方左右两端分别安装图像传感器 ，也就是摄像头 C1和 C2,其中 该两个摄像头 C1和 C2处于同一水平面上， 用于采集原始图像数据。 当然， 在这一步骤应当进行人脸检测，也就是说， 判断该原始图像数据中是否包括人 脸， 如果包括有人脸， 再进行步骤 2, 否则当然无进展后续步骤的必要。

步骤 2, 对原始图像进行三维立体重建， 获取图像中人物相对于该金融自 助设备的距离信息； 如图 4 所示， 利用两个摄像头 C1和 C2获取到的图像寻 找对应点来完成立体成像。 通过这样的对应点、 及两摄像机之间距离 T, 可以 计算人脸的三维位置。 两个摄像头的立体成像过程包括如图 5 所示的四个步 骤： 步骤（21 ), 消除畸变，使用数学方法消除径向和切向方向 上的镜头畸变； 步骤（22 ), 摄像机矫正， 调用图像传感器间的角度和距离， 输出行对准的矫 正图像； 步骤（23 ), 图像匹配， 查找左右图像传感器视场中的相同特征， 得 到视差图； 以及步骤（24 ), 重投影， 利用图像传感器的相对几何位置， 将视 差图通过三角测量的方法转成距离信息，从而 可确定哪个人脸离金融自助设备 较近， 哪个人脸离金融自助设备较远，距离金融自助 设备较近的人脸我们称为 在先的人脸，距离金融自助设备较远的人脸我 们称为在后的人脸。 当存在多个 人脸时， 一般来说， 距离金融自助设备较近的人确定为交易者， 也就是当前用 户， 而距离金融自助设备较远的人为尾随者， 为当前用户以外的人员， 当然其 是否为偷窥者则需要后续进一步的判断， 即进行步骤 3。

步骤 3, 将在后人脸相对于该金融自助设备的距离与存 储模块中存储的预 定距离比较， 若人脸相对于该金融自助设备的距离小于预定 距离， 则该人脸位 于安全区域内， 否则位于安全区域外。 如图 6所示， 摄像头 C1和 C2都有各 自的拍摄视角， 离显示屏幕中心半径为 X米内， 并且能同时被摄像头 C1和 C2 捕捉的区域， 设置为安全区域， 本实例中 χ=1。 X可以为 0.8至 1.5米之间的任 意一距离， 根据金融自助设备安全性的实际需要设定。

如果该异常检测模块的人脸检测单元检测到有 多个人脸在该安全区域 则 进行步骤 4, 否则回到步骤 1; 本实例中采用 Haar分类器对人脸进行检测。

步骤 4, 该异常检测模块进一步计算在后的人脸的人眼 注视角度， 判断在 后的人脸是否注视操作面板或显示屏幕， 如果是， 则进行步骤 S, 否则回到步 骤 1; 检测到人脸后， 确定出双眼及鼻子的位置， 利用人眼中心、 目艮球中心及 鼻子中心的关系， 可确定人眼视角。 具体可参考 2003年 6月 11 日公开的申请 号为 02131191.9的专利申请。 如图 7所示， 以判断人眼是否注视显示屏幕为 例， 以屏幕的中心为原点坐标， 建立右手坐标系。 可以得到人眼坐标在三维中 的坐标系。 人眼注视线与 X坐标轴， y坐标轴， z坐标轴的夹角分别为： α, β , γ , 可以由以下方程得到人眼的注视点。 如图 7所示， 显示屏幕所在的平 面为 ζ=0; 显示展幕的区 i或为 （-m<=x<=m, -n<=y<=n, z=0, 展幕的长为 2m, 高为 2n),假设人眼坐标为 （xl,yl,zl), 人眼注视点为 （ x0,y0,z0),因为我们关注 的是尾随者是否偷窥显示屏幕上的信息， 而显示屏幕位于 z=0平面， 因此， 我 们假设注视点都在 z=0平面内。 d为人眼 ( xl,yl,zl )到注视点 ( x0,y0,z0)的距 xl-xO

■ cos a

d x0 = xl- z - ^{C0 CC}

cos

y -yo

由 d 可得到: _yQ=yl - _zl .→

cos

zl-zO

cos z0 = 0

d

z0 = 0 若 -m<=x0<=m, 且 -n<=y0<=n, 则人眼注视显示展幕。

步骤 S, 视线遮挡判断， 该异常检测模块进一步判断在后的人脸其视线 是 否被在先的人遮挡， 如果是， 则回到步骤 1, 如果否， 则进行步骤 5。 如图 8 所示， 交易者身后有三个尾随者， 尾随者 A可能为在其它 ATM机前等候取款 者，或者为路过者， 注视的方向不为显示屏幕的方向， 因此，判定为非偷窥者。 尾随者 B可能为在此 ATM机前等候取款者， 尾随者 B的视线被交易者遮挡， 无法观测到显示屏幕上的信息， 因而判定为非偷窥者。 尾随者 C 的注视方向 为显示屏幕， 且视线没有被遮挡， 因而， 尾随者 C判定为偷窥者。 具体的， 判断视线是否被遮挡的方法为： 如图 9所示， 利用双目摄像头重建交易者的人 体三维立体图， 平面 z=t ( t>0 )与人体的交集记为 Ω , 当交集数量达到最大时， 记为 z=t0, Ω = Ω0, 此时， 由尾随者人眼坐标（xl , yl , zl ), 及人眼注视线 与坐标轴 X , 坐标轴 y , 坐标轴 z的夹角分别为 α , β , γ ,可得到人眼注视线 与平面 z=t0的交点 （ x00,y00,z00)。 cos

c

y00 = yl - (zl - t0) 。s β

cos

zOO = tO 若 (x00,y00,z00)属于交集 Ω0,则判定为尾随者的视频被遮挡，为非偷窥� �。 步骤 5, 报警， 通过显示文字、 图像和 /或语音提示客户有被偷窥事件。 如 图 10所示， 在发生尾随偷窥事件时， 在显示屏幕上显示视频图像， 并标记出 偷窥者的人脸位置， 并辅以声音及文字提醒，使得交易者注意保护 好自己的个 人信息。

需要说明的是，步骤 S的设置是为了进一步提高报警的准确率，也� �是说， 在省略步骤 S的情况下，由步骤 4判断尾随者注视操作面板或显示屏幕时直接 进入步骤 5 进行报警， 相对于现有技术判断安全区域内有多个人脸即 报警来 说， 已经有了长足的进步， 因此步骤 S的设置是本发明的优选实施例， 在判断 尾随者注视操作面板或显示屏幕的基础上进一 步判断其视线是否被交易者遮 挡，从而可将正常排队的人员排除在偷窥者之 列，进一步减少了报警的误报率。

本发明还提供一种金融自助设备， 其包括机壳、 内部机芯以及一防偷窥系 统， 该防偷窥系统包括： 一图像摄取及处理模块， 其包括一图像摄取控制器、 至少一对图像传感器以及一图像处理单元，该 对图像传感器位于同一水平面且 设置在该机壳上， 用以摄取监控场景的原始图像数据，且将离显 示屏幕中心半 径为一预定距离且能同时被所述的一对水平设 置的图像传感器捕捉的区域，设 置为一安全区域；该图像摄取控制器用以初始 化图像传感器以及控制该至少一 对图像传感器采集同步信号；该图像处理单元 用以将原始图像数据进行三维立 体重建并获得图像中人脸相对于金融自助设备 的距离信息； 一存储模块，存储 预定距离， 两个摄像头之间的距离， 及上述采集的原始图像数据； 一异常检测 模块， 包括人脸检测单元和视角计算单元，人脸检测 单元检测该安全区域内是 否有多个人脸； 视角计算单元计算人眼注视的视角方向， 用以判断在后的人脸 是否注视操作面板或显示屏幕； 以及一报警模块， 用以对该异常检测模块的检 测结果进行响应以提醒当前客户是否被偷窥。 优选的， 该异常检测模块还包括 一遮挡判别单元，在该视角计算单元判断在后 的人脸注视操作面板或显示屏幕 时， 该遮挡判别单元用以进一步判断在后的人脸其 视线是否被在先的人遮挡。

该金融自助设备在基于人脸检测进行安全防范 的现有技术上， 进一步对多 个人脸与金融自助设备间距离进行判断， 且对在后的人脸进行注视角度计算， 以其是否注视操作面板或显示屏幕为依据， 判断其是否偷窥在先的当前用户， 从而报警提示。 这样可以大大提高判断偷窥者的准确率， 减少报警的误报率。 进一步的， 在确定在后的人脸其注视操作面板或显示屏幕 时， 还可再进行视线 遮挡判断， 即判断在后的人其视线是否被在先的当前用户 遮挡， 如果被遮挡， 则可判断在后的人为排队者， 不是偷窥者， 从而不需要报警。 这样， 更进一步 提高了判断的准确率， 降低报警的误报率。

以上仅是本发明的优选实施方式，应当指出的 是， 上述优选实施方式不应 视为对本发明的限制， 本发明的保护范围应当以权利要求所限定的范 围为准。 对于本技术领域的普通技术人员来说，在不脱 离本发明的精神和范围内，还可 以做出若干改进和润饰， 这些改进和润饰也应视为本发明的保护范围。