种可视化导盲方法及其智能导盲装置

技术领域

本发明涉及导盲方法及装置， 特别是涉及一种可视化导盲方法及其智能导盲 装置。 背景技术

随着社会进步， 盲人因视障带来的生活困难问题成为全人类共 同关心的问题。 由于盲人眼睛致盲个体原因差异， 直接的手术、 再置器官辅助， 都存在很大的技术风 险和使用风险， 且工程巨大。 市场上出现了各种各样的导盲产品， 主要包括导盲犬、 电子类导盲等， 其中电子类导盲主要是以超声探测障碍为主的 导盲装置， 如导盲杖、 导盲帽、 导盲筒等， 可以探测障碍物体位置； 他们都可以辅助盲人户外活动和盲人步 行时导盲作用， 但是都无法让盲人知悉物体或障碍的形状， 避让障碍时盲人还得借助 手触觉、 棍杖敲击等获得更多的特征信息。 多年来技术人员也在寻求设计一种能帮助 盲人看到障碍物体形状甚至周围环境的装置， 09年国内公布的有关资料中提到一种导 盲装置， 采用彩色摄像头摄取图像， 再把这种图像转印到一种穿戴触觉装置上， 从而 盲人可以通过触觉看到这种彩色图像的方法， 但是根据现有科技发展的水平以及人体 工学的特征特异性， 难以实施。

首先， 这种方法提到： 通过高清晰度的彩色摄像头采集到图像后， 要让盲人触觉 到彩色图像， 就必须经过非常复杂的图像识别技术， 因而也需要经过大量的数据存取 计算比较处理才能识别图像目标特征， 目前图像识别是一个前沿性技术难题， 机器人 图像识别也限于对特定目标的识别， 将机器人图像识别技术应用于盲人系统导盲有 很 大技术瓶颈； 其次， 将高清晰的图像直接转印到触觉装置上， 触觉装置的清晰度依赖 于其阵列的大小， 资料中提到触觉阵列触针越多， 盲人看到的越清晰， 由于这种图像 是实时的， 速度非常之快， 而人的感觉滞后很大， 且触觉神经识别物体特征是多以一 种串行为主的识别方式， 所以文中提到的触觉装置的转印图像识别是难 以从时间、 数 量、 方式上达到盲人触觉感知要求的。 发明内容 本发明所要解决的技术问题是： 克服上述缺点与不足， 提出了一种可视化导盲 方法及其智能导盲装置， 以真正实现盲人识别物体的形状及有效避让障 碍物。

本发明的可视化导盲方法采用以下技术方案：

该可视化导盲方法包括如下步骤：

( 1 ) 拍摄黑白图像， 对所述黑白图像作提取轮廓信息处理， 减少细节元素， 完成 对图像的提炼， 以获得物体轮廓信号；

( 2 )根据人体工学特征，将所述物体轮廓信号转� �成串行信号传送到图像感触器， 所述图像感触器将所述串行信号转变为机械触 觉信号发出触针剌激， 在触视速度上采 用间歇式图片触觉模式， 在数量上采用合适的人体敏感的触针阵列， 从而真正让盲人 触觉到物体的形状。

由于采用黑白的摄像头获得黑白图像， 无清晰度、 色度要求， 在对该黑白图像 进行提炼处理时， 仅生成该物体的主要轮廓信息， 减少物体的细节元素信息， 并以串 行的方式传送到图像感触器， 根据人体工学研究结果， 该图像感触器采用串行方式输 出机械触觉信号， 触视速度上采用间歇式而非连续的图片触觉模 式， 间歇式图片触觉 模式是指间隔一定的时间输出一幅图片， 从而真正让盲人触觉到物体的形状。

优选的， 还包括步骤 （3 ) : 探测物体的位置信息， 对所述位置信息处理得到并提 示物体的距离和安全避让方向。 将探测到的物体位置信息进行处理得到并提示 物体的 距离和安全避让方向， 不仅使得盲人能感知物体的形状， 也能知道物体的距离， 起到 更有效的导盲作用。

优选的， 所述触针阵列为机械振动触点矩形阵列。

本发明的智能导盲装置采用以下技术方案：

包括探测机构、 微处理控制器、 图像感触器和提示装置， 所述探测机构内包括摄 像装置和超声探测器， 所述微处理控制器分别与所述摄像装置、 超声探测器、 图像感 触器和提示装置连接， 所述摄像装置用于采集前方景物的黑白图像， 所述微处理控制 器对黑白图像进行提取以获得物体轮廓信号， 并转换为串行信号输出到所述图像感触 器； 所述图像感触器将所述串行信号转变为机械触 觉信号发出触针剌激， 所述超声探 测器用于测量周围物体的位置信息， 所述微处理控制器对所述物体位置信息处理得 到 物体的距离和安全避让方向， 并传送至所述提示装置； 所述提示装置用于提示物体的 距离和安全避让方向。

由于采用图像感触器产生机械触觉信息发出触 觉剌激， 同时结合提示物体的位置， 能实现安全有效的导盲。 优选的， 所述图像感触器包括调制驱动电路板、 触针阵列和安装所述调制驱动电 路板和触针阵列的支撑机构， 所述调制驱动电路板用于串行接收所述微处理 控制器发 出的串行信号， 并串行驱动所述触针阵列工作， 所述物体轮廓信号与所述触针阵列点 对点比例对应。

优选的， 所述触针阵列是由压电陶瓷振动器组成的机械 振动触点矩形阵列， 所述 支撑机构紧贴人体的皮肤敏感区。

优选的， 所述微处理控制器， 包括键盘、 电源、 电路板， 其中所述电路板上设置 有 A履微处理器、 I/O接口、 语音模块、 视频接收解码模块、 FPGA可编程控制器、 图 像感触器接口模块， 所述 ARM微处理器与所述 I/O接口、 FPGA可编程控制器、 图像感 触器接口模块、 语音模块、 电源、 键盘以及震动提示器连接， 所述 FPGA可编程控制器 与所述视频信号接收解码模块连接， 所述视频信号接收解码模块与所述摄像装置连 接， 所述语音模块外接语音提示器， 所述图像感触器接口模块外接所述图像感触器 ， 所述 I/O接口外接所述超声探测器。

优选的， 所述微处理控制器还包括功能切换开关， 所述功能切换开关与所述 ARM 微处理器连接， 其包括训练档和正常档， 所述电路板中还包括视频训练模块， 所述视 频训练模块与所述视频信号接收解码模块连接 。 由于还设置有视频训练模块， 结合一 定的综合训练可以提高识别物体形状及障碍避 让的能力， 逐步提高触视水平和活动能 力。

优选的， 所述 FPGA可编程控制器用于对所述视频信号接收解� �模块采集的图像进 行图像变换处理以获得物体轮廓信号， 所述图像变换处理包括图像冻结或动态捕捉、 图像放大、 图像缩小、 正片强化或负片强化。

优选的， 所述探测机构为头戴式机构， 其包括可调节的头带、 眼镜体和固定机构， 所述眼镜体通过所述头带与所述固定机构连接 ， 所述超声探测器有四组， 分别为前、 后、 左、 右超声探测器， 每组所述超声探测器均包含发射探头和接收探 头， 所述摄像 装置的摄像头和前超声探测器安装在所述眼镜 体的正前方， 所述左超声探测器和右超 声探测器分别安装在所述眼镜体的左右两侧， 所述后超声探测器安装在所述固定机构 内， 所述提示装置包括前、 后、 左、 右四个震动提示器， 分别用于根据前、 后、 左、 右超声探测器探测的物体方位提示物体的位置 以及安全避让方向。

采用本发明的技术方案， 盲人不但可以有效地探测到周围障碍避让周围 的障碍物 体， 还能通过摄像头 "看"到眼前方物体轮廓， 识别物体形状， 进一步的， 通过不断 的训练积累， 可以逐步认识到越来越多的物体。 附图说明

图 1是本发明实施例的智能导盲装置系统图；

图 2是本发明实施例的智能导盲装置组装后的立� �示意图；

图 3是图 2中探测机构的立体分解示意图；

图 4是图 2中微处理控制器的立体分解示意图；

图 5是图 2中图像感触器的立体分解示意图；

图中的标号说明如下：

探测机构 1 : 眼镜体 10、 头带 18、 固定机构 19、 摄像镜头 11、 黑白 CCD图像传感 器 12、 图像处理电路 13、 前超声探测器 16、 左超声探测器 14、 右超声探测器 15、 后 超声探测器 17;

电缆 2、 4、 6；

微处理控制器 3: 键盘 31、 电源开关 32、 功能切换开关 33、 蜂鸣器 34、 扬声器 35、 电源 36、 电路板 37 (ARM微处理器 371、 I/O接口 372、 语音模块 373、 视频信号 接收解码模块 374， FPGA可编程控制器 375、 图像感触器接口模块 376、 视频训练模块 377)、 电源指示灯 38;

图像感触器 5: 调制驱动电路板 52、 触针阵列 51、 支撑机构 53;

前侧震动提示器 71、 后侧震动提示器 72、 左侧震动提示器 73、 右侧震动提示器

74。 具体实施方式

下面对照附图和结合优选具体实施方式对本发 明进行详细的阐述。

在一个实施例里， 一种可视化导盲方法包括如下步骤： （1 ) 拍摄黑白图像， 对所 述黑白图像作提取轮廓信息处理， 减少细节元素， 完成对图像的提炼， 以获得物体轮 廓信号； （2 ) 根据人体工学特征， 将所述物体轮廓信号转变成串行的方式传送到 图像 感触器， 所述图像感触器将所述物体轮廓信号转变为串 行输出的机械触觉信号， 在触 视速度上采用间歇式图片触觉模式， 在数量上采用合适的人体敏感的触针阵列， 从而 真正让盲人触觉到物体的形状；

优选地， 该方法还包括以下步骤： （3 ) 探测物体的位置信息， 对所述位置信息处 理得到并提示物体的距离和安全避让方向。

在一个实施例里， 一种智能导盲装置包括探测机构、 微处理控制器、 图像感触器 和提示装置， 所述探测机构内包括摄像装置和超声探测器， 所述微处理控制器分别与 所述摄像装置、 超声探测器、 图像感触器和提示装置连接， 所述摄像装置用于采集前 方景物的黑白图像， 所述微处理控制器对黑白图像进行提取以获得 物体轮廓信号， 并 转换为串行信号输出到所述图像感触器； 所述图像感触器将所述串行信号转变为机械 触觉信号发出触针剌激， 所述超声探测器用于测量周围物体的位置信息 ， 所述微处理 控制器对所述物体位置信息处理得到物体的距 离和安全避让方向， 并传送至所述提示 装置； 所述提示装置用于提示物体的距离和安全避让 方向。

本发明的智能导盲装置也可以称之可视化导盲 器， 盲人可以选择自己某一敏感触 觉部位作为安装图像感触器的 "显示区"， 具体来说， 如图 1-5所示， 智能导盲装置包 括探测机构 1、 微处理控制器 3、 图像感触器 5和提示装置， 探测机构 1内包括摄像装 置和超声探测器， 微处理控制器 3分别与摄像装置、 超声探测器、 图像感触器 5和提 示装置连接， 摄像装置采集前方景物的黑白图像， 微处理控制器 3对该黑白图像进行 提取以获得物体轮廓信号，并转换为串行信号 输出到图像感触器 5; 图像感触器 5将串 行信号转变为机械触觉信号发出触针剌激， 超声探测器测量周围物体的位置信息， 微 处理控制器 3对该物体位置信息处理得到物体的距离和安� �避让方向， 并传送至提示 装置； 提示装置提示物体的距离和安全避让方向。

在优选的实施例里， 图像感触器 5包括调制驱动电路板 52、触针阵列 51和支撑机 构 53， 触针阵列 51与调制驱动电路板 52电连接， 并一并安装在支撑机构 53上， 触针 阵列 51是由压电陶瓷振动器组成的触觉器阵列， 调制驱动电路依次扫描供电振动， 形 成与微处理控制器 3 的物体轮廓信号激励驱动一致的触觉激励， 处理后的图像的机械 触觉信号与触针阵列 51点对点比例对应， 触针阵列 51可以为独立的 160x120以下的 机械振动触点矩形阵列， 例如采用 120x80或 160x120两种触针阵列， 图像感触器 5 采用串行方式输出机械触觉信号， 触视速度上采用间歇式而非连续的图片触觉模 式， 如以每 1秒或 2秒以上一幅图片的触觉速度， 输出机械触觉信号， 支撑机构 53置于人 体的皮肤敏感区， 触点感觉适合人体敏感度， 且适于紧贴安置于人体敏感触觉区， 如 右胸前区， 额头部位等， 避免触点剌激敏感穴位是适宜的。

在一些实施例中， 摄像装置包括摄像镜头 11、 黑白 CCD图像传感器 12、 图像处理 电路 13， 物体经过摄像镜头 11成像于黑白 CCD图像传感器 12上， 图像处理电路 13 将高速扫描到的黑白影像信号转换为电信号进 行处理， 并连续的输出模拟黑白标准图 像到微处理控制器 3， 摄像镜头 11为一定视角可手动变焦的透镜组件。

在一些实施例中， 提示装置包括语音提示器和震动提示器 71、 72、 73、 74， 震动 提示器用于提示物体的距离和安全避让方向， 语音提示器可用于对整个导盲装置的使 用情况 （如开关机、 工作模式等） 进行提示， 优选采用耳机， 耳机接口内置于探测机 构 1。

在一些实施例中， 微处理控制器 3， 包括键盘 31、 电源 36、 电路板 37， 其中电路 板 37上设置有 ARM微处理器 371、 I/O接口 372、 语音模块 373、 视频信号接收解码模 块 374， FPGA可编程控制器 375、 图像感触器接口模块 376， ARM微处理器 371分别与 I/O接口 372、 FPGA可编程控制器 375、 图像感触器接口模块 376、 语音模块 373、 电 源 36、 键盘 31以及震动提示器 71、 72、 73、 74连接， FPGA可编程控制器 375还分别 与视频信号接收解码模块 374和图像感触器接口模块 376连接， 视频信号接收解码模 块 374与摄像装置的图像处理电路 13连接， 语音模块 373外接语音提示器， 图像感触 器接口模块 376外接图像感触器 5， I/O接口 372外接超声探测器 14、 15、 16、 17； 键 盘 31可以包括四个按键 (动提取 /冻结、 正 /负提取、 放大、 缩小按钮）。

在一些实施例中， 电源 36由微处理控制器 3内置的大容量锂电池提供， 还设置有 电源指示灯 38， 以提示电量的多少。 此外， 微处理控制器 3还包括功能切换开关 33、 电源开关 32、 扬声器 35和蜂鸣器 34等， 功能切换开关 33与 ARM微处理器 371连接， 分为训练档和正常档， 电路板 37中还包括视频训练模块 377， 其与视频信号接收解码 模块 374连接。 ARM微处理器 371中的操作系统为 LINUX嵌入式操作系统， 软件包括 超声测量管理软件、 安全避让软件和视频训练学习软件。 FPGA可编程控制器 375对视 频信号接收解码模块 374采集的图像进行图像变换处理以获得物体轮 廓信号， 处理后 的图像轮廓信号作比例对应运算输出至图像感 触器接口模块 376，产生图像感触器所需 的串行输出， 其中的图像变换处理包括图像冻结、 动态捕捉、 图像放大、 图像缩小、 正片强化、 负片强化。

其中的视频训练模块 377中可以包含如下信息： 1 ) 常用物品： 照片图像、 轮廓图 像、 立体轮廓静态、 立体轮廓滚动； 远近变换活动轮廓图像； 2 ) 日常活动的物体： 照 片图像、 轮廓图像、 立体轮廓静态、 立体轮廓滚动； 远近变换活动轮廓图像； 移动时 图像； 3 ) 人、 动物： 照片图像、 轮廓图像、 立体轮廓静态、 立体轮廓滚动； 远近变换 活动轮廓图像； 移动时图像； 4) 危险物品： 照片图像、 轮廓图像、 立体轮廓静态、 立 体轮廓滚动； 远近变换活动轮廓图像； 5 ) 环境生物体： 照片图像、 轮廓图像、 立体轮 廓静态、 立体轮廓滚动； 远近变换活动轮廓图像； 同时结合手感知对应以上物体模型， 或摄像头摄像后通过图像感触器的对比， 作一定的训练， 通过训练学习， 获得并提高 识别物体形状的能力， 这样盲人边学习边会看到越来越多的物体。 在一些实施例中， 探测机构 1可以为头戴式机构， 其包括可调节的头带 18、 眼镜 体 10和固定机构 19， 眼镜体 10通过头带 18与固定机构 19连接，超声探测器有四组， 分别为前、 后、 左、 右超声探测器， 每组超声探测器均包含发射探头和接收探头， 摄 像装置的摄像镜头 11和前超声探测器 16安装在眼镜体 10的正前方，左超声探测器 14 和右超声探测器 15分别安装在眼镜体 10的左右两侧， 后超声探测器 17安装在固定机 构 19内， 每组超声探测器分别探测其对应方位中物体的 位置信息， 其发射探头和接收 探头都分别与微处理控制器 3连接， 分别用于接受微处理控制器 3的扫描信号和接收 超声信号并送到微处理控制器 3，微处理控制器 3根据超声探测器探测获得的物体位置 信息， 采用特定的仿生算法获得障碍安全避让方向， 震动提示器， 包括前、 后、 左、 右四个， 分别用于根据前、 后、 左、 右超声探测器探测的物体方位提示物体的位置 以 及安全避让方向。 微处理控制器 3通过电缆 2与探测机构 1连接， 通过电缆 4与图像 感触器 5连接， 通过电缆 6分别与四个震动提示器连接， 佩戴时， 眼镜体 10置于人眼 前方， 相当于带上一个眼镜， 头带 18置于头顶， 可以根据人体头型特征调节松紧以确 保舒适佩戴， 固定机构 19置于头部后侧， 在探测机构 1接触人体的一侧还设有护垫， 使接触皮肤更舒适， 微处理控制器 3可以固定在腰带式挎包内， 震动提示器佩戴时可 以通过撕粘胶带分别佩于人体前后胸、 左右手臂等位置； 图像感触器依据盲人个体的 特征， 可以穿戴于前胸或后背。

一个优选实施例的智能导盲装置具体操作如下 ：

微处理控制器 3的电源开关 32拨至开的位置， 智能导盲装置开始工作， 由于功能 切换开关 33可以分训练档和正常档位， 将功能切换开关 33拨至训练位置时， 微处理 控制器 3切断探测机构 1中图像处理电路 13的电源， 摄像镜头 11不工作， 微处理控 制器 3内部的视频训练模块 377开始工作， 产生图像信号， 供导盲装置的控制电路仿 真使用， 同时微处理控制器 3驱动周围其他部件工作如下：

探测机构 1内嵌入的四个超声探测器 14、 15、 16、 17， 通过电缆 2接受来自微处 理控制器 3 的启动测量指令， 为防止多个超声探测器之间的信号干扰， 依次启动四个 超声探测器， 可顺序启动前超声探头 16、 右超声探头 15、 左超声探头 14、 后超声探头 17以及相关附属电路（当然顺序不限于此）， 并将获得的测量结果通过电缆 2送回到微 处理控制器 3中。

微处理控制器 3依次接受来自探测机构 1的各个超声探测器 16、 15、 14、 17的位 置距离信号， ARM微处理器 371对对应方位物体的位置距离对号入座，根据 物体位置距 离的大小量化算出震动幅度， 并且对四个方位的数据采用障碍避让竞争算法 ， 判断出 安全方向， 通过控制电缆 6送给震动提示器 7、 8、 9、 10。

微处理控制器 3根据键盘 31的指令控制视频信号接收解码模块 374接收视频训练 模块 377播放的图像信号， 并送给 FPGA可编程控制器 375作图像变换处理， 所作的图 像变换处理包括： 图像冻结、 动态捕捉、 图像放大、 图像缩小、 正片强化、 负片强化 (根据对图像的要求， 可以采用一种或者多种处理方式的结合， 以获得盲人能识别的 信号）， 处理后的图像信息采用比例尺变换为 160x120或 120x80的图像信息， 图像感 触器接口模块 376生成图像感触器 5所需的串行输出信号， 经过电缆 4送给图像感触 器 5。

图像感触器 5中调制驱动电路板 52的控制电路接受来自微处理控制器 3的串行图 像信号、 时钟信号、 场序信号等， 分别按顺序移位至内部对应的行、 场阵列寄存器， 调制成压电陶瓷体驱动频率， 产生对应触点位置的震动信息， 送给触针阵列 51， 从而 实现与图像对应触针震动。

当微处理控制器 3的功能切换开关 33切换至正常档位时， 微处理控制器 3内部的 视频训练模块 377停止工作，微处理控制器 3将电源通过电缆 2送给探测机构 1，探测 机构 1中摄像镜头 11、 黑白 CCD图像传感器 12、 图像处理电路 13开始工作， 外面景 物通过摄像镜头 11成像于黑白 CCD图像传感器 12上， 图像处理电路 13对黑白 CCD图 像传感器 12获得的图像信息处理并连续的输出模拟黑白� ��准的图像信号 CVBS,经过电 缆 2送至微处理控制器 3。

微处理控制器 3根据键盘 31的指令控制视频信号接收解码模块 374接收来自摄像 装置的图像信号， 并送给 FPGA可编程控制器 375作图像变换处理， 所作的图像变换处 理包括： 图像冻结、 动态捕捉、 图像放大、 图像缩小、 正片强化、 负片强化 （根据对 图像的要求， 可以采用一种或者多种处理方式的结合， 以获得盲人能识别的信号）， 处 理后的图像信息采用比例尺变换为 160x120或 120x80的图像信息， 图像感触器接口模 块 376生成图像感触器 5所需的串行输出信号， 经过电缆 4送给图像感触器 5。

图像感触器 5中调制驱动电路板 52的控制电路接受来自微处理控制器 3的图像信 号、 时钟信号、 场序信号等， 分别按顺序移位至内部对应的行、 场阵列寄存器， 调制 成压电陶瓷体驱动频率， 产生对应触点位置的震动信息， 送给触针阵列 51， 从而实现 与图像对应触针震动。

同时探测机构 1内嵌入的四个超声探测器 14、 15、 16、 17， 通过电缆 2接受来自 微处理控制器 3 的启动测量指令， 为防止多个超声探测器之间的信号干扰， 依顺序启 动前超声探头 16、右超声探头 15、左超声探头 14、后超声探头 17以及相关附属电路， 并将获得的测量结果通过电缆 2送回到微处理控制器 3中， 微处理控制器 3依次接受 来自探测机构 1的各个超声探测器 16、 15、 14、 17的位置距离信号， ARM微处理器 371 对对应方位障碍的位置距离对号入座， 根据障碍位置距离的大小量化算出震动幅度， 并且对四个方位数据采用新鱼群障碍避让试探 算法，判断出安全方向，通过控制电缆 6 送给震动提示器 7、 8、 9、 10。

由于采用黑白摄像头采集前方景物图像， 将获得的图像作图像变换处理后生成主 要轮廓信息，并由图像感触器将图像信号转变 为机械触觉信号，从而开辟人体第三"感 触视觉区"或叫生物感觉 "类眼"， 使盲人 "看"到物体形状； 再通过一系列的训练学 习， 逐步累积 "看到"更多物体目标， 提高 "类眼"识别物体形状的能力， 或者 "类 眼视力"水平， 从而使盲人感觉到更多的物体形状， 同时在多个方位安装有超声探测 器， 可以对周围障碍物进行扫描， 获取周围障碍位置信息， 采用拥挤下竞争与常态两 种模式的仿生算法提示障碍安全避让方向， 更加能够帮助盲人增强识别环境物体的能 力， 甚至看图， 看文字能力， 起到更有效导盲辅助作用。

经过上述装置辅助， 盲人不但可以较为有效地探测到周围障碍， 还能避让周围的 障碍物体， 通过摄像头还能 "看"到眼前方物体轮廓， 识别物体形状， 并且通过不断 的训练积累， 逐步认识到越来越多的物体。

以上内容是结合具体的优选实施方式对本发明 所作的进一步详细说明， 不能认定 本发明的具体实施只局限于这些说明。对于本 发明所属技术领域的普通技术人员来说， 在不脱离本发明构思的前提下， 做出若干等同替代或明显变型， 而且性能或用途相同， 都应当视为属于本发明的保护范围。