Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
STEREOSCOPIC IMAGING SYSTEM AND METHOD THEREFOR
Document Type and Number:
WIPO Patent Application WO/2015/062352
Kind Code:
A1
Abstract:
Disclosed are a stereoscopic imaging system and a method therefor. The system comprises: a ray source which emits a plurality of ray fan beams; a plurality of columns of detectors which are respectively arranged opposite to the ray source at a predetermined angle, wherein when an object under inspection moves in the direction of intersection with the ray fan beams, the plurality of columns of detectors respectively detect the strength values of the object under inspection through which corresponding ray fan beams are transmitted so as to form transmission images corresponding to the various columns of detectors; and a reconstruction device which takes any two transmission images in the plurality of transmission images as a dual-viewing angle image to calculate depth information about the object on each transmission image, conducts superposition fusion on the calculated depth information so as to obtain stereoscopic information about the object under inspection, and conducts stereoscopic reconstruction. The stereoscopic reconstruction is conducted by using transmission images collected by a plurality of columns of linear detectors having a certain angle, so as to recover the lost depth information about the transmission images, so that the transmitted object displays a certain stereoscopic effect at different viewing angles, thereby facilitating the better analysis of images.

Inventors:
CHEN ZHIQIANG (CN)
TU ZHUOWEN (CN)
LI LIANG (CN)
ZHAO ZIRAN (CN)
ZHANG DUOKUN (CN)
PENG ZHI (CN)
CUI JIN (CN)
LIN DONG (CN)
Application Number:
PCT/CN2014/085153
Publication Date:
May 07, 2015
Filing Date:
August 26, 2014
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
NUCTECH CO LTD (CN)
International Classes:
G06T17/00; G01N23/04
Foreign References:
CN103226114A2013-07-31
CN101210895A2008-07-02
CN102411157A2012-04-11
US7054475B22006-05-30
US20090232277A12009-09-17
Attorney, Agent or Firm:
CHINA SCIENCE PATENT AND TRADEMARK AGENT LTD. (CN)
中科专利商标代理有限责任公司 (CN)
Download PDF:
Claims:
权利要求

1、 一种立体成像系统, 包括:

射线源, 发出多个射线扇束;

多列探测器, 分别以预定的角度与所述射线源相对设置, 当被检查物体沿着 与所述射线扇束相交的方向运动时, 所述多列探测器分别探测相应的射线扇束透 射所述被检查物体的强度值, 形成与各列探测器相对应的透射图像;

重建装置, 将多幅透射图像中的任何两幅透射图像作为双视角图,计算透射 图像上物体的深度信息, 对计算的深度信息进行叠加融合, 得到被检查物体的三 维信息, 进行三维重建。

2、 如权利要求 1所述的立体成像系统, 其中, 所述重建装置基于不同深度 的物体在两幅图像之间的位置差来计算深度信息。

3、 如权利要求 1所述的立体成像系统, 其中, 所述重建装置利用计算的深 度信息 z对 X和 y坐标进行校正。

4、 如权利要求 1所述的立体成像系统, 其中, 所述多列探测器均为 L形臂 架, 所述重建装置利用下式对探测器列方向上的分辨率进行校正:

S D

N ' D + Δϋ 其中, S表示探测器列方向尺寸, Ν表示探测器列中探测模块的个数, D表 示射线源到射线主束方向探测器模块距离, Δϋ表示其他探测器模块相对于主束方 向探测器模块的距离变化。

5、 如权利要求 1所述的立体成像系统, 其中, 所述重建装置如下计算深度 自 . 设有不同深度的 Α, Β两点, 在右探测器扫描图像中 Β在 Α右, 在左探测 器扫描图像中 B在 A左, 两点的相对位置差为 L, 由 L和张角 e可以得到 A, B 两点深度差 H:

6、 如权利要求 1所述的立体成像系统, 其中, 所述重建装置基于多幅透射 图像中的一幅透射图像来识别箱体, 确定箱体的位置, 并且对所述箱体进行三维 建模。

7、 一种立体成像系统的方法, 所述系统包括射线源和分别以预定的角度与 所述射线源相对设置的多列探测器, 所述方法包括步骤:

从射线源发出多个射线扇束;

当被检查物体沿着与所述射线扇束相交的方向运动时,所述多列探测器分别 探测相应的射线扇束透射所述被检查物体的强度值, 形成与各列探测器相对应的 透射图像;

将多幅透射图像中的任何两幅透射图像作为双视角图,计算透射图像上物体 的深度信息, 对计算的深度信息进行叠加融合, 得到被检查物体的三维信息, 进 行三维重建。

8、 如权利要求 7所述的方法, 其中, 基于不同深度的物体在两幅图像之间 的位置差来计算深度信息。

9、 如权利要求 7所述的方法, 其中, 利用计算的深度信息 z对 X和 y坐标 进行校正。

10、 如权利要求 7所述的方法, 其中, 所述多列探测器均为 L形臂架, 利 用下式对探测器列方向上的分辨率进行校正:

S D

N ' D + Δϋ 其中, S表示探测器列方向尺寸, Ν表示探测器列中探测模块的个数, D表 示射线源到射线主束方向探测器模块距离, Δϋ表示其他探测器模块相对于主束方 向探测器模块的距离变化。

11、 如权利要求 7所述的方法, 其中, 如下计算深度信息:

设有不同深度的 Α, Β两点, 在右探测器扫描图像中 Β在 Α右, 在左探测 器扫描图像中 B在 A左, 两点的相对位置差为 L, 由 L和张角 e可以得到 A, B 两点深度差 H:

Description:
立体成像系统及其方法 技术领域

本申请涉及辐射成像领域, 具体涉及一种单源多探测器的立体成像系统及 其方 法。 背景技术

安全检查在反恐、 打击贩毒走私等领域有十分重要的意义。 世界各国对公共场 所的安全检查也越来越重视, 对海关集装箱、 行李物品等的检查要求也越来越高。

目前安全检查以辐射成像系统为主流, 对采用线性探测器成像的普通透射图像 而言, 获取到得数据为二维图像, 检测图像存在物质深度信息丢失, 图像信息投影 重叠严重, 影响人们对物体形状的辨认和识别。 发明内容

针对现有技术中的一个或多个问题, 提出了一种立体成像系统及其方法。 在本发明的一个方面, 提出了一种立体成像系统, 包括: 射线源, 发出多个 射线扇束; 多列探测器, 分别以预定的角度与所述射线源相对设置, 当被检查物 体沿着与所述射线扇束相交的方向运动时, 所述多列探测器分别探测相应的射线 扇束透射所述被检查物体的强度值, 形成与各列探测器相对应的透射图像; 重建 装置, 将多幅透射图像中的任何两幅透射图像作为双 视角图, 计算透射图像上物 体的深度信息, 对计算的深度信息进行叠加融合, 得到被检查物体的三维信息, 进行三维重建。

根据一些实施例,所述重建装置基于不同深度 的物体在两幅图像之间的位置 差来计算深度信息。

根据一些实施例,所述重建装置利用计算的深 度信息 z对 X和 y坐标进行校 正。

根据一些实施例, 所述多列探测器均为 L形臂架, 所述重建装置利用下式 对探测器列方向上的分辨率进行校正:

S D

N ' D + Δϋ 其中, S表示探测器列方向尺寸, N表示探测器列中探测模块的个数, D表 示射线源到射线主束方向探测器模块距离, Δϋ表示其他探测器模块相对于主束方 向探测器模块的距离变化。

根据一些实施例, 所述重建装置如下计算深度信息:

设有不同深度的 Α, Β两点, 在右探测器扫描图像中 Β在 Α右, 在左探测 器扫描图像中 B在 A左, 两点的相对位置差为 L, 由 L和张角 α可以得到 A, B 两点深度差 H:

根据一些实施例, 所述重建装置基于多幅透射图像中的一幅透射 图像来识别 箱体, 确定箱体的位置, 并且对所述箱体进行三维建模。

在本发明的另一方面, 提出了一种立体成像系统的方法, 所述系统包括射线 源和分别以预定的角度与所述射线源相对设置 的多列探测器, 所述方法包括步 骤: 从射线源发出多个射线扇束; 当被检查物体沿着与所述射线扇束相交的方向 运动时, 所述多列探测器分别探测相应的射线扇束透射 所述被检查物体的强度 值, 形成与各列探测器相对应的透射图像; 将多幅透射图像中的任何两幅透射图 像作为双视角图, 计算透射图像上物体的深度信息, 对计算的深度信息进行叠加 融合, 得到被检查物体的三维信息, 进行三维重建。

利用具有一定角度的多列线性探测器采集到的 透射图像, 进行三维重构, 恢复透射图像丢失的深度信息, 使被透射物品在不同视角上呈现一定的立体效 果, 便于更好地进行图像分析。 附图说明

下面的附图表明了本发明的实施方式。 这些附图和实施方式以非限制性、 非 穷举性的方式提供了本发明的一些实施例, 其中:

图 1 示出了根据本发明实施例的图像获取系统的俯 视图;

图 2示出了根据本发明实施例的图像获取系统的 视图;

图 3是描述深度信息求取过程的示意图;

图 4 是描述探测器列方向上布局示意图;

图 5是描述列方向几何校正原理的示意图; 图 6示出了集装箱卡车的示意图;

图 7示出了箱体识别及建模的过程;

图 8示出了车体建模的过程;

图 9示出了根据本发明实施例的技术实现的三维 建效果的示意图。 具体实施方式

下面将详细描述本发明的具体实施例, 应当注意, 这里描述的实施例只用于 举例说明, 并不用于限制本发明。在以下描述中, 为了提供对本发明的透彻理解, 阐述了大量特定细节。 然而, 对于本领域普通技术人员显而易见的是: 不必采用 这些特定细节来实行本发明。 在其他实例中, 为了避免混淆本发明, 未具体描述 公知的结构、 电路、 材料或方法。

在整个说明书中,对 "一个实施例" 、 "实施例" 、 "一个示例" 或 "示例" 的提及意味着: 结合该实施例或示例描述的特定特征、 结构或特性被包含在本发 明至少一个实施例中。 因此, 在整个说明书的各个地方出现的短语 "在一个实施 例中" 、 "在实施例中" 、 "一个示例"或 "示例"不一定都指同一实施例或示 例。此外, 可以以任何适当的组合和 /或子组合将特定的特征、 结构或特性组合在 一个或多个实施例或示例中。 此外, 本领域普通技术人员应当理解, 这里使用的 术语 "和 /或"包括一个或多个相关列出的项目的任何和 有组合。

三维图像在现实生活中有着广泛的应用,相比 二维图像, 它能更好的描述现 实场景, 可以获得更加生动的视觉效果。 在辐射成像领域, CT 成像可以很好的 重建物体三维结构, 但是三维 CT成像又存在扫描设备结构复杂, 测量时间耗时 较长等缺点。 因此, 针对透视图像利用多个视角解决立体成像问题 , 除了具有很 好的学术价值外, 也有很好的应用价值: 辐射图像多视角立体成像技术可以给出 一个近似三维的图像, 利用小角度转动或者利用三维显示终端展示, 给查验人员 立体感知, 提升用户体验。

针对上述问题, 在本发明的实施例中, 利用具有一定角度的多列线性探测器 采集到的透射图像, 进行三维重构, 恢复透射图像丢失的深度信息, 使被透射物 品在不同视角上呈现一定的立体效果, 便于更好地进行图像分析。 例如, 在集装 箱安检领域, 能够在不开箱的情况下, 利用 X射线对集装箱进行扫描, 然后恢复 其部分三维信息, 利用这部分信息以全新的展示方式, 给用户以新的看图辅助和 体验。

根据本发明的实施例, 提出了一种立体成像系统, 包括射线源、 多列探测器 和诸如计算机之类的重建装置。 射线源发出多个射线扇束。 多列探测器, 分别以 预定的角度与所述射线源相对设置, 当被检查物体沿着与所述射线扇束相交的方 向运动时, 所述多列探测器分别探测相应的射线扇束透射 所述被检查物体的强度 值, 形成与各列探测器相对应的透射图像。 重建装置, 将多幅透射图像中的任何 两幅透射图像作为双视角图, 计算透射图像上物体的深度信息, 对计算的深度信 息进行叠加融合, 得到被检查物体的三维信息, 进行三维重建。

图 1给出了图像获取系统俯视图, 图中以三个视角为例, 在实际应用中可以 根据现实需求适当增加视角。 射线源 110到左中右三列探测器 120、 130、 140的 射线扇束形成预定的张角, 例如左探测器列与中探测器列之间成角度 θ, 右探测 器列与中探测器列之间同样成角度 θ, 通过扫描得到不同角度下的三幅图像。 中 间的射线在 X射线的主束方向, 左右射线对称分布在主束方向两侧。本发明的 实 施例以三个视角为例,在 X射线主束方向的两侧可以对称的增加成对视 来构成 图像采集系统。

图 2给出图像获取系统的侧视图, 该成像系统主要包括射线源 110、 准直装 置 (未示出)、 数据采集系统 (未示出) 等。 当被检测的物体以一定的速度经过 检测区域时, 可同时产生与探测器列的数目相对应的多幅图 像, 也就是图像的数 目和探测器列数目相同。 在这种成像模型中, 可以建立适当的参考坐标系, 对获 取的多视角图进行三维重建和多视角查看。

图 3展示了利用两个视角图求取深度信息的原理 不同深度的物体在两幅图 像中会有一定的位置差,通过这个位置差即可 提取深度信息。设有不同深度的 Α, Β两点, 在右探测器扫描图像中 Β在 Α右, 在左探测器扫描图像中 B在 A左, 两点的相对位置差为 L, 由 L和张角 e可以得到 A, B两点深度差 H: 一 L

H = a

2tan-

2

当射线束夹角 C很小时

L

H « - 即物体的相对深度与物体在左右两幅图像中的 相对位置差成正比。

对获取的多幅不同视角图任意两幅组合可以求 解出图像上物体的深度信 息, 并对求解出的三维信息叠加融合, 这样可以最大限度的恢复三维信息。 本发 明以三个视角为例, 同时可以采集三幅图像, 左图、 中图和右图, 两两组合则有 三种组合方式。 对于左、 右视图两幅图像组合的情况, 以其中一幅图像的坐标系 为参考坐标系, 三维坐标可以利用以下公式求解:

其中 V是物体通过采集区域的速度, f 为射线发生频率, (是两个视角的夹 角, Δχ分别为同一特征点在不同视图上位置的差 。 X射线源到探测器所在平面 的距离为 1^。 以左视角图为参考图, 利用求解出的深度信息 ζ对 x,y坐标修正如 下:

z · (yi · dy - L 2 )

y = yi [ α

χ = Xi— ζ · tan― 其中 , yi 为图像上点坐标, dy为 y方向的分辨率, 对于其他的图像组合方 式可以利用类似的求解方法求解, 但坐标求取和修正公式需要适当调整。

另外, 在探测器列方向上存在几何畸变, 这就需要在探测器列方向上进 行几何校正, 下文详细介绍存在几何畸变的原因及校正方案 。

在图像获取过程中, 由于设备的位置和张角等参数相对固定, 类似光学图像 中的标定步骤可以不必考虑。 只需要选择适当的参考坐标系即可。

根据本发明的一些实施例,采用以下算法来获 取两个视图的点点匹配: 首先 利用传统的特征提取、 匹配方法, 建立两个视图特征点的对应; 然后以特征点为 中心建立希尔伯特核, 叠加建立希尔伯特空间, 利用空间平滑性约束迭代求取一 个平滑的空间向量场。 这个空间向量场就代表了这两幅图像上点点对 应关系。

另外, SIFT flow算法也可以很好的求解出两幅图之间的点 对应关系。 SIFT flow算法的基本原理是:首先对图像上的每个 素计算 SIFT特征向量, 即 Dense SIFT, 然后利用流估计算法来匹配 SIFT向量描述。 但是, SIFT Flow将待匹配图 像的所有像素等同对待, 忽略了图像像素的差异性。 对于一张图片来说, 每个像 素的信息量是不同的, 图片中突出的物体像素信息量大, 而背景 (如纯黑色的背 景) 则信息量小。 由于等同对待, 几乎不含信息或含信息量少的像素的匹配值则 会影响重要像素的匹配值, 相当于给匹配过程引入了干扰, 造成整体结果的不准 确。 因此, 本专利使用了改进的能量函数, 该能量函数增加了信息量大的区域的 影响比重, 减弱了背景区域的影响比重, 屏蔽了背景区域对匹配过程的影响, 为 得到更加准确的匹配结果创造条件。 此外, 利用 Belief propagation算法来优化目 标函数。这样可以求得一个最优的 flow field。这个最优的流场就是两幅图像之间 的对应关系。

针对探测器列方向上存在几何畸变, 由于 X射线的辐射状特征, 线性探测 器按照扇形 (弧形) 排布, 可以适应 X射线的特征, 减少几何畸变。 可见, 探测 器使用扇形 (弧形) 排布是最优的选择。 但是, 在实际应用中探测器的排布受机 械结构和空间的影响, 有时只能采用近似扇形 (弧形) 排布, 图 4给出了探测器 排布的一种示例。 探测器可以线形安装在竖直臂架上或者线形安 装在横臂架上, 也可以都安装, 即 L形臂架。 例如, L形探测器列包括多个探测器模块 131、 132 和 133等,接收射线源 110发出的射线束。并且,两个臂架的角度可以 适当调整。 在实际应用中, 可以根据机械结构要求, 选择合适的排布方式, 本发明实施例中 采用 L形臂架。 这种近似扇形 (弧形) 的排布方式, 扇形的半径不同, 虽然减少 了探测器列方向上的几何畸变, 但是无法消除。 这种几何畸变会严重影响三维重 建的效果, 需要在重建的过程中进行几何校正处理。

图 5给出了几何校正的原理,设探测器列方向尺 为 S,探测笔的个数为 N, 则 X射线主束方向上的分辨率为^ 且认为是标准分辨率。 射线源 0到射线主束 方向探测器模块距离,即扇形半径为 D,其他模块距离变化为 Δϋ,不同模块的 Δϋ可 以根据探测器布局图获得。 那么该模块的相对 X射线主束方向模块的尺寸 S1为

D+AD 则该模块的分辨率为

S D

Ν D+Δϋ 。 根据分辨率的不同, 利用图像差值的方法实现探测器列方向上几何 校正。 图 6展示了待检的集装箱卡车, 本发明实施例中采集的三幅视图中的一幅。 对于待检的集装箱卡车, 集装箱内货物是感兴趣的内容, 而且集装箱本身是 一个规则的立方体, 通过对箱体三维建模, 可以完美恢复箱体三维信息。 得到的 三维信息还可以作为箱体内货物三维重建的参 考。 图 7展示了箱体位置识别及建 模的流程, 详细说明如下:

在步骤 S110, 消除剂量不稳定的影响

利用先验信息, 消除剂量不稳定对算法的影响

U x = -log (I/a)

其中 a为图像当前列的空气值 (采集区域只有空气时采集的图像), I为当前 列某探测器笔的读数, 转换后的图像灰度值 U x 对剂量不稳定现象不敏感。

在步骤 S120, 寻找顶部边缘

例如, 利用形态学的方法, 求解形态学梯度, 利用 Hough变换进行集装箱 上边缘的检测。 如果没有, 则在步骤 S150返回错误。

在步骤 S140, 去掉车体头部, 只保留箱体部分

检测集装箱卡车底盘的上边缘部分,处理方法 和集装箱上边缘的处理方法相 同。

然后, 确定箱体的具体位置

有了箱体上边缘和车辆底盘的上边缘, 就得到了箱体的具体位置和尺寸。 在步骤 S160, 箱体建模

利用监测出来的箱体位置和尺寸,确定集装箱 的类型并在模板库中选择适当 的三维模型, 在三维重建时导入。

在安检过程中, 对于待检的集装箱卡车, 卡车部分很多时候都不是检查的重 点, 三维重建的时候可以利用建模的方法快速、 有效恢复其三维信息。 首先要识 别卡车的位置和尺寸并作为特征, 然后在模板库寻找最合适的卡车三维模板。

图 8展示了车体识别及建模的流程。本发明中以 缘信息作为主要依据,判 断图像中车辆位置, 在箱体识别的前提下, 识别卡车的型号和车头位置。 在检测 车辆位置时, 为得到鲁棒的结果, 处理方式分三步为: 预处理去除条纹, 得到背 景变化平缓的图像; 对图像求梯度, 并量化梯度图, 去掉小梯度波动影响; 在二 值量化梯度图中, 求水平、 垂直投影的最大连续区域, 即车辆位置。

在步骤 S210, 预处理去除条纹方法: 在水平、 竖直方向分别去条纹。 以水 平为例, 先求图像在垂直方向的投影序列 Projection 对于 Projection进行中值滤 波, 滤波前后差值大的即判断为条纹, 将这一行的值代替为最近一行非条纹图像 行的值。

在步骤 S220, 求梯度方法为: 对图像进行量化, 量化后求梯度。

求车辆位置: 对梯度图求水平、 竖直方向投影, 分别检测减掉最小值后 (即 去掉可能还存在的条纹影响)的最大连续区域 这个区域就是车辆位置。

在步骤 S230, 利用前述的方法进行箱体识别。

在步骤 S240, 在箱体建模的前提下, 通过识别车体, 从而判断出车体的位 置和朝向。 在三维重建时, 可以利用模板库中车的三维模型来代替车体部 分的重 建。

安检行业中, 透视图像的立体重建, 目的是为了辅助查验, 并不需要精确测 量。 所以本发明更关注于利用透视图像的深度信息 对透视图像进行立体化, 目的 是将重叠在一起的物体透视影像分层显示出来 。 基于此, 可以利用两种方式来展 示立体效果: 第一, 利用 OpenGL等三维展示工具, 开发三维展示软件, 利用不 同角度旋转来展示三维效果; 第二, 利用硬件展示终端, 本发明中使用裸眼 3D 显示器展示三维数据。图 9描述了利用 OpenGL软件包展示出来的三维重建效果。

利用上述实施例的方法, 基于多视角透视图像求取二维图像的深度信息 ,将 二维透视图像立体化, 提供一种辅助检查方案。 此外, 利用建模技术实现集装箱 的三维建模, 提升三维重建的精度。 第三, 利用建模技术实现卡车的三维建模, 提高三维展示效果。

再者, 利用展示软件, 可以不同角度展示三维效果, 结合硬件展示终端, 提 高三维展示效果。

以上的详细描述通过使用示意图和 /或示例, 已经阐述了立体成像系统及其 方法的众多实施例。 在这种示意图和 /或示例包含一个或多个功能和 /或操作的情 况下,本领域技术人员应理解,这种示例中的 每一功能和 /或操作可以通过各种硬 件、软件、固件或实质上它们的任意组合来单 独和 /或共同实现。在一个实施例中, 本发明的实施例所述主题的若干部分可以通过 专用集成电路 (ASIC)、 现场可编 程门阵列 (FPGA)、 数字信号处理器 (DSP )、 或其他集成格式来实现。 然而, 本领域技术人员应认识到, 这里所公开的实施例的一些方面在整体上或部 分地可 以等同地实现在集成电路中, 实现为在一台或多台计算机上运行的一个或多 个计 算机程序 (例如, 实现为在一台或多台计算机系统上运行的一个 或多个程序), 实现为在一个或多个处理器上运行的一个或多 个程序(例如, 实现为在一个或多 个微处理器上运行的一个或多个程序), 实现为固件, 或者实质上实现为上述方 式的任意组合, 并且本领域技术人员根据本公开,将具备设计 电路和 /或写入软件 和 /或固件代码的能力。此外, 本领域技术人员将认识到, 本公开所述主题的机制 能够作为多种形式的程序产品进行分发, 并且无论实际用来执行分发的信号承载 介质的具体类型如何, 本公开所述主题的示例性实施例均适用。 信号承载介质的 示例包括但不限于: 可记录型介质, 如软盘、 硬盘驱动器、 紧致盘 (CD )、 数字 通用盘 (DVD)、 数字磁带、 计算机存储器等; 以及传输型介质, 如数字和 /或模 拟通信介质 (例如, 光纤光缆、 波导、 有线通信链路、 无线通信链路等)。

虽然已参照几个典型实施例描述了本发明, 但应当理解, 所用的术语是说明 和示例性、 而非限制性的术语。 由于本发明能够以多种形式具体实施而不脱离 发 明的精神或实质, 所以应当理解, 上述实施例不限于任何前述的细节, 而应在随 附权利要求所限定的精神和范围内广泛地解释 , 因此落入权利要求或其等效范围 内的全部变化和改型都应为随附权利要求所涵 盖。