Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
HEAD-MOUNTED MOLECULAR IMAGE NAVIGATION SYSTEM
Document Type and Number:
WIPO Patent Application WO/2016/029403
Kind Code:
A1
Abstract:
A head-mounted molecular image navigation system, comprising: a multi-spectral light source module for emitting visible light and near-infrared light to a detection region, a signal acquisition module for acquiring a near-infrared fluorescence image and a visible light image of an imaging object, a head-mounted system supporting module for bearing the multi-spectral light source module and the signal acquisition module so as to adjust illumination of the multi-spectral light source module to the detection region, and an image processing module for fusing the acquired near-infrared light image and the acquired visible light image, and outputting a fused image. According to the embodiments of the present invention, flexible usage of the device in applications of an image system is effectively achieved, and an application space of optical molecular image navigation is expanded.

Inventors:
TIAN JIE (CN)
CHI CHONGWEI (CN)
YANG XIN (CN)
Application Number:
PCT/CN2014/085396
Publication Date:
March 03, 2016
Filing Date:
August 28, 2014
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
CHINESE ACAD INST AUTOMATION (CN)
International Classes:
G01J3/28
Foreign References:
CN102721469A2012-10-10
CN102809429A2012-12-05
CN103390281A2013-11-13
US20060001881A12006-01-05
Attorney, Agent or Firm:
CHINA SCIENCE PATENT & TRADEMARK AGENT LTD. (CN)
中科专利商标代理有限责任公司 (CN)
Download PDF:
Claims:
权 利 要 求

1 . 一种头戴式分子影像导航系统, 包括:

多光谱光源模块, 用于向探测区域照射可见光和近红外光;

信号采集模块, 用于采集成像对象的近红外荧光图像和可见光图像; 头戴式系统支撑模块, 用于承载所述多光谱光源模块和所述信号采集模块, 以调整所述多光谱光源模块对所述探测区域的照射范围;

图像处理模块, 用于对采集的近红外光图像和可见光图像进行图像融合,并 输出融合图像。

2. 根据权利要求 1所述的系统, 其中, 所述多光谱光源模块包括: 可见光源, 用于向受检对象发射可见光;

近红外激光器, 用于向受检对象发射近红外光; 和

光源耦合器;

其中, 所述光源耦合器耦合所述可见光和近红外光, 并通过单根光纤将耦合 光连接到所述头戴式系统支撑模块。

3. 根据权利要求 2所述的系统, 其中, 所述头戴式系统支撑模块包括: 头戴式系统支架, 用于承载所述多光谱光源模块和所述信号采集模块; 以及 语音控制模块, 用于控制多光谱光源模块的操作, 以形成期望范围的探测区 域。

4. 根据权利要求 1所述的系统, 其中, 所述图像处理模块对采集的近红外荧 光图像进行特征提取, 包括:

对于图像灰度值 G/背景噪声灰度值0„高于 1.5的像素点, 将所述像素点的 灰度值乘以 2 ; 对于 G/Gn低于 1.5的像素点, 将所述像素点的灰度值除以 2。

5. 根据权利要求 4所述的系统, 其中, 所述图像处理模块对采集的近红外荧 光图像和可见光图像进行图像融合,包括通过以下最小化能量函数式获得所述近 红外荧光图像的光学特性分布:

£(υ) = ||Δ /||2 + ¾| /'— 式 (1)中, J为离散 Lapkce算子, U为位置向量, 选择 n个表面点作为主要标 记点, 、 分别为成像表面标记点, = (p, - a,.)移动向量, 通过最小化获得向 量 Up , 则 3Ωρ = 3Ω + 为表面变形后的位置。

6. 根据权利要求 1 所述的系统, 其中, 所述图像处理模块对采集的近红外 荧光图像和可见光图像进行图像融合,包括通过下式所示的图像重合度作为配准 效果评价标准: 其中, A是可见光图像归一化灰度值矩阵, B是荧光图像归一化灰度值矩阵。

7. 根据权利要求 5 所述的系统, 其中, 所述图像处理模块通过点云配准来 进一步对近红外荧光图像和可见光图像进行图像融合。

8. 一种应用于权利要求 1所述头戴式分子影像导航系统的图像处理方法, 包括:

对可见光图像序列和近红外荧光图像序列进行空间运动检测,以便滤除不匹 配的微小位移帧 (301 ) ;

对经过空间运动检测的所述可见光图像序列进行下采样, 得到图像金字塔 ( 303);

采用梯度边缘检测方法,分别对得到的图像金字塔和近红外荧光图像序列进 行边缘检测, 得到图像边缘 (305) ;

对得到的图像边缘分别进行基于显著性的稀疏采样,从而分别得到采样输出 ( 307); 以及

对得到的采样输出执行配准以便进行图像融合 (308)。

9. 根据权利要求 8所述的方法, 其中, 所述配准包括通过以下最小化能量函 数式获得所述近红外荧光图像的光学特性分布:

£(υ) = ||Δ /||2 + ¾| /'— 式 (1)中, J为离散 Lapkce算子, U为位置向量, 选择 n个表面点作为主要 标记点, 、 分别为成像表面标记点, = (p, - a,.)移动向量, 通过最小化获得 向量; P , 则 3Ωρ = 3Ω + 为表面变形后的位置。

10. 根据权利要求 8所述的方法, 其中, 所述配准包括通过下式所示的图像 重合度作为配准效果评价标准: 其中, A是可见光图像归一化灰度值矩阵, B是近红外荧光图像归一化灰度 值矩阵。

11. 根据权利要求 9所述的方法, 还包括使用点云配准来进一步对近红外荧 光图像和可见光图像进行图像配准。

12. 根据权利要求 11所述的方法,还包括对点云配准的结果进行算法收敛性 验证。

Description:
一种头戴式分子影像导航系统

技术领域

本发明涉及一种成像系统, 特别是一种头戴式分子影像导航系统。 背景技术

作为无创可视化成像技术的新方法和手段, 分子影像在本质上反映了分子调 控的改变所引发的生物体生理分子水平变化和 整体机能的变化。 因此, 在分子水 平上在体 (in vivo)研究基因、 生物大分子和细胞的生命活动是一种重要技术 , 其中 基于分子技术、 断层成像技术、 光学成像技术、 模拟方法学的在体生物光学成像 技术的基础研究, 已经成为分子影像领域研究的热点和难点之一 。

分子影像设备将传统医学影像技术与现代分子 生物学相结合, 能够从细胞、 分子层面观测生理或病理变化, 具有无创伤、 实时、 活体、 高特异性、 高灵敏度 以及高分辨率显像等优点。 利用分子影像技术, 一方面可极大加快药物的研制开 发速度, 缩短药物临床前研究时间; 提供更准确的诊断, 使治疗方案最佳地匹配 病人的基因图谱, 帮助制药公司研发个性化治疗的药物; 另一方面, 可以在生物 医学领域进行应用, 实现在体的定量分析、 影像导航、 分子分型等目标。 然而, 利用这种方法的系统相对复杂, 操作简易性及使用舒适性方面有待进一步提高 。

因此本发明提出了一种头戴式分子影像导航系 统, 通过多光谱激发的方法检 测分子影像中的在体目标, 增强应用的适用范围。 发明内容

本发明提供了一种头戴式分子影像导航系统, 包括:

多光谱光源模块, 用于向探测区域照射可见光和近红外光;

信号采集模块, 用于采集成像对象的近红外荧光图像和可见光 图像; 头戴式系统支撑模块, 用于承载所述多光谱光源模块和所述信号采集 模块, 以调整所述多光谱光源模块对所述探测区域的 照射;

图像处理模块, 用于对采集的近红外光图像和可见光图像进行 图像融合, 并输出 融合图像。 本发明的实施例具有以下技术效果:

1、 通过头戴方式实现分子影像导航、 分子成像,在实现功能的同时提高了便 捷性。

2、 采用投影成像的方法可以引导操作人员对成像 范围进行预判断, 从而增加 了人机交互的功能。

3、利用语音识别的功能可以方便操作人员在 用系统的过程中进一步解放双 手, 从而更精确地控制头戴式分子影像导航系统。

4、 由于采用阈值分解的特征值提取方法, 使得信背比明显提高, 有助于操 作人员根据图像引导实时精准操作。 附图说明

图 1是根据本发明实施例的头戴式系统支撑模块 结构示意图;

图 2是依照本发明实施例的头戴式分子影像导航 统的方框图;

图 3 是依照本发明实施例的头戴式分子影像导航系 统的图像处理方法流程 图。 具体实施方式

为使本发明的目的、 技术方案和优点更加清楚明白, 以下结合具体实施例, 并参照附图, 对本发明进一步详细说明。

本发明实施例基于分子影像中的激发荧光成像 , 提供了一种头戴式分子影像 导航系统。 图 1是根据本发明实施例的头戴式系统支撑模块 结构示意图。 图 2是根据 本发明实施例的头戴式分子影像导航系统的方 框图。 如图 2所示, 该头戴式分子 影像导航系统可以包括多光谱光源模块 110 , 用于提供多个不同谱段的光, 以便 照射受检对象; 光学信号采集模块 120 , 用于实时采集受检对象的荧光激发图像 和可见光图像; 头戴式系统支撑模块 130 , 用于调整操作人员佩戴时的舒适性, 并保证成像的安全有效进行; 图像处理模块 140 , 用于进行图像分割、 特征提取、 图像配准等处理, 实现可见光图像与荧光图像的融合并输出融合 图像。

接下来将分别详细描述多光谱光源模块 110、 光学信号采集模块 120、 头戴式 系统支撑模块 130和图像处理模块 140的操作。 多光谱光源模块 110可以包括冷光源 111、 近红外激光器 112及光源耦合器 113 0 冷光源 111用于向受检对象发射可见光。 冷光源 111可以放置有第一带通滤 光片, 以便透过波长为 400- 650nm的可见光。 近红外激光器 113配置为发射中心 波长为例如 785nm的近红外光。 可以通过光纤将激发光源引出。 本领域技术人员 已知的是, 本发明实施例并不局限于上述实现方式, 还可以采用本领域公知的其 他方式来发射可见光与近红外光。 当激发探测区域时, 基于光谱分离方法, 由单 根光纤来同时实现冷光源 111与近红外激光器 112光出射。 具体地, 将可见光源 与近红外光源出射的光在出光口处耦合。 在耦合处设置光源耦合器 113。 光源耦 合器 113可以是发散镜头, 将光源由直线点光源变成锥束光, 这样可以扩大照射 面积, 以实现激发光源对探测区域的均匀照射。 例如, 可以在近红外激光器 112 的出光口处设置光学镜头, 光学镜头与激光器输出端反向耦合, 实现光源较大发 散角的输出。 可以采用机械固定的方法, 将光纤的一端和光学镜头固定在一起, 将光纤的另一端与头戴式系统支撑模块 130相连。

光学信号采集模块 120可以包括相机 121、镜头 122和坐标投影器 123。相机 121 配置用于采集近红外荧光信号和可见光信号。 其中, 在采集过程中冷光源对 背景进行照明。例如,可以如下设置近红外光 信号采集所需的参考参数:在 800nm 处, 量子效率高于 30% , 帧速大于 30fps , 像源 (即, 相机 121的最小感光单元点 image source) 尺寸大于 5微米。 优选地, 在相机 121与镜头 122之间放置第二带 通滤光片, 以便透过波长为 810- 870nm的近红外光。 当相机 121进行操作时, 坐 标投影器 123可以向探测区域 (图中未示出) 投射出一圆形轮廊, 该轮廊为视野 的最大范围, 以便操作人员获得系统的探测区域, 同时便于操作人员获得多光谱 光源模块 110的激发范围。 如图 1所示, 头戴式系统支撑模块 130可以包括头戴式系统支架 131。 头戴 式系统支架 131用于承载光源模块 110和信号采集模块 120。优选地,头戴式系统 支撑模块 130还可以包括语音识别与控制模块 132。语音识别控制模块 132可以包 括麦克风、 语音识别单元和控制单元(未示出), 以便通过操作人员的语音来控制 多光谱光源模块 110、 坐标投影器 123等模块的操作。 可以使用本领域公知的语 音识别技术来实现语音识别与控制模块 132。 将来自光学信号采集模块 120 的受检对象的可见光图像和近红外荧光图像分 别输入到图像处理模块 140。 图像处理模块 140 由后端计算机处理实现, 采集及 光源控制也可以由后端实现手动控制。 图像处理模块 140首先对输入的近红外荧 光图像进行预处理, 以便根据荧光特异性得到荧光图像的特性分布 。 预处理可以 包括噪声去除、 特征提取以及坏点补偿等。 当然, 也可以对可见光图像进行本领 域公知的预处理。 可以利用阈值分割对输入的近红外荧光图像进 行特征提取。 例 如, 对于近红外荧光图像中图像灰度值 G/背景噪声灰度值0„高于 1.5的像素点, 将该像素点的灰度值乘以 2 , 对于 G/G n 低于 1.5的像素点, 将该像素点的灰度值 除以 2。 按照这种阈值分割方法能够强化特征点。 对于灰度值大于预设阈值的感 兴趣区域, 可以通过本领域公知的灰度图像至伪彩色图像 调整算法, 将这些感兴 趣区域转化成伪彩色图像, 从而进一步标记出特征点及特征区域的位置, 以便操 作人员根据图像来引导实施操作。 图像处理模块 140处理后的图像为融合图像, 在通用计算机上具有显示和投影接口, 方便操作人员实现图像的输出显示。 同时 可以将视频信号反馈到头戴系统上,通过放置 镜前屏幕实现对融合图像的可视化。

然后, 利用得到的荧光图像光学特性分布, 将荧光输入的可见光图像进行图 像融合, 从而得到融合结果图像以便输出。 具体地, 荧光图像与可见光图像的图 像融合包括利用荧光图像光学特性分布将荧光 图像与可见光图像进行配准。 以下 将详细描述该配准操作。

荧光图像光学特性分布具有荧光特异性, 而可见光图像是一种高分辨率结构 图像。 根据本发明实施例的图像配准利用了上述特性 。 在进行配准时, 可以采用 形态学理论, 修正荧光图像光学特性分布的最小化能量函数 式, 使其形状接近成 像组织。 可以使用下式 (1 ) 来进行配准。

式 (1)中, J为离散 Lapkce算子, U为位置向量, 选择 n个表面点作为主要标 记点, 、 分别为成像表面标记点, = (p,.- a,.)移动向量, 通过最小化 ^ )获 得向量 f/ P , 则 3Ω ρ = + 为表面变形后的位置。 为了获取较准确的、 高分辨的融合图像, 在进行配准时, 采用下式 (2) 所示 的图像重合度作为配准效果评价标准。 其中, Α是可见光图像归一化灰度值矩阵, B是荧光图像归一化灰度值矩阵。 运算结果越接近 1 , 说明图像配准效果越好。 图 3示出了根据本发明实施例的图像处理方法的 程图。 如图 3所示, 在步 骤 301 , 对经过预处理的可见光图像序列和荧光图像序 列空间运动检测, 以便滤 除不匹配的微小位移帧, 得到可见光图像序列 Ml和荧光图像序列 M2。

可选地, 在步骤 303 , 针对步骤 301得到的高分辨率可见光图像序列 Ml形成 图像金字塔 P1 , 以减少数据量, 从而提高图像处理的实时性。 具体地, 采用高斯 金字塔对图像进行下采样以便根据金字塔第 i层生成第 i+1层。 首先用高斯核对 第 i层进行卷积, 然后删除所有偶数行和偶数列。 当然, 新得到的图像大小会变 为上一级图像的四分之一。 在这种情况下, 图像首先在每个维度上都扩大为原来 的两倍, 新增的行 (偶数行) 以 0填充。 然后使用指定滤波器进行卷积 (实际上 是一个在每一维上都扩大为两倍的过滤器) 去估计 "丢失" 像素的近似值。 按上 述过程对输入图像循环执行操作就可产生整个 金字塔。 在步骤 305 , 利用例如采用 Roberts算子的梯度边缘检测方法, 对得到的图像 金字塔 P1和荧光图像序列 M2进行边缘检测,分别得到图像边缘 E1和 E2。当然, 在图像处理能力较高的情况下也可以跳过步骤 303 , 直接对可见光图像序列 Ml 和荧光图像序列 M2进行边缘检测。

在步骤 307 , 对得到的图像边缘 E1和 E2分别进行基于显著性的稀疏采样。 可以采用相同的方法对图像边缘 E1和 E2分别进行基于显著性的稀疏采样,这里 采用压缩感知稀疏采样技术对 E1和 E2进行系数采样,从而分别得到采样输出 S1 和 S2。

在步骤 308 , 对步骤 307得到的采样输出 S1和 S2执行配准。 除了采用以上公 式 (1 ) 和 (2) 进行配准以外, 还可以使用点云配准进一步优化配准结果。 关于 点云配准的详细可以参见 "薛耀红等, 点云数据配准及曲面细分技术研究, 国防 工业出版社, 2011 " , 本文不再赞述。

优选地, 根据本发明的图像处理方法还可以包括步骤 309。 在步骤 309 , 对点 云配准的结果进行算法收敛性验证, 以保证运算过程的稳定可靠。

优选地, 可以通过体积较小的图像 GPU或 FPGA来执行步骤 301、 303、 305 和 309的处理,同时采用计算能力更强的中央处理 单元 CPU来执行配准步骤 308 , 从而进一步在优化系统性能的同时, 减小所需的硬件尺寸。

以上所述的具体实施例, 对本发明的目的、 技术方案和有益效果进行了进 一步详细说明, 所应理解的是, 以上所述仅为本发明的具体实施例而已, 并不 用于限制本发明, 凡在本发明的精神和原则之内, 所做的任何修改、 等同替换、 改进等, 均应包含在本发明的保护范围之内。