本发明涉及图像处理技术领域，涉及多光谱视 频数据的采集，主要应 用于对多光谱视频图像信息的获取与重建。

背景技术 说 早在 20世纪 60年代人造地球卫星围绕地球获取地球的图片� ��料时，

书

成像就成为研究地球的有利工具。在传统的 成像技术中，人们就知道黑白 图像的灰度级别代表了光学特性的差异因而可 用于辨别不同的材料。在此 基础上， 成像技术有了更高的发展， 对地球成像时， 选择一些不同颜色的 滤波片分别对场景遮挡成像， 这对于特殊农作物、 大气、海洋、 土壤等领 域的研究大有裨益。这种以离散的几种颜色（ 或者几个波段）对景物成像， 就是人们常说的多光谱成像， 连续获得的多光谱图像则构成了多光谱视 多光谱视频是一种高维数据， 随着光谱图像空间分辨率、谱间分辨率 和时间分辨率的提高，多光谱视频数据急剧增 加，针对多光谱视频数据量 大的特点， 为了保证大量的多光谱视频能够得到更加高效 的传输和处理， 高质量的图像压縮采样编码已经成为一个非常 重要的技术。

为了实现对多光谱视频数据高效的传输和处理 ，传统方法是对多光谱 图像采样后进行压縮，大量的非重要的数据被 扔掉，这种先采样再压縮的 过程使得系统的复杂性增加， 而且在要求采样速率较高的情况下， A/D转 换器的实现就成为了一个难以解决的问题。如 何解决这个问题， 即用远低 于奈奎斯特采样速率对信号进行采样，同时又 可完全恢复信号成为了广大 研究者关心的重点。

2004年由 E. J. Candes、 J. Romberg, T. Tao 和 D. L. Donoho等 人提出了一种新的信号处理理论——压縮感知 （Compressive Sensing) , 该理论的出现为解决上述问题带来了新的思路 。压縮感知的基本思路：从 尽量少的数据中提取尽可能多的信息， 这是一种有着极大应用前景的想 法。它是传统信息论的一个延伸， 但是又超越了传统的压縮理论， 成为了 一门崭新的子分支。 其数学模型： 假设长度为 N的信号 X在某个正交基 或紧框架 Ψ下的系数是稀疏的， 只含有非常少的非零系数， 若将这些系 数投影到另外一个与 Ψ不相关的观测 cD : M * N，M < N， 得到观测数据集合

Y -. M H， 信号 X就可以根据观测值 F通过求解优化问题而精确恢复出来：

X = m \\ ^> ^T X S. t Φ Ψ ^Τ Χ = Y

由于 X在变换域 Ψ中是稀疏的,通过求解上述范数优化问题得到 恢 复值 f可以很好的逼近原信号 X。

由于多光谱图像信号具有可压縮性， 只要找到合适的稀疏表示空间， 就可以利用一个与变换基不相关的观测矩阵将 变换所得的高维信号投影 到一个低维空间上，有效地进行压縮采样，这 样就可以在一定的光谱分辨 率条件下降低对相机分辨率的要求，或者在相 同的技术条件下大幅提升多 光谱分辨率;进一步通过优化问题的求解就可� �从这些较少的投影中以较 高的概率重构出原信号，可以证明这样的投影 信息包含了重构原信号所需 要的足够多的信息。 在一般情况下， 随机观测矩阵有着姣好的观测效果， 这是因为随机矩阵几乎和所有的变换基矩阵不 相关。

目前为止， 压縮感知理论在单幅图像的低速采样及重构中 有较多应 用， 而对于多光谱成像而言， 频谱宽、数据量大并且各谱段之间有较强的 相关性的特点使得压縮感知理论很适用于多光 谱图像的低速信息采集和 重构。

传统的转轮滤光式多光谱视频成像仪对一个场 景依次更换滤光片分 别成像， 获取多张光谱维图像， 受其成像原理的限制， 传统的多光谱视频 成像仪有较多不足：

( 1 ) 传统的多光谱视频成像仪采用机械转轮式的结 构， 这种结构会 引起成像仪的震动， 造成多光谱成像仪的成像质量低， 且稳定性差；

( 2 ) 传统的多光谱视频成像仪对每一光谱段图像进 行成像均需要切 换一次滤光片，使得成像效率和信噪比均比较 低，而且对于性能良好的滤 光片加工较为困难；

( 3 ) 传统的多光谱视频成像方法采用先采样后压縮 的方式， 造成光 谱数据的大量浪费， 同时造成压縮失真。

发明内容

本发明的目的在于针对上述已有技术的不足， 提出一种基于压縮感知 的双通道多光谱视频成像仪及成像方法，以实 现对多光谱视频图像数据的 完整采集，提升多光谱视频成像仪的成像效率 、稳定性和多光谱图像的质 量， 降低成像仪的实现难度和复杂度。

本发明的技术原理是： 借鉴 Ashwin A. Wagadarikar等人设计、 提出 的 CASSI (Spectral Image Estimation for Coded Aperture Snapshot Spectral Imagers ) ， 在原有的单通道的基础上提出双通道技术， 整个系 统共分为两个部分：数据观测部分和光谱图像 重构部分。数据观测部分分 为两个光路通道， 光谱图像由分光器件分为两个包含信息完全一 样的部 分， 然后分别进入两个光路通道， 分别进行数据采样。 由于两个通道中的 随机编码模板是互补的， 因此观测到的数据包含了光谱图像的完整信息 。 光谱图像重构部分接收数据观测部分采集到的 数据，通过解非线性优化问 题更高精度的重构出原光谱图像。

根据上述原理， 本发明基于压縮感知的双通道多光谱视频成像 仪， 其特征在于： 包括分束器 1、 第一光路通道 2、 第二光路通道 3和图像重 构处理器 4，

原始光谱图像 X的光束由所述分束器 1分成第一路光束和第二路光 束，

所述第一路光束进入所述第一光路通道 2且通过在所述第一光路通 道 2的处理和采集后、 得到第一路混叠的光谱图像 并传输给所述图像 重构处理器 4，

所述第二路光束进入所述第 2光路通道 3且通过在所述第二光路通 道 3的处理和采集后、得到第 2路混叠的光谱图像 X ₂ 并传输给所述图像 重构处理器 4，

所述图像重构处理器 4， 根据输入的所述第一路混叠光谱图像 和 所述第二路混叠光谱图像 X ₂ ， 利用非线性的优化方法重构出原光谱图像 所述的基于压縮感知的双通道多光谱视频成像 仪， 其特征在于： 所 述第一光路通道 2是由第一物镜 21、第一编码模板 22、第一带通滤波器 23、 第一中继透镜组 24、 第一棱镜组 25、 第一阵列传感器 26依次相连 而构成的；

所述第二光路通道 3是由第二物镜 31、第二编码模板 32、第二带通 滤波器 33、 第二中继透镜组 34、 第二棱镜组 35、 第二阵列传感器 36依 次相连而构成的；

进入第一光路通道 2的所述第一路光束在所述第一物镜 21上聚焦成 像， 通过所述第一编码模板 22 对光谱图像各位置上的光束进行随机编 码， 随机编码后的光谱图像的光束经过所述第一带 通滤波器 23滤波，再 由所述第一中继透镜组 (24)传递到所述第一棱镜组 25， 产生色散， 色散 后的光谱图像的光束照射到所述第一阵列传感 器 26上，从而得到所述第 一路混叠的光谱图像 _;

进入第二光路通道 3的所述第二路光束在所述第二物镜 31上聚焦成 像，并通过所述第二编码模板 32对光谱图像各位置上的光束进行随机编 码， 随机编码后的光谱图像的光束经过所述第二带 通滤波器 33的滤波， 再由所述第二中继透镜组 (34)传递到所述第二棱镜组 35产生色散，色散 后的光谱图像的光束照射到所述第二阵列传感 器 36上，从而得到所述第 二路的混叠的光谱图像 X ₂ 。

所述的基于压縮感知的双通道多光谱视频成像 仪， 其特征在于： 所 述第一编码模板 22和所述第二编码模板 32， 是由通光和不通光的大小 相同的方格组成的矩形平面板， 通光方格编码为 1， 不通光方格为编码 为 0; 所述第一编码模板 22的每一方格的编码随机设定； 所述第二编码 模板 32的每一方格的编码与所述第一编码模板 22相同位置方格的编码 相反， 实现对光谱图像的每一位置的图像信息的互补 编码， 保证对光谱 图像信息采样的完整性。

为实现上述目标， 本发明基于压縮感知的双通道多光谱视频成像 方 法， 包括如下步骤：

( 51 ) 将原光谱图像的光束分成第一路光束和第二路 光束， 所述第 一路光束和所述第二路光束分别进入第一光路 通道和第二光路通道；

(52 ) 获取光谱混叠图像 ，其包括如下步骤：

(S2a)在所述第一光路通道内对进入该通道内的� ��一路光束聚焦成 像， 获得光谱图像、

(S2b )对所述光谱图像进行随机编码， 即对所述光谱图像上的每一 位置上的光束随机遮挡， 被遮挡的位置编码为 0， 没有被遮挡的位置编 码为 1、

(S2c )对编码后的光谱图像进行滤波，滤除需要重� �的带宽以外的 光谱图像的光束、

(S2d)对光谱图像各光谱维的图像在空间维的方� ��上进行搬移， 即 光谱图像的光束发生色散， 实现每一光谱维图像之间相对位置的变化、

(S2e ) 由阵列传感器获取搬移后的光谱图像每一位置 光束的光量， 得到第一路混叠的光谱图像 ；

(53 ) 获取光谱混叠图像 X ₂ , 其包括如下步骤：

(S3a)对进入所述第二光路通道的所述第二路光� ��聚焦成像， 获得 光谱图像、

( S3b )对所述光谱图像进行与所述第一光路通道内� �光谱图像互补 的编码， 即对所述第二通道内的光谱图像上的每一位置 上光束进行相应 的遮挡， 使其与所述第一光路通道内光谱图像同一位置 上的遮挡状态相 反、

(S3c )对互补编码后的光谱图像的光束进行滤波，� �除需要重构的 带宽以外的光谱图像的光束、

(S3d)对光谱图像各光谱维的图像在空间维的方� ��上进行搬移， 即 光谱图像的光束发生色散， 实现每一光谱维图像之间相对位置的变化、

(S3e ) 由阵列传感器获取搬移后的光谱图像每一位置 光束的光量， 得到第二路混叠的光谱图像 X ₂ ；

( 54)根据上述得到的第一路混叠光谱图像 和第二路混叠光谱图 像 ， 利用非线性的优化方法重构原光谱图像 X；

( 55 )重复上述步骤（S1 )到 （S4)对同一场景进行多次光谱成像， 获得该场景在不同时刻上的光谱图像， 形成多光谱视频。

所述的对光谱图像各光谱维的图像在空间维的 方向上进行搬移，是将 棱镜组放在光谱图像光束的传播路线上，使不 同光谱维图像光束通过棱镜 组，在到达阵列传感器时产生不同距离的偏移 ，实现各光谱维图像之间相 对位置的变化。

本发明与传统技术相比较具有的优点：

第一：本发明针对传统的多光谱视频成像仪成 像效率较低的缺点，提 出了基于压縮感知的成像方法，采用双通道观 测技术，使得光谱图像信息 采样完整，每次曝光可以对多个谱段进行成像 ，时间分辨率高，信噪比高; 第二:本发明针对传统的多光谱视频成像仪中� �械转轮引起成像仪震 动，从而造成成像质量低的缺点，提出了一种 无转轮结构的多光谱视频成 像仪， 保证了光谱成像仪的成像稳定性和成像质量；

第三:本发明针对传统的多光谱视频成像仪先� �较高密度传感器阵列 采样， 再进行压縮， 丢失部分冗余信息的缺点， 提出直接以低密度传感器 对其进行信息采样的方式，实现了采样与压縮 的结合，进而提高了传感器 阵列的利用率， 降低了系统的实现难度和复杂度， 避免了压縮失真。

附图说明

图 1是本发明基于压縮感知的双通道多光谱视频� �像仪的结构框图； 图 2是本发明成像仪中的第一光路通道内部结构� �图；

图 3是本发明成像仪中的第二光路通道内部结构� �图；

图 4是本发明成像仪中的编码模板示意图；

图 5是本发明基于压縮感知的双通道多光谱视频� �像方法的流程图； 图 6是仿真使用的原始拍摄的河流多光谱图像的 6张光谱维图像平面 图；

图 7是用现有的单通道方式重建多光谱图像的结� �及相应的每一光 谱维图像的 PSNR值；

图 8是用本发明的双通道方式重建多光谱图像的� �果及相应的每一 光谱维图像的 PSNR值。

具体实施方式

参照图 1， 本发明的基于压縮感知的双通道多光谱视频成 像仪， 包括 分束器 1、第一光路通道 2、 第二光路通道 3、 图像重构处理器 4。其中第 一光路通道 2和第二光路通道 3的结构分别如图 2和图 3所示。原光谱图 像 X的光束由分束器 1分成两束， 这两束光包含的光谱信息相同， 但是 方向却是不同的，它们从不同的方向分别进入 到两光路通道内；第一路光 束和第二路光束分别在第一光路通道 2和第二光路通道 3内经过各种元件 的处理和采集后， 得到第一路混叠的光谱图像 和第二路混叠光谱图像 X ₂ ,并输出到图像重构处理器 4中； 图像重构处理器 4根据输入的第一路 混叠光谱图像 和第二路混叠光谱图像 X ₂ ， 利用非线性的优化方法重构 出原光谱图像 X。 参照图 2， 本发明的第一光路通道 2， 由第一物镜 21、 第一编码模板 22、 第一带通滤波器 23、 第一中继透镜组 24、 第一棱镜组 25、 第一阵列 传感器 26依次相连构成；第一物镜 21位于第一光路通道 2的最前端，用 于对第一光路通道 2内的光束进行聚焦，形成清晰的光谱图像；� �一编码 模板 22位于第一物镜 21成像的像面位置上， 如图 4 (a ) 所示， 它是由 通光和不通光的方格组成的矩形面板，方格的 大小相同，其中白色为通光 方格编码为 1， 黑色的不通光方格编码为 0， 每一方格的编码随机设定， 以保证对光谱图像信息编码的随机性； 第一带通滤波器 23位于第一编码 模板 22的后端， 它是由各种透镜组成的透镜组， 用于滤除不需要的光谱 维图像光束；第一中继透镜组 24接在第一带通滤波器 23的后面，将第一 带通滤波器 23保留下来的光谱维图像的光束传递到第一棱� ��组 25;第一 棱镜组 25位于第一中继透镜组 24和第一阵列传感器 26之间， 它对于不 同的光谱维图像有不同的折射率， 使各光谱维图像透过第一棱镜组 25到 达第一阵列传感器 26时产生不同距离的偏移， 从而实现对不同的光谱维 图像的搬移； 位于第一光路通道 2最后端的第一阵列传感器 26， 获取光 谱图像每一位置光束的光量信息，并将其转换 为数字形式， 即而得到第一 路混叠光谱图像 。

参照图 3， 本发明的第二光路通道 3， 由第二物镜 31、 第二编码模板 32、 第二带通滤波器 33、 第二中继透镜组 34、 第二棱镜组 35、 第二阵列 传感器 36依次相连构成；第二物镜 31位于第二光路通道 2的最前端，用 于对第二光路通道 3内光束的聚焦，形成清晰的光谱图像；第二� �码模板 32位于第二物镜 31成像的像面位置上， 如图 4 (b )所示， 同第一编码模 板 22—样， 它也是由通光和不通光的大小相同方格组成的 矩形面板， 其 中白色的通光方格编码为 1， 黑色不通光方格编码为 0， 但是第二编码模 板 32的每一方格的编码并不是随机设定，而是与� ��一编码模板 22上同一 位置上方格的编码相反， 与第一编码模板 22共同实现对光谱图像信息的 互补编码， 保证对光谱图像信息观测的完整性； 第二带通滤波器 33位于 第二编码模板 32的后端， 它是由各种透镜组成的透镜组， 用于滤除不需 要的光谱维图像光束；第二中继透镜组 34接在第二带通滤波器 33的后面， 将第二带通滤波器 33 保留下来的光谱维图像的光束传递到第二棱镜 组 35； 第二棱镜组 35位于第二中继透镜组 34和第二阵列传感器 36之间， 其对于不同的光谱维图像有不同的折射率，使 各光谱维图像透过棱镜到达 第二阵列传感器 36时产生不同的偏移距离， 从而实现对不同的光谱维图 像的搬移； 位于第二光路通道 3最后端的第二阵列传感器 36， 获取光谱 图像每一位置光束的光量信息，并将其转换为 数字形式， 即而得到第二路 混叠光谱图像 X ₂ 。

参照图 5， 本发明基于压縮感知的双通道多光谱视频成像 方法， 包括 如下步骤：

步骤 S1,将原光谱图像的光束分成包含有光谱图像信 息相同的两束、 即第一路光束和第二路光束， 使其从两个不同方向分别进入两个光路通 道， 即第一光路通道和第二光路通道。

步骤 S2 , 获取第一光路通道的混叠光谱图像,其包括如� �步骤：

(S2a) 在第一光路通道内对进入该通道内的第一路光 束进行聚焦成 像， 获得第一光路通道初始光谱图像

( S2b )对第一光路通道初始光谱图像 X _u 每一位置上的信息进行随机 编码，即对光谱图像 ₁ 上的每一位置上的光束利用遮光板进行随 机遮挡， 遮挡住的位置将没有光束通过，没有被遮挡的 位置上的光束将通过方形孔 径继续向后照射； 将被遮挡住位置上的信息编码为 0， 将没有被遮挡位置 上的信息编码为 1， 得到第一光路通道编码后的光谱图像 X _{12 ;}

(S2c )对第一光路通道编码后的光谱图像 X ₁₂ 进行滤波， 即滤除带宽 外不需要的光谱维图像的光束，保留带宽内光 谱维图像的光束，得到第一 光路通道滤波后的光谱图像 X _{13 ;}

( S2d)将棱镜组放在第一光路通道滤波后的光谱� �像 X ₁₃ 光束的传播 路线上，使滤波后的光谱图像的光束发生色散 ， 由于各光谱维图像的偏移 距离不同，从而实现对每一光谱维图像在空间 维上不同距离的搬移，得到 第一光路通道搬移后的光谱图像 X ₁₄ ；

(S2e )通过阵列传感器获取第一光路通道搬移后的� �谱图像 X _M 的光 量信息， 由于在该阵列传感器每一位置上获取的光量信 息是光谱图像 X ₁₄ 全部搬移后光谱维图像在同一空间位置上光量 信息的求和，因而可实现不 同光谱维图像信息的混叠；将求和的光量信息 转换为数字形式，得到第一 光路通道的混叠光谱图像 ；

步骤 S3, 获取第二光路通道的混叠光谱图像 X ₂ ，其包括如下步骤： (S3a) 在第二光路通道内对进入该通道的第二光束进 行聚焦成像， 获得第二光路通道初始光谱图像 X ₂₁ ；

( S3b )对第二光路通道初始光谱图像 X ₂₁ 进行与第一光路通道互补的 编码， 即对第二通道内的光谱图像 X ₂₁ 上的每一位置上光束进行相应的遮 挡，使其与第一光路通道内光谱图像 X _u 同一位置上光束的遮挡状态相反， 保证原光谱图像 X的任一位置上的信息不被遗漏， 得到第二光路通道互 补编码的光谱图像 X _{22 ;}

( S3c ) 对第二光路通道互补编码后的光谱图像 X ₂₂ 的光束进行滤波， 即滤除带宽外不需要的光谱维图像的光束， 保留带宽内光谱维图像的光 束， 得到第二光路通道滤波后的光谱图像 X _{23 ;}

(S3d)将棱镜组放在第二光路通道滤波后的光谱� ��像 X ₂₃ 光束的传播 路线上， 使光谱图像 X ₂₃ 的光束发生色散， 由于各光谱维图像的偏移距离 不同，从而实现对每一光谱维图像在空间维上 不同距离的搬移，得到第二 光路通道搬移后的光谱图像 X _{24 ;}

(S3e )通过阵列传感器获取第二光路通道搬移后的� �谱图像 X ₂₄ 的光 量信息， 由于在阵列传感器每一位置上获取的光量信息 是光谱图像 ₄ 全 部搬移后的光谱维图像在同一空间位置上光量 信息的求和，因而可实现不 同光谱维图像信息的混叠；将求和的光量信息 转换为数字形式，得到第二 光路通道的混叠光谱图像 X ₂ ；

步骤 S4, 根据上述得到的第一路混叠光谱图像 和第二路混叠光谱 图像 X ₂ ， 利用非线性的优化方法重构原光谱图像 X ,其包括如下步骤：

(S4a)将输入的第一路混叠光谱图像 和第二路混叠光谱图像 ^在 平面空间上连接在一起， 得到一个总的混叠光谱图像 Γ：

Y = [X ₁ ,X ₂ ] = [A ₁ X,A ₂ X] = AX，

其中， 为两个线性算子， ΑΧ,Λ ^分别表示第一光路通道和第二 光路通道对光谱图像 X的操作结果； Α = [Α,^]表示整个观测部分的线性 函数算子， 表示整个观测部分对光谱图像的操作结果；

(S4b) 设 Ψ为原光谱图像 X稀疏域的一个正交基， 则原光谱图像 X 在基 Ψ上的表示系数 Φ是稀疏的，即系数 Φ中的零元素或者小于设定阈值 的元素个数较多：

Φ = ψ !χ = ψ ^τ χ，

其中， Ψ- ¹ 和 Ψ 分别表示正交基 Ψ的矩阵的逆和转置；

(S4C)设定 ΙΙ。为优化求解的目标函数， F = AX为约束条件， 采用非线性优化方法，如基追踪算法、双步迭 代算法或贪婪算法求解下式， 作为对原光谱图像 X的逼近值

X =argminl^ ^r XII ₀ S.t Y = AX , 其中， ΙΙΨ ΙΙ。表示原光谱图像 X在稀疏域上的表示系数 Φ的 /。范数； argmin表示取最小值； S.t F = AX表示约束条件为 F = AX；

步骤 S5, 对同一场景重复进行上述步骤， 即在时间上对场景进行多 次多光谱成像， 形成多光谱视频。

为验证本发明的基于压縮感知的双通道多光谱 视频成像仪的可行性 和有效性， 通过 MATLAB仿真软件模拟了一个实例， 其中在时间上进行一 次光谱成像的过程如下：

仿真 1:

a) 选用原始拍摄的河流的多光谱图像作为原始光 谱图像， 其包含 6 个谱段， 每个谱段的像素数为 512*512， 如图 6所示；

b) 根据现有的单通道光谱成像仪结构， 采用余弦稀疏域和双步迭代 算法重构原光谱图像， 并计算出每一张光谱维图像重构结果的 PSNR值， 结果如图 7所示， 其中 7(a)、 7(b), 7(c), 7(d), 7(e), 7(f)分别是对 6(a), 6(b), 6(c), 6(d), 6(e), 6 (f)的重构结果及相应的 PSNR。

仿真 2:

a) 选用原始拍摄的河流的多光谱图像作为原始光 谱图像， 其包含 6 张 512*512光谱维图像， 如图 6所示；

b) 根据本发明的双通道光谱成像仪结构， 采用余弦稀疏域和双步迭 代算法重构原光谱图像，并计算出每一张光谱 维图像重构结果的 PSNR值， 结果如图 8所示， 其中 8(a)、 8(b), 8(c), 8(d), 8(e), 8(f)分别是对 6(a), 6(b), 6(c), 6(d), 6(e), 6 (f)的重构结果及相应的 PSNR。

从仿真 1 的实验结果可以计算出用单通道方式进行多光 谱图像重构 出的 6张光谱维图像的平均 PSNR为 30.31dB，其中 PSNR最低为 28.5167dB, 最高为 32.7970dBo

从仿真 2 的实验结果可以计算出用本发明双通道方式进 行多光谱图 像重构出的 6张光谱维图像的平均 PSNR为 32. 82dB,其中 PSNR最低为 31. 0005dB , 最高可达 35. 5981dB。

将仿真 1与仿真 2的结果做出比较可以看出，本发明的双通道� �术相 对于现有单通道技术的光谱重构结果可以将平 均 PSNR提高 2. 51dB，证明 本发明在进行多光谱图像重建时有更好的性能 。