技术领域

本发明属于图像处理技术领域，特别涉及一 种基于综合增益的高动态范围图像视 频处理方法。尤其涉及一种不依赖于特殊硬件 设备， 可以处理普通摄像机直接拍 摄视频的高动态范围 （HDR， High Dynamic Range) 视频处理技术。

背景技术

近年来， 随着数码照相机、数码摄像机以及各种有拍摄 功能的手持电子设备 的普及， 海量的图像和视频正在不间断地产生。互联网 上社交网站和图片视频分 享网站的兴起， 更是强化了人们对于图像、 视频的拍摄需求， 每天有数以万计的 媒体信息在互联网上被传输和分享。但是作为 人类视觉系统的辅助工具， 摄像设 备现在已经开始显露出来它的不足，近些年来 许多研究人员不断地从各个方面改 进摄像设备的能力， 除了对设备本身的更新以外， 还对其输出的图像和视频进行 后期处理， 以期得到更好的效果。

在各种图像后期处理的研究中， 图像 HDR处理能够在现有的图像采集设备和 显示设备条件下， 尽可能地得到类似于人眼观察景象的效果， 所以成为了当今图 像处理领域研究的热点。 目前图像 HDR处理已经比较成熟， 不仅有很多成熟的 HDR处理软件， 能够直接将多张不同曝光的图像处理成 HDR 图像， 而且不少消费 级的数码相机和手机上都已经内置了简单的 HDR处理功能。但是就目前来说，视 频 HDR的处理还比较落后， 还没有可以直接商业化的成果。 当前流行的 HDR视 频处理方法不仅处理速度慢， 而且还需要特殊的视频釆集设备， 这样就大大限制 了 HDR视频应用的范围„

1. HDR图像处理算法 Debevec 等人受到传统摄像机成像原理的启发， 将胶片特征曲线的映射过程 应用到了 HDR 图像处理领域， 恢复了含有场景的原始亮度的 HDR 图像。 作者在 文章中使用了一个简化的摄像机模型，用特征 函数来表示相机拍照时的亮度映射 过程： 其中： /(.) 表示特征函数， 表示在第 张图像上的第,个像素点的亮度值， ,表示真实环境中,对应点的实际亮度， 即最终 HDR 图像中的亮度值， 表示 第 张图像拍摄时的曝光时间。

作者使用了二次约束函数来估计特征函数：

0=∑∑[g(Z _tJ )— In , + In Δ/, ] ² + g zf 其中， = In Γ Ζ _ν ) = In E, + In At _t 。

特征函数计算完毕后， 便可以通过反向映射得到对应的 HDR图像。

2. HDR视频处理算法

视频与图像处理的不同之处在于， 除了视频帧内部的空间相关性以外， 还存在着视频帧间的时间相关性。所以在视频 处理时， 可以充分利用已有的图像 处理方法。 在 HDR 图像处理中最重要的一个条件就是要获得不同 曝光条件的多 张图像， 在图像处理中， 可以通过手动改变曝光值的方法来获取这些图 像， 但是 在视频处理中， 这个问题变得比较复杂， 因为无法实时有效地在摄像机上完成类 似于照相机的曝光控制。 目前常用的方法是使用特殊的摄像设备在加上 后期处理 来解决这个问题， 比如采用同时多种曝光设置的摄像设备， 或者不断切换摄像机 的曝光模式等等。 但是特殊设备的使用极大地影响了视频 HDR的应用范围。

发明内容

本发明的目的是为了克服已有技术的不足之处 ， 提出了一种基于综合增益 的高动态范围图像视频处理方法， 其特征在于， 包括：

1 )利用摄像机内置的 AGC (自动增益控制）功能， 提取视频画面的内容和整 体亮度变化， 用于图像 HDR处理中调节曝光参数；

2)根据带有 AGC的摄像机的特殊性， 提出了综合增益值（SGV) 的概念， 并 进一步提出了带有 AGC的摄像机模型。按照此模型可以从视频中恢 复出所有关键 帧的综合增益值;将视频 HDR的处理转化为图像 HDR处理的方式，恢复出全局 HDR 图像： 最终按照帧对齐的逆变换， 得到处理后的 HDR视频； 并在恢复出关键帧的 过程中加入关键帧选取和关键帧分组的步骤， 有效地减少了计算量， 提高了处理 速度；

所述高动态范围图像视频处理方法的流程处理 步骤包括从视频中恢复出所有 关键帧的综合增益值； 将视频 HDR的处理转化为图像 HDR处理的过程， 恢复出全 局 HDR图像（即输入视频）； 在恢复出关键帧的过程中进行关键帧选取， 将选取 的关键帧的划分为关键帧和非关键帧， 然后， 关键帧和非关键帧分别进行对齐， 并将关键帧对齐的信息输入非关键帧对齐步骤 ， 非关键帧对齐后， 则生成 HDR视 频、 结束： 在关键帧对齐后对关键帧分组、 计算综合增益值、 关键（视频）帧的 插值补偿、特征点选取、计算 HDR全局图像及色调映射， 最终按照帧对齐的逆变 换生成 HDR视频， 得到处理后的 HDR视频， 程序结束；

所述综合增益值是在摄像机中以感光度的形式 存在， 较低的增益值产生的感 光度较低， 使得到的图像整理较暗； 而较髙的增益值产生的感光度较高， 能够使 图像的整体变得更亮， 但是会带来更多的噪声影响。 所以， 可以把增益值作为对 原始输入亮度的一种补偿， 以图像上某像素点 A为例， 当摄像机没有 AGC功能或 者 AGC功能关闭时， 符合一般摄像机模型：

I"( _Pk ) = f(E(p _k ) . AT,) 其中， I» 表示像素点 A在最终拍摄得到的图像上的亮度值， /(■)表示摄 像机的特征函数， Δ7;表示拍摄第 z帧时摄像机的曝光时间， 表示 Α点在真 实环境中对应点的真实亮度值。 而当摄像机的 AGC功能打幵时， 则符合得到带有 AGC功能的摄像机模型：

I" (p _k ) = f(E( _Pk G _l AT _l )

其中， G,表示拍摄第,帧时摄像机的增益（Gain )值， 由于摄像机在拍摄每帧 图像的时候， 增益值都在变化， 所以不同帧的增益值也不相同。 S, = G _A t,， 可 以得到：

称 S,为综合增益值， 用来表示视频拍摄时 AGC和曝光设置共同起作用的效果。

本发明的有益效果是提出了通用性较强的视频 HDR处理方法， 以及从视频中 获取全局 HDR图像的方法。 本发明具有如下特点：

1. 本方法不依赖于特殊的视频拍摄硬件设备， 使用常见的摄像机拍摄的视频 即可使用本方法进行处理。

2. 使用本方法处理视频后， 可以得到一张全景 HDR图像。

附图说明

图 1 是系统整体算法的流程图，

具体实施方式

本发明提出的一种基于综合增益的高动态范围 图像视频处理方法， 下面结合 附图对本发明进一步说明。

如图 1所示的系统整体算法的流程图。 该方法的流程步骤包括从视频中恢复 出所有关键帧的综合增益值； 将视频 HDR的处理转化为图像 HDR处理的过程， 恢 复出全局 HDR图像（即输入视频)； 在恢复出关键帧的过程中进行关键帧选取， 将选取的关键帧的划分为关键帧和非关键帧， 然后， 关键帧和非关键帧分别进行 对齐， 并将关键帧对齐的信息输入非关键帧对齐步骤 ， 非关键帧对齐后， 则生成

HDR视频、 结束； 在关键帧对齐后对关键帧分组、计算综合增益 值、关键（视频） 帧的插值补偿、特征点选取、 计算 HDR全局图像及色调映射， 最终按照帧对齐的 逆变换生成 HDR视频， 得到处理后的 HDR视频， 程序结束；

实施例

图 1所示的系统整体算法的具体步骤如下：

( 1 )在输入视频中的选取部分视频帧标记为关键� �（关键帧帧号的集合表示 为 U _K )， 将其余视频帧标记为非关键帧。 视频关键帧的选取可以采取固定间隔选 取或者其他非固定间隔选取的方式，但需要保 证关键帧间的物体运动不会过大的 同时， 尽量减少关键帧的数目。 为了简化处理， 采用固定 10帧为间隔的关键帧 选取方式， 经过实验验证这种选取方式在大多数视频中都 表现良好。为了保证所 有视频帧都被处理， 视频第一帧和最后一帧需要指定为关键帧；

(2)将步骤 （1 ) 中选取出的关键帧和非关键帧进行图像对齐， 并将所有对 齐后的关键帧映射到同一个平面。定义所有关 键帧映射后能够覆盖的区域为全局 图像， 全局图像包含了整个视频能够覆盖的所有像素 点；

(3)将步骤（2)中已经对齐的关键帧划分为关键� ��组， 这样做的主要目的 是为了使同一关键帧组内的关键帧能够有一定 的重合区域，并且在计算时能够大 幅减少计算量：

(4)在步骤（3) 中得到的关键帧组内计算综合增益值， 并将所有组的综合 增益值进行统一化， 得到对应于所有关键帧的综合增益值；

(5)每个单独的关键帧并不能包含全局图像中所 有的像素点， 所以需要将所 有对齐后的关键帧中不存在的点进行插值补偿 ，将所有对齐后的关键帧按照亮度 变化程度进行插值；

( 6 ) 由于摄像机可能存在运动， 并且视频帧数量较多， 所以无法手动从视频 中选择特征点， 所以需要使用自动化的方法从所有关键帧中选 取特征点；

( 7 )按照全局增益值和特征点计算全局 HDR图像；

( 8)利用关键帧和非关键帧到全局图像上的对齐� ��换， 在全局 HDR图像上进 行逆变换， 从全局 HDR图像上恢复 HDR视频帧。

上述步骤 （2) 中将关键帧和非关键帧进行对齐， 具体包含以下步骤： 2. 1选取任一平面作为全局图像平面，在本发明� �为了简化处理，选择第

1个关键帧所在的平面作为全局图像平面：

2. 2选择第 1个关键帧， 将此关键帧与全局图像平面对齐并进行变换， 映射到全局平面。 由于第 1个关键帧所在平面即为全局图像平面， 则不必进 行变换；

2. 3顺序选择下一个关键帧， 将此关键帧与前一个关键帧进行对齐， 并 映射到全局平面；

2. 4顺序选择前面两个关键帧间的非关键帧， 并将此非关键帧与两个关 键帧进行加权对齐， 加权因子使用此非关键帧分别距两个关键帧间 的距离， 记^ «,«为第 帧到第 /«帧的对齐变换矩阵， 并记第 f帧为正在进行对齐的非 关键帧， 而第,帧和第 j帧为第 贞临近的两个关键帧， 则计算公式如下所示：

' j - i ' ' j - i

Mi. i、 Mj. t , Mi, j、 Mj, _t 与 M _{m n} 的含义一致。

2. 5重复步骤 （24)直至前面两个关键帧间的非关键帧全部对 齐完毕； 2. 6重复步骤（2. 3) - (2. 5 )直至所有关键帧和非关键帧全部对齐完毕。 上述步骤 （3) 中将关键帧进行分组， 进行关键帧分组的目的是降低计算 复杂度， 使每次计算的范围限定在若干关键帧中。 关键帧分组的方式很多， 以帧 间重叠率分组方法为例介绍关键帧分组， 但其他关键帧分组的方式也是可行的。 帧间重叠率分组方法具体包含以下步骤：

3. 1将第 1个关键帧加入到第一个关键组；

3. 2顺序加入后续关键帧，并计算所有已经加入� �键帧的重叠率，重叠率的 计算方法为：

其中， 表示关键组 中包含的关键帧号的集合， p _t 表示关键帧 *中有效像素点 的集合， 门 和 (J 分别表示对集合的求交集和求并集操作；

3. 3若重叠率大于 0. 5, 重复步骤 （3. 2); 当重叠率小于 0. 5时， 去掉 最后加入的关键帧， 将前面加入的关键帧归为一个关键组；

3.4将上一组的最后一个关键帧作为第一帧加入 到下一个关键组， 称为 连接帧， 并重复（3.2 ) - (3.4) 的步骤直到所有关键帧被处理。

上述步骤（4) 中计算组内综合增益值和全局增益值， 具体包含以下步骤： 4. 1选取关键组内的关键帧的重叠部分；

4. 2对步骤（4. 1 )中选择的重叠部分中的像素点进行评分，评� �的因素为此 像素点在关键帧中的亮度变化随关键帧平均亮 度变化的符合程度；

4. 3计算所有像素点的平均亮度，作为平均亮度� �，将此帧中的所有像素点 按照亮度值的不同划分为 256组，每组中选取评分值最高的像素点加入到 特征点 集 P,；

4. 4按照步骤（4. 1 )中得到的重叠部分计算相邻关键帧的亮度比� �（^ )， 作为相邻关键帧帧间综合增益值的比例 （^ );

4. 5根据如下最优化方程， 计算组内各个关键帧的综合增益值：

min X ∑[g(I" ( _Pk )) - n E{p _k ) ~ \n S _l

其中， min和 s.t.表示这是一个约束方程式。 表示第 组关键帧中的关 键帧号集合， ^表示整个视频中所有关键帧的帧号集合， P,表示第 G,组关键帧共 同覆盖的点集， L,表示第 /帧上所有像素点集的平均亮度。

4.6将所有的关键组按照步骤（4.1 ) 到 （4.3 ) 的方式依次计算各个关键帧 的综合增益值；

4. 7按照分组间的重合点将各个关键组的综合增� �值相连， 即根据重合点 在前后两个关键组间的值， 调整后面关键组内的所有关键帧的综合增益值 ， 使关 键点在前后两个关键组内的综合增益值相同， 得到每个关键帧最终的综合增益 值；

上述步骤 （5 ) 中将对齐后的关键帧进行插值补全， 具体包含以下步骤： 5. 1 按照时间顺序， 依次处理全局图像中每个像素点在每个关键帧 上的对应 点；

5. 2若当前像素点在本关键帧上已经存在，则跳� �此像素点，继续处理下一个 像素点； 若像素点点在本关键帧上不存在， 则继续进行下一步；

5. 3将每个像素点按照如下条件划分为 3类：

*在除当前关键帧/以外存在两个关键帧 /«和 n，这两个关键帧对应的综合增 益值的较大者大于当前被插值的关键帧的综合 增益值，较小者小于当前当前被插 值的关键帧的综合增益值， 同时被插值点同时存在于这两个关键帧中， 则将此点 归于第 1类；

•若无法满足第 1类的条件，但是被插值的像素点在前一个关� �帧中存在, 则将此点归于第 2类；

•若无法满足第 1类和第 2类条件， 则将此点归于第 3类；

5. 4第 1类像素点可以采用线形加权的方式计算得到� �

其中，如前所述， ^和《分别表示与当前关键帧 ^相关的两个关键帧， ^m ( _Pl ) 和 分别表示 Α在这两个关键帧上的亮度值。

5. 5第 2类像素点可以利用前一个关键帧中相同亮度� �的平均亮度得到：

其中 P,表示从前一个关键帧中选择出的与 _A 亮度相同的点集；

5. 6第 3类像素点无法在当前插值， 只能在另一个方向中完成；

5. 7按照时间逆序， 重复步骤（5. 2) - ( 5. 6), 直到所有关键帧上的所有 像素点都插值完毕。

上述步骤 （6) 中从关键帧中选择特征点， 具体包含以下步骤：

6. 1将全局图像上所有的像素点进行评分,评分的� ��素为此像素点在所有 关键帧中出现的次数以及此像素点在关键帧中 的亮度变化随关键帧平均亮度 变化的符合程度；

6. 2取所有关键帧中综合增益值最大的帧为最大� �度帧， 将此帧中的所 有像素点按照亮度值的不同划分为 256组， 每组中选取评分值最高的像素点 加入到特征点集； 6.3取所有关键帧中综合增益值最小的帧为最小 亮度帧，将此帧中的所有 像素点按照亮度值的不同划分为 256组， 每组中选取评分值最高的像素点加 入到特征点集；

6.4计算所有像素点的平均亮度， 作为平均亮度帧， 将将此帧中的所有像 素点按照亮度值的不同划分为 2S6组， 每组中选取评分值最高的像素点加入 到特征点集；

上述步骤（7) 中计箅 HDR全局图像， 具体包含以下步骤：

7.1 使用步骤（4) 中计算的每个关键帧的综合增益值 S, 步骤 （6) 中选取的特征点集（Ρ,)计算特征曲线， 计算公式如下：

min ∑∑[g( "(A))-ln£(A)-ln5,] ²

s.t. |g'(/)!<? V/e [1,255]

其中， 表示整个视频中所有关键帧的帧号集合， P,表示从所有关键帧中 选择出来的特征点集。

7.2使用步骤（7.1) 中得到的特征曲线（ _g ) 以及步骤（5)中插值后的 关键帧恢复 HDR全局图像

∑^( "(A))W'(A))- )

∑ )) ~" ' 其中， 表示加权函数， 一般来说， 当像素亮度值更接近像素最髙亮度 值的一半（通常为 128)的时候权重最高，然后分别向低亮度值和� �亮度值方 向依次递减。

7.3将 HDR全局图像进行色调映射， 得到色调映射后的 HDR全局图像。