YU LIFU (CN)
ZHONG WENHUI (CN)
WANG MINGYU (CN)
| CN104168403A | 2014-11-26 | |||
| CN102075688A | 2011-05-25 | |||
| CN102647565A | 2012-08-22 | |||
| US20120314100A1 | 2012-12-13 |
深圳市赛恩倍吉知识产权代理有限公司 (CN)
| 权利 要求 1. 一种基于拜尔颜色滤波阵列的高动态范围视频录制方法， 其特征在于， 所述方法包括： 按照奇偶双列配置不同的感光时间进行曝光， 获得奇偶双列不同曝光值的 一个图像帧， 其中奇数双列为所述图像帧的总列数被 4整除和余 1 的列， 偶数 双列为所述图像帧的总列数被 4整除余 2和余 3的列； 将所述图像帧分解为欠曝光图像帧和过曝光图像帧， 其中所述欠曝光图像 帧中欠曝光双列与缺失双列依次间隔分布， 所述过曝光图像帧中过曝光双列与 缺失双列依次间隔分布； 对于所述欠曝光图像帧， 分别在红绿蓝通道上根据欠曝光双列像素点的像 素值获取所述欠曝光图像帧中缺失双列像素点的像素恢复值作为对应像素点的 像素值； 对于所述过曝光图像帧， 分别在红绿蓝通道上根据过曝光双列像素点的像 素值获取所述过曝光图像帧中缺失双列像素点的像素恢复值作为对应像素点的 像素值； 根据所述欠曝光图像帧和所述过曝光图像帧中所述红绿蓝通道上像素点的 像素值合并所述过曝光图像帧和所述欠曝光图像帧 , 获得一个高动态范围帧。 2. 根据权利要求 1所述的方法， 其特征在于， 所述分别在红绿蓝通道上根 据欠曝光双列像素点的像素值获取所述欠曝光图像帧中缺失双列像素点的像素 恢复值作为对应像素点的像素值的步骤包括： 用相邻的欠曝光双列像素点的像素值计算缺失双列像素点的像素估计值； 利用插值获得绿通道上缺失像素点的像素恢复值； 分别计算红蓝通道上像素点的像素值与绿通道上的所述像素恢复值的差； 对所述红蓝通道上像素点的像素值与绿通道上的所述像素恢复值的差做插 值计算， 获得红 /蓝通道上缺失像素点的差的恢复值； 利用红 /蓝通道上缺失像素点的差的恢复值与绿通道上的所述恢复像素值相 加， 获得红蓝通道上的像素恢复值， 以替换所述欠曝光图像帧像帧中所述缺失 双列像素点的估计值， 并作为对应像素点的像素值。 3. 根据权利要求 1所述的方法， 其特征在于， 所述分别在红绿蓝通道上根 据过曝光双列像素点的像素值获取所述过曝光图像帧中缺失双列像素点的像素 恢复值作为对应像素点的像素值的步骤包括： 用相邻的过曝光双列像素点的像素值计算缺失双列像素点的像素估计值； 利用插值获得绿通道上缺失像素点的像素恢复值； 分别计算红蓝通道上像素点的像素值与绿通道上的所述像素恢复值的差； 对所述红蓝通道上像素点的像素值与绿通道上的所述像素恢复值的差做插 值计算， 获得红 /蓝通道上缺失像素点的差的恢复值； 利用红 /蓝通道上缺失像素点的差的恢复值与绿通道上的所述恢复像素值相 加， 获得红蓝通道上的像素恢复值， 以替换所述过曝光图像帧中所述缺失双列 像素点的估计值， 并作为对应像素点的像素值。 4. 根据权利要求 2或 3任一项所述的方法， 其特征在于， 所述插值方法包 括双线性插值、 立方体插值中的至少一种。 5. 根据权利要求 1所述的方法， 其特征在于， 所述根据所述欠曝光图像帧 和所述过曝光图像帧中所述红绿蓝通道上像素点的像素值合并所述过曝光图像 帧和所述欠曝光图像帧 , 获得一个高动态范围帧的步骤包括： 根据所述红绿蓝通道上像素点的像素值分别获取所述欠曝光图像帧和所述 过曝光图像帧中每个像素点的亮度； 根据所述欠曝光图像帧和所述过曝光图像帧中每个像素点的亮度获取每个 像素点的权值； 根据每个像素点的所述权值合并所述过曝光图像帧和所述欠曝光图像帧， 获得一个高动态范围帧。 6. 根据权利要求 5所述的方法， 其特征在于， 所述根据所述欠曝光图像帧 和所述过曝光图像帧中每个像素点的亮度获取每个像素点的权值的步骤包括： 根据预设的欠曝光阔值 Ί 和过曝光阔值 Τ2利用以下关系式计算自适应的欠 曝光阔值 Τι,η™和自适应的过曝光阔值 τ2,η™： Τι .new = maxxeu(Pl<Tl) Ρ2,χ , Τ2 ,new― miIl G (P2>T2) Ρΐ,χ 其中， Pi , Ρ2分别为所述欠曝光图像帧和所述过曝光图像帧中像素点的亮度， P TD表示 中所有小于 Ί\的欠曝光像素集， υ (Ρ2 > Τ2)表示 Ρ2中所有大于 Τ2 的过曝光像素集； 根据所述自适应的欠曝光阔值 Tl,∞w和所述自适应的过曝光阔值 Τ2,η™利用以 下关系式计算所述每个像素点的权重： COl： C02： 、 其中， ωι为所述欠曝光图像帧中亮度为 Pi的像素点的权值， ω2为所述过曝 光图像帧中亮度为 Ρ2的像素点的权值。 7. 根据权利要求 6所述的方法， 其特征在于， 所述根据每个像素点的所述 权值合并所述过曝光图像帧和所述欠曝光图像帧， 获得一个高动态范围帧的步 骤包括： 釆用二维高斯滤波器与对每个像素点的所述权值做卷积； 釆用以下关系式进行帧合并计算， 并做对比度拉伸： qnew,, = 0— ωι) ai q1;I + (1— ω2) a2 q2;I + o¾ q2;I + ω2 ¾;Ι i = 1,2,3 其中， ai = l - ^^ , a2 = l - ^^,用于增强对比度， 1和 q2 l分别为 RGB 127 127 ' ' 图的三个色彩通道。 8. 一种基于拜尔颜色滤波阵列的高动态范围视频录制装置， 其特征在于， 所述装置包括： 传感器模块， 用于按照奇偶双列可配置不同的感光时间进行曝光， 获得奇 偶双列不同曝光值的图像帧， 其中奇数双列为所述图像帧的总列数被 4整除和 余 1的列， 偶数双列为所述图像帧的总列数被 4整除余 2和余 3的列； 分解模块， 与所述传感器模块连接， 用于将所述图像帧分解为欠曝光图像 帧和过曝光图像帧， 其中所述欠曝光图像帧中欠曝光双列与缺失双列依次间隔 分布， 所述过曝光图像帧中过曝光双列与缺失双列依次间隔分布； 欠曝光像素恢复模块， 与所述分解模块连接， 用于对于所述欠曝光图像帧， 分别在红绿蓝通道上根据欠曝光双列像素点的像素值获取所述欠曝光图像帧中 缺失双列像素点的像素恢复值作为对应像素点的像素值； 过曝光像素恢复模块， 与所述分解模块连接， 用于对于所述过曝光图像帧， 分别在红绿蓝通道上根据过曝光双列像素点的像素值获取所述过曝光图像帧中 缺失双列像素点的像素恢复值作为对应像素点的像素值； 合并模块， 与所述欠曝光像素恢复模块以及所述分配曝光像素恢复模块连 接， 用于根据所述欠曝光图像帧和所述过曝光图像帧中所述红绿蓝通道上像素 点的像素值合并所述过曝光图像帧和所述欠曝光图像帧， 获得一个高动态范围 帧。 9. 根据权利要求 8所述的装置， 其特征在于， 所述欠曝光像素恢复模块用 于： 用相邻的欠曝光双列像素点的像素值计算缺失双列像素点的像素估计值； 利用插值获得绿通道上缺失像素点的像素恢复值； 分别计算红蓝通道上像素点的像素值与绿通道上的所述像素恢复值的差； 对所述红蓝通道上像素点的像素值与绿通道上的所述像素恢复值的差做插 值计算， 获得红 /蓝通道上缺失像素点的差的恢复值； 利用红 /蓝通道上缺失像素点的差的恢复值与绿通道上的所述恢复像素值相 加， 获得红蓝通道上的像素恢复值， 以替换所述欠曝光图像帧像帧中所述缺失 双列像素点的估计值， 并作为对应像素点的像素值。 10. 根据权利要求 8所述的装置， 其特征在于， 所述过曝光像素恢复模块用 于： 用相邻的过曝光双列像素点的像素值计算缺失双列像素点的像素估计值； 利用插值获得绿通道上缺失像素点的像素恢复值； 分别计算红蓝通道上像素点的像素值与绿通道上的所述像素恢复值的差； 对所述红蓝通道上像素点的像素值与绿通道上的所述像素恢复值的差做插 值计算， 获得红 /蓝通道上缺失像素点的差的恢复值； 利用红 /蓝通道上缺失像素点的差的恢复值与绿通道上的所述恢复像素值相 加， 获得红蓝通道上的像素恢复值， 以替换所述过曝光图像帧中所述缺失双列 像素点的估计值， 并作为对应像素点的像素值。 11. 根据权利要求 9或 10任一项所述的装置， 其特征在于， 所述插值包括 双线性插值、 立方体插值中的至少一种。 12. 根据权利要求 8所述的装置， 其特征在于， 所述合并模块用于： 根据所述红绿蓝通道上像素点的像素值分别获取所述欠曝光图像帧和所述 过曝光图像帧中每个像素点的亮度； 根据所述欠曝光图像帧和所述过曝光图像帧中每个像素点的亮度获取每个 像素点的权值； 根据每个像素点的所述权值合并所述过曝光图像帧和所述欠曝光图像帧， 获得一个高动态范围帧。 13. 根据权利要求 12所述的装置， 其特征在于， 所述合并模块还用于： 根据预设的欠曝光阔值 和过曝光阔值 T2利用以下关系式计算自适应的欠 曝光阈值 Tl.∞w和自适应的过曝光阔值 T2,∞w： Tl .new Ρ2,χ， T2,new― miIl G (P2>T2) 其中， Pi , p2分别为所述欠曝光图像帧和所述过曝光图像帧中像素点的亮度， P TD表示 中所有小于 τ\的欠曝光像素集， P2 > T2)表示 p2中所有大于 τ2 的过曝光像素集； 根据所述自适应的欠曝光阈值 T kw和所述自适应的过曝光阔值 Τ2 利用以 下关系式计算所述每个像素点的权重： 其中， ωι为所述欠曝光图像帧中亮度为 的像素点的权值， ω2为所述过曝 光图像帧中亮度为 Ρ2的像素点的权值。 14. 根据权利要求 13所述的装置， 其特征在于， 所述合并模块还用于： 采用二维高斯滤波器与对每个像素点的所述权值做卷积； 采用以下关系式进行帧合并计算， 并做对比度拉伸： Qnewa = (! - ωι) ai qu + (1— ω2) a2 q2j + ωι q2;I + ω2 qu i = 1,2,3 其中， ^ l^^^! - IP2 "127! ,用于增强对比度, ι和 q2 i分别为 RGB 127 " 127 图的三个色彩通道。 15. 一种基于拜尔颜色滤波阵列的高动态范围视频录制方法， 其特征在于， 所述方法包括： 按照奇偶双列配置不同的感光时间进行曝光， 获得奇偶双列不同曝光值的 一个图像帧， 其中奇数双列为所述图像帧的总列数被 4整除和余 1 的列， 偶数 双列为所述图像帧的总列数被 4整除余 2和余 3的列； 将所述图像帧分解为欠曝光图像帧和过曝光图像帧， 其中所述欠曝光图像 帧中欠曝光双列与缺失双列依次间隔分布， 所述过曝光图像帧中过曝光双列与 缺失双列依次间隔分布； 对于所述欠曝光图像帧， 分别在红绿蓝通道上根据欠曝光双列像素点的像 素值获取所述欠曝光图像帧中缺失双列像素点的像素恢复值作为对应像素点的 像素值； 对于所述过曝光图像帧， 分别在红绿蓝通道上根据过曝光双列像素点的像 素值获取所述过曝光图像帧中缺失双列像素点的像素恢复值作为对应像素点的 像素值； 根据所述欠曝光图像帧和所述过曝光图像帧中所述红绿蓝通道上像素点的 像素值合并所述过曝光图像帧和所述欠曝光图像帧 , 获得一个高动态范围帧； 其中， 所述根据所述欠曝光图像帧和所述过曝光图像帧中所述红绿蓝通道 上像素点的像素值合并所述过曝光图像帧和所述欠曝光图像帧， 获得一个高动 态范围帧的步骤包括： 根据所述红绿蓝通道上像素点的像素值分别获取所述欠曝光图像帧和所述 过曝光图像帧中每个像素点的亮度； 根据所述欠曝光图像帧和所述过曝光图像帧中每个像素点的亮度获取每个 像素点的权值； 根据每个像素点的所述权值合并所述过曝光图像帧和所述欠曝光图像帧， 获得一个高动态范围帧。 16. 根据权利要求 15所述的方法， 其特征在于， 所述分别在红绿蓝通道上 根据欠曝光双列像素点的像素值获取所述欠曝光图像帧中缺失双列像素点的像 素恢复值作为对应像素点的像素值的步骤包括： 用相邻的欠曝光双列像素点的像素值计算缺失双列像素点的像素估计值； 利用插值获得绿通道上缺失像素点的像素恢复值； 分别计算红蓝通道上像素点的像素值与绿通道上的所述像素恢复值的差； 对所述红蓝通道上像素点的像素值与绿通道上的所述像素恢复值的差做插 值计算， 获得红 /蓝通道上缺失像素点的差的恢复值； 利用红 /蓝通道上缺失像素点的差的恢复值与绿通道上的所述恢复像素值相 加， 获得红蓝通道上的像素恢复值， 以替换所述欠曝光图像帧像帧中所述缺失 双列像素点的估计值， 并作为对应像素点的像素值。 17. 根据权利要求 15所述的方法， 其特征在于， 所述分别在红绿蓝通道上 根据过曝光双列像素点的像素值获取所述过曝光图像帧中缺失双列像素点的像 素恢复值作为对应像素点的像素值的步骤包括： 用相邻的过曝光双列像素点的像素值计算缺失双列像素点的像素估计值； 利用插值获得绿通道上缺失像素点的像素恢复值； 分别计算红蓝通道上像素点的像素值与绿通道上的所述像素恢复值的差； 对所述红蓝通道上像素点的像素值与绿通道上的所述像素恢复值的差做插 值计算， 获得红 /蓝通道上缺失像素点的差的恢复值； 利用红 /蓝通道上缺失像素点的差的恢复值与绿通道上的所述恢复像素值相 加， 获得红蓝通道上的像素恢复值， 以替换所述过曝光图像帧中所述缺失双列 像素点的估计值， 并作为对应像素点的像素值。 18. 根据权利要求 16或 17任一项所述的方法， 其特征在于， 所述插值方法 包括双线性插值、 立方体插值中的至少一种。 19. 根据权利要求 15所述的方法， 其特征在于， 所述根据所述欠曝光图像 帧和所述过曝光图像帧中每个像素点的亮度获取每个像素点的权值的步骤包 括： 根据预设的欠曝光阔值 Ί 和过曝光阔值 Τ2利用以下关系式计算自适应的欠 曝光阔值 Τι,η™和自适应的过曝光阔值 τ2,η™： Τι ,new ― m3.XxG (p1< i) P2，x , Τ2 ,new― miIl G (P2>T2) Ρΐ,χ 其中， Pi , Ρ2分别为所述欠曝光图像帧和所述过曝光图像帧中像素点的亮度， P TD表示 中所有小于 Ί\的欠曝光像素集， υ (Ρ2 > Τ2)表示 Ρ2中所有大于 Τ2 的过曝光像素集； 根据所述自适应的欠曝光阔值 Tl,nf!W和所述自适应的过曝光阔值 T2,nf!W利用以 下关系式计算所述每个像素点的权重： COi： 其中， Cft为所述欠曝光图像帧中亮度为 Pi的像素点的权值， ω2为所述过曝 光图像帧中亮度为 P2的像素点的权值。 20. 根据权利要求 19所述的方法， 其特征在于， 所述根据每个像素点的所 述权值合并所述过曝光图像帧和所述欠曝光图像帧， 获得一个高动态范围帧的 步骤包括： 釆用二维高斯滤波器与对每个像素点的所述权值做卷积； 釆用以下关系式进行帧合并计算， 并做对比度拉伸： q 0— ωι) ai qu + (1 - ω2) a2 q2il + ωι q2il + ω2 qu i = 1,2,3 其中， a^i_ l ,a2^i-lP2"127l,用于增强对比度, q 和 q2i分别为 RGB 127 127 图的三个色彩通道 |
【技术领域】
本发明涉及高动态范围（high dynamic range, 下文简称 HDR)视频录制技术 领域， 特别是涉及一种基于拜尔颜色滤波阵列的高动 态范围视频录制方法和装 置。
【背景技术】
在数码相机中， 在大光比环境下拍摄时， 普通相机因受到动态范围的限制， 不能纪录极端亮或者暗的细节， 而 HDR视频录制在高光和低光区域都能获得比 正常拍摄更好的明暗层次。 实际场景的动态范围常常在 100dB 以上， 传感器是 数码影像设备成像的核心器件。 传统数码相机所釆用的传感器元件有 CCD ( Charge-coupled Device, 电荷禺合元件）或者 CMOS ( Complementary Metal Oxide Semiconductor,互补金属氧化物半导体），一般只 有大约 60dB的动态范 围， 如果釆用动态范围较窄的传感器记录动态范围 较宽的场景， 则需要多次成 像。 以 100dB的场景为例， 可以先提高快门速度， 拍摄一张 0 ~ 60dB的欠曝光 照片， 再降低快门速度， 拍摄一张 40 ~ 100dB的过曝光照片， 最后将两张照片 融合成一张并重新计算灰阶映射关系。
现有厂商拍摄 HDR视频釆用高帧率传感器， 可高速连续拍摄若干张不同曝 光值的影像， 以 HDR的方式合成为一张照片。 不过拍摄移动中的主体时， 照片 就有可能出现残影现像。 在釆集到多帧图像后， 需要用特殊的 HDR算法将多帧 图像合并为一帧。
现代 CMOS传感器通常是一种颜色滤波阵列结构， 拜尔滤波阵列拍摄的图 像简称拜尔图。每个像素记录 10 ~ 14比特的单色信息， RGB三原色信息需要该 像素与周围像素插值计算获得。
现有的拍摄 HDR视频的方法主要包括两个关键技术点， 多曝光帧釆集和 HDR的帧合并算法。 多曝光帧釆集是以不同曝光值高速连拍获得多 帧图片。 存 在两个缺点： 一方面， 如果场景中存在高速运动的物体， 则两帧之间无法做到 点点匹配， 合并后的图片很容易出现运动模糊。 另一方面， 高速连拍需要极高 的帧率， 限制了视频拍摄的快门下限。
而 HDR算法是首先基于多个曝光帧估计相机的亮度 响应函数， 然后釆用灰 阶映射的方式计算新的灰阶表， 最后计算新的 HDR图像。 由于相机的亮度响应 函数通常需要对所有灰阶进行参数估计， 计算复杂度在 8位图像 (256个灰阶)时 尚可接受，但对于拜尔图（14比特)则计算量过 于庞大，因此无法直接应用于 HDR 视频录制。 加权平均是另一种常用的帧合并方法。 以两帧图片合并为例， 合并 像素值 p new 可以用式 (1)计算：
P„ew = WiPi + (l + Wi) P 2 (1) 其中， P l P 2 分别是欠曝光图和过曝光图上某一指定位 置的像素值， w 1 是
0 ~ 1之间的数， 表示像素 1在合并像素中所占的权重。 传统方法在分配权重时 一般考虑的因素主要是像素的过曝光和欠曝光 ， 并通常设定阔值来检测曝光的 异常。 过曝光或者欠曝光的像素权重会远低于正常像 素值。 以 8位图像为例， 釆用式 (2)计算权重：
其他
其中， 和丁 2 分别为欠曝光和过曝光阈值。 这种简单的区分过曝光和欠曝 光对场景的适应性不好， 很容易出现伪影， 并且在像素合并时会出现过渡不自 然的情况。
【发明内容】
本发明解决的技术问题是提供一种基于拜尔颜 色滤波阵列的高动态范围视 频录制方法和装置， 能够克服高速运动模糊问题， 降低高速连拍的帧率。
为解决上述技术问题， 本发明实施例提供一种基于拜尔颜色滤波阵列 的高 动态范围视频录制方法， 包括：
按照奇偶双列配置不同的感光时间进行曝光， 获得奇偶双列不同曝光值的 一个图像帧， 其中奇数双列为所述图像帧的总列数被 4整除和余 1 的列， 偶数 双列为所述图像帧的总列数被 4整除余 2和余 3的列；
将图像帧分解为欠曝光图像帧和过曝光图像帧 ， 其中欠曝光图像帧中欠曝 光双列与缺失双列依次间隔分布， 过曝光图像帧中过曝光双列与缺失双列依次 间隔分布； 对于欠曝光图像帧， 分别在红绿蓝通道上根据欠曝光双列像素点的 像素值 获取欠曝光图像帧中缺失双列像素点的像素恢 复值作为对应像素点的像素值； 对于过曝光图像帧， 分别在红绿蓝通道上根据过曝光双列像素点的 像素值 获取过曝光图像帧中缺失双列像素点的像素恢 复值作为对应像素点的像素值； 根据欠曝光图像帧和过曝光图像帧中红绿蓝通 道上像素点的像素值合并过 曝光图像帧和欠曝光图像帧， 获得一个高动态范围帧。
其中， 分别在红绿蓝通道上根据欠曝光双列像素点的 像素值获取欠曝光图 像帧中缺失双列像素点的像素恢复值作为对应 像素点的像素值的步骤包括： 用相邻的欠曝光双列像素点的像素值计算缺失 双列像素点的像素估计值； 利用插值获得绿通道上缺失像素点的像素恢复 值；
分别计算红蓝通道上像素点的像素值与绿通道 上的像素恢复值的差； 对红蓝通道上像素点的像素值与绿通道上的像 素恢复值的差做插值计算， 获得红 /蓝通道上缺失像素点的差的恢复值；
利用红 /蓝通道上缺失像素点的差的恢复值与绿通道 的恢复像素值相加， 获得红蓝通道上的像素恢复值， 以替换欠曝光图像帧像帧中缺失双列像素点的 估计值， 并作为对应像素点的像素值。
其中， 分别在红绿蓝通道上根据过曝光双列像素点的 像素值获取过曝光图 像帧中缺失双列像素点的像素恢复值作为对应 像素点的像素值的步骤包括： 用相邻的过曝光双列像素点的像素值计算缺失 双列像素点的像素估计值； 利用插值获得绿通道上缺失像素点的像素恢复 值；
分别计算红蓝通道上像素点的像素值与绿通道 上的像素恢复值的差； 对红蓝通道上像素点的像素值与绿通道上的像 素恢复值的差做插值计算， 获得红 /蓝通道上缺失像素点的差的恢复值；
利用红 /蓝通道上缺失像素点的差的恢复值与绿通道 的恢复像素值相加， 获得红蓝通道上的像素恢复值， 以替换过曝光图像帧中缺失双列像素点的估计 值， 并作为对应像素点的像素值。
其中， 插值方法包括双线性插值、 立方体插值中的至少一种。
其中， 根据欠曝光图像帧和过曝光图像帧中红绿蓝通 道上像素点的像素值 合并过曝光图像帧和欠曝光图像帧， 获得一个高动态范围帧的步骤包括：
根据红绿蓝通道上像素点的像素值分别获取欠 曝光图像帧和过曝光图像帧 中每个像素点的亮度； 根据欠曝光图像帧和过曝光图像帧中每个像素 点的亮度获取每个像素点的 权值；
根据每个像素点的权值合并过曝光图像帧和欠 曝光图像帧， 获得一个高动 态范围帧。
其中， 根据欠曝光图像帧和过曝光图像帧中每个像素 点的亮度获取每个像 素点的权值的步骤包括：
根据预设的欠曝光阔值 Ί 和过曝光阔值 Τ 2 利用以下关系式计算自适应的欠 曝光阔值 T ™和自适应的过曝光阔值 Τ 2 , η ™：
Τι ,new
T 2 ,new― miIlxG (P2>T2) P
其中， P l P 2 分别为欠曝光图像帧和过曝光图像帧中像 素点的亮度， P TO 表示 中所有小于 Ί\的欠曝光像素集， ^ρ 2 > Τ2 )表示 P 2 中所有大于 T 2 的过曝光 像素集；
根据自适应的欠曝光阔值 Tl , ∞w 和自适应的过曝光阔值 τ 2 , 利用以下关系式 计算每个像素点的权重：
其中， ωι 为欠曝光图像帧中亮度为 Pi的像素点的权值， 0) 2 为过曝光图像帧 中亮度为 P 2 的像素点的权值。
其中， 根据每个像素点的权值合并过曝光图像帧和欠 曝光图像帧， 获得一 个高动态范围帧的步骤包括：
釆用二维高斯滤波器与对每个像素点的权值做 卷积；
釆用以下关系式进行帧合并计算， 并做对比度拉伸：
q neW;I = (1 _ ωι) ai q 1;I + (1 _ ω 2 ) a 2 q 2;I + ωι q 2;I + ω 2 ¾ ;Ι i = 1,2,3 其中， ai = l - ^^ , a2 = l - ^^，用于增强对比度， 1 和 q 2 l 分别为 RGB
127 127
图的三个色彩通道。
为解决上述技术问题， 本发明实施例还提供了一种基于拜尔颜色滤波 阵列 的高动态范围视频录制装置， 其中， 装置包括：
传感器模块， 用于按照奇偶双列可配置不同的感光时间进行 曝光， 获得奇 偶双列不同曝光值的图像帧， 其中奇数双列为所述图像帧的总列数被 4整除和 余 1的列， 偶数双列为所述图像帧的总列数被 4整除余 2和余 3的列；
分解模块， 与传感器模块连接， 用于将图像帧分解为欠曝光图像帧和过曝 光图像帧， 其中欠曝光图像帧中欠曝光双列与缺失双列依 次间隔分布， 过曝光 图像帧中过曝光双列与缺失双列依次间隔分布 ；
欠曝光像素恢复模块， 与分解模块连接， 用于对于欠曝光图像帧， 分别在 红绿蓝通道上根据欠曝光双列像素点的像素值 获取欠曝光图像帧中缺失双列像 素点的像素恢复值作为对应像素点的像素值；
过曝光像素恢复模块， 与分解模块连接， 用于对于过曝光图像帧， 分别在 红绿蓝通道上根据过曝光双列像素点的像素值 获取过曝光图像帧中缺失双列像 素点的像素恢复值作为对应像素点的像素值；
合并模块， 与欠曝光像素恢复模块以及分配曝光像素恢复 模块连接， 用于 根据欠曝光图像帧和过曝光图像帧中红绿蓝通 道上像素点的像素值合并过曝光 图像帧和欠曝光图像帧， 获得一个高动态范围帧。
其中， 欠曝光像素恢复模块用于：
用相邻的欠曝光双列像素点的像素值计算缺失 双列像素点的像素估计值； 利用插值获得绿通道上缺失像素点的像素恢复 值；
分别计算红蓝通道上像素点的像素值与绿通道 上的像素恢复值的差； 对红蓝通道上像素点的像素值与绿通道上的像 素恢复值的差做插值计算， 获得红 /蓝通道上缺失像素点的差的恢复值；
利用红 /蓝通道上缺失像素点的差的恢复值与绿通道 的恢复像素值相加， 获得红蓝通道上的像素恢复值， 以替换欠曝光图像帧像帧中缺失双列像素点的 估计值， 并作为对应像素点的像素值。
其中， 过曝光像素恢复模块用于：
用相邻的过曝光双列像素点的像素值计算缺失 双列像素点的像素估计值； 利用插值获得绿通道上缺失像素点的像素恢复 值；
分别计算红蓝通道上像素点的像素值与绿通道 上的像素恢复值的差； 对红蓝通道上像素点的像素值与绿通道上的像 素恢复值的差做插值计算， 获得红 /蓝通道上缺失像素点的差的恢复值； 利用红 /蓝通道上缺失像素点的差的恢复值与绿通道 的恢复像素值相加， 获得红蓝通道上的像素恢复值， 以替换过曝光图像帧中缺失双列像素点的估计 值， 并作为对应像素点的像素值。
其中， 插值包括双线性插值、 立方体插值中的至少一种。
其中， 合并模块用于：
根据红绿蓝通道上像素点的像素值分别获取欠 曝光图像帧和过曝光图像帧 中每个像素点的亮度；
根据欠曝光图像帧和过曝光图像帧中每个像素 点的亮度获取每个像素点的 权值；
根据每个像素点的权值合并过曝光图像帧和欠 曝光图像帧， 获得一个高动 态范围帧。
其中， 合并模块还用于：
根据预设的欠曝光阔值 Ί 和过曝光阔值 Τ 2 利用以下关系式计算自适应的欠 曝光阔值 Tl , nf:w 和自适应的过曝光阔值 Τ 2 , η ™：
T 2 ,new― miIl G (P2>T2) Ρΐ,χ
其中， P l Ρ 2 分别为欠曝光图像帧和过曝光图像帧中像 素点的亮度， P TO 表示 Pi中所有小于 Ί\的欠曝光像素集， ^ Ρ2 > Τ2 )表示 P 2 中所有大于 T 2 的过曝光 像素集；
根据自适应的欠曝光阔值 Tl , ∞w 和自适应的过曝光阔值 τ 2 , 利用以下关系式 计算每
其中， ωι 为欠曝光图像帧中亮度为 Pi的像素点的权值,
中亮度为 P 2 的像素点的权值。
其中， 合并模块还用于：
釆用二维高斯滤波器与对每个像素点的权值做 卷积； 釆用以下关系式进行帧合并计算， 并做对比度拉伸：
q neW;I = (1 _ ωι) ai q 1;I + (1 _ ω 2 ) a 2 q 2;I + ωι q 2;I + ω 2 ¾ ;Ι i = 1,2,3 其中， ai = l - ^^ , a2 = l - ^^，用于增强对比度， 1 和 q 2 l 分别为 RGB
127 127 ' '
图的三个色彩通道。
为解决上述技术问题， 本发明实施例提供一种基于拜尔颜色滤波阵列 的高 动态范围视频录制方法， 包括：
按照奇偶双列配置不同的感光时间进行曝光， 获得奇偶双列不同曝光值的 一个图像帧， 其中奇数双列为图像帧的总列数被 4整除和余 1 的列， 偶数双列 为图像帧的总列数被 4整除余 2和余 3的列；
将图像帧分解为欠曝光图像帧和过曝光图像帧 ， 其中欠曝光图像帧中欠曝 光双列与缺失双列依次间隔分布， 过曝光图像帧中过曝光双列与缺失双列依次 间隔分布；
对于欠曝光图像帧， 分别在红绿蓝通道上根据欠曝光双列像素点的 像素值 获取欠曝光图像帧中缺失双列像素点的像素恢 复值作为对应像素点的像素值； 对于过曝光图像帧， 分别在红绿蓝通道上根据过曝光双列像素点的 像素值 获取过曝光图像帧中缺失双列像素点的像素恢 复值作为对应像素点的像素值； 根据欠曝光图像帧和过曝光图像帧中红绿蓝通 道上像素点的像素值合并过 曝光图像帧和欠曝光图像帧， 获得一个高动态范围帧；
其中， 根据欠曝光图像帧和过曝光图像帧中红绿蓝通 道上像素点的像素值 合并过曝光图像帧和欠曝光图像帧， 获得一个高动态范围帧的步骤包括：
根据红绿蓝通道上像素点的像素值分别获取欠 曝光图像帧和过曝光图像帧 中每个像素点的亮度；
根据欠曝光图像帧和过曝光图像帧中每个像素 点的亮度获取每个像素点的 权值；
根据每个像素点的权值合并过曝光图像帧和欠 曝光图像帧， 获得一个高动 态范围帧。
其中， 分别在红绿蓝通道上根据欠曝光双列像素点的 像素值获取欠曝光图 像帧中缺失双列像素点的像素恢复值作为对应 像素点的像素值的步骤包括： 用相邻的欠曝光双列像素点的像素值计算缺失 双列像素点的像素估计值； 利用插值获得绿通道上缺失像素点的像素恢复 值； 分别计算红蓝通道上像素点的像素值与绿通道 上的像素恢复值的差； 对红蓝通道上像素点的像素值与绿通道上的像 素恢复值的差做插值计算， 获得红 /蓝通道上缺失像素点的差的恢复值；
利用红 /蓝通道上缺失像素点的差的恢复值与绿通道 的恢复像素值相加， 获得红蓝通道上的像素恢复值， 以替换欠曝光图像帧像帧中缺失双列像素点的 估计值， 并作为对应像素点的像素值。
其中， 分别在红绿蓝通道上根据过曝光双列像素点的 像素值获取过曝光图 像帧中缺失双列像素点的像素恢复值作为对应 像素点的像素值的步骤包括： 用相邻的过曝光双列像素点的像素值计算缺失 双列像素点的像素估计值； 利用插值获得绿通道上缺失像素点的像素恢复 值；
分别计算红蓝通道上像素点的像素值与绿通道 上的像素恢复值的差； 对红蓝通道上像素点的像素值与绿通道上的像 素恢复值的差做插值计算， 获得红 /蓝通道上缺失像素点的差的恢复值；
利用红 /蓝通道上缺失像素点的差的恢复值与绿通道 的恢复像素值相加， 获得红蓝通道上的像素恢复值， 以替换过曝光图像帧中缺失双列像素点的估计 值， 并作为对应像素点的像素值。
其中， 插值方法包括双线性插值、 立方体插值中的至少一种。
其中， 根据欠曝光图像帧和过曝光图像帧中每个像素 点的亮度获取每个像 素点的权值的步骤包括：
根据预设的欠曝光阔值 Ί\和过曝光阔值 Τ 2 利用以下关系式计算自适应的欠 曝光阔值 I ™和自适应的过曝光阔值 Τ 2 , η ™：
T 2 ,new― miIlxG (P2>T2) P
其中， P l P 2 分别为欠曝光图像帧和过曝光图像帧中像 素点的亮度， P TO 表示 Pi中所有小于 Ί\的欠曝光像素集， ^ Ρ2 > Τ2 )表示 P 2 中所有大于 T 2 的过曝光 像素集；
根据自适应的欠曝光阔值 Tl , ∞w 和自适应的过曝光阔值 τ 2 , 利用以下关系式 计
其中， ωι 为欠曝光图像帧中亮度为 Pi的像素点的权值， 0) 2 为过曝光图像帧 中亮度为 P 2 的像素点的权值。
其中， 根据每个像素点的权值合并过曝光图像帧和欠 曝光图像帧， 获得一 个高动态范围帧的步骤包括：
釆用二维高斯滤波器与对每个像素点的权值做 卷积；
釆用以下关系式进行帧合并计算， 并做对比度拉伸：
q neW;I = (1 _ ωι) ai q 1;I + (1 _ ω 2 ) a 2 q 2;I + ωι q 2;I + ω 2 ¾ ;Ι i = 1,2,3 其中， ai = l - ^^ , a2 = l - ^^，用于增强对比度， 1 和 q 2 l 分别为 RGB
127 127 ' '
图的三个色彩通道。
通过上述方案， 与现有技术相比， 本发明的有益效果是： 通过按照奇偶双 列配置不同的感光时间进行曝光， 获得奇偶双列不同曝光值的一个图像帧； 将 图像帧分解为欠曝光图像帧和过曝光图像帧， 其中欠曝光图像帧中欠曝光双列 与缺失双列依次间隔分布， 过曝光图像帧中过曝光双列与缺失双列依次间 隔分 布； 对于欠曝光图像帧， 分别在红绿蓝通道上根据欠曝光双列像素点的 像素值 获取欠曝光图像帧中缺失双列像素点的像素恢 复值作为对应像素点的像素值； 对于过曝光图像帧， 分别在红绿蓝通道上根据过曝光双列像素点的 像素值获取 过曝光图像帧中缺失双列像素点的像素恢复值 作为对应像素点的像素值； 再根 据欠曝光图像帧和过曝光图像帧中红绿蓝通道 上像素点的像素值合并过曝光图 像帧和欠曝光图像帧， 获得一个高动态范围帧， 能够克服高速运动模糊问题， 降低高速连拍的帧率。
【附图说明】
图 1 是本发明第一实施例的基于拜尔颜色滤波阵列 的高动态范围视频录制 方法的流程示意图；
图 2是本发明第一实施例的曝光的拜尔图；
图 3是本发明第一实施例中步骤 S12的实现方法的流程示意图；
图 4是本发明第一实施例的步骤 S12中缺失双列像素点的像素估计值获取 方法示意图； 图 5是本发明第一实施例的步骤 S12中红通道上像素点的像素恢复值获取 方法示意图；
图 6是本发明第一实施例中步骤 S14的实现方法的流程示意图；
图 7是本发明基于拜尔颜色滤波阵列的高动态范 视频录制方法的结果示 意图；
图 8是本发明第一实施例的基于拜尔颜色滤波阵 的高动态范围视频录制 装置的结构示意图。
【具体实施方式】
请参阅图 1 ,图 1是本发明第一实施例的基于拜尔颜色滤波阵 的高动态范 围视频录制方法的流程示意图。 如图 1 所示， 基于拜尔颜色滤波阵列的高动态 范围视频录制方法包括：
步骤 S10: 按照奇偶双列配置不同的感光时间进行曝光， 获得奇偶双列不同 曝光值的一个图像帧， 其中奇数双列为图像帧的总列数被 4整除和余 1 的列， 偶数双列为图像帧的总列数被 4整除余 2和余 3的列。
在本发明中釆用的拜尔图中， 一个颜色滤波单元包含一个 R和 B单元， 两 个 G单元， 空间上呈 2x2排列， 即每个颜色滤波单元占两行和两列。 具体地， 定义列标号为 c, 0<=c<=C, 其中 C为图像帧的总列数， 且 C一般为偶数， 优选 地， C为 4的倍数。 定义奇数双列为（cl, c2), 其中 cl被 4整除， c2被 4整除余 1 , c2=cl+l ; 定义偶数双列为（c3, c4), 其中 c3被 4整除余 2, c4被 4整除余 3 , c4=c3+l。 这样配置保证了奇数双列和偶数双列都完整的 包含了一组拜尔色彩阵 列。
在步骤 S10中， 如图 2所示， 以双列为单位， 釆用奇数双列和偶数双列分 别曝光的方法， 即对于奇数双列进行欠曝光， 对于偶数双列进行过曝光， 得到 奇偶双列不同曝光值的一个图像帧。 例如， 通过设计传感器按照奇偶双列配置 不同的感光时间， 从而获得两个不同的曝光值的图像帧， 此时每个图像帧只有 原始帧的一半宽度。 如此， 如果用传统的方法 60帧 /秒的帧率拍摄的视频， 在本 发明中只需要 30帧 /秒的帧率就可以达到相同的效果。当然在本 明的其它实施 例中， 也可以是对于偶数双列进行欠曝光， 对于奇数双列进行过曝光。 这种单 帧多曝光的方法保证了每一列曝光必定包含一 组完整的颜色滤波单元。
步骤 S11 : 将图像帧分解为欠曝光图像帧和过曝光图像帧 ， 其中欠曝光图像 帧中欠曝光双列与缺失双列依次间隔分布， 过曝光图像帧中过曝光双列与缺失 双列依次间隔分布。
在步骤 S11 中， 对步骤 S10中得到的图像帧进行分解， 得到欠曝光图像帧 和过曝光图像帧。 具体地， 在原始图像帧中， 欠曝光的奇数双列保持不变， 偶 数双列改为缺失列， 得到欠曝光图像帧。 在原始图像帧中， 过曝光的偶数双列 保持不变， 奇数双列改为缺失列， 得到过曝光图像帧。 所以欠曝光图像帧中欠 曝光双列与缺失双列依次间隔分布， 过曝光图像帧中过曝光双列与缺失双列依 次间隔分布。
步骤 S12: 对于欠曝光图像帧， 分别在红绿蓝通道上根据欠曝光双列像素点 的像素值获取欠曝光图像帧中缺失双列像素点 的像素恢复值作为对应像素点的 像素值。
对于欠曝光图像帧， 如图 3所示， 对欠曝光图像帧中的 RGB信息的恢复包 括：
步骤 S120: 用相邻的欠曝光双列像素点的像素值计算缺失 双列像素点的像 素估计值。
在欠曝光图像帧中， 偶数双列为缺失列， 在步骤 S120中， 釆用相邻的奇数 双列插值计算偶数双列的缺失值。 如图 4所示， 例如釆用平均的插值方式， 即 R3=(Rl+R5)/2, G4=(G2+G6)/2, G9=(G7+Gll)/2, B10=(B8+B12)/2。
步骤 S121 : 利用插值获得绿通道上缺失像素点的像素恢复 值。
考虑到欠曝光图像帧中绿通道的信息比红蓝通 道多， 首先用插值方法恢复 绿通道的信息。 该插值方法包括双线性插值、 立方体插值中的至少一种， 当然 在本发明的其它实施例中， 也可以应用其他的插值方法恢复绿通道的信息 。
步骤 S122: 分别计算红蓝通道上像素点的像素值与绿通道 上的像素恢复值 的差。
考虑到欠曝光图像帧中红蓝通道的像素数较少 ， 不直接针对红蓝通道的像 素进行恢复， 而是针对红蓝通道已知像素与绿通道的差， 以用于恢复红蓝通道 的像素。 具体地， 如图 5 所示， 以红通道为例， 红通道已知像素与绿通道的差 值 R1 , 记作 R1=R-G, 其中 R为成像位置的红色像素值， G是对应位置绿通道 的像素恢复值。
步骤 S123: 对所述红蓝通道上像素点的像素值与绿通道上 的所述像素恢复 值的差做插值计算， 获得红 /蓝通道上缺失像素点的差的恢复值。 即对红通道已 知像素与绿通道的差值 Rl做插值， 以得到红通道上缺失像素点的差的恢复值。 步骤 S124: 利用红 /蓝通道上缺失像素点的差的恢复值与绿通道 的所述恢 复像素值相加， 获得红蓝通道上的像素恢复值， 以替换所述欠曝光图像帧像帧 中所述缺失双列像素点的估计值， 并作为对应像素点的像素值。
得到红通道上缺失像素点的差的恢复值 R1之后，红像素的估计值 R为红通 道上缺失像素点的差的恢复值 R1与绿通道上的恢复像素值 G之和，即 R=R1+G。 图 5 中的恢复信息中在右侧有一列是缺失列。 当缺失列在左侧时， 很容易用类 似的计算方法获得缺失列的像素恢复值。 以此时的缺失列的像素恢复值替换根 据相邻的奇数双列的插值计算得到的偶数双列 所得的缺失值。 蓝通道釆用图 5 所示的相同的方法进行处理， 在此不再赘述。 最终得到欠曝光图像帧中红绿蓝 三通道上缺失列的像素恢复值， 以用于后续的合并帧的处理。
再参照图 1所示， 步骤 S13: 对于过曝光图像帧， 分别在红绿蓝通道上根据 过曝光双列像素点的像素值获取过曝光图像帧 中缺失双列像素点的像素恢复值 作为对应像素点的像素值。
利用插值获得绿通道上缺失像素点的像素恢复 值； 分别计算红蓝通道上像 素点的像素值与绿通道上的像素恢复值的差； 对红蓝通道上像素点的像素值与 绿通道上的像素恢复值的差做插值计算， 获得红 /蓝通道上缺失像素点的差的恢 复值；利用红 /蓝通道上缺失像素点的差的恢复值与绿通道 的恢复像素值相加， 获得红蓝通道上的像素恢复值， 以替换过曝光图像帧中缺失双列像素点的估计 值， 并作为对应像素点的像素值。 具体地与图 5 中过曝光图像帧中缺失双列像 素点的像素恢复值的获取方法相同， 在此不再赘述。 最终得到过曝光图像帧中 红绿蓝三通道上缺失列的像素恢复值， 以用于后续的合并帧的处理。
步骤 S14:根据欠曝光图像帧和过曝光图像帧中红绿 通道上像素点的像素 值合并过曝光图像帧和欠曝光图像帧 , 获得一个高动态范围帧。
传统的 HDR视频釆用的帧合并计算中出现伪影和过度不 自然的问题，伪影 产生的根源在于帧合并时， 过渡带存在亮度反转的现象， 传统方法在选取高光 和低光阈值时无法避免这个问题， 在大变光区域这个问题就会显现出来。 而过 度不自然则是因为没有考虑孤立点和孤立块的 情况。 由于自然场景的光线复杂， 很容易产生过曝光和欠曝光区域交织的情况， 简单的合并很容易造成过度不自 然的问题。 如图 6所示， 合并过曝光图像帧和欠曝光图像帧， 获得一个高动态 范围帧包括： 步骤 S140: 根据红绿蓝通道上像素点的像素值分别获取欠 曝光图像帧和过 曝光图像帧中每个像素点的亮度。
在步骤 S140中， 亮度的获取釆用现有技术， 如亮度可以为 （R+G+B ) /3 , 当然也可以釆用其他方法根据红绿蓝通道上像 素点的像素值来获取亮度。
步骤 S141 : 根据欠曝光图像帧和过曝光图像帧中每个像素 点的亮度获取每 个像素点的权值。
在步骤 S141 中， 根据预设的欠曝光阔值 Ί\和过曝光阔值 T 2 利用以下关系 式计算自适应的欠曝光阔值 Τι , 和自适应的过曝光阔值 τ 2 , ：
Τι ,new
T 2 ,new― miIlxG (P2>T2) P
其中， P l P 2 分别为欠曝光图像帧和过曝光图像帧中像 素点的亮度， P TO 表示 中所有小于 Ί\的欠曝光像素集， ^ρ 2 > Τ2 )表示 P 2 中所有大于 T 2 的过曝光 像素集。 可见， I ™表示 P 2 中对应 中欠曝光位置的像素值上界， T 2 , ∞w 表示 Pj中对应 P 2 中过曝光位置的像素值下界。
然后根据自适应的欠曝光阔值 1^„和自适应的过曝光阔值！^， 利用以下关 系式计算每个像素点的权重：
C l：
p 2 - τ 2 .
C 2 255-T 2
0 其他
其中， ωι 为欠曝光图像帧中亮度为 Pi的像素点的权值， ω2 为过曝光图像 帧中亮度为 Ρ 2 的像素点的权值。
步骤 S142: 根据每个像素点的权值合并过曝光图像帧和欠 曝光图像帧， 获 得一个高动态范围帧。
为了避免过曝光和欠曝光区域交织导致的过度 不自然的问题， 对权重图 ωι ,ω 2 做高斯模糊化。在步骤 S142中，首先釆用二维高斯滤波器与对每个像 点 的权值做卷积。 具体地， 釆用窗宽为 Η, 方差为 σ的二维高斯滤波器与 ωι , ω ^ 卷积。 Η 与图像帧的尺寸有关， 一般选取 σ =Η/6, 当然方差 σ也可以根据需要 选取其他值。 然后釆用以下关系式进行帧合并计算， 并做对比度拉伸：
q neW;I = (1 _ ωι) ai q 1;I + (1 _ ω 2 ) a 2 q 2;I + ωι q 2;I + ω 2 ¾ ;Ι i = 1,2,3 其中， ai = l - ^^ , a2 = l - ^^，用于增强对比度， 1 和 q 2 l 分别为 RGB
127 127 ' '
图的三个色彩通道。
对依传统方法和本发明方法拍摄的图片进行对 比， 如图 7 所示， 左上角的 图片是欠曝光的图片， 右上角是过曝光的图片， 左下角是应用传统方法合并的 图片， 右下角是应用本发明的方法获取的图片。 可见， 根据本发明的方法拍摄 的图片对比度较好， 不存在伪影， 过渡带自然， 要优于传统方法。
在本发明实施例中， 通过按照奇偶双列配置不同的感光时间进行曝 光， 获 得奇偶双列不同曝光值的一个图像帧； 将图像帧分解为欠曝光图像帧和过曝光 图像帧， 其中欠曝光图像帧中欠曝光双列与缺失双列依 次间隔分布， 过曝光图 像帧中过曝光双列与缺失双列依次间隔分布； 对于欠曝光图像帧， 分别在红绿 蓝通道上根据欠曝光双列像素点的像素值获取 欠曝光图像帧中缺失双列像素点 的像素恢复值作为对应像素点的像素值； 对于过曝光图像帧， 分别在红绿蓝通 道上根据过曝光双列像素点的像素值获取过曝 光图像帧中缺失双列像素点的像 素恢复值作为对应像素点的像素值； 再根据欠曝光图像帧和过曝光图像帧中红 绿蓝通道上像素点的像素值合并过曝光图像帧 和欠曝光图像帧， 获得一个高动 态范围帧， 能够克服高速运动模糊问题， 降低高速连拍的帧率， 同时能够解决 伪影和过度不自然的问题。
请参阅图 8 ,图 8是本发明第一实施例的基于拜尔颜色滤波阵 的高动态范 围视频录制装置的结构示意图。 如图 8 所示， 基于拜尔颜色滤波阵列的高动态 范围视频录制装置 10包括： 传感器模块 11、 分解模块 12、 欠曝光像素恢复模 块 13、 过曝光像素恢复模块 14以及合并模块 15。 传感器模块 11用于按照奇偶 双列可配置不同的感光时间进行曝光， 获得奇偶双列不同曝光值的图像帧。 分 解模块 12与传感器模块 11连接， 用于将图像帧分解为欠曝光图像帧和过曝光 图像帧， 其中欠曝光图像帧中欠曝光双列与缺失双列依 次间隔分布， 过曝光图 像帧中过曝光双列与缺失双列依次间隔分布。 欠曝光像素恢复模块 13与分解模 块 12连接， 用于对于欠曝光图像帧， 分别在红绿蓝通道上根据欠曝光双列像素 点的像素值获取欠曝光图像帧中缺失双列像素 点的像素恢复值作为对应像素点 的像素值。 过曝光像素恢复模块 14与分解模块 12连接， 用于对于过曝光图像 帧， 分别在红绿蓝通道上根据过曝光双列像素点的 像素值获取过曝光图像帧中 缺失双列像素点的像素恢复值作为对应像素点 的像素值。 合并模块 15与欠曝光 像素恢复模块 13以及分配曝光像素恢复模块 14连接， 用于根据欠曝光图像帧 和过曝光图像帧中红绿蓝通道上像素点的像素 值合并过曝光图像帧和欠曝光图 像帧， 获得一个高动态范围帧。
在本发明实施例中， 在本发明中釆用的拜尔图中， 一个颜色滤波单元包含 一个 R和 Β单元， 两个 G单元， 空间上呈 2x2排列， 即每个颜色滤波单元占两 行和两列。 传感器模块 11釆用奇数双列和偶数双列分别曝光的方法， 即对于奇 数双列进行欠曝光， 对于偶数双列进行过曝光， 得到奇偶双列不同曝光值的一 个图像帧。 这种曝光方法保证了每一列曝光必定包含一组 完整的颜色滤波单元。 分解模块 12将图像帧进行分解， 得到欠曝光图像帧和过曝光图像帧。 具体地， 在原始图像帧中， 欠曝光的奇数双列保持不变， 偶数双列改为缺失列， 得到欠 曝光图像帧。 在原始图像帧中， 过曝光的偶数双列保持不变， 奇数双列改为缺 失列， 得到过曝光图像帧。 所以欠曝光图像帧中欠曝光双列与缺失双列依 次间 隔分布， 过曝光图像帧中过曝光双列与缺失双列依次间 隔分布。
具体地， 欠曝光像素恢复模块 13用于： 用相邻的欠曝光双列像素点的像素 值计算缺失双列像素点的像素估计值； 例如釆用平均的插值方式。 考虑到欠曝 光图像帧中绿通道的信息比红蓝通道多， 首先利用插值获得绿通道上缺失像素 点的像素恢复值。 该插值方法包括双线性插值、 立方体插值中的至少一种， 当 然在本发明的其它实施例中， 也可以应用其他的插值方法恢复绿通道的信息 。 再分别计算红蓝通道上像素点的像素值与绿通 道上的像素恢复值的差； 并对红 蓝通道上像素点的像素值与绿通道上的像素恢 复值的差做插值计算， 获得红 /蓝 通道上缺失像素点的差的恢复值。 此处的插值方法与前述的相同， 即包括双线 性插值、 立方体插值中的至少一种。 最后利用红 /蓝通道上缺失像素点的差的恢 复值与绿通道上的恢复像素值相加， 获得红蓝通道上的像素恢复值， 以替换欠 曝光图像帧像帧中缺失双列像素点的估计值， 并作为对应像素点的像素值。 蓝 通道釆用上述相同的方法进行处理， 在此不再赘述。 最终得到欠曝光图像帧中 红绿蓝三通道上缺失列的像素恢复值， 以用于后续的合并帧的处理。
过曝光像素恢复模块 14用于： 用相邻的过曝光双列像素点的像素值计算缺 失双列像素点的像素估计值； 例如釆用平均的插值方式。 考虑到欠曝光图像帧 中绿通道的信息比红蓝通道多， 首先利用插值获得绿通道上缺失像素点的像素 恢复值； 该插值方法包括双线性插值、 立方体插值中的至少一种， 当然在本发 明的其它实施例中， 也可以应用其他的插值方法恢复绿通道的信息 。 再分别计 算红蓝通道上像素点的像素值与绿通道上的像 素恢复值的差； 并对红蓝通道上 像素点的像素值与绿通道上的像素恢复值的差 做插值计算， 获得红 /蓝通道上缺 失像素点的差的恢复值； 此处的插值方法与前述的相同， 即包括双线性插值、 立方体插值中的至少一种。 最后利用红 /蓝通道上缺失像素点的差的恢复值与绿 通道上的恢复像素值相加， 获得红蓝通道上的像素恢复值， 以替换过曝光图像 帧中缺失双列像素点的估计值， 并作为对应像素点的像素值。 蓝通道釆用上述 相同的方法进行处理， 在此不再赘述。 最终得到过曝光图像帧中红绿蓝三通道 上缺失列的像素恢复值， 以用于后续的合并帧的处理。
合并模块 15用于： 根据红绿蓝通道上像素点的像素值分别获取欠 曝光图像 帧和过曝光图像帧中每个像素点的亮度。 亮度的获取釆用现有技术， 如亮度可 以为 （R+G+B ) /3 , 当然也可以釆用其他方法根据红绿蓝通道上像 素点的像素 值来获取亮度。 然后根据欠曝光图像帧和过曝光图像帧中每个 像素点的亮度获 取每个像素点的权值。 具体地， 根据预设的欠曝光阔值1 和过曝光阔值 T 2 利用 以下关系式计算自适应的欠曝光阔值 T ™和自适应的过曝光阔值 τ 2 , η ™：
Τι .new = max xe u( Pl < Tl ) P2,x ,
T 2 ,new― miIl G (P2>T2) Ρΐ,χ
其中， Ρ 1 Ρ 2 分别为欠曝光图像帧和过曝光图像帧中像 素点的亮度， P TO 表示 中所有小于 Ί\的欠曝光像素集， ^ Ρ2 > Τ2 )表示 P 2 中所有大于 T 2 的过曝光 像素集。 可见， i w 表示 P 2 中对应 中欠曝光位置的像素值上界， 1 ^表示 Pi中对应 P 2 中过曝光位置的像素值下界。 然后根据自适应的欠曝光阔值 Τι , η ™和 自适应的过曝光阔值 T new 利用以下关系式计算每个像素点的权重：
其中， ωι 为欠曝光图像帧中亮度为 Pi的像素点的权值， 0) 2 为过曝光图像帧 中亮度为 P 2 的像素点的权值。 最后根据每个像素点的权值合并过曝光图像帧 和 欠曝光图像帧， 获得一个高动态范围帧。
为了避免过曝光和欠曝光区域交织导致的过度 不自然的问题， 对权重图 ωι ,ο^ 高斯模糊化。 即釆用二维高斯滤波器与对每个像素点的权值 做卷积， 具 体地， 釆用窗宽为 Η, 方差为 σ的二维高斯滤波器与 ωι , ω ^ 卷积。 Η与图像帧 的尺寸有关， 一般选取 σ =Η/6, 当然方差 σ也可以根据需要选取其他值。 然后 釆用以下关系式进行帧合并计算， 并做对比度拉伸：
q ne w,, = 0 _ ωι) ai q 1;I + (1— ω 2 ) a 2 q 2;I + ωι q 2;I + ω 2 ¾ ;Ι i = 1,2,3 其中， ai = l - ^^ , a 2 = l -^^,用于增强对比度， 1 和 q 2 l 分别为 RGB
127 127 ' '
图的三个色彩通道。 根据本发明的方法拍摄的图片对比度较好， 不存在伪影， 过渡带自然， 要优于传统方法。
综上所述， 本发明通过按照奇偶双列配置不同的感光时间 进行曝光， 获得 奇偶双列不同曝光值的一个图像帧； 将图像帧分解为欠曝光图像帧和过曝光图 像帧， 其中欠曝光图像帧中欠曝光双列与缺失双列依 次间隔分布， 过曝光图像 帧中过曝光双列与缺失双列依次间隔分布； 对于欠曝光图像帧， 分别在红绿蓝 通道上根据欠曝光双列像素点的像素值获取欠 曝光图像帧中缺失双列像素点的 像素恢复值作为对应像素点的像素值； 对于过曝光图像帧， 分别在红绿蓝通道 上根据过曝光双列像素点的像素值获取过曝光 图像帧中缺失双列像素点的像素 恢复值作为对应像素点的像素值； 再根据欠曝光图像帧和过曝光图像帧中红绿 蓝通道上像素点的像素值合并过曝光图像帧和 欠曝光图像帧， 获得一个高动态 范围帧， 能够克服高速运动模糊问题， 降低高速连拍的帧率， 合并图像帧时对 权重的进一步处理还可以解决伪影和过度不自 然的问题。
在本发明所提供的几个实施例中， 应该理解到， 所揭露的系统， 装置和方 法， 可以通过其它的方式实现。 例如， 以上所描述的装置实施例仅仅是示意性 的， 例如， 所述模块或单元的划分， 仅仅为一种逻辑功能划分， 实际实现时可 以有另外的划分方式， 例如多个单元或组件可以结合或者可以集成到 另一个系 统， 或一些特征可以忽略， 或不执行。 另一点， 所显示或讨论的相互之间的耦 合或直接耦合或通信连接可以是通过一些接口 ， 装置或单元的间接耦合或通信 连接， 可以是电性， 机械或其它的形式。 单元显示的部件可以是或者也可以不是物理单 元， 即可以位于一个地方， 或者 也可以分布到多个网络单元上。 可以根据实际的需要选择其中的部分或者全部 单元来实现本实施例方案的目的。
另外， 在本发明各个实施例中的各功能单元可以集成 在一个处理单元中， 也可以是各个单元单独物理存在， 也可以两个或两个以上单元集成在一个单元 中。 上述集成的单元既可以釆用硬件的形式实现， 也可以釆用软件功能单元的 形式实现。
所述集成的单元如果以软件功能单元的形式实 现并作为独立的产品销售或 使用时， 可以存储在一个计算机可读取存储介质中。 基于这样的理解， 本发明 的技术方案本质上或者说对现有技术做出贡献 的部分或者该技术方案的全部或 部分可以以软件产品的形式体现出来， 该计算机软件产品存储在一个存储介质 中， 包括若干指令用以使得一台计算机设备（可以 是个人计算机， 服务器， 或 者网络设备等）或处理器（processor )执行本发明各个实施例所述方法的全部或 部分步骤。 而前述的存储介质包括： U盘、 移动硬盘、 只读存储器 （ROM , Read-Only Memory ), 随机存取存储器（RAM, Random Access Memory )、 磁碟 或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的实施例， 并非因此限制本发明的专利范围， 凡是利 用本发明说明书及附图内容所作的等效结构或 等效流程变换， 或直接或间接运 用在其他相关的技术领域， 均同理包括在本发明的专利保护范围内。
Next Patent: METHOD FOR ROUTING KEY FRAME AND MEDIA SERVER