【 技术领域 】

本发明涉及计算机视频处理领域， 特别是涉及一种视频中的台标区域补绘方法。

【 背景技术 】

台标作为一种知识产权所有权的声明， 几乎所有的商业电视频道都有自己的台标。 当新的台标覆盖原始的台标重叠在一起的时候 ， 台标也可以作为一种授权转播的标志。 但是与此同时， 这些台标的存在既降低了视频的观赏舒适度， 也增加了视频之间交流 的困难。 因此， 如何去除台标以及精确补绘台标区域是一个亟 待解决的关键问题。

为了去除视频中的台标并对台标区域进行精确 补绘， 目前常用的方法是在台标区 域进行马赛克处理或者使用图像处理工具将台 标区域变得模糊， 但这些方法补绘效果 较差， 人为处理痕迹明显 严重影响了视频质量和视频观赏效果。

【 发明内容 】

本发明所要解决的技术问题是： 弥补上述现有技术的不足， 提出一种视频中的台 标区域的内容补绘方法， 有效提高视频台标区域的补绘精度 且计算复杂度较低。

本发明的技术问题通过以下的技术方案予以解 决 - 种视频中的台标区域的内容补绘方法， 包括以下步骤： 1 )检測视频中的台标区 域， 并标记台标区域； 2 ) 对视频中的各帧图像进行如下补绘操作： 21 ) 根据前 L帧、 后 K帧图像， 采用全局运动估计方法估计得到当前帧图像的 L+K.个全局参考图像； 其 中， L和 K均为大于等于 0的整数， 且 L和 K不同时为 0, 具体取值由 ]¾户根据补绘 精度要求进行设定； 22 ) 标记当前帧图像中的台标区域的前景和背景； 23 ) 补绘当前 帧图像的台标区域： 对于背景像素点， 利用 个全局参考图像中相应像素点的信息 补绘该背景像素点； 对于前景像素点， 根据前 L帧、 后 K帧图像， 采用局部估计方法 估计得到当前帧图像的 L+K个局部参考图像，利用 L÷K个局部参考图像中相应像素点 的信息补绘该前景像素点； 24) 判断当前帧图像的台标区域是否补绘完全， 如果是， 则进入步骤 26 ); 如果否， 劑进入歩骤 25 ) _; 25 )利用当前帧图像的空间相关性补绘台 标区域中剩余未补绘的区域； 26 ) 结束当前帧图像的补绘。

本发明与现有技术对比的有益效果是： 本发明的视频中的台标区域的内容补绘方法， 利用全局运动估计方法， 从时间上 前后 L+K帧领域图像估 if当前帧图像， 利用领域图像中的像素点信息对当前帧图像中 的台标区域的前景点与背景点区别补绘。 在采用时间相关性补绘后， 如存在未补绘的 区域， 继续使用空间相关性补充补绘。 补绘过程中， 对前景点和背景点区分补绘， Ά 视频图像帧序列中存在的大量 ¾ί·间冗余信息得到充分利用 从而有效地提高了视频台 标区域的补绘精度。 而对于每一帧图像而言， 因其主要通过对视频图像序列进行运动 分树 利用邻域图像祯中钓已知图像信息来衿绘当前 帧中的台标区域, 因此补绘过程 中迭代次数较少， 确保计算复杂度较低。

I 酎图说明 1

图 1是本发明具体实施方式的视频中的台标区域� �内容补绘方法的流程图； 图 2是本发明具体实施方式的补绘方法中以 Κ=3时为例说明构建领域块集合的过 程示意图。

【 具体实施方式 】

下面结合具体实施方式并对照附图对本发明做 进一步详细说明。

本发明的构思是： 通过全局运动估计和局部运动估 研究视频图像序列之间的时 间相关性， 优先利用视频图像序列的时间相关性对当前图 像帧中的台标区域进行补绘， 当利用时间相关性补绘后仍然存在未补绘到的 区域时， 才采用当前 ^图像的空间相关 性进行朴绘。 使用时间信息朴绘时， 首先对相邻¾ L+K帧图像进行全局运动估计 使 L+ 帧邻域图像与当前帧图像对齐， 得到 L+K帧全局参考图像。 然后对台标区域每个 待补绘像素点的 '空邻域数据进行分析， 标记当前图像帧台标区域内的前景点和背景 点。 最后， 对于未知的背景像素点， 使用全局运动补偿后已对齐的领域图像帧内的 信 息进行补绘； 对于未知的前景像素点， 则进行局部运动待偿后再结合邻域图像帧内的 信息进行补绘。

如图 〗 所示， 为本具体实施方式中视频中的台标区域的内容 补绘方法的流程图。 补绘方法处理的输入的视频图像， 其台标区域可见， 视频的数据格式不限。 补绘方法 包括以下歩骤-

U1 ): 检测视频中的台标区域， 并标记台标区域。

该步骤中， 检测方法可选用多种有关视频台标区域检测的 方法， 例如， 可包括算 法检测和用户手动勾选识别， 并标记台标区域。 用算法来自动检测的方法可采用但不 局限于 Kartrin Meisinger等人提出的基于帧差的台标检测和提取 算法。通过用户手工勾 选的方法则可以事先准备能标示台标区域的输 入参数或者提供 户操作界面让用户将 台标区域标记出来。 此时， 检测时， 直接接收用户勾选标记的台标区域完成检測。 检 测标记后， 即可对台标区域识别出来。 最简便的方法， 即是台标区域内的像素点被统 一标识为 0， 即呈现为黑色。 抑或， 统一标识为 255， 即呈现为白色。 也可采 其它标 识方法， 不局限为上述两种。

U2) 对视频中的各帧图像进行如下补绘操作， 具体为图 1中步骤 U21 ) - U26)。

U21 ) 根据前 L帧、 后 K帧图像， 采用全局运动估 if方法估 if得到当前帧图像的 L+K个全局参考图像。 其中， K为正整数， 由 ¾户根据补绘精度要求进行设定。

全局运动是指由于摄像机的运动所产生的视频 图像序列中的运动。 全局运动估^ 即是估 if当前帧中像素点与 间序列上前后领域帧中相应像素点之间的空间 位移， 通 常通过运动参数模型来定义。 全局运动估计方法中， 定义出运动参数模型后， 即可以 由领域帧图像估计出当前帧图像， 得到当前帧的估计图像； 也可以 ffl当前帧图像估^ 出相邻帧图像， 得到相邻帧图像的估^图像。 例如， 设 X ¹ 表示 i时刻视频图像帧内像 素点的坐标， ^表示 j时刻视频图像帧内像素点的坐标， 表示将 j时刻的图像帧与 i 时刻图像帧对齐时所需的运动参数模型， 则由 j时刻 ¾图像帧估计得到 i时刻的图像帧 的估计图像的运算为 .χ' 也即是将 j时刻的图像帧向 i时刻的图像愤对齐。

该步骤中， 用户设定 L和 K值后， 例如取 L和 K均为 3, 即是由前后 3帧图像估 计当前帧图像， 得到 6幅全局参考图像。 后续如发现补绘精度不满意， 可返回重新设 定 L和 K的值为更大值， 从而提高补绘精度。 当然也可取 L和 K为其它值， 还可取 L 为 0, 仅利用后面 K帧图像的信息； 或者取 K为 0, 仅利用前面 L帧图像的信息， 具 体取值组合不限， 只要有相邻帧的信息即可。 本步骤中， 选取前后 L- 帧时阆窗口， 对时间窗口内视频图像帧对齐可为后续步骤中 利用视频序列的 '间相关性来补绘台标 区域傲准备。

U22) 标记当前帧图像中的台标区域的前景和背景。

该步骤中， 可采 ]¾通常的前景背景标记方法对当前帧图像的台 标区域进行处理。 优选地， 可利用歩骤 U21 ) 中得到 L+K个全局参考图像的信息迸行前景背景标记， 这 样， 通过全局运动估计得到反应时阆相关性信息的 参考图像来进行标记， 可提高前景 背景标记的精确度， 进而提高后续补绘时的精确度。具体地， 包括步骤 U221 ) - U223 ) _: U221 ) 对当前帧图像中的台标区域中的每一个像素点 I (x， y) , 构建像素点的领 域块集合 ψ,所述领域块集合 ψ包括分别从当前帧图像和 L+K个全局参考图像中取出的 L+K+1个子块 ψο， 子块 ψ。= { ϊ ( i, j ) I i≡ (x- W， x+W), j fc≡ (y W， y+W) }, 其中， W是空间窗口大小， 由 ffi户根据补绘精度和运算量的要求进行设定。

该步骤中， 如图 2所示， 以 L和 K均为 3时的情形为例说明构建领域块集合 ψ的 过程。 即分别从 6个全局参考图像 R1〜R6中取出 6个子块以及从实际的当前帧图像 C 中取出 1个子块， 总计 7个子块的像素点构成集合 ψ。 各子块是以像素点 I x， y) 为中 心的长宽分别为 2W的方块。

U222) 计算各像素点的领域块集合 ψ内的像素点的方差。

如上所述， 集合 ψ是 L+K+1个子块的像素点构成集合， 因此该步骤即 ^算该集合 内像素点的像素值的方差。

U223 )设定阈值， 比较阈值与步骤 U222) 中计算得到的各像素点对应的方差， 如 果方差小于阈值， 则将该像素点标记为背景； 如果方差大于阈值， 则将该像素点标记 为前景。

由于是利用步骤 U21 ) 中全局运动估计后反应 '间信息的结果， 所以对属于视频 背景区域的像素点， 其运动位移较小， 因此其领域块集合 ψ内像素点的像素值的方差就 相对较小； 反之， 对于属于视频前景区域的像素点， 由于前景存在局部运动， 其运动 位移较大， 因此其领域块集合 ψ内像素点的像素值的方差就会相对较大。 该歩骤中， 即 是设置一个阈值， 阈值由用户设定， 可根据补绘精度要求设定为经验值。 通过阈值与 各像素点对应的领域块集合 _Ψ 的方差迸行比较， 便可区分各像素点是属于前景还是背 景， 认而完成当前帧视频图像的台标区域像素点的 前景-背景标记。

U23) 补绘当前帧图像的台标区域。 具体地： 对于背景像素点， 利用 L+K个全局 参考图像中相应像素点的信息补绘该背景像素 点； 对于前景像素点， 根据前 L帧、 后 K帧图像， 采用局部估计方法估计得到当前帧图像的 L+K.个局部参考图像， 利用 L+K 个局部参考图像中相应像素点的信息补绘该前 景像素点。

该步骤中， 对于台标区域的像素点， 区分背景和前景分别补绘。 对于当前帧图像 内台标区域的背景像素点 直接利用已经对齐后的邻域图像内的信息， 也即参考图像 的信息进行补绘。 对于当前帧图像内台标区域的前景像素点， 引入局部运动补偿 根 据局部运动估计后得到的局部参考图像的信息 补绘该前景像素点。 由于取前 L帧、后 K幀作为时间窗口， 因此时间窗口内存在 L÷K 可参考钓图像 喊。利用 L÷K个全局参考图像补绘背景像素点或 L+K个局部参考图像补绘前景像素点 时， 有多种补绘方式。 如下列举两种补绘方式：

一种， 即是以 L+K个参考图像中相应像素点的像素值的平均值 作为当前待补绘像 素点的像素值进行补绘,， 例如， 补绘当前帧图像中像素点 I ( X, y) 时， 取 L+K个参 考图像中中相应的像素点 I ( X, ν) , 用 L+K个像素点的像素值的平均值作为当前帧 内像素点 I ( X, y) 的像素值

另一种， 即是先计算 I K个参考图像与当前幀图像的误差， 以误差最小的一个参 考图像中的相应像素点的像素值作为当前待待 绘像素点的像素值进行补绘。 计算误差 时， 有多种方式， 一种方式， 即是在当前帧图像中取待补绘像素点 I ( X, y)周围 Ν 个像素点， 记为 I _k (x， y) ， k=l, 2， ..., Ν; 对应在参考图像中取该 Ν个像素点相 应的像素点， 记为 】' _k (x, y) , k==l, 2, ..。， N; 然后计算相应像素点的像素值的差 值的平方和开根， ί| / _Α (χ,_ν) /' xj)) ² 作为该参考图僳的误差值。 当然， 还可 以选择其他定义误差值的方式 上述举例仅为示意性。 依次计算 L÷K 参考图像的误 差值， 比较误差值， 从而得到误差值最小的一个参考图像， 优先利用误差值最小的邻 域图像^内的信息对当前帧图像中的像素点进� �补绘。

U24) 判断当前帧图像的台标区域是否补绘完全， 如果是， 则进入步骤 U26); 如 果否， 则进入歩骤 U25)。

U25) 利用当前帧图像的空间相关性补绘台标区域中 剩余未补绘的区域。 U26) 结束当前帧图像的补绘。 如步骤 U24)判断 '， 视频中的台标区域的内容均已被补绘， 则迸入步骤 U26)结 束当前帧图像的补绘。 进入下一帧图像的待绘过程。 但 于歩骤 U23) 的补绘过程主 要利用了视频帧间的时阆相关性。 如果视频中运动非常缓慢时， 对台标区域其中一些 像素可能无法.从相邻的视频图像帧中找到对� �的像素信息， 这^步骤 U24) 判断 '即 存在未被补绘的像素点， 因此即进入步骤 U25) 进行补充补绘， 主要釆用当前帧图像 的空间相关性进行补绘。

利用空间相关性进行补绘时， 常用的即是采用静态图像修复算法进行补绘， 包括 基于偏微分方程的数字修复算法、 基于样例的块匹配算法。 以基于样飼的块匹配算法 进行空间相关性补偿时， 具体包括如 T步骤-

251 ) 确定剩余未补绘的区域。

252) 提取待补绘区域的边界。

253)对于边界上的每一个像素点 计算其块匹配优先权， 选择优先权值最大的像 素点作为当前待衿绘块的中心点。

254 )在已补绘区域中检测与当前待朴绘块距离最� �的匹配块。

255 )釆用所述匹配块中各像素点的信息对当前待� �绘块中各像素点进行补绘。 当前块中像素点 II用匹配块中对应的像素点 II' 的信息补绘 当前块中像素点 12用匹 配块中对应的像素点 12' 的信息补绘， 依次类推 一一对应地补绘.

256 )返回步骤 251 ), 直至不存在未补绘的区域时结束。

经过上述歩骤 U21 ) -U26)， 即完成了对当前帧图像中台标区域的补绘。 重复歩骤 U21 ) - U26), 完成对视频中各帧图像的补绘， 从而完成去除台标后朴绘重建任务。

本具体实施方式中， 对视频中的台标区域的内容区分背景和前景分 别进行待绘， 且充分利用领域帧图像中携带的时阆信息， 使大量 ^间冗余信息充分用于补绘过程， 从而有效地提高了视频台标区域的补绘精度， 高精度补绘重建台标区域。 在时间信息 无法补绘完全时， 补充采用空间相关性进行 、绘， 从而确保整个台标区域得到补绘。 另夕卜， 对于每一帧图像而言， 因其主要通过对视频图像序列进行运动分析 利用领域 图像愤中的已知图像信息来补绘当前帧中的台 标区域 因此补绘过程中迭代次数较少， 确保不会增加较多的 算复杂度。

优选地， 本具体实施方式的补绘方法还包括步骤 U3) (图 1中未示意出）： 将所有 补绘完成的各愤图像接照时间顺序进行整合 输出去除台标区域经补绘后得到的视频。 即通过步骤 U3 ), 将各图像帧整合成视频， 即得到去除台标且台标区域补绘重建后 ¾ 视频。

以上内容是结合具体的优选实施方式对本发 明所诈的进一步详细说 不能认定 本发明的具体实施只局限于这些说明。对于本 发明所属技术领域的普通技术人员来说, 在不脱离本发明构思的前提下做出若千替代或 明显变型， 而旦性能或用途相同， 都应 当视为属于本发明的保护范围。