本发明涉及图像处理领域， 尤其涉及一种确定视频前景主体图像区域的 方法和装置。 背景技术

在一帧图像中， 包括前景范围和背景范围， 所述背景范围是整个图像或 整个图像除去所述前景范围后的图像。 所述前景范围可划分为前景主体图像 和前景背景图像。 前景范围是指在一幅图像当中使用矩形、 圓形、 椭圓形等 几何形状将前景主体图像框起来的图像区域。 例如在一幅包含人脸的图像中， 前景范围指的是人脸所覆盖的区域， 背景是除去人脸以外的图像区域。 在一 幅图像中将前景提取出来， 称为前景分割。

随着视频应用的广泛传播， 前景分割技术也被应用到视频中。 目前视频 图像分割大都集中在视频监控和新闻节目中的 前景分割， 由于在这类场景中， 拍摄机的位置不会发生变动， 只是前景在运动， 因此这类场景中视频的背景 是静止不动的， 而在电影等视频中的背景和前景同时运动的情 况中， 视频分 割技术的应用很少。

在目前的视频前景分割技术中， 采用的是基于单点的光流计算方法。 这 种光流算法首先对视频中的前一帧图像进行特 征点选取， 使用 LK光流算法对 每个特征点 （x，y )计算相对于下一帧图像的运动矢量（δ χ， 5 y)。 然后使用 聚类算法， 将特征点分为两类。

聚类算法对特征点分类的具体步骤为以下 1-4:

1、 将特征点随机分为两类；

2、 将每个特征点的 x，y， δ χ, 5 y带入以下公式，

ax+by+c = δ x

dx+ey+f = δ y

可以得到多个 （a，b，c，d，e，f ) 的等式， 从中确定出 （ a， b， c， d， e， f ) 的最小二乘解（a b C C^ e fA

3、 将每个特征点的 x，y值代入

得到 （ δ _Xl ， δ _yi )

4、 根据得到的 （ δ _Χι ， 5 _yi ) 与 （ δ χ， 5 y ) 的差值情况， 重新将特征点 分为两类， 然后回到上述步骤 2继续进行， 直至特征点的分类不再变化。 将其中一类的特征点作为前景的特征点， 最后将前景的特征点合成前景 区域， 从而达到视频中前景分割效果。

在实现上述视频分割的过程中，

背景和前景同时运动的场景是一种更为复杂的 场景， 在采用基于单点的 光流计算方法进行前景和背景分割时， 由于特征点的选取和计算会有一定的 误差， 使大量前景的点被归类为背景， 背景的点被归类为前景， 使得分割结 果中的前景带有大量的背景纹理及其部分前景 缺失， 导致分割错误率^ ί艮高， 目前现有技术还不能达到理想的分割效果。 发明内容

本发明的实施例提供一种确定视频前景主体图 像区域的方法和装置， 提 高视频前景主体图像区域分割准确率。

为达到上述目的， 本发明的实施例采用如下技术方案：

本发明的实施例第一方面提供了一种确定视频 前景主体图像区域的方 法， 包括：

在视频的前一帧图像中， 确定前景范围以及背景范围， 所述背景范围是 整个图像或整个图像除去所述前景范围后的图 像区域；

获取下一帧图像的背景范围相对于所述前一帧 图像的背景范围的运动矢 量和放大倍率；

根据所述下一帧图像的背景范围相对于所述前 一帧图像的背景范围的运 动矢量和放大倍率， 得到所述下一帧图像中的前景范围； 计算所述下一帧图像的前景范围和所述前一帧 图像的前景范围的之间的 灰度值之差， 由所述灰度值之差得到前景运动边缘灰度图；

根据所述前景运动边缘灰度图， 得到前景主体图像区域。

作为本发明实施例的第一方面的第一实现方式 ， 所述获取下一帧图像的 相对于前一帧图像的背景范围的运动矢量和放 大倍率， 具体包括：

在所述前一帧图像的背景范围中取一组点集；

计算所述点集中的每个点相对于下一帧图像的 运动矢量；

根据模板匹配算法， 计算所述点集中的每个点相对于下一帧图像的 匹配 度；

从所述点集中筛选出匹配度高于匹配阈值的点 ； 所述匹配阈值为所述点 集中的每个点的匹配度组成的集合的中值；

根据所述匹配度高于匹配阈值的点的运动矢量 ， 得到所述下一帧图像的 背景范围相对于所述前一帧图像的背景范围的 运动矢量；

根据所述匹配度高于匹配阈值的点在前一帧中 的两两之间距离和在下一 帧中的两两之间距离， 得到所述下一帧图像的背景范围相对于所述前 一帧图 像的背景范围的放大倍率。

作为本发明实施例的第一实现方式的第一可能 ，， 所述计算所述点集中的 每个点相对于下一帧图像的运动矢量， 具体包括：

根据光流算法， 计算所述点集中的每个点相对于下一帧图像的 运动矢量； 或

对所述点集中的每个点， 在距离 d的范围内获取下一帧图像中的对应点； 所述距离 d根据视频宽度与视频中物体运动速度获得；

根据所述点集中的每个点和在距离 d 的范围内下一帧图像中的对应点的 距离， 得到所述点集中的每个点相对于下一帧图像的 运动矢量。

作为本发明实施例的第一实现方式的第二可能 ， 所述根据所述匹配度高 于匹配阈值的点的运动矢量， 得到所述下一帧图像的背景范围相对于所述前 一帧图像的背景范围的运动矢量， 具体包括： 根据公式 vo = [median (X)，median (Y) ]，得到所述下一帧图像的背景范围 相对于所述前一帧图像的背景范围的运动矢量 V。； 其中， X是所有所述匹配度 高于匹配阈值的点的运动矢量的 X方向分量的集合， Y是所有所述匹配度高于 匹配阈值的点的运动矢量的 y方向分量的集合。

作为本发明实施例的第一实现方式的第三可能 ， 所述根据所述匹配度高 于匹配阈值的点在前一帧中的两两之间距离和 在下一帧中的两两之间距离， 得到所述下一帧图像的背景范围相对于所述前 一帧图像的所述背景范围的放 大倍率， 具体包括：

根据公式 s = median (D /median (D。；)，得到下一帧图像的所述背景范围 相对于前一帧图像的所述背景范围的放大倍率 s;其中， D。是所有所述匹配度 高于匹配阈值的点在前一帧中的两两之间距离 的集合， 是所有所述匹配度高 于匹配阈值的点在下一帧中的两两之间距离的 集合。

结合第一方面， 第一实现方式或第一至第三可能的第四可能， 所述根据 所述下一帧图像的背景范围相对于所述前一帧 图像的背景范围的运动矢量和 放大倍率， 得到所述下一帧图像中的前景范围， 具体包括：

根据所述下一帧图像背景范围的相对于所述前 一帧图像的背景范围的运 动矢量和前一帧图像中的所述背景范围的中心 点 C。， 得到下一帧图像中的所 述背景范围的中心点 C。， ；

对于前一帧图像中的所述前景范围中的任意点 p，根据公式

p， = s * (ρ - C。）+ C。，

得到下一帧图像中与所述任意点 P对应的点 P ' ，根据 P ' 确定下一帧图 像中的所述前景范围； 其中 s为所述背景范围的放大倍率。

结合第四可能的第五可能， 所述前景范围包括前景主体图像和前景背景 图像， 所述前景背景图像为所述前景范围除去所述前 景主体图像的图像部分， 在根据所述下一帧图像的背景范围相对于所述 前一帧图像的背景范围的 运动矢量和放大倍率， 得到下一帧图像中的所述前景范围后， 所述确定前景 主体图像区域的方法还包括： 对前一帧图像中的所述前景范围进行调整， 以使得所述前一帧图像中的 所述前景范围与所述下一帧图像中的所述前景 范围的大小一致；

或

对下一帧图像中的所述前景范围进行调整， 以使得下一帧图像中的所述 前景范围与前一帧图像中的所述前景范围大小 一致。

结合本发明实现第一方面的第二实现方式， 所述根据所述前景运动边缘 灰度图， 得到前景主体图像区域， 所述方法还包括：

对所述前景运动边缘灰度图进行二值化处理， 得到二值化图像， 所述二 值化图像由值为 0的像素点和值为 1的像素点组成；

对所述二值化图像进行腐蚀运算， 得到腐蚀后的二值化图像；

根据所述腐蚀后的二值化图像， 得到所述前景主体图像区域。

结合本发明实现第一方面的第二实现方式的第 六可能， 所述根据所述腐 蚀后的二值化图像， 得到所述前景主体图像区域， 具体包括：

获取在 X轴方向每行最左端和最右端的灰度值为 1 的像素点， 组成第一 像素点集， 并获取在 y轴方向每列最上端和最下端的灰度值为 1的像素点， 组成第二像素点集；

得到所述第一像素点集和所述第二像素点集的 并集；

依次连接所述并集中的像素点， 得到所述前景主体图像区域。

本发明实施例提供了一种确定视频前景主体图 像区域的方法， 根据视频 图像中的前景范围得到背景范围， 对背景范围进行均匀取点， 通过光流算法 计算所述点集中每一点相对于下一帧图像的运 动矢量和放大倍率， 根据所述 计算所述点集中每一点相对于下一帧图像的运 动矢量和放大倍率， 获取下一 帧图像的前景范围， 计算下一帧图像的所述前景范围和前一帧图像 的所述前 景范围的灰度值之差， 得到前景运动边缘灰度图， 对所述前景运动边缘灰度 图进行二值化处理和腐蚀运算， 得到前景主体图像区域， 从而避免了通过光 流算法对选取的特征点进行计算并分类而导致 的将大量前景的点归类为背 景， 背景点被归类为前景， 实现了分割准确率的提高。 本发明实施例的第二方面， 提供了一种确定视频前景主体图像区域的装 置， 包括：

确定单元， 用于在视频的前一帧图像中， 确定所述前一帧图像的前景范 围以及背景范围， 所述背景范围是整个图像或整个图像除去所述 前景范围后 的图像区域；

第一获取单元， 用于获取下一帧图像的背景范围相对于所述前 一帧图像 的背景范围的运动矢量和放大倍率； 所述背景范围是整个图像范围或整个图 像除去所述前景范围后的图像范围；

第二获取单元， 用于根据所述第一获取单元获取的所述下一帧 图像的背 景范围相对于所述前一帧图像的背景范围的运 动矢量和放大倍率， 得到下一 帧图像中的所述前景范围；

计算单元， 计算所述第二获取单元得到的下一帧图像的前 景范围和所述 确定单元确定的前一帧图像的前景范围的之间 的灰度值之差， 由所述灰度值 之差得到前景运动边缘灰度图；

第三获取单元， 用于根据所述计算单元获得的所述前景运动边 缘灰度图， 得到前景主体图像区域。

作为本发明实施例的第二方面的第一实现方式 ， 所述第一获取单元具体 包括： 点集获取子单元， 用于在所述确定单元确定的前一帧图像的背景 范围 中取一组点集； 运动矢量计算子单元， 用于计算所述点集获取子单元获取的 所述点集中的每个点相对于下一帧图像的运动 矢量； 匹配度计算子单元， 用 于根据模板匹配算法， 计算所述点集获取子单元获取的所述点集中的 每个点 相对于下一帧图像的匹配度； 筛选子单元， 用于从所述点集获取子单元获取 的所述点集中筛选出匹配度高于匹配阈值的点 ； 所述匹配阈值为所述点集中 的每个点的匹配度组成的集合的中值； 运动矢量获取子单元， 用于根据所述 筛选子单元筛选的所述匹配度高于匹配阈值的 点的运动矢量， 得到所述下一 帧图像的背景范围相对于所述前一帧图像的背 景范围的运动矢量； 放大倍率 获取子单元， 用于根据所述筛选子单元筛选的所述匹配度高 于匹配阈值的点 在前一帧中的两点之间距离和在下一帧中的两 点之间距离， 得到所述下一帧 图像的背景范围相对于所述前一帧图像的背景 范围的放大倍率。

结合第一实现方式的第一可能， 所述运动矢量计算子单元具体包括： 第 一运动矢量计算模块， 用于根据光流算法， 计算所述点集获取子单元获取的 所述点集中的每个点相对于下一帧图像的运动 矢量； 对应点获取模块， 用于 对所述点集获取子单元获取的所述点集中的每 个点， 在距离 d 的范围内获取 下一帧图像中的对应点， 所述距离 d根据视频宽度与视频中物体运动速度获 得；第二运动矢量计算模块， 用于根据所述点集中的每个点和所述对应点获 取 模块获取的在距离 d 的范围内下一帧图像中的对应点的距离， 得到所述点集 中的每个点相对于下一帧图像的运动矢量。

结合第一实现方式的第二可能， 所述运动矢量获取子单元， 具体包括： 运动矢量获取模块， 用于根据公式 v。 = [median (X)， median (Y) ]，得到所述下 一帧图像的背景范围相对于所述前一帧图像的 背景范围的运动矢量 V。； 其中， X是所有所述匹配度高于匹配阈值的点的运动� �量的 X方向分量的集合， Y是 所有所述匹配度高于匹配阈值的点的运动矢量 的 y方向分量的集合。

结合第一实现方式的第三可能， 所述放大倍率获取子单元， 具体包括： 放大倍率获取模块， 用于根据公式 s = median (D /median (D。），得到下一帧 图像的所述背景范围相对于前一帧图像的所述 背景范围的放大倍率 s;其中， D。是所有所述匹配度高于匹配阈值的点在前� �帧中的两两之间距离的集合， 是所有所述匹配度高于匹配阈值的点在下一帧 中的两两之间距离的集合。

结合上述任一实现方式或任一可能的第四可能 ， 所述第二获取单元具体 包括： 中心点获取子单元， 用于根据所述第一获取单元获取的下一帧图像 的 背景范围相对于所述前一帧图像的背景范围的 运动矢量和前一帧图像中的所 述背景范围的中心点 C。， 得到下一帧图像中的所述背景范围的中心点 C。' ； 前景范围获取子单元， 用于对于所述第一获取单元获取的前一帧图像 中的所 述前景范围中的任意点 p，根据公式： p， = s * (p - C。）+ C。， ， 得到下一帧图 像中与所述任意点 ρ对应的点 ρ， ，根据 ρ， 确定下一帧图像中的所述前景范 围； 其中 s为所述背景范围的放大倍率， C。' 为所述中心点获取子单元得到的 下一帧图像中的所述背景范围的中心点。

结合第四可能的第五可能， 所述前景范围包括前景主体图像和前景背景 图像， 所述前景背景图像为所述前景范围除去所述前 景主体图像的图像部分， 所述装置还包括： 第一前景范围调整单元， 用于所述第二获取单元在根据所 述下一帧图像的背景范围相对于所述前一帧图 像的背景范围的运动矢量和放 大倍率， 得到下一帧图像中的所述前景范围后， 对前一帧图像中的所述前景 范围进行调整， 以使得所述前一帧图像中的所述前景范围与所 述下一帧图像 中的所述前景范围的大小一致； 第二前景范围调整单元， 用于所述第二获取 单元在根据所述下一帧图像的背景范围相对于 所述前一帧图像的背景范围的 运动矢量和放大倍率， 得到下一帧图像中的所述前景范围后， 对下一帧图像 中的所述前景范围进行调整， 以使得下一帧图像中的所述前景范围与前一帧 图像中的所述前景范围大小一致。

结合第二方面的第二实现方式， 所述第三获取单元， 具体包括： 处理子 单元， 用于对所述计算单元得到的前景运动边缘灰度 图进行二值化处理， 得 到二值化图像， 所述二值化图像由值为 0的像素点和值为 1 的像素点组成； 腐蚀子单元， 用于对所述处理子单元得到的所述二值化图像 进行腐蚀运算， 得到腐蚀后的二值化图像； 前景主体图像区域获取子单元， 用于根据所述腐 蚀子单元生成的所述腐蚀后的二值化图像， 得到所述前景主体图像区域。

结合第二实现方式的第六可能， 所述前景主体图像区域获取子单元具体 包括： 像素点集获取模块， 用于获取所述处理子单元得到的在 X轴方向每行 最左端和最右端的灰度值为 1的像素点， 组成第一像素点集， 并获取在 y轴 方向每列最上端和最下端的灰度值为 1 的像素点， 组成第二像素点集； 并集 获取模块， 用于得到所述像素点集获取模块获取的所述第 一像素点集和所述 第二像素点集的并集； 连接模块， 用于依次连接所述并集获取模块得到的所 述并集中的像素点， 得到所述前景主体图像区域。

本发明实施例提供的一种确定视频前景主体图 像区域的方法和装置， 根 据视频图像中的前景范围得到背景范围， 对背景范围进行均匀取点， 通过光 流算法计算所述点集中每一点相对于下一帧图 像的运动矢量和放大倍率， 根 据所述计算所述点集中每一点相对于下一帧图 像的运动矢量和放大倍率， 获 取下一帧图像的前景范围， 计算下一帧图像的所述前景范围和前一帧图像 的 所述前景范围的灰度值之差， 得到前景运动边缘灰度图， 对所述前景运动边 缘灰度图进行二值化处理和腐蚀运算， 得到前景主体图像区域， 从而避免了 通过光流算法现有技术中对选取的特征点进行 计算并分类而导致的将大量前 景的点归类为背景， 背景点被归类为前景的问题， 实现了分割准确率的提高。 附图说明

为了更清楚地说明本发明实施例或现有技术中 的技术方案， 下面将对实 施例或现有技术描述中所需要使用的附图作简 单地介绍， 显而易见地， 下面 描述中的附图仅仅是本发明的一些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动性的前提下， 还可以根据这些附图获得其他的附图。

图 1 为本发明实施例提供的一种确定视频前景主体 图像区域的方法的流 程图；

图 2为前景范围， 背景范围， 前景主体图像和前景背景图像的示意图； 图 3 为本发明实施例提供的一种确定视频前景主体 图像区域的方法的流 程图；

图 4 为本发明实施例提供的另一种确定视频前景主 体图像区域的方法的 流程图；

图 5 为本发明实施例提供的一种确定视频前景主体 图像区域的装置的框 图；

图 6为本发明实施例提供的第一获取单元的框图� �

图 7为本发明实施例提供的运动矢量获取子单元� �框图；

图 8为本发明实施例提供的放大倍率获取子单元� �框图；

图 9为本发明实施例提供的运动矢量计算子单元� �框图；

图 10为本发明实施例提供的第二获取单元的框图� �� 图 11 为本发明实施例提供的另一种确定视频前景主 体图像的装置的框 图；

图 12为本发明实施例提供的第三获取单元的框图� ��

图 1 3为本发明实施例提供的前景主体图像区域获� �子单元的框图； 图 14为本发明实施例提供的单向腐蚀模板的示意� ��。

图 15为本发明实施例中前一帧图像的前景范围和� ��一帧图像的前景范围 的示意图；

图 16 为本发明实施例中根据表 3 的差值结果得到的前景运动边缘灰度 图；

图 17为在图 16基础上得到的二值化图像；

图 18为在图 17基石出上进行腐蚀去噪后的图像；

图 19为图 18基础上得到的前景主体图像区域；

图 20为本发明实施例提供的一种终端的结构示意� ��。 具体实施方式

下面将结合本发明实施例中的附图， 对本发明实施例中的技术方案进行 清楚、 完整地描述， 显然， 所描述的实施例仅仅是本发明一部分实施例， 而 不是全部的实施例。 基于本发明中的实施例， 本领域普通技术人员在没有作 出创造性劳动前提下所获得的所有其他实施例 , 都属于本发明保护的范围。

本发明实施例提供了一种确定视频前景主体图 像区域的方法， 如图 1 所 示， 该方法包括：

101、 在视频的前一帧图像中， 确定所述前一帧图像的前景范围以及背景 范围。

在一帧图像中， 包括前景范围和背景范围， 所述背景范围是整个图像或 整个图像除去所述前景范围后的图像区域。 所述前景范围可划分为前景主体 图像和前景背景图像。 前景范围是指在一幅图像当中使用矩形、 圓形、 椭圓 形等几何形状将前景主体图像框起来的图像区 域。 举例来说， 如图 2 所示， 其中 201为前景范围， 202为背景范围， 在 201中， 203是前景主体图像； 在 前景范围 201内， 前景主体图像 203周边， 存在有前景背景图像 204。 在视频 的前一帧图像中， 通过两种方式来确定前景范围。 方式一为人工输入， 通过 人为随机画一个包含主体图像区域的图像的几 何形状作为输入， 方式二为自 动检测， 采用与模板匹配的方式来自动检测输入图像的 前景范围， 所述模板 预先保存在计算机中， 并用预定义的几何形状将所述主体图像区域框 出来。 比如， 如果前景主体图像为汽车， 则可以使用汽车检测模板来确定前景范围。

进一步地， 根据所述确定的前景范围得到背景范围， 首先将一幅图像设 为 b。， 前景范围设为 b _l 背景范围用 bbg表示， 通过两种方式获取所述背景 范围：

方式一： bbg= b„-b _{l o} 通过在一幅图像中减去前景范围得到背景范围 。 方式二： bbg= b。。 这种方式将整幅图像作为背景范围。

102、 获取下一帧图像的背景范围相对于所述前一帧 图像的背景范围的运 动矢量和放大倍率。

103、 根据所述下一帧图像的背景范围相对于前一帧 图像的背景范围的运 动矢量和放大倍率， 得到下一帧图像的前景范围。

下一帧图像相对于前一帧图像会产生相对运动 ， 具体的， 下一帧图像的 背景范围相对于前一帧图像的背景范围， 会出现相对位移， 以及放大或缩小 的情况。 这样， 通过下一帧图像的相对于前一帧图像的背景范 围的运动矢量 和放大倍率， 可以获取到下一帧图像中的前景范围。 举例来说， 根据所述下 一帧图像的相对于前一帧图像的背景范围的运 动矢量和视频中前一帧图像中 心点位置坐标， 得到下一帧图像中心点的位置坐标； 然后根据所述下一帧图 像的相对于前一帧图像的背景范围的放大倍率 、 下一帧图像中心点位置坐标 和前一帧图像中任意点的位置坐标， 得到与前一帧图像中任意点对应的下一 帧中任意点的位置坐标， 从而得到下一帧图像的前景范围。

104、 计算所述下一帧图像的前景范围和所述前一帧 图像的前景范围之间 的灰度值之差， 由灰度值之差得到前景运动边缘灰度图。 一幅灰度图像， 采用灰度值为 0至 255之间的像素点来表示， 通过计算 下一帧图像的所述前景范围和前一帧图像的所 述前景范围的灰度值之差， 得 到前景运动边缘灰度图。

下面举例来对步骤 1 04 进行说明。 为了便于说明， 首先假设前一帧图像 的背景图像和下一帧图像的背景图像是相同的 ， 即前后背景图像没有变化。 然后再假设前一帧图像的前景范围是 16 * 16个像素点 （共 256个像素点） 的 一副图像， 并且下一帧图像的前景范围也是 16 * 16 个像素点的一副图像， 如 图 15所示。 其中 1501为前一帧图像的前景范围， 1502为下一帧图像的前景 范围。 可以看出， 15021与 1501 1的轮廓形状相同， 但 15021在 1502的位置 与 15011在 1501的位置相比， 出现了变化。 需要指出的是， 实景应用中， 前 景范围通常并不只是 16 * 16个像素点的情况， 而有可能远远超过 16 * 16个像 素点。 在本发明实施例中， 以 16 * 16 个像素点来举例进行说明， 但并不作为 对本发明实施例的限定。

其中， 前一帧图像的前景范围中 256个像素点的灰度取值如表 1所示。 灰度由 0至 255 , 表示灰阶由黑至白的变化。

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0

0 1 10 1 0 10 10 1 0 10 1 0 10 1 0 10 10 10 1 0

0 1 10 90 90 90 90 90 90 90 90 90 90 10 1 0

0 1 10 90 90 150 255 255 150 150 150 90 90 10 1 0

0 1 10 90 90 150 255 255 200 200 150 90 90 10 1 0

0 1 10 90 90 150 255 255 255 255 150 90 90 10 1 0

0 1 10 90 90 150 255 255 200 200 150 90 90 10 1 0

0 1 10 90 90 150 255 255 200 200 150 90 90 10 1 0

0 1 10 90 90 150 255 255 200 200 150 90 90 10 1 0 1 10 90 90 255 255 255 255 255 255 90 90 10 1 0

1 10 90 90 90 90 90 90 90 90 90 90 10 1 0

1 10 1 0 10 10 10 10 10 10 10 10 10 10 1 0

1 1 1 1 1 1 1 1 1 1 1 1 1 1 0

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 表 1 下一帧图像的前景范围中 256个像素点的灰度取值如表 2所示。

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

1 1 1 1 1 1 1 1 1 1 1 1 1 1 0

1 10 10 1 0 10 1 0 10 1 0 10 1 0 10 10 10 1 0

1 10 90 90 90 90 90 90 90 90 90 90 10 1 0

1 10 90 90 255 255 150 150 150 150 90 90 10 1 0

1 10 90 90 255 255 200 200 200 150 90 90 10 1 0

1 10 90 90 255 255 255 255 200 150 90 90 10 1 0

1 10 90 90 255 255 220 200 200 150 90 90 10 1 0

1 10 90 90 255 255 220 200 200 150 90 90 10 1 0

1 10 90 90 255 255 220 200 200 150 90 90 10 1 0

1 10 90 255 255 255 255 255 255 150 90 90 1 0 1 0

1 10 90 90 90 90 90 90 90 90 90 90 10 1 0

1 10 10 1 0 10 1 0 10 1 0 10 1 0 10 10 10 1 0

1 1 1 1 1 1 1 1 1 1 1 1 1 1 0

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 表 2

计算下一帧图像的前景范围和前一帧图像的前 景范围的之间的灰度值之 差， 为计算简便， 这里取差值的绝对值， 得到的计算结果如表 3 所示。 可以 看到， 下一帧图像的前景范围相对于前一帧图像的前 景范围出现了移动， 没 有相对移动的图像对应的像素点， 在表 3中的数值为 0; 而出现相对移动的图 像， 其边界像素点不为 0。

表 3

根据如表 3所示的灰度值之差，构建前景运动边缘灰度� �，如图 16所示。 图 16是根据表 3中的结果， 得到了前景运动边缘的各个像素点， 并由这些像 素点构建前景运动边缘灰度图。 图 16中的 14个黑色范围， 对应表 3中 14个 不为 0的像素点。

105、 根据所述前景运动边缘灰度图， 得到前景主体图像区域。

对所述前景运动边缘灰度图进行二值化处理， 得到二值化图像， 再对所 述二值化图像进行腐蚀运算， 实现去噪功能， 使前景运动边缘清晰， 得到所 述前景主体图像区域。

比如说， 在图 16的基石出上， 进行二值化处理， 将不为 0的像素点都取值 为 1。 假设 0表示黑色， 1表示白色， 那么二值化图像如图 17所示。 经过腐 蚀、 去噪等处理后， 得到的图像如 18所示， 在图 18的基石出上， 连接各个边 缘部分， 得到图 19 , 可见， 图 19中的 1901即为前景主体图像区域。

本发明实施例提供了一种确定视频前景主体图 像区域的方法， 根据视频 图像中的前景范围得到背景范围， 获取下一帧图像的相对于前一帧图像的背 景范围的运动矢量和放大倍率， 根据获取的运动矢量和放大倍率， 得到下一 帧图像的前景范围， 并计算下一帧图像的所述前景范围和前一帧图 像的所述 前景范围的灰度值之差， 得到前景运动边缘灰度图， 对所述前景运动边缘灰 度图进行二值化处理和腐蚀运算， 得到前景主体图像区域， 从而避免了对特 征点进行计算并分类而导致的将大量前景的点 归类为背景， 背景点被归类为 前景的问题， 实现了分割准确率的提高。

本发明实施例提供了一种确定视频前景主体图 像区域的方法， 能根据视 频图像中的前景范围得到背景范围， 对背景范围进行均匀取点， 依据模版匹 配算法， 计算点集中每一点相对于下一帧图像的运动矢 量和放大倍率， 进而 获取下一帧图像的前景范围； 然后通过计算下一帧图像的所述前景范围和前 一帧图像的所述前景范围的灰度值之差， 得到前景运动边缘灰度图， 再通过 对所述前景运动边缘灰度图进行二值化处理和 腐蚀运算， 得到前景主体图像 区域。 具体的， 如图 3所示， 该方法包括：

301、 在视频的前一帧图像中， 确定前景范围以及背景范围。

在一帧图像中， 包括前景范围和背景范围， 所述背景范围是整个图像或 整个图像除去所述前景范围后的图像。 所述前景范围可划分为前景主体图像 和前景背景图像。 前景范围是指在一幅图像当中使用矩形、 圓形、 椭圓形等 几何形状将前景主体图像框起来的图像区域。 举例来说， 如图 2 所示， 其中 201为前景范围， 202为背景范围， 在 201中， 203是前景主体图像； 在前景 范围 201内， 前景主体图像 203周边， 存在有前景背景图像 204。 在视频的前 一帧图像中， 通过两种方式来确定前景范围。 方式一为人工输入， 通过人为 随机画一个包含主体图像区域的图像的几何形 状作为输入， 方式二为自动检 测， 采用与模板匹配的方式来自动检测输入图像的 前景范围， 所述模板预先 保存在计算机中， 并用预定义的几何形状将所述主体图像区域框 出来。 比如， 如果前景主体图像为汽车， 则可以使用汽车检测模板来确定前景范围。

302、 在前一帧图像的所述背景范围中取一组点集；

根据确定的前景范围得到所述背景范围， 对所述背景范围通过均勾取点 或稀疏取点得到所述点集， 所述稀疏取点包括： 角点和边缘点。 所述角点是 在一幅图像中在 X方向和 Y方向都大于梯度阈值的点， 角点可以是两条线的 交叉处。 比如在一张白纸上放有一个长方体的物体， 那么角点则为所述长 方体的物体在白纸上垂直投影得到的长方形的 四个角，边缘点为长方形的 边上所取的点。

上述梯度阈值在不同的算法中用户可以设置不 同的值，在一个算法当 中， 用户还可以根据实际情况进行设置不同的值。

303、 计算所述点集中的每个点相对于下一帧图像的 运动矢量。

这里可以根据光流算法， 计算所述点集中的每个点相对于下一帧图像的 运动矢量。

除了光流算法之外， 还可以使用以下 SI , S2步骤计算运动矢量：

Sl、 对所述点集中的每个点， 在距离 d 的范围内获取下一帧图像中的对 应点。

所述距离 d根据视频宽度与视频中物体运动速度获得。 举例来说， 假如 视频宽度为 1024个像素点， 帧率为 25帧 /秒， 人从视频左边界运动到右边界 的时间为 10秒, 则相邻两帧间人的运动距离为 1 024/ (10*25) =4个像素， 所 述距离 d应设置为大于 4个像素的值。

上述举例中对于距离 d的取值为 4 ,在实际应用中，根据不同的视频宽度、 不同的帧率以及前景主体图像在视频图像中的 运动时间， 距离 d 的取值可以 有不同的值， 本发明对此不作限定。

S2、 根据所述点集中的每个点和在距离 d 的范围内下一帧图像中的对应 点的距离， 得到所述点集中的每个点相对于下一帧图像的 运动矢量。

304、 根据模板匹配算法， 计算所述点集中的每个点相对于下一帧图像的 匹配度；

在大小一致的两幅连续的视频图像中， 选择其中任意一幅为模板图像其 中一幅为模板图像， 则另外一幅为原始图像。 比如， 如果下一帧图像选为模 板图像， 则前一帧图像相应的作为原始图像。 在所述原始图像中选择任一点， 在所述任一点周围延伸一个点区域， 根据模板匹配算法对所述原始图像和所 述模板的点区域计算匹配度， 得到一个匹配度集合， 所述匹配度集合为所述 点集中的每个点的匹配度的集合。

305、 筛选出匹配度高于匹配阈值的点。

所述匹配阈值为所述点集中的每个点的匹配度 组成的集合中的中值。 当 然， 除了将中值作为匹配阈值， 还可以通过计算所有匹配度数值的算术平均 值等方式来确定匹配阈值， 本发明实施例对此不做限定。

根据所述匹配度集合， 选取所述匹配度集合中的中值作为匹配阈值， 所 述中值为匹配度集合中位于中间位置的点的匹 配度， 对所述匹配度集合中的 每个点做筛选， 筛选出匹配度高于匹配阈值的点。

下面举例对上述步骤 302至 305进行说明。 假设在前一帧图像的所述背 景范围中取一组点集 P= {Pi， p ₂ , ··· ··· p _n }，分别计算了点集 P中的每点的相 对于下一帧图像的运动矢量 {V Vs, · · · · · · v _n }。 然后根据模板匹配算法， 计算 所述点集 P 中的每个点相对于下一帧图像的匹配度， 具体的， 模板匹配算法 的计算公式为 _R =

" (") 其中，

在上述公式中， T为模板图像， I为与模板对应的原始图像。 X和 X， 都 表示像素的横坐标， Y和 Y， 都表示像素的纵坐标。

对于点集 Ρ 中的每个点， 都得到了一个匹配度， 匹配度数值组成的集合 R= {Rl , R2 , …… Rn}。 如果匹配阈值为集合 R的中值 Rx, l x n，则将筛选 出大于 Rx的匹配度。

306、 根据所述匹配度高于匹配阈值的点的运动矢量 ， 得到下一帧图像的 所述背景范围相对于前一帧图像的所述背景范 围的运动矢量。

所述背景范围是整个图像或整个图像范围除去 所述前景范围后的图像范 围。

根据所述确定前景范围得到背景范围， 首先给定一幅图像设为 b。， 前景 范围设为 b ₁ 背景范围用 bbg表示， 通过两种方式获取所述背景范围：

方式一： bbg= b„-b _{l o} 通过在一幅图像中减去前景范围得到背景范围 。 方式二： bbg= b。。 这种方式将整幅图像作为背景范围。

对所述背景范围的运动做估计得到所述背景范 围的运动矢量。

根据公式 v。 = [median (X)， median (Y) ]， 对所述筛选出匹配度高于匹配 阈值的每个点计算运动矢量， 得到下一帧图像的所述背景范围相对于前一帧 图像的所述背景范围的运动矢量 V。； 其中， X是所述匹配度高于匹配阈值的点 的运动矢量的 X方向分量的集合， Y是所述匹配度高于匹配阈值的点的运动矢 量的 y方向分量的集合。

V。在 X方向和 y方向的分量，分别为匹配度高于匹配阈值的� �个点的运动 矢量在 X方向分量的集合的中值， 以及在 y方向分量的集合的中值。 当然， 除了通过中值来确定 V。， 还可以通过计算所有运动矢量的算术平均值等 方式 来确定 v。， 本发明实施例对此不做限定。

307、 根据所述匹配度高于匹配阈值的点在前一帧中 的两两之间距离和在 下一帧中的两两之间距离， 得到下一帧图像的所述背景范围相对于前一帧 图 像的所述背景范围的放大倍率。

根据公式 s = median (D /med ian (D„) , 得到下一帧图像的所述背景范围 相对于前一帧图像的所述背景范围的放大倍率 s;其中， D。是所述匹配度高于 匹配阈值的点在前一帧中的两两之间距离的集 合， 是所述匹配度高于匹配阈 值的点在下一帧中的两两之间距离的集合。

s为对 D。和 取中值后所得到的比值。 当然， 除了通过中值来确定 s , 还 可以分别计算 D。和 Di 所有两两之间距离的算术平均值， 并将两个算术平均 值的比值作为 s , 本发明实施例对此不做限定。

其中， 需要说明的是， 上述步骤 306和 307可以变换执行顺序。

308、 根据所述背景范围的运动矢量和前一帧图像中 的所述背景范围的中 心点 C。， 得到下一帧图像中的所述背景范围的中心点 C。， ；

309、 对于前一帧图像中的所述前景范围中的任意点 p，根据公式

p， = s * (ρ - C。）+ C。，

得到下一帧图像中与所述任意点 P对应的点 P ' ，根据 P ' 确定下一帧图 像中的所述前景范围； 其中 s为所述背景范围的放大倍率。

以下有两种方式可以确定下一帧图像中的所述 前景范围：

方式一：

假设前一帧图像的前景范围为 bl , 下一帧图像的前景范围为 bl ' ，分别 取所述前一帧图像的前景范围 bl的左上角和右下角的点 pbl和 pb2 , 假设下 一帧图像的前景范围为 bl ' 的左上角和右下角的点 pbl， 和 pb2 ' ，则分别通 过公式 pbl， = s * (pbl- C。）+ C。， 和 pb2， = s * (pb2 - C。）+ C。， 计算出 bl ' 和 pb2， ，分别以 pbl， 和 pb2， 作为下一帧图像前景范围的左上角和右下角， 得到下一帧图像的前景范围。 方式二：

假设前一帧图像的前景范围为 b2 , 下一帧图像的前景范围为 b2 ' , C1 ' 为下一帧图像的中心点位置， 首先根据公式 Cl， =s * (Cl-C0) +C0， 计算 b2， 的中心点位置 Cl， 。 Cl， 的坐标值为 （Cl， x， Cl， y )。 如果前景范围是由 矩形构成的， 则 （ Cl， x-s *width (b2) /2, Cl， y-s *height (b2) /2 ) 和 ( Cl， x+s *width (b2) /2, Cl， y+s *hei ght (b2) /2 )分别为下一帧图像的前景 范围的左下角和右上角对角点， 根据这两个点可以得到矩形的前景范围。 其 中 width (b2)为构成 b2的矩形沿 x轴方向的长度， height (b2)为构成 b2的 矩形沿 y轴方向的长度。

在执行步骤 309后， 可选的， 还可以将前一帧图像中的所述前景范围调 整到下一帧图像中的所述前景范围的大小， 或对下一帧图像中的所述前景范 围进行调整， 以使得下一帧图像中的所述前景范围与前一帧 图像中的所述前 景范围大小一致。

310、 计算下一帧图像的所述前景范围和前一帧图像 的所述前景范围的灰 度值之差， 由灰度值之差得到前景运动边缘灰度图。

具体的， 由灰度值之差得到前景运动边缘灰度图的详细 说明， 可参考本 发明实施例表 1至表 3 , 以及图 15和图 16。

311、 根据所述前景运动边缘灰度图， 得到前景主体图像区域。

所述根据所述前景运动边缘灰度图， 得到前景主体图像区域， 如图 4 所 示， 具体包括：

41、 对所述前景运动边缘灰度图进行二值化处理， 得到二值化图像。 所述二值化图像由值为 0的像素点和值为 1的像素点组成。

所述二值化处理中用到的灰度阈值有三种取值 方式：

方式一： 根据经验预先设置固定阈值；

方式二： 根据实际的前景运动边缘灰度图， 人工实时设定阈值； 方式三： 根据预定义的灰度阈值设定规则， 对不同的前景运动边缘灰度 图设定对应的灰度阈值； 比如， 灰度阈值设定规则可以是， 取灰度值最高的 10%的点都被处理为值为 1的像素点，其他 90%的点被处理为值为 0的像素点。

42、 对所述二值化图像进行腐蚀运算， 得到腐蚀后的二值化图像。

采用单一方向的腐蚀模板对所述二值化图像进 行腐蚀运算， 根据 V=v2-vl= ( X, Y )对二值化图像分别作 x，y方向的宽度为 x/ 3 , y/ 3的单向腐 蚀。 v2为下一帧图像的前景范围相对于前一帧图像� ��运动矢量， vl为下一帧 图像的背景范围相对于前一帧图像的运动矢量 ， X, Y分别为 V在 X方向和 y 方向的运动分量。 如图 14所示， 所述单一方向的腐蚀模板为长度为 2N+1 , 左 边界为 N个 1 , 右边界为 N个 0 , 中间为 1的正向模板。 当 X大于 0时， 使用 正向模板， 当 X小于 0时， 使用负向模板， 所述负向模板为将正向模板翻转 得到。 同理得 Y方向的腐蚀模板， 在此不再贅述。

43、 根据所述腐蚀后的二值化图像， 得到所述前景主体图像区域。

具体的， 得到所述前景主体图像区域的方式为：

对所述二值化图像分别进行 X方向和 Y方向的扫描， 获取在 X轴方向每行最 左端和最右端的灰度值为 1的像素点， 组成第一像素点集， 并获取在 y轴方 向每列最上端和最下端的灰度值为 1 的像素点， 组成第二像素点集， 对所述 第一像素点集和所述第二像素点集取并集， 依次连接所述并集中的像素点， 得到所述前景主体图像区域。

对于上述步骤 41、 42和 43 , 可参考本发明实施例中的针对图 17至图 19 的说明描述。 通过步骤 41的二值化处理， 可以得到如图 17所示的效果； 步 骤 42的腐蚀操作后， 得到图 18的效果； 步骤 43通过腐蚀后的二值化图像得 到前景主体图像区域， 如图 19所示。

这里提供的得到所述前景主体图像区域的方式 仅为实际应用中可选的实 现方式的一种， 在得到腐蚀后的二值化图像后， 本领域技术人员可以根据本 发明实施例提供的得到所述前景主体图像区域 的方式进行相应变换， 能够达 到同样的效果， 这些相应的变换都在本发明实施例的限定范围 内。

本发明实施例提供了一种确定视频前景主体图 像区域的方法， 根据视频 图像中的前景范围得到背景范围， 对背景范围进行均匀取点， 计算所述点集 中每一点相对于下一帧图像的运动矢量和放大 倍率， 根据所述计算所述点集 中每一点相对于下一帧图像的运动矢量和放大 倍率， 获取下一帧图像的前景 范围， 计算下一帧图像的所述前景范围和前一帧图像 的所述前景范围的灰度 值之差， 得到前景运动边缘灰度图， 进而对所述前景运动边缘灰度图进行二 值化处理和腐蚀运算， 得到前景主体图像区域， 从而避免了对选取的特征点 进行计算并分类而导致的将大量前景的点归类 为背景， 背景点被归类为前景 的问题， 实现了分割准确率的提高。 本发明实施例提供了一种确定视频前景主体图 像区域的装置， 如图 5 所 示，该装置包括： 前景范围确定单元 51 , 第一获取单元 52 , 第二获取单元 53 , 计算单元 54 , 第三获取单元 55。

确定单元 51 , 用于在视频的前一帧图像中， 确定所述前一帧图像前景范 围以及背景范围。 所述背景范围是整个图像或整个图像除去前景 范围后的图 像区域。

在一帧图像中， 包括前景范围和背景范围， 所述背景范围是整个图像或 整个图像范围除去所述前景范围后的图像范围 。 所述前景范围可划分为前景 主体图像和前景背景图像。 前景范围是指在一幅图像当中使用矩形、 圓形、 椭圓形等几何形状将前景主体图像框起来的图 像区域。 举例来说， 如图 2 所 示， 其中 201为前景范围， 202为背景范围， 在 201中， 203是前景主体图像； 在前景范围 201内， 前景主体图像 203周边， 存在有前景背景图像 204。 在视 频的前一帧图像中，所述前景范围确定单元 51通过两种方式来确定前景范围。 方式一为人工输入， 通过人为随机画一个包含主体图像区域的图像 的几何形 状作为输入， 方式二为自动检测， 采用与模板匹配的方式来自动检测输入图 像的前景范围， 所述模板预先保存在计算机中， 并用预定义的几何形状将所 述主体图像区域框出来。 比如， 如果前景主体图像为汽车， 则可以使用汽车 检测模板来确定前景范围。

第一获取单元 52 , 用于获取下一帧图像的背景范围相对于前一帧 图像的 背景范围的运动矢量和放大倍率； 所述背景范围是整个图像或整个图像除去 所述前景范围后的图像。

第二获取单元 53 ,用于根据第一获取单元 52获取的所述下一帧图像的背 景范围相对于前一帧图像的背景范围的运动矢 量和放大倍率， 得到下一帧图 像中的所述前景范围。

下一帧图像相对于前一帧图像会产生相对运动 ， 具体的， 下一帧图像的 背景范围相对于前一帧图像的背景范围， 会出现相对位移， 以及放大或缩小 的情况。 这样， 所述第二获取单元 53根据所述第一获取单元所获取的下一帧 图像的相对于前一帧图像的背景范围的运动矢 量和放大倍率， 可以获取到下 一帧图像中的前景范围。 举例来说， 所述第二获取单元 53根据视频中前一帧 图像中心点位置坐标， 通过所述第一获取单元所获取的下一帧图像的 相对于 前一帧图像的背景范围的运动矢量， 得到下一帧图像中心点的位置坐标， 然 后根据所述下一帧图像的相对于前一帧图像的 背景范围的放大倍率、 下一帧 图像中心点位置坐标和前一帧图像中任意点的 位置坐标， 得到与前一帧图像 中任意点对应的下一帧中任意点的位置坐标， 从而得到下一帧图像的前景范 围。

计算单元 54 , 用于计算第二获取单元得到的下一帧图像的所 述前景范围 和确定单元确定的前一帧图像的所述前景范围 的灰度值之差， 并由该灰度值 之差得到前景运动边缘灰度图。

一幅灰度图像， 采用灰度值为 0至 255之间的像素点来表示， 所述计算 单元 54通过计算下一帧图像的所述前景范围和前一� ��图像的所述前景范围的 灰度值之差， 得到前景运动边缘灰度图。

第三获取单元 55 ,用于根据计算单元 54获得的所述前景运动边缘灰度图， 得到前景主体图像区域。

所述第三获取单元 55对所述前景运动边缘灰度图进行二值化处理� �� 得到 二值化图像， 再对所述二值化图像进行腐蚀运算， 实现去噪功能， 使前景运 动边缘清晰， 得到所述前景主体图像区域。 进一步的， 如图 6所示， 所述第一获取单元 52具体包括：

点集获取子单元 521 ,用于在确定单元确定的前一帧图像的所述背� �范围 中取一组点集。

所述点集获取子单元根据前景范围确定单元 51所确定的前景范围得到所 述背景范围， 再对所述背景范围通过均勾取点或稀疏取点得 到所述点集， 所 述稀疏取点包括： 角点和边缘点。 所述角点是在一幅图像中在 X方向和 Y方 向都有大于梯度阈值的点， 角点可以是两条线的交叉处。 比如在一张白纸 上放有一个长方体的物体，那么角点则为所述 长方体的物体在白纸上垂直 投影得到的长方形的四个角， 边缘点为长方形的边上所取的点。

上述梯度阈值在不同的算法中用户可以设置不 同的值，在一个算法当 中， 用户还可以根据实际情况进行设置不同的值。

运动矢量计算子单元 522 ,用于计算点集获取子单元 521获取的所述点集 中的每个点相对于下一帧图像的运动矢量。

匹配度计算子单元 523 , 用于根据所述模板匹配算法， 计算点集获取子单 元 521获取的所述点集中的每个点相对于下一帧图 像的匹配度。

在大小一致的两幅连续的视频图像中， 选择其中一幅为模板图像， 则另 外一幅为原始图像， 比如， 如果下一帧图像选为模板图像， 则前一帧图像相 应的作为原始图像。 在所述原始图像中选择任一点， 在所述任一点周围延伸 一个点区域， 所述匹配度计算子单元 63根据模板匹配算法对所述原始图像和 所述模板的点区域计算匹配度， 得到一个匹配度集合， 所述匹配度集合为所 述点集中的每个点的匹配度的集合。

筛选子单元 524 ,用于从点集获取子单元 521获取的所述点集中筛选出匹 配度高于匹配阈值的点； 所述匹配阈值为所述点集中的每个点的匹配度 组成 的集合中的中值。

所述匹配阈值为所述点集中的每个点的匹配度 组成的集合中的中值。 当 然， 除了将中值作为匹配阈值， 还可以通过计算所有匹配度数值的算术平均 值等方式来确定匹配阈值， 本发明实施例对此不做限定。 筛选子单元 524根据所述匹配度集合， 选取所述匹配度集合中的中值作 为匹配阈值， 所述中值为匹配度集合中位于中间位置的点的 匹配度， 对所述 匹配度集合中的每个点做筛选， 筛选出匹配度高于匹配阈值的点。

下面举例对上述第一获取单元 52中点集获取子单元 521, 运动矢量计算 子单元 522, 匹配度计算子单元 523, 筛选子单元 524所做的动作进行说明。

假设点集获取子单元 521 在前一帧图像的所述背景范围中取一组点集 P= {pi, 2, ······ p _n }，运动矢量计算子单元 522分别计算了点集 P中的每点 的相对于下一帧图像的运动矢量 { _Vl ， v ₂ , ······ v _n }。 匹配度计算子单元 523根 据模板匹配算法， 计算所述点集 P中的每个点相对于下一帧图像的匹配度。

对于点集 P 中的每个点， 都得到了一个匹配度， 匹配度数值组成的集合

R={R1, R2, Rn}。 如果匹配阈值为集合 R的中值 Rx, l x n，筛选子单 元 524则将筛选出大于 Rx的匹配度。

运动矢量获取子单元 525,用于根据筛选子单元 524筛选的所述匹配度高 于匹配阈值的点的运动矢量， 得到下一帧图像的所述背景范围相对于前一帧 图像的所述背景范围的运动矢量。

放大倍率获取子单元 526,用于根据筛选子单元 524筛选的所述匹配度高 于匹配阈值的点在前一帧中的两点之间距离和 在下一帧中的两点之间距离， 得到下一帧图像的所述背景范围相对于前一帧 图像的所述背景范围的放大倍 率。

进一步的， 运动矢量获取子单元 525, 如图 7所示， 具体包括：

运动矢量获取模块 5251, 用于根据公式 v。 = [median(X),median(Y)], 得到下一帧图像的所述背景范围相对于前一帧 图像的所述背景范围的运动矢 量 V。； 其中， X是所有匹配度高于匹配阈值的点的运动矢量� � X方向分量的集 合， Y是所有匹配度高于匹配阈值的点的运动矢量� � y方向分量的集合。

进一步的， 放大倍率获取子单元 526, 如图 8所示， 具体包括：

放大倍率获取模块 5 ² 61, 用于根据公式 s = mediai D /median^)，得 到下一帧图像的所述背景范围相对于前一帧图 像的所述背景范围的放大倍率 s;其中， D。是所有匹配度高于匹配阈值的点在前一帧� �的两两之间距离的集 合， 是所有匹配度高于匹配阈值的点在下一帧中的 两两之间距离的集合。

进一步的， 所述运动矢量计算子单元 522 , 如图 9所示， 具体包括： 第一运动矢量计算模块 5221 , 用于根据光流算法， 计算点集获取子单元 521获取的所述点集中的每个点相对于下一帧图 像的运动矢量。

对应点获取模块 5222 , 用于对点集获取子单元 521获取的所述点集中的 每个点， 在距离 d的范围内获取下一帧图像中的对应点， 所述距离 d根据视 频宽度与视频中物体运动速度获得。

第二运动矢量计算模块 5223 , 用于根据所述点集中的每个点和对应点获 取模块 5222获取的在距离 d的范围内下一帧图像中的对应点的距离， 得到所 述点集中的每个点相对于下一帧图像的运动矢 量。

进一步的， 所述第二获取单元 53 , 如图 10所示， 具体包括：

中心点获取子单元 531 ,用于根据第一获取单元获取的下一帧图像的� �景 范围相对于前一帧图像的背景范围的运动矢量 和前一帧图像中的所述背景范 围的中心点 C。， 得到下一帧图像中的所述背景范围的中心点 C。， 。

前景范围获取子单元 532 ,用于对于第一获取单元获取的前一帧图像中� � 所述前景范围中的任意点 p，根据公式

p， = s * (ρ - C。）+ C。，

得到下一帧图像中与所述任意点 P对应的点 P ' ，根据 P ' 确定下一帧图 像中的所述前景范围； 其中 s为所述背景范围的放大倍率。

进一步地， 如图 11所示，所述装置还包括：

第一前景范围调整单元 56 , 用于所述第二获取单元在根据所述下一帧图 像的背景范围相对于前一帧图像的背景范围的 运动矢量和放大倍率， 得到下 一帧图像中的所述前景范围后， 对前一帧图像中的所述前景范围进行调整， 以使得所述前一帧图像中的所述前景范围与所 述下一帧图像中的所述前景范 围的大小一致。

第二前景范围调整单元 57 , 用于所述第二获取单元在根据所述下一帧图 像的背景范围相对于前一帧图像的背景范围的 运动矢量和放大倍率， 得到下 一帧图像中的所述前景范围后， 对下一帧图像中的所述前景范围进行调整， 以使得下一帧图像中的所述前景范围与前一帧 图像中的所述前景范围大小一 致。

进一步的， 所述第三获取单元 55 , 如图 12所示， 具体包括：

处理子单元 551 ,用于对所述计算单元得到的前景运动边缘灰� �图进行二 值化处理， 得到二值化图像， 所述二值化图像由值为 0的像素点和值为 1的 像素点组成。

腐蚀子单元 552 ,用于对处理子单元 551得到的所述二值化图像进行腐蚀 运算， 得到腐蚀后的二值化图像。

所述腐蚀子单元 552 采用单一方向的腐蚀模板对所述二值化图像进 行腐 蚀运算， 根据 V=v2-vl= ( Χ, Υ )对二值化图像分别作 χ， y方向的宽度为 x/ 3 , y/ 3的单向腐蚀。 v2为前一帧图像的前景范围的运动矢量， vl为下一帧图像 的背景范围的运动矢量， X , y分别为 V在 X方向和 y方向的运动分量。 如图 14所示， 所述单一方向的腐蚀模板为长度为 2N+1 , 左边界为 N个 1 , 右边界 为 N个 0 , 中间为 1的正向模板。 当 X大于 0时， 使用正向模板， 当 X小于 0 时， 使用负向模板， 所述负向模板为将正向模板翻转得到。 同理得 Y 方向的 腐蚀模板， 在此不再贅述。

前景主体图像区域获取子单元 553 ,用于根据腐蚀子单元 552生成的所述 腐蚀后的二值化图像， 得到所述前景主体图像区域。

进一步的， 所述前景主体图像区域获取子单元 553 , 如图 1 3所示， 具体 包括：

像素点集获取模块 5531 , 用于获取处理子单元得到的在 X轴方向每行最 左端和最右端的灰度值为 1的像素点， 组成第一像素点集， 并获取在 y轴方 向每列最上端和最下端的灰度值为 1的像素点， 组成第二像素点集。

并集获取模块 5532 ,用于得到像素点集获取模块 5531获取的所述第一像 素点集和所述第二像素点集的并集。 连接模块 5533 ,用于依次连接由并集获取模块 5532得到的所述并集中的 像素点， 得到所述前景主体图像区域。

图 20为本发明实施例提供的终端的结构示意图，� ��终端包括收发器 2001 , 存储器 2002和处理器 2003。

具体的， 收发器 2001用于与其他设备进行通信， 或执行人机间的通信。 比如， 收发器 2001可用来接收其他设备发送的或人工输入的� �频图像， 还可 以将终端自身的视频图像发送到其他设备。 存储器 2002用于存储各种程序、 应用以及视频文件， 存储器 2002存储的内容可以是由收发器 2001从外界接 收的， 也可以是由处理器 2003处理后发送给存储器 2002的。 存储器 2002能 够在处理器 2003的调用下将各程序、 应用以及视频文件存入或读出。 此外， 处理器 2003用于从存储器中读取出视频文件， 并执行本发明实施例中所述的 确定视频前景主体图像区域的功能。 本发明实施例中的处理器 2003可以执行 上述实施例中结合图 5至图 1 3描述的任一动作或功能。 需要指出的是， 终端 的处理器 2003包括的各个装置只是按照功能逻辑进行划� �的， 但并不局限于 上述的划分， 只要能够实现相应的功能即可； 另外， 各装置的具体名称也只 是为了便于相互区分， 并不用于限制本发明的保护范围。 此外， 本发明实施 例中的终端可以是个人电脑、 服务器和各种移动终端， 如智能手机， 平板电 脑， 移动阅读设备等。

本发明实施例提供了一种确定视频前景主体图 像区域的装置， 根据视频 图像中的前景范围得到背景范围， 对背景范围进行均匀取点， 计算所述点集 中每一点相对于下一帧图像的运动矢量和放大 倍率， 根据所述计算所述点集 中每一点相对于下一帧图像的运动矢量和放大 倍率， 获取下一帧图像的前景 范围， 计算下一帧图像的所述前景范围和前一帧图像 的所述前景范围的灰度 值之差， 得到前景运动边缘灰度图， 进而对所述前景运动边缘灰度图进行二 值化处理和腐蚀运算， 得到前景主体图像区域， 从而避免了对选取的特征点 进行计算并分类而导致的将大量前景的点归类 为背景， 背景点被归类为前景 的问题， 实现了分割准确率的提高。 通过以上的实施方式的描述， 所属领域的技术人员可以清楚地了解到本 发明可借助软件加必需的通用硬件的方式来实 现， 当然也可以通过硬件， 但 很多情况下前者是更佳的实施方式。 基于这样的理解， 本发明的技术方案本 质上或者说对现有技术做出贡献的部分可以以 软件产品的形式体现出来， 该 计算机软件产品存储在可读取的存储介质中， 如计算机的软盘， 硬盘或光盘 等， 包括若干指令用以使得一台计算机设备（可以 是个人计算机， 服务器， 或者网络设备等）执行本发明各个实施例所述 的方法。

以上所述，仅为本发明的具体实施方式， 但本发明的保护范围并不局限 于此， 任何熟悉本技术领域的技术人员在本发明揭露 的技术范围内， 可轻易 想到的变化或替换， 都应涵盖在本发明的保护范围之内。 因此， 本发明的保 护范围应以所述权利要求的保护范围为准。