本发明涉及图像处理技术领域， 具体涉及一种用于图像表示的片网模型 以及该片网模型的构建方法。

说

背景技术

近些年来， 各种图像处理技术已经成为计算机学科研究的 热门领域。 其 中， 基于片的图像合成和编辑技术已经成为了用户 编辑多媒体内容的强大工 具。

现有技术中基于片的图像编辑方法， 典型书的如 2009年 Barnes等人提出 的 PatchMatch, 需要用户提供语义上的指导或交互才能获得有 意义的结果； 而且， 对于基于多张图像进行的编辑， 用户需要自己寻找新的物体或者区域 合成到指定的位置； 但是这些均需要用户具有较强的美术专业知识 以及对软 件的熟练掌握； 同时， 在候选图像较多的情况下， 需要用户付出长时间的枯 燥劳动。 2011年 HaCohen等人提出的 NRDC (非刚性密集对应方法）能够应 用于上述情景， 其通过自动寻找合适的图像片来进行合成； 但是该方法的缺 点是处理速度较慢， 无法满足实时图像编辑， 尤其对于基于图像库的编辑需 要。 利用图像搜索的方法也可以为上述情景找到合 适的图像源； 但是图像搜 索方法一般都是基于全局特征， 无法为局部图像的编辑找到合适的最优的部 分图像区域。

综上所述， 在目前已有的图像合成技术的基础上进行图像 库中的基于片 的图像编辑， 其主要困难在于编辑技术中用到的图像片只描 述了局部的表观 特征， 没有对图像片上下文或者图像本身的描述， 无法在图像库中进行对内 容的有效组织和查找， 而利用全局特征进行图像搜索的方法， 又缺乏对局部 信息的准确定位。

发明内容 (一） 要解决的技术问题

本发明的目的在于提供一种用于图像表示的片 网模型以及该片网模型的 构建方法， 从而使片网模型能够利用图像片的形式描述图 像的局部信息， 又 能够提取图像的结构信息并进行抽象的表达， 从而能够满足利用一个图像库 中的图像进行局部图像编辑的需要。

(二）技术方案

本发明技术方案如下：

一种用于图像表示的片网模型， 所述片网模型为由若干个复合节点以及 基本节点组成的森林状结构， 每个所述复合节点均为非叶节点， 每个所述基 本节点均为叶节点；

所述基本节点包括图像的某片区域以及代表该 片区域表观特征的代表性 片； 所述复合节点包括图像的某片区域并且可以进 一步分解为基本节点和 /或 复合节点；

位于所述森林状结构的同一层、 且空间位置相连的两个节点间存在一条 边， 边上具有用于表示这两个节点空间相对位置的 关系矩阵。

优选的， 所述关系矩阵中的每个元素的值均被归一化到 0~1 , 代表所述 边连接的一个节点中的像素位于另一节点的特 定相对位置的概率。

优选的， 所述关系矩阵为 5x5矩阵。

本发明还提供了一种构建上述任意一种片网模 型的方法：

一种片网模型构建方法， 包括步骤：

51. 选取代表性片以及被所述代表性片代表的图像 区域， 建立基本节点；

52. 根据空间连接关系， 将图像区域面积小于预设值的基本节点组合成 为复合节点；

53. 将所述复合节点以及图像区域面积超出所述预 设值的基本节点作为 所述森林状结构的第一层；

54. 将所述复合节点分解为基本节点和 /或复合节点， 直至所有叶节点均 为基本节点；

55. 在位于所述森林状结构的同一层、 且空间位置相连的两个节点间添 加边， 并在所述边上添加所述关系矩阵。

优选的， 所述步骤 S1进一步包括：

511. 将图像中所有像素按照梯度值排序；

512. 在尚未被任何代表性片代表的区域内梯度值最 小的位置生成一个 代表性片；

513. 对于任意一个尚未被任何代表性片代表的像素 ， 判断将以该像素为 中心的图像片能否被所述步骤 S12中生成的代表性片代表；

514. 重复步骤 S12-S13直至图像中所有像素被代表性片代表。

优选的， 所述步骤 S12与步骤 S13之间还包括：

根据公式 =∑g _z z /∑g _z 将所述代表性片的中心移动到 ；

z P _x zeP _x 其中， Z表示代表性片 中的像素位置， &表示 Z位置处的梯度值。 优选的， 所述步骤 S13进一步包括：

对于任意一个尚未被任何代表性片代表的像素 ， 将以该像素为中心的图 像片与所述步骤 S12中生成的代表性片在 Lab颜色空间进行欧拉距离计算； 计算得到的欧拉距离不大于阈值的图像片则被 所述步骤 S12中生成的代 表性片代表。 优选的， 所述步骤 S13中阈值 =

C(x, y)

其中， , C(，)为所述图像片的平均颜色。

优选的，所述步骤 S2以及步骤 S3中预设值是所述图像的总面积的 10%。 优选的， 所述步骤 S5中， 计算关系矩阵中任意元素 M ( i, j ) 的方式如 下：

对于所述边连接的一个节点的每个像素， 统计该像素的 （i-2, j-2 )方位 处是否有另一节点的像素出现， 若有， 则 M ( i, j )计数加 1 ; 通过统计计数， 最终将得到的矩阵中的每个元素归一化到 （0,1 ) 区间。

(三）有益效果

本发明实施例所提供的基于片的片网模型为由 若干个复合节点以及基本 节点组成的森林状结构， 每个复合节点均为非叶节点， 每个基本节点均为叶 节点； 基本节点包括图像的某片区域以及代表该片区 域表观特征的代表性 片； 复合节点包括图像的某片区域并且可以进一步 分解为基本节点和 /或复 合节点； 位于森林状结构的同一层、 且空间位置相连的两个节点间存在一条 边， 边上具有用于表示这两个节点空间相对位置的 关系矩阵； 通过这种森林 状结构， 本发明使得图像库中的图像内容得到了基于片 的组织和表达， 从而 使片网模型能够利用图像片的形式描述图像的 局部信息， 又能够提取图像的 结构信息并进行抽象的表达， 从而能够进行局部内容基于表观特征的查找和 获取， 满足利用一个图像库中的图像进行局部图像编 辑的需要。

附图说明

图 1是本发明实施例中片网模型的结构示意图；

图 2是本发明实施例中片网模型构建方法的流程� �意图。

具体实施方式

下面结合附图和实施例， 对本发明的具体实施方式做进一步描述。 以下 实施例仅用于说明本发明， 但不用来限制本发明的范围。

本实施例中首先提供了一种用于图像表示的片 网模型， 如图 1 中所示， 所述片网模型为由若干个复合节点以及基本节 点组成的森林状结构， 每个所 述复合节点均为非叶节点， 每个所述基本节点均为叶节点；

根据图像中的区域具有相似的表观特征的特性 ， 所述基本节点包括图像 的某片区域以及代表该片区域表观特征的代表 性片； 所述复合节点包括图像 的某片区域并且可以进一步分解为基本节点和 /或复合节点， 从而形成一个局 部的树状结构； 复合节点用于表示一些具有复杂结构特征的图 像区域；

位于所述森林状结构的同一层、 且空间位置相连的两个节点间存在一条 边， 边上具有用于表示这两个节点空间相对位置的 关系矩阵， 从而对一幅图 像进行了抽象的表示。 本实施例中， 上述关系矩阵可以是个 5x5的矩阵， 矩阵中每个元素的值 被归一化到 0~1 , 代表了所述边连接的一个节点中的像素位于了 所述边连接 的另一节点的特定相对位置的概率； 例如， 其中 （0,0 )位置的值， 即为所述 边连接的一个节点所包含的像素， 出现在所述边连接的另一个节点所包含像 素的相对位置（-2, -2 )处的概率大小； 通过这种结构， 图像库中的图像内容 得到了基于片的组织和表达， 从而可以进行局部内容基于表观特征的查找和 获取。

本实施例中还提供了一种构建上述片网模型的 方法； 如图 2中所示， 该 片网模型构建方法主要包括步骤：

S1. 选取代表性片以及被所述代表性片代表的图像 区域， 建立基本节点；

52. 根据空间连接关系， 将图像区域面积小于预设值的基本节点组合成 为复合节点；

53. 将所述复合节点以及图像区域面积超出所述预 设值的基本节点作为 所述森林状结构的第一层；

S4. 将所述复合节点分解为基本节点和 /或复合节点， 直至所有叶节点均 为基本节点；

S5. 在位于所述森林状结构的同一层、 且空间位置相连的两个节点间添 加边， 并在所述边上添加所述关系矩阵。

下面对上述各步骤加以详细说明。

S1. 选取代表性片以及被所述代表性片代表的图像 区域， 建立基本节点； 本实施例中， 所述步骤 S1进一步包括：

511. 将图像中所有像素按照梯度值排序；

512. 在尚未被任何代表性片代表的区域内， 在梯度值最小 （如有多个梯 度值相同的， 则随机取其中一个） 的位置生成一个例如 13x13的代表性片； 之后， 还可以通过公式： z P _x z P _x 将所述代表性片的中心移动到 ^；从而能够使得代表性片包含更多可能 的最接近的结构信息； 其中， Z表示代表性片 中的像素位置， &表示 Z位 置处的梯度值。

S13. 对于任意一个尚未被任何代表性片代表的像素 ， 判断将以该像素为 中心的图像片 （例如 13x13的像素片） 能否被所述步骤 S12中生成的代表性 片代表；

优选的， 所述步骤 S13进一步包括：

对于任意一个尚未被任何代表性片代表的像素 ， 将以该像素为中心的图 像片与所述步骤 S12中生成的代表性片在 Lab颜色空间进行欧拉距离计算； 计算得到的欧拉距离不大于阈值的图像片则能 够被所述步骤 S12中生成的代 表性片代表；

为了使得代表性片在紋理较为复杂的区域 （如墙， 树叶等）具有更好的 容错能力， 从而提高片网模型的抽象表达力， 本实施例中釆用如下的自适应 的阈值 &c， _y来判断某图像片能 代表； 即：

其中， , C(，)为所述图像片的平均颜色。 欧拉距离大于上述

阈值的图像片，则认为该图像片不能被所述 步骤 S12中生成的代表性片代表； 否则， 则认为该图像片能够被所述步骤 S12中生成的代表性片代表。

S14. 重复步骤 S12-S13直至图像中所有像素被代表性片代表。 最后， 可 以根据所有代表性片本身的相似关系以及所代 表的图像区域位置进行合并处 理；例如，代表的图像区域重叠 30%以上，并且代表性片的距离小于 500 ( Lab 颜色空间上的欧拉距离）， 则将两个代表性片所代表的图像区域合并， 并取原 代表图像区域面积最大的代表性片作为新的代 表性片。

S2. 根据空间连接关系， 将图像区域面积小于预设值的基本节点组合成 为复合节点； 例如， 将图像区域面积小于所述图像的总面积的 10%的基本节 点根据空间连接关系组合成复合节点， 复合节点不包括代表性片， 复合节点 的图像区域为其包含的基本节点的图像区域之 和。

53. 将所述复合节点以及图像区域面积超出所述预 设值的基本节点作为 所述森林状结构的第一层；例如，将图像区域 面积大于所述图像总面积的 10% 的基本节点以及所述步骤 S2 中得到的复合节点作为所述森林状结构的最高 层 （第一层） 的节点。

54. 将所述复合节点分解为基本节点和 /或复合节点， 直至所有叶节点均 为基本节点； 例如， 对于某一个复合节点， 首先遍历其所包含的所有基本节 点（通过图像区域的覆盖关系获得）， 如果某一基本节点与上一层的其它节点 具有连接关系， 则此基本节点直接作为从属该复合节点的子节 点； 剩余的与 上一层节点无空间连接关系的基本节点， 则根据空间相邻关系组成新的复合 节点， 作为从属原复合节点的子节点， 并递归进行自身的展开， 直至所有叶 节点均为基本节点。

55. 根据各节点的图像区域的相邻接关系， 在位于所述森林状结构的同 一层、 且空间位置相连的两个节点间添加边（边不存 在于不同层次的节点之 间）， 并在所述边上添加所述关系矩阵。 本实施例中， 计算关系矩阵中任意元 素 M ( i, j ) 的方式如下：

例如， 一个边连接的两个节点分别为节点 A和节点 B, 表示相对位置关 系的矩阵可以为 5*5的关系矩阵 M; 对于节点 A中的每一个像素， 统计该像 素的（i-2, j-2 )方位处是否有 B节点所包含的像素出现； 若有， 则 M ( i, j ) 计数加 1; 然后通过统计计数， 最终对 M中所有元素归一化到 （0,1 ) 区间， 得到最终的关系矩阵， 从而完成了片网模型的构建。

以上实施方式仅用于说明本发明， 而并非对本发明的限制， 有关技术领 域的普通技术人员， 在不脱离本发明的精神和范围的情况下， 还可以做出各 种变化和变型， 因此所有等同的技术方案也属于本发明的保护 范畴。