本发明涉及高分辨率显示技术领域， 尤其涉及一种图像超分辨率重构系统及方法。

背景技术 随着消费者日益增长的市场需求， 特别在高端显示领域， 需要更加高端的显示设 备。 从最初的 480P显像管电视机到后来的 720P、 FHD、 2K、 4Κ和 8Κ等分辨率的显示 设备， 显示分辨率以及显示设备的尺寸是在逐步提升 的。

为了降低系统运行成本， 提高画面质量， 超分辨率算法 (Super Resolution, SR已成为 目前高端显示领域中 （例如 4K2K) 的主流算法， 其是指将低分辨率图像或图像序列恢复 成高分辨率图像。

超分辨率算法是增强图像或视频分辨率的技术 ， 指利用一幅或者多幅低分辨率（Low Resolution, LR.) 图像， 通过相应的算法来获得一幅清晰的高分辨率 （High Resolution, HR)图像。 也就是， SR算法的目的是使得输出的图像或视频的分辨� ��比任意一幅输入的 图像或输入视频的任意一帧的分辨率都要高。 这里所获得的 HR 图像意味着图像具有高 像素密度， 可以提供更多的细节。

然而， 针对实际产品应用而言， 当前大多数 SR演算法都存在计算量大的缺陷， 导致 成本增加， 实用性不强， 它们未被应用在商业视频产品中。 另一方面， 诸如像临近取代 算法、 双线性插值算法、 Hemute插值算法和 Canny插值算法这些简单快速的 SR演算法 又使得画面存在锯齿、 模糊等问题。

因此， 如何解决上述问题， 以使得输出画面的锯齿状现象明显降低、 算法简单、 运 行速度快并可以有效降低成本， 乃业界所致力的课题之一。

发明内容

本发明所要解决的技术问题之一是需要提供一 种图像超分辨率重构方法， 该方法能 够使得输出高分辨率画面的锯齿状现象明显降 低、 算法简单、 运行速度快并可以有效降 低成本。 另外还提供了一种图像超分辨率重构系统。

1 ) 为了解决上述技术问题， 本发明提供了一种图像超分辨率重构方法， 包括： 边缘 检测歩骤， 对待处理的低分辨率图像进行边缘检测， 得到边缘像素帧； 帧放大歩骤， 保 留检测出的边缘像素信息不变， 将所述边缘像素帧插值放大， 放大后的图像在水平方向 和垂直方向均是原边缘像素帧的 2 倍； 像素 偿步骤， 根据不同的像素边缘， 对所插入 的插值像素进行插值补偿以得到高分辨率图像 。

2) 在本发明的第 1 ) 项的一个优选实施方式中， 在所述边缘检測步骤中， 迸一歩采 用索贝尔算子对待处理的低分辨率图像从四个 不同方向的边缘进行检测。

3 )在本发明的第 1 )项或第 2)项中的一个优选实施方式中， 在所述像素补偿步骤中， 进一步包括：

以五个待补偿的插值像素中位于像素块中间位 置的中心插值像素为基准， 按照设定 的四个方向搜索与其临近的四个像素中所包含 的边缘像素的信息， 之后按照相应规则对 五个插值像素进行插值补偿， 其中， 所述规则为根据这四个像素中所包含的边缘像 素的 个数， 以及边缘方向和 /或亮度信息所设定的规则。

4) 在本发明的第 1 ) 项-第 3 ) 项中任一项的一个优选实施方式中， 所述规则包括- 若这四个像素均为边缘像素， 边缘方向为对角方向， 且处于边缘方向的两个像素和另一 像素彼此之间的亮度差值小于设定阈值， 则通过以下步骤进行插值补偿：

将这:三个像素的亮度平均值赋值给位于像素� �中间位置的中心插值像素； 将除了这 ≡个像素以外的像素的亮度值赋值给与之相邻 的两个插值像素； 将处于边缘方向的两个 像素中每个像素和所述另一像素的亮度平均值 赋值给处于二者之间的插值像素。

5 ) 在本发明的第】） 项-第 4) 项中任一项的一个优选实施方式中， 所述规则包括； 若这四个像素均为边缘像素， 每行中两个像素的亮度差值小于设定阈值旦上 下两行的亮 度平均值的差值大于设定阈值， 劑通过以下步骤进行插值补偿：

将每行两个像素的亮度平均值赋值给所在行的 插值像素； 将下行的两个像素的亮度 平均值赋值给位于像素块中间位置的中心插值 像素； 将下行的两个像素中每个像素的亮 度值赋值给该像素所在列的插值像素》

6) 在本发明的第 1 ) 项-第 5 ) 项中任一项的一个优选实施方式中， 所述规则包括； 若这四个像素均为边缘像素， 每列中两个像素的亮度差值小于设定阈值旦左 右两列的亮 度平均值的差值大于设定阈值， 则通过以下歩骤进行插值补偿- 将每列两个像素的亮度平均值赋值给所在列的 插值像素； 将左列的两个像素的亮度 平均值赋值给位于像素块中间位置的中心插值 像素； 将左列的两个像素中每个像素的亮 度值赋值给该像素所在行的插值像素。

7) 在本发明的第 1 ) 项-第 6) 项中任一项的一个优选实施方式中， 所述规则包括： 若这四个像素均为边缘像素， 且这四个像素的亮度相互之间差值小于设定阈 值或者差值 大于设定阈值时， 则通过以下步骤进行插值补偿：

将每列两个像素的亮度平均值赋值给该列的插 值像素； 将每行两个像素的亮度平均 值赋值给该行的插值像素； 将这四个像素的亮度平均值赋值给位于像素块 中间位置的中 心插值像素。

8) 在本发明的第 ) 项-第 7) 项中任一项的一个优选实施方式中， 所述规则包括- 若这四个像素中边缘像素的个数为≡个， 且边缘方向为对角方向， 则通过以下步骤进行 插值补偿：

将这:三个像素的亮度平均值赋值给位于像素� �中间位置的中心插值像素； 将除了这 ≡个像素以外的非边缘像素的亮度值赋值给与 之相邻的两个插值像素； 将处于边缘方向 的两个边缘像素中每个像素和除这两个边缘像 素外的另一边缘像素的亮度平均值赋值给 处于二者之间的插值像素。

9) 在本发明的第 1 ) 项-第 8) 项中任一项的一个优选实施方式中， 所述规则包括- 若这四个像素中边缘像素的个数为两个， 且边缘方向为对角方向， 则通过以下步骤进行 插值补偿：

将这两个边缘像素的亮度平均值赋值给位于像 素块中间位置的中心插值像素： 将另 外两个非边缘像素中每个像素的亮度值赋值给 与之相邻的插值像素。

10)在本发明的第 1 ) 项―第 9)项中任一项的一个优选实施方式中， 所述规则包括； 若这四个像素中边缘像素的个数为两个， 且边缘方向为列方向， 则通过以下步骤迸行插 值补偿- 将这两个边缘像素的亮度平均值赋值给位于这 两个像素所在列的插值像素； 将另外 两个非边缘像素的亮度平均值赋值给位于像素 块中间位置的中心插值像素： 将另外两个 非边缘像素中每个像素的亮度值赋值给与之相 邻的插值像素。

11 ) 在本发明的第 1 ) 项-第 10) 项中任一项的一个优选实施方式中， 在所述像素补 偿步骤中还包括： 对于每次插值补偿后的五个插值像素迸行记录 ； 选取设定方向进行互 斥性分析， 判断当前插值补偿后的五个插值像素的赋值与 之前的插值补偿后的赋值是否 存在互斥， 并对出现互斥的插值像素进行处理。

12) 在本发明的第 1 ) 项-第 11 ) 项中任一项的一个优选实施方式中， 在设定方向选 取在 45°至 90°范围时， 若当前插值补偿后的五个插值像素中存在一个 赋值还来自于之前的插值补偿的插值 像素， ϋ之前进行插值补偿的像素块位于该插值像素� ��上方， 则该插值像素的赋值为当 前插值补偿后的值；

若当前插值补偿后的五个插值像素中存在一个 赋值还来自于之前的插值补偿的插值 像素， ϋ之前进行插值补偿的像素块位于该插值像素� ��左方， 则该插值像素的赋值为之 前插值补偿后的值。

13 ) 在本发明的第 1 ) 项-第 12) 项中任一项的一个优选实施方式中， 在设定方向选 取在 90°至】80°范圈时， 若当前插值补偿后的五个插值像素中存在一个 赋值还来自于之前的插值补偿的插值 像素， 旦之前进行插值补偿的像素块位于该插值像素 的上方， 则该插值像素的赋值为之 前插值补偿后的值；

若当前插值补偿后的五个插值像素中存在一个 赋值还来自于之前的插值补偿的插值 像素， 之前进行插值补偿的像素块位于该插值像素的 左方， 则该插值像素的赋值为当 前插值补偿后的值。

14) 在本发明的第 1 ) 项-第 13 ) 项中任一项的一个优选实施方式中， 在设定方向选 取在 45°至 180范 I之外时， 若当前插值补偿后的五个插值像素中存在一个 赋值还来自于 之前的插值补偿， 且之前迸行插值补偿的像素块位于该插值像素 的上方或左方， 则该插 值像素的赋值为之前插值补偿后的值。

15 ) 在本发明的第 1 ) 项-第 14) 项中任一项的一个优选实施方式中， 还包括： 采用 双三次插值方法对剩余的插值像素进行插值补 偿。

16)根据本发明的另一方面，还提供了一种图像 超分辨率重构系统， 包括： 边缘检劉 单元， 其配置以对待处理的低分辨率图像进行边缘检 溯， 得到边缘像素帧； 帧放大单 元， 其配置以保留检测出的边缘像素信息不变， 将所述边缘像素帧插值放大， 放大后的 图像在水平方向和垂直方向均是原边缘像素帧 的 2 信； 像素补偿单元， 其配置以根据不 同的像素边缘， 对所插入的插值像素进行插值补偿以得到高分 辨率图像。

17) 在本发明的第 16) 项的一个优选实施方式中， 所述边缘检测单元进一步采用索 贝尔算子对待处理的低分辨率图像从四个不同 方向的边缘进行检溯。

18) 在本发明的第 16) 项或第 17) 项中的一个优选实施方式中， 在所述像素补偿単 元中迸一步执行： 以五个待补偿的插值像素中位于像素块中间位 置的中心插值像素为基 准， 按照设定的四个方向搜索与其临近的四个像素 中所包含的边缘像素的信息， 之后按 照相应规則对五个插值像素进行插值补偿， 其中， 所述规剣为根据这四个像素中所包含 的边缘像素的个数， 以及边缘方向和 /或亮度信息所设定的规则。

19)在本发明的第 16)项第 18 )项中任一项的一个优选实施方式中， 所述像素补偿 单元还进一步执行： 对于每次插值补偿后的五个插值像素进行记录 ； 选取设定方向进行 互斥性分析， 判断当前插值补偿后的五个插值像素的赋值与 之前的插值补偿后的赋值是 否存在互斥， 并对出现互斥的插值像素进行处理。 与现有技术相比， 本发明的一个或多个实施例可以具有如下优点 ：

本发明方法先对图像进行边缘侦测， 接着将边缘图像帧画面通过插值放大至原图像 的二倍， 所插像素部分先 0 灰阶进行替代， 而边缘像素信息直接保留， 该过程能保证 边缘轮廓的清晰度与完整性， 增强画面对比度而不牺牲影像品质。 然后运 ¾优化后的规 则对前面所补的 0灰阶像素进行插值补偿， 其过程综合考虑边缘像素与周围像素影响。

本发明的其它特征和优点将在随后的说明书中 阐述， 并且， 部分地.从说明书中变得 显而易见， 或者通过实施本发明而了解。 本发明的目的和其他优点可通过在说明书、 权 利要求书以及爾图中所特别指出的结构来实现 和获得。 附图说明

對图用来提供对本发明的迸一歩理解， 并 ϋ构成说明 的一部分， 与本发明的实施 例共同 ]¾于解释本发明， 并不构成对本发明的限制。 在對图中：

图： ί是根据本发明一实施例的图像超分辨率重构� ��法的流程示意图； 图 2是对边缘像素幀进行扩大的示意图- 图 3是包括五个待补偿的插值像素的像素块插值� �意图；

图 4是像素块的四个顶点都是边缘像素^的第一种� ��况的像素补偿示意图； 图 5是像素块的四个顶点都是边缘像素时的第二� �情况的像素补偿示意图； 图 6是像素块的四个顶点都是边缘像素时的第三� �情况的像素补偿示意图； 图 7是像素块的三个顶点是边缘像素时的像素补� �示意图；

图 8是像素块的两个顶点是边缘像素时的像素补� �示意图；

图 9是以方向 45°时规则互斥的示意图；

图 10是根据本发明实施例的图像超分辨率重构系� �� 1 的结构示意图。 具体实施方式 以下将结合附图及实施例来详细说明本发明的 实施方式， 借此对本发明如何应用技 术手段来解决技术问题， 并达成技术效果的实现过程能充分理解并据以 实施。 需要说明 的是， 只要不构成冲突， 本发明中的各个实施例以及各实施例中的各个 特征可以相互结 合， 所形成的技术方案均在本发明的保护范围之内 。

另夕卜， 在跗图的流程图示出的步骤可以在诸如一组计 算机可抉行指令的†算机系统 中执行， 并且， 虽然在流程图中示出了逻辑顺序， 但是在某些情况下， 可以以不同于此 处的顺序执行所示出或描述的步骤。 为了消除图像锯齿并 不使图像边缘变得模糊， 即保留图像清晰的轮廓， 本发明提 出一种方法， 使得输出画面的锯齿状现象明显降低。 该方法计算简单、 运行速度快并可 以有效降低成本。

T文是以从 FHD分辨率到 4K2K分辨率的放大转换为例来说明本发明的方� �， 所谓 "FHD"是 FuilHD (Full High Definition) 的缩写， 其分辨率为 1920x1080 , "4K2K"的分 辨率是 3840x2160, 是普通 FHD宽高的各两倍， 面积的四倍。 容易理解， 其仅是一个示 例， 本领域技术人员可以根据实际需求来利用本发 明方法， 任何其它的应 ffl , 皆为本发 明所涵盖的范围。 此外， 图示仅以说明为目的， 并非依照原尺寸作图。 应注意地是， 在本申请中所提到的方向 ^语例如： 」：:、 下、 左、 右、 左上仅是参考 ^加图式的方向。 因此， 所使用的方向用语是用来说明并非用来限制申 请的保护范 。 图 1是根据本发明一实施例的图像超分辨率重构� �法的流程示意图。 下面参考图 1 , 洋细说明本方法的各个步骤。

步骤 S110, 对待处理的低分辨率图像进行边缘检测， 得到边缘像素帧。 具体地， 采 ]¾索¾尔算子 （Sobel遮盖算子） 对待处理的 FHD 图像从四个不同方向 的边缘进行检测。

硬体实现的复杂性和系统成本上考量， 本实施 ^优选地认 0°、 45"、 90\ 135' ^; 四个 方 ^ 所

上式中， 式（a)是水平方向的算子， 式 b)是 45°方向的算子， 式 （c)是垂直方向 的算子， 式 （d) 是 135。方向的算子。 以 3x3 矩阵中心为侦溯对象， 将遮盖算子分别与像素亮度值相乘后相加， 之后比较 哪个方向的值最大， 最后通过设定一阈值与该最大值相比较， 若该值大于阈值则为边缘 像素， 否则为伪边缘像素。

步骤 S120, 保留检测出的边缘像素信息不变， 将边缘像素帧插值放大， 放大后的图 像在水平方向和垂直方向均是原边缘像素帧的 2倍。 如图 2 所示， 其为放大过程的示意图。 右边的大图为放大后的图片， 带有问号的像 素为插入的插值像素 （也可称为未知像素） ， 所插像素先用 0灰阶代替。

该步骤为本申请一中心思想， 直接将边缘像素帧进行 2x2 扩大， 其核心为保留边缘 像素信息不变， 通过在后面插值^判断边缘类型进行补偿来解� �锯齿问题， 而非将边缘 像素平滑化， 敌边缘轮廓的清晰度可以得到保证。

歩骤 S130, 根据不同的像素边缘， 对所插入的插值像素进行插值补偿以得到高分 辨 率图像。 具体地， 以五个待补偿的插值像素中位于像素块中间位 置的中心插值像素为基准， 按照设定的四个方^搜索与其临近的四个像素� �所包含的边缘像素的信息， 之后按照相 应规则对五个插值像素进行插值补偿， 其中， 规则为根据这四个像素中所包含的边缘像 素的个数， 以及边缘方向和 /或亮度信息所设定的规则。

对前面所插 0灰阶像素（插值像素）进行补偿。 为了不降低边缘像素信息的对比度， 发明人对插值规则进行了最优化。

如图 3 所示， 以中心点的问号为基准进行插值， 上下左右四个点也会同时被插值补 偿。 需要注意的是， 插值^必须考虑四个顶角——原始像素的信息� � 四个顶角按照是否 为边缘像素优化成以下几种情况， 情况不同， 优化的插值规则也会不同。

( 1 ) 四个顶点都是边缘像素， 根据边缘亮度不同可分为三种不同情况

第 ·情况规则： 若这四个像素均为边缘像素， 边缘方向为对角方向， 且处干边缘方 向的两个像素和另一像素彼此之间的亮度接近 （亮度差值小于设定阈值）， 则通过以下步 骤进行插值补偿： 将这三个像素的亮度平均值赋值给位于像素块 中间位置的中心插值像 素； 将除了这三个像素以外的像素的亮度值赋值给 与之相邻的两个插值像素； 将处于边 缘方向的两个像素中每个像素和另一像素的亮 度平均值赋值给处于二者之间的插值像 糸。

图 4 是像素块的四个顶点都是边缘像素时的第一中 情况的像素补偿示意图。 请参考 图 4, 双向箭头为边缘方向， 对带问号的五个插值像素进行插值补偿。 由于边缘方向为 对角方向的情况有四种， 分别如（a) 、 ( b) 、 ( c) 、 ( d) 四个区域所示， 以左上角 （a) 区域为例， 其余类同。 当①②③三顶点亮度接近 (阈值取 100来界定)时， 那么上问号像素 的亮度值取①②亮度的平均值； 左问号像素的亮度值取①③亮度的平均值； 中 号像素 的亮度值取①②③亮度的平均值； 而右问号像素和下问号像素的亮度值均等于④ 的亮度 值。 以上规则可以保证沿着边缘方向两边的颜色色 域保持一致， 以此来增强图像边缘处 的对比度， 使轮廓更加鲜明。

第二情况规则： 若这四个像素均为边缘像素， 每行中两个像素的亮度接近 差值小于 设定阈值）且上下两行的亮度差异大（亮度平 均值的差值大于设定阈值）， 则通过以下步 骤进行插值补偿： 将每行两个像素的亮度平均值赋值给所在行的 插值像素； 将下行的两 个像素的亮度平均值赋值给位于像素块中间位 置的中心插值像素； 将下行的两个像素中 每个像素的亮度值赋值给该像素所在列的插值 像素。

或者是， 若这四个像素均为边缘像素， 每列中两个像素的亮度接近且左右两列的亮 度差异大， 则通过以下歩骤进行插值补偿： 将每列两个像素的亮度平均值赋值给所在列 的插值像素； 将左列的两个像素的亮度平均值赋值给位于像 素块中间位置的中心插值像 素； 将左列的两个像素中每个像素的亮度值赋值给 该像素所在行的插值像素。 具体地， 如图 5所示， 分为两种情况， 分别如 （a) 和 （b ) 区域所示， 以左边 （a) 区域为例， 右边 （b) 区域类同。 当①②亮度接近， ③④亮度接近并且上下亮度差异较大 时 (阈值取 100来界定)， 那么上问号像素的亮度值取①②亮度的平均值 ： 下问号像素的亮 度值取③④亮度的平均值： 中问号像素的亮度值取③④亮度的平均值； 左问号像素的亮 度值等于③亮度值： 右问号像素的亮度值等于④亮度值。 以上规劑可保证以中间线为界 限， 上下颜色色域保持一致。

第:三情况规则： 若这四个像素均为边缘像素， 且这四个像素的亮度相互之间接近或 不接近（差值小于设定阈值或者差值大于设定 阈值）时， 则通过以下歩骤进行插值补偿- 将每列两个像素的亮度平均值赋值给该列的插 值像素； 将每行两个像素的亮度平均值赋 值给该行的插值像素； 将这四个像素的亮度平均值赋值给位于像素块 中间位置的中心插 值像素。 具体地， 如图 6所示， 分为如（a)和 （b )区域所示亮度接近和不接近的情况， 以左 像素块 （a) 区域为例， 当①②③④亮度接近时 (阈值取 00来界定)， 上、 下、 左、 右问 号像素的亮度值分别取上下或者左右原像素亮 度的平均值； 中问号像素的亮度值取 ①②③④亮度的平均值。 如图 6右像素块（b)区域所示， 当①②③④亮度都不接近时 (阈 值取 100来界定)， 规则类同。

(2 ) 三个顶点是边缘像素， 另一个不是边缘像素

规则说明； 若这四个像素中边缘像素的个数为三个， 且边缘方向为对角方向， 则通 过以下步骤进行插值补偿： 将这三个像素的亮度平均值赋值给位于像素块 中间位置的中 心插值像素； 将除了这三个像素以外的非边缘像素的亮度值 赋值给与之相邻的两个插值 像素； 将处于边缘方向的两个边缘像素中每个像素和 除这两个边缘像素外的另一边缘像 素的亮度平均值赋值给处于二者之间的插值像 素。

具体地， 如图 7所示的示意图， 由于边缘方向为对角方向的情况有四种，分别 如（a)、 (b) 、 ( c) 、 ( d) 四个区域所示， 以左上角 ύ) 区域为例， 其余类同。 上问号像素的 亮度值取①②亮度的平均值； 左问号像素的亮度值取①③亮度的平均值； 中问号像素的 亮度值取①②③亮度的平均值； 而下、 右问号像素的亮度值取右下角原像素的亮度值 。 原则是以边缘方 ^为分界线来保证两边颜色色域一致。

( 3 ) 两顶点为边缘像素， 另两个不是边缘像素

规则说明： 若这四个像素中边缘像素的个数为两个， 且边缘方向为对角方向， 则通 过以下歩骤进行插值补偿： 将这两个边缘像素的亮度平均值赋值给位于像 素块中间位置 的中心插值像素； 将另外两个非边缘像素中每个像素的亮度值赋 值给与之相邻的插值像 素。

或者是， 若这四个像素中边缘像素的个数为两个， 且边缘方向为列方向， 则通过以 下步骤进行插值补偿： 将这两个边缘像素的亮度平均值赋值给位于这 两个像素所在列的 插值像素； 将另夕卜两个非边缘像素的亮度平均值赋值给 位于像素块中间位置的中心插值 像素； 将另外两个非边缘像素中每个像素的亮度值赋 值给与之相邻的插值像素。 具体地， 如图 8所示， 边缘方向为对角方向的分为四种情况， 分别如 （a) 、 ( b) 、 ( c) 、 ( d) 四个区域所示， 边缘方向为列方向的分为两种情況， 分别如 （e) 和 ( f) 所 示。 以左上角 （a) 区域为例， 其余类同。 中问号像素的亮度值取②③亮度的平均值； 而 上、 左问号像素的亮度值等于左上角原像素的亮度 值； 下、 右问号像素的亮度值等于右 T角原像素的亮度值。 其目的为保持边缘一致性， 并使边缘处对比度提高。

虽然以上为定义的最优化规则， 但当实际插值补偿时， 当前插值规则会与前一点规 则或上一点规则发生互斥现象。 为了尽可能的对各个方向进行覆盖， 需要选取设定方向 进行规则互斥性分析。 选取的优选方向包括 0°、 22.5°、 45°、 67.5 \ 90°、 1 12,5°、 135°和 157.5°。

那么， 歩骤 S130进一步包括以下步骤： 对于每次插值补偿后的五个插值像素进行记 录， 选取设定方向进行互斥性分析， 判断当前插值补偿后的五个插值像素的赋值与 之前 的插值补偿后的赋值是否存在互斥， 并对出现互斥的插值像素进行处理。

具体地， 在设定方向选取在 45 ^: '至 9ίΓ范 时， 若当前插值 偿后的五个插值像素中 存在一个赋值还来自于之前的插值补偿的插值 像素， 且之前进行插值补偿的像素块位于 该插值像素的上方， 则该插值像素的赋值为当前插值 偿后的值； 若当前插值补偿后的 五个插值像素中存在一个赋值还来自于之前的 插值补偿的插值像素， 且之前进行插值补 偿的像素块位于该插值像素的左方， 则该插值像素的赋值为之前插值补偿后的值。

在另一个实施倒中， 在设定方^选取在 90°至】 80°范围时， 若当前插值补偿后的五个 插值像素中存在一个赋值还来自于之前的插值 补偿的插值像素， 旦之前进行插值补偿的 像素块位于该插值像素的上方， 则该插值像素的赋值为之前插值补偿后的值； 若当前插 值 偿后的五个插值像素中存在一个赋值还来自于 之前的插值补偿的插值像素， 且之前 进行插值 偿的像素块位干该插值像素的左方， 则该插值像素的赋值为当前插值补偿后 的值。

另外， 在设定方^选取在 45°至】 8(Γ范围之外时， 若当前插值补偿后的五个插值像素 中存在一个赋值还来自于之前的插值补偿， 旦之前进行插值补偿的像素块位于该插值像 素的上方或左方， 则该插值像素的赋值为之前插值 偿后的值。 下面对一个示倒进行说明以进一步说明互斥分 析。

下面以 45°方向为例， 如图 9所示。 对于图中的互斥 1 , 可以看出， 产生原因是当以左边四顶点中心为插值中心点 时， 右问号像素的亮度值等于右下角像素的亮度值 ， 而以右边四顶点中心为插值中心点时， 左问号像素的亮度值等于左上角像素的亮度值 ， 但这两次插值补偿是对同一点进行的， 敌规则产生了互斥。 为避免此冲突， 对规则进行进一步优化， 方法是每进行一次五问号 像素插值， 就将该过程记录保存下来， 供后续插值时进行规则比对， 比对 若发现在某 一点插值产生了互斥， 则保持前一规则不变。 此规则优化可保证边缘轮廓的一致性。 对 于互斥 2, 属于上下规则产生了互斥， 规则优化类同。

在设定方向为 45°〜90 当上下规则互斥时， 保持后 ·规则不变；

在设定方向为 90〜 180° , 当左右规剣互斥时， 保持后一规劑不变； 在设定方向为其余情况， 当上下或者左右规则发生互斥时， 保持前一规则不变。 另夕卜除了采用上述规则进行插值补偿的插值 像素外， 还剩余一些未补偿的像素， 优 选采用双三次插值方法对剩余的插值像素进行 插值补偿。 综上， 本发明方法通过先借由 4组 Sobel算子对接收的图像数据进行 4个方向的边缘 侦测， 并通过设置阈值来摒弃误判出来的边缘像素， 从而保证边缘信息的正确性； 接着 将边缘图像帧画面放大， 所插像素部分先用 0 灰阶进行替代， 而边缘像素信息直接保 留， 该过程能保证边缘轮廓的清晰度与完整性， 增强画面对比度而不牺牲影像品质； 然 后运用优化后的规则对前面所补的 0 灰阶像素进行插值补偿， 其过程综合考虑边缘像素 与周围像素影响。 本发明还提供了一图像超分辨率重构系统 11 , 具体如图 10所示。

该图像超分辨率重构系统 11包括： 边缘检测单元 100、 与边缘检測单元 100连接的 帧放大单元 200， 以及与帧放大単元 200连接的像素补偿单元 300。

其中， 边缘检测单元 i00， 其配置以对待处理的低分辨率图像进行边缘检 测， 得到 边缘像素帧。 具体地， 采 ffl索贝尔算子对待处理的低分辨率图像从四个 不同方向的边缘 进行检测。

帧放大单元 200， 其配置以保留检测出的边缘像素信息不变， 将所述边缘像素帧插 值放大， 放大后的图像在水平方向和垂直方向均是原边 缘像素帧的 2倍。

像素补偿单元 300, 其配置以根据不同的像素边缘， 对所插入的插值像素进行插值 补偿以得到高分辨率图像。 具体地， 像素补偿单元 300 迸一歩执行； 以五个待补偿的插值像素中位于像素块中 间位置的中心插值像素为基准， 按照设定的四个方向搜索与其临近的四个像素 中所包含 的边缘像素的信息， 之后按照相应规剣对五个插值像素进行插值补 偿， 其中， 规则为根 据这四个像素中所包含的边缘像素的个数， 以及边缘方向和 /或亮度信息所设定的规则。

该像素补偿单元 300针对不同的情况， 执行不同的插值补偿操作。

具体地， 若这四个像素均为边缘像素， 边缘方向为对角方向， 且处于边缘方向的两 个像素和另一像素彼此之间的亮度接近， 则该像素补偿单元 300 执行以下步骤进行插值 将这三个像素的亮度平均值赋值给位于像素块 中间位置的中心插值像素； 将除了这 三个像素以外的像素的亮度值赋值给与之相邻 的两个插值像素； 将处于边缘方向的两个 像素中每个像素和所述另一像素的亮度平均值 赋值给处于二者之间的插值像素。

若这四个像素均为边缘像素， 每行中两个像素的亮度接近且上下两行的亮度 差异 大， 则通过以下歩骤进行插值补偿- 将每行两个像素的亮度平均值赋值给所在行的 插值像素； 将下行的两个像素的亮度 平均值赋值给位于像素块中间位置的中心插值 像素； 将下行的两个像素中每个像素的亮 度值赋值给该像素所在列的插值像素。

若这四个像素均为边缘像素， 每列中两个像素的亮度接近且左右两列的亮度 差异 大， 剣通过以下步骤进行插值补偿- 将每列两个像素的亮度平均值赋值给所在列的 插值像素； 将左列的两个像素的亮度 平均值赋值给位于像素块中间位置的中心插值 像素； 将左列的两个像素中每个像素的亮 度值赋值给该像素所在行的插值像素。

若这四个像素均为边缘像素， 且这四个像素的亮度相互之间接近或不接近时 ， 劑通 过以下步骤进行插值补偿- 将每列两个像素的亮度平均值赋值给该列的插 值像素： 将每行两个像素的亮度平均 值赋值给该行的插值像素； 将这四个像素的亮度平均值赋值给位于像素块 中间位置的中 心插值像素。

若这四个像素中边缘像素的个数为三个， ϋ边缘方向为对角方向， 则通过以下歩骤 进行插值补偿：

将这:三个像素的亮度平均值赋值给位于像素� �中间位置的中心插值像素； 将除了这 三个像素以外的非边缘像素的亮度值赋值给与 之相邻的两个插值像素； 将处于边缘方向 的两个边缘像素中每个像素和除这两个边缘像 素外的另一边缘像素的亮度平均值赋值给 处于二者之间的插值像素。

若这四个像素中边缘像素的个数为两个， 旦边缘方向为对角方向， 则通过以下歩骤 进行插值补偿：

将这两个边缘像素的亮度平均值赋值给位于像 素块中间位置的中心插值像素： 将另 外两个非边缘像素中每个像素的亮度值赋值给 与之相邻的插值像素。

若这四个像素中边缘像素的个数为两个， 边缘方向为列方向， 剣通过以下歩骤进 行插值补偿：

将这两个边缘像素的亮度平均值赋值给位于这 两个像素所在列的插值像素； 将另外 两个非边缘像素的亮度平均值赋值给位于像素 块中间位置的中心插值像素； 将另外两个 非边缘像素中每个像素的亮度值赋值给与之相 邻的插值像素。

另外， 该像素补偿单元 300 中还执行以下操作： 对于每次插值 偿后的五个插值像 素进行记录； 选取设定方向进行互斥性分析， 判断当前插值补偿后的五个插值像素的赋 值与之前的插值补偿后的赋值是否存在互斥， 并对出现互斥的插值像素进行处理。

在设定方向选取在 45°至 9ίΓ范 时， 若当前插值补偿后的五个插值像素中存在一个 赋值还来自干之前的插值补偿的插值像素， 旦之前进行插值补偿的像素块位于该插值像 素的上方， 则该插值像素的赋值为当前插值补偿后的值： 若当前插值补偿后的五个插值 像素中存在一个赋值还来自于之前的插值补偿 的插值像素， 且之前进行插值补偿的像素 块位于该插值像素的左方， 则该插值像素的赋值为之前插值 偿后的值。

在设定方向选取在 90°至 180°范围时， 若当前插值补偿后的五个插值像素中存在一个 赋值还来自于之前的插值补偿的插值像素， 旦之前进行插值补偿的像素块位于该插值像 素的上方， 则该插值像素的赋值为之前插值补偿后的值： 若当前插值补偿后的五个插值 像素中存在一个赋值还来自于之前的插值补偿 的插值像素， 且之前进行插值补偿的像素 块位于该插值像素的左方， 则该插值像素的赋值为当前插值 偿后的值。

在设定方向选取在 45°至 180°范围之外时， 若当前插值 偿后的五个插值像素中存在 一个赋值还来自于之前的插值 偿， 旦之前进行插值补偿的像素块位于该插值像素 的上 方或左方， 则该插值像素的赋值为之前插值补偿后的值。 另外， 该像素补偿单元 300 中还执行以下操作： 采用双三次插值方法对剩余的插值 像素进行插值补偿。 本领域的技术人员应该明白， 上述的本发明的各模块或各步骤可以 通用的计算装 置来实现， 它 ί门可以集中在单个的计算装置上， 或者分布在多个 算装置所组成的网络 上， 可选地， 它们可以用计算装置可执行的程序代码来实现 ， 从而， 可以将它们存储在 存储装置中由 if算装置来执行， 或者将它们分别制作成各个集成电路模块， 或者将它们 中的多个模块或歩骤制作成单个集成电路模块 来实现。 这样， 本发明不限制于任何特定 的硬件和软件结合。 虽然本发明所揭露的实施方式如上， 但所述的内容只是为了便于理解本发明而采 的实施方式， 并非 ^以限定本发明。 任何本发明所属技术领域内的技术人员， 在不脱离 本发明所揭露的精神和范围的前提下， 可以在实施的形式上及细节上作任何的修改与 变 化， 但本发明的专利保护范围， 仍须以所 ϋ的权利要求书所界定的范圈为准。