本申请要求于 2019年 02月 28日提交中国专利局、申请号为 201910148574.6、 发明名称为“一种图像增强方法、 装置及存储介质”的中国专利申请的优先权， 其全 部内容通过引用结合在本申请中。

技术领域

本申请涉及图像处理领域， 具体涉及一种图像增强方法、 装置及存储介质。 发明背景

近年来， Pit着电子设备中拍摄技术的提升， 人们对于拍摄图像的质量要求也在 不断提升。由于光线不足或者背光等造成的曝 光不足不仅会对图像的质量产生影响， 并且会捕捉不至晞望捕捉的细节等等。 因此， 可以通过图像增强的方式， 提高图像 的质量。 目前对于图像增强的方式是采用原始图像到标 注图像的方式对网络模型进 行训练， 以得到可以增强图像的网络模型， 但这种方式训练网络模型的效率较低。 发明内容

有鉴于此， 本申请实施例提供了一种图像增强方法、 装置及存储介质， 能够提 高图像增强的效率。

第一方面， 本申请实施例提供了一种图像增强方法， 包括：

获取原始图像；

对所述原始图像的特征进行合成处理， 得到所述原始图像对应的第一光照图， 所述第一光照图的分辨率低于所述原始图像的 分辨率；

基于所述第一光照图， 获取用于将图像映射成第二光照图的映射关系 ； 基于所述映射关系对所述原始图像进行映射处 理， 得到第二光照图， 所述第二 光照图的分辨率与所述原始图像的分辨率相同 ；

根据所述第二光照图对所述原始图像进行图像 增强处理， 得到目标图像。

第二方面， 本申请实施例提供了一种图像增强装置， 包括：

获取模块， 用于获取原始图像；

特征合成模块， 用于对所述原始图像的特征进行合成处理， 得到所述原始图像 对应的第一光照图， 所述第一光照图的分辨率低于所述原始图像的 分辨率；

0央射关系获取模块， 用于基于所述第一光照图， 获取用于将图像映射成第二光 照图的映射关系；

映射模块， 用于基于所述映射关系对所述原始图像进行映 射处理， 得到第二光 照图， 所述第二光照图的分辨率与所述原始图像的分 辨率相同；

图像增强模块， 用于根据所述第二光照图对所述原始图像进行 图像增强处理, 得到目标图像。

第三方面， 本申请实施例樹共的存储介质， 其上存储有计算机程序， 当所述计 算机程序在计算机上运行时， 使得所述计算机执行如本申请任一实施例提供 的图像 增强方法。

本申请实施例获取原始图像， 对原始图像的特征进行合成处理， 得到原始图像 对应的第一光照图,第一光照图的分辨率低于� �始图像的分辨率,基于第一光照图， 获取用于将图像映射成第二光照图的映射关系 ， 基于映射关系对原始图像进行映射 处理， 得到第二光照图， 第二光照图的分辨率与原始图像的分辨率相同 ， 根据第二 光照图对原始图像进行图像增强处理， 得到目标图像。 该方案可以提高图像增强的 效率。

附图简要说明

为了更清楚地说明本发明实施例中的技术方案 ， 下面将对实施例描述中所需要 使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本发明的一些实 施例， 对于本领域技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据这些 附图获得其他的附图。

图 1是本申请实施例提供的图像增强方法的应用� �景示意图。

图 2是本申请实施例提供的图像增强方法的第一� �程示意图。

图 3是本申请实施例提供的图像增强方法的第二� �程示意图。

图 4是本申请实施例提供的图像增强方法的第三� �程示意图。

图 5是本申请实施例提供的第二光照图。

图 6是本申请实施例提供的卷积网络结构示意图� �

图 7是本申请实施例提供的图像增强充程示意图� �

图 8是本申请实施例提供的图像增强方法输入输� �示意图。

图 9是本申请实施例提供的第一实验结果示意图� �

图 10是本申请实施例提供的第二实验结果示意图� ��

图 11是本申请实施例提供的第三实验结果示意图� ��

图 12是本申请实施例提供的第四实验结果示意图� ��

图 13是本申请实施例提供的第五实验结果示意图� ��

图 14是本申请实施例提供的第六实验结果示意图� ��

图 15是本申请实施例提供的图像增强装置的第 _结构示意图。

图 16是本申请实施例提供的图像增强装置的第二� ��构示意图。

图 17是本申请实施例提供的网络设备示意图。 实施本发明的方式

请参照图式， 其中相同的组件符号代表相同的组件， 本申请的原理是以实施在 一适当的运算环境中来举例说明。 以下的说明是基于所例示的本申请具体实施例 ， 其不应被视为限制本申请未在此详述的其它具 体实施例。

在以下的说明中， 本申请的具体实施例将参考由一部或多部计算 机所执行的步 骤及符号来说明， 除非另有述明。 因此， 这些步骤及操作将有数次提到由计算机执 行， 本文所指的计算机执行包括了由代表了以一结 构化型式中的数据的电子信号的 计算机处理单元的操作。 此操作转换该数据或将其维持在该计算机的内 存系统中的 位置处， 其可重新配置或另外以本领域测试人员所熟知 的方式来改变该计算机的运 作。 该数据所维持的数据结构为该内存的实体位置 ， 其具有由该数据格式所定义的 特定特性。 但是， 本申请原理以上述文字来说明， 其并不代表为一种限制， 本领域 测试人员将可了解到以下所述的多种步骤及操 作亦可实施在硬件当中。

本文所使用的术语 "模块" 可看作为在该运算系统上执行的软件对象。 本文所 述的不同组件、 模块、 引擎及服务可看作为在该运算系统上的实施对 象。 而本文所 述的装置及方法可以以软件的方式进行实施， 当然也可在硬件上进行实施， 均在本 申请保护范围之内。

本申请中的术语 "第一〃、 "第二〃 和 "第三〃 等是用于区别不同对象， 而不是 用于描述特定 JII页序。 此外， 术语 "包括〃 和 "具有〃 以及它们任何变形， 意图在于 覆盖不排他的包含。 例如包含了一系列步骤或模块的过程、 方法、 系统、 产品或设 备没有限定于已列出的步骤或模块，而是某些 实施例还包括没有列出的步骤或模块， 或某些实施例还包括对于这些过程、 方法、 产品或设备固有的其它步骤或模块。

在本文中提及 "实施例〃 意味着， 结合实施例描述的特定特征、 结构或特性可 以包含在本申请的至少一个实施例中。 在说明书中的各个位置出现该短语并不一定 均是指相同的实施例， 也不是与其它实施例互斥的独立的或备选的实 施例。 本领域 技术人员显式地和隐式地理解的是,本文所描� �的实施例可以与其它实施例相结合。

本申请实施例提供一种图像增强方法， 该图像增强方法的执行主体可以是本申 请实施例提供的图像增强装置， 或者集成了该图像增强装置的网络设备， 其中该图 像增强装置可以采用硬件或者软件的方式实现 。 其中， 网络设备可以是智能手机、 平板电脑、 掌上电脑、 笔记本电脑、 或者台式电脑等设备。

图 1为本申请实施例提供的图像增强方法的应用� �景示意图。 图 1以图像增强 装置集成在网络设备中为例。 网络设备可以获取原始图像， 对原始图像的特征进行 合成处理， 得到原始图像对应的第一光照图， 第一光照图的分辨率低于原始图像的 分辨率， 基于第一光照图， 获取用于将图像映射成第二光照图的映射关系 ， 基于映 射关系对原始图像进行映射处理， 得到第二光照图， 第二光照图的分辨率与原始图 像的分辨率相同， 根据第二光照图对原始图像进行图像增强处理 ， 得到目标图像。

图 2为本申请实施例提供的图像增强方法的流程� �意图。 请参阅图 2, 本申请 实施例提供的图像增强方法的可以如下。

201、 获取原始图像。

其中， 原始图像为需要进行图像增强的图像。 原始图像可以为多种拍摄情况下 得到的图像。 比如， 原始图像可以包括拍摄时正常曝光的图像、 曝光不足的图像、 光线不足的图像或者背光的图像等等。 对原始图像中包括的内容可以不进行限定。

由于原始图像拍摄情况的多样化， 因此该图像增强方法可以对多种拍摄情况的 原始图像进行图像增强， 而不仅限于对正常曝光的图像进行图像增强， 从而扩大了 图像增强方法的适用范围。

其中， 获驅始图像的方式可以有多种。 比如， 可以从本地存储中获驅始图 像， 或者从网络侧设备获取原始图像， 等等。

在_实施例中， 比如， 还可以在通过摄像设备采集图像时， 选择当前采集到的 图像作为原始图像。 又比如， 当通过摄像设备采集图像并在图像拍摄界面 (如图像 预览界面) 中显示时， 可以截取当前界面显示的图像作为原始图像， 等等。

在一实施例中， 还可以从本地或者外部存储单元中获取原始图 像。 比如， 还可 以从本地图像数据库中获取原始图像。

其中， 图像增强可以通过对图像中有用信息进行增强 ， 以实现针对图像的应用 场合， 相应地改善图像的视觉效果。 图像增强可以通过有目的地强调图像的整体特 征或者局部特征， 将原来不清晰的图像变得清晰； 或者， 通过强调某些感兴趣的特 征， 以放大图像中不同物体特征之间的差别； 或者， 通过抑制不感兴趣的特征， 改 善图像质量， 丰富图像的信息量， 加强图像的判读和识别效果， 从而满足某些特殊 分析情况的需要。

202、 对原始图像的特征进行合成处理， 得到原始图像对应的第一光照图。 其中， 如图 5所示， 光照图 (illumination map) 是本征图像分解后的阴影图。 本征图像包括将原图像分解后得到的反射图和 照射图。 照射图是反应原图像光照情 况的图像， 反射图是指在变化的光照条件下能够维持不变 的图像部分， 即原图像去 掉高光后的图像。

其中， 第一光照图的分辨率低于原始图像的分辨率。 第一光照图可以为光照图 在一种分辨率下的图像形式。 其中， 该第一光照图可以为分辨率低于原始图像分辨 率的光照图， 比如， 第一光照图可以成为低分辨率光照图。 其中， 图像分辨率代表图像中存储的信息量， 可以通过每英寸图像内的像素点 数目表示图像分辨率。

由于目前采用深度学习的方法对图像进行图像 增强时， 通常是采用原始图像到 标注图像进行回归学习得到的网络模型进行图 像增强操作， 但是这样的方法， 会使 得网络模型的学习效率低， 网络模型的鲁棒性不强， 并且在图像对比度方面也存在 缺陷。

在一实施例中， 可以采用原始图像到光照图进行回归学习得到 的图像增强网络 模型， 进行图像增强操作。 采用原始图像到光照图进行回归学习得到的图 像增强网 络模型， 网络模型的学习效率高， 网络模型的鲁棒性强， 并且容易对图像进行更进 —步的操作。

该图像增强方法可以适用于图像增强网络模型 。 图像增强网络模型采用原始图 像到光照图之间的映射关系， 替代原始图像到标注图像之间的映射关系。 这种方式 的优势在于， 原始图像到光照图之间的映射， 通常具有相对简单的形式和已知的先 验。 因此， 使得该图像增强网络模型具有较强的泛化能力 ， 能够有效处理复杂摄影 条件下获取的不同情况的原始图像。

在实际应用中， 原始图像对应的第一光照图可以通过特征合成 得到。 比如， 可 以首先提取出原始图像的特征， 并对该提取出的特征进行特征合成， 生成第一光照 图。

在一实施例中， 比如， 可以通过包括卷积运算的网络结构对原始图像 的特征进 行特征提取。

其中， 由于在传统方法中， 通常采用调整图像直方图分布曲线的方法， 从全局 上对图像进行增强， 但是这种方法会导致局部过亮、 过曝、 过暗等问题， 并且生成 的图像颜色不会很鲜艳。

又由于增强曝光不足的图像需要同时对图像的 局部特征 （比如对比度、 细节清 晰度、阴影和高光，等等）和全局特征（比如 颜色分布、平均亮度和场景类别等等） 进行调整。 因此， 可以通过分别提取出原始图像的局部特征和全 局特征， 来提高图 像增强的准确性。

在一实施例中， 具体地， 步骤 "对所述原始图像的特征进行合成处理， 得到所 述原始图像对应的第一光照图" 可以包括：

基于卷积网络提取所述原始图像的局部特征和 全局特征；

对所觸部特征和所述全局特征进行特征合成， 得到所勝、始图像对应的第一 光照图。

其中， 卷积网络为可以对图像的特征进行提取的网络 结构， 比如， 卷积网络中 可以包括卷积层， 卷积层可以通过卷积运算提取图像的特征。

其中， 图像的局部特征是图像特征的局部表达， 图像的局部特征可以反应图像 具有的局部特性。 比如， 图像的局部特征可以包括对比度、 细节清晰度、 阴影和高

其中， 图像的全局特征可以表示图像整体的特征， 全局特征是相对于局部特征 而言的， 可以用于描述图像或者目标的颜色和形状等整 体特征。 比如， 图像的全局 特征可以包括颜色分布、 平均亮度和场景类别等等。

在实际应用中， 比如， 可以将原始图像输入卷积网络中， 提取出原始图像的局 部特征和全局特征， 之后将提取出的局部特征和全局特征进行特征 合成， 得到第一 光照图。

其中， 为了提高图像特征提取的准确性， 可以采用网络模型对图像的特征进行 提取。

在一实施例中， 具体地， 步骤 "基于卷积网络提取所述原始图像的局部特征� � 全局特征" 可以包括：

将所述原始图像输入至卷积网络；

基于所述初级特征提取网络对所勝、始图像进 行卷积运算， 提取出所舰始图 像的初级特征；

基于所述局部特征提取网络对所述初级特征进 行卷积运算， 提取出局部特征； 基于所述全局特征提取网络对所述初级特征进 行卷积运算， 提取出全局特征。 其中， 如图 6所示， 卷积网络可以包括初级特征提取网络、 局部特征提取网络 和全局特征提取网络， 其中， 局部特征提取网络和全局特征提取网络并联， 并与初 级特征提取网络串联。

其中， 初级特征提取网络为可以提取出原始图像初级 特征的网络模型， 比如， 该初级特征提取网络可以包括预训练好的 VGG16网络模型。 VGG16网络模型可以 包括 16层结构，比如 VGG16网络模型可以包括卷积眉、全连接层、池� ��层，等等。

在一实施例中， 可以基于预训练好的 VGG16网络模型对原始图像进行卷积运 算，提取出原始图像的初级特征。比如，可以 将原始图像输入 VGG16网络模型中， 通过卷积层进行卷积运算。 每经过一个卷积核扫描图像， 就生成一个新的矩阵。 之 后经过池化层缩小参数矩阵的尺寸， 从而减少最后全连层中的参数数量。 Pit后经过 全连接层， 提取出原始图像的初级特征。

在一实施例中， 还可以根据实际情况， 选择包括若干卷积层的其他类型网络模 型， 对原始图像进行卷积运算， 以提取原始图像的初级特征。

其中， 局部特征提取网络为可以提取出图像局部特征 的网络模型， 比如， 局部 特征提取网络可以包括两层卷积层， 可以采用卷积层进行局部特征的提取。 全局特 征提取网络为可以提取出全局特征的网络模型 ， 比如， 全局特征提取网络可以包括 两层卷积层和三层全连接层， 可以采用卷积层进行全局特征的提取。

在实际应用中， 比如， 可以将原始图像输入初级特征提取网络中， 提取出原始 图像的初级特征。 之后将初级特征同时输入并联的局部特征提取 网络和全局特征提 取网络中， 提取出局部特征和全局特征。

为了能够实时处理高分辨率图像， 可以使得大多数网络计算都在低分辨率中完 成， 比如， 可以通过下采样的方式对图像进行分辨率的转 换。

在一实施例中， 具体地， 步骤 "对所述原始图像的特征进行合成处理， 得到所 述原始图像对应的第一光照图" 可以包括：

对所述原始图像的像素进行下采样， 得到输入图像；

对所述输入图像的特征进行合成处理， 得到所述原始图像对应的第一光照图。 其中， 可以通过对图像进行下采样的操作以缩小图像 ， 使得图像符合显示区域 的大小， 并且生成对应图像的缩略图。 比如， 对于尺寸为 m*n的图像， 对该图像进 行 s倍下采样操作， 可以得到尺寸为 (m/s) * (n/s) 的低分辨率图像。 其中， s应当 为 m和 n的公约数。 当考虑矩阵形式的图像像素时， 图像的下采样就是把 s*s窗口 内的图像像素变成一个图像像素。 该像素点的值可以为 s*s窗口内所有图像像素的 均值， 还可以根据实际情况以其他计算方法获取像素 点的值， 等等。

在实际应用中， 比如， 可以在原始图像像素构成的矩阵中， 获取一个预设尺寸 s*s的矩阵，之后将预设尺寸矩阵内的像素变成 一个像素。这个像素可以根据预设规 则进行获取， 比如这个像素可以是预设尺寸矩阵内所有像素 的均值。 将整张原始图 像的像素都进行变换后， 可以得到下采样后的分辨率低于原始图像分辨 率的输入图 像。之后可以将该输入图像输入到卷积网络中 进行特征提取,以及进行后续的步骤。

203、 基于第一光照图， 获取用于将图像映射成第二光照图的映射关系 。

其中， 第二光照图的分辨率与原始图像的分辨率相同 。 第二光照图可以为光照 图在一种分辨率下的图像形式。 其中， 如图 5所示， 该第二光照图可以为分辨率与 原始图像分辨率相同的光照图， 比如， 第二光照图可以称为原分辨率光照图。

其中， 该映射关系可以将图像映射为光照图， 比如， 通过该映射关系可以实现 将原始图像映射为第二光照图。 比如， 该映射关系可以为一种矩阵式的映射关系， 为一种映射变换矩阵， 图与图之间可以通过这种映射关系实现映射变 换， 比如， 原 始图像可以根据该映射变换矩阵， 经过映射变换得到第二光照图。

在实际应用中， 可以基于第一光照图获取该映射关系。

其中， 为了提高图像增强的准确性， 可以通过双边网格的方式， 基于第一光照 图获取映射关系。

在一实施例中， 具体地， 步骤 "基于所述第一光照图， 获取映射关系" 可以包 括：

对所述第一光照图的像素进行采样， 得到采样后的像素；

将所述采样后的像素对应至双边网格中， 获取映射关系。

其中， 双边网格是通过对图像的空间域和亮度域进行 采样， 并划分成网格的一 种方式。 双边网格中的双边指的是空间和亮度。 离散处理后， 将图像中每个点的坐 标和亮度信息取整到对应的网格内。 通过在网格内进行滤波等处理， 再通过上采样 方法进行插值， 可以得到处理后的图像。

比如， 可以对第一光照图的像素进行空域和值域的采 样， 得到采样后的像素, 之后找到对应像素在网格中的位置， 并进行网格差值运算， 得到映射变换矩阵。

在一实施例中，具体地，步骤 "基于第一光照图，获取用于将图像映射成第� �光 照图的映射关系〃 可以包括： 利用预设的训练图像和所述训练图像对应的样 本增强 图像， 获得使所述训练图像对应的预测增强图像与样 本增强图像之间的损失信息满 足预设条件的所述映射关系； 其中， 所述预测增强图像为利用所述映射关系对所述 训练图像进行映射处理得到的增强图像。

一些实施例中，该损失信息可以是对比度损失 信息、平滑度损失信息、颜色损失 信息中的至少一个。

其中，对比度损失信息可以通过计算所述预测 增强图像与所述样本增强图像之 间的欧式距离获得，也可以通过计算所述训练 图像与还原图像之间的欧式距离获得, 还原图像是指利用所述映射关系对所述样本增 强图像进行逆映射 （也即， 去除增强 效果） 得到的图像。

平滑度损失信息可以通过对所述映射关系在各 个像素处的三个色彩通道的值 的空间变化量 （例如， 空间各方向上的变化量） 进行求和来获得。

颜色损失信息可以通过对预测增强图像与样本 增强图像中各个像素的色彩向 量之间的相似度进行求和来获得。色彩向量爵 旨，利用像素的各个色彩分量（例如， R、 G、 B分量） 组成的向量。

通过对图像的各个色彩通道同时进行优化， 可以提高图像增强的效果。

204、 基于映射关系对原始图像进行映射处理， 得到第二光照图。

其中， 为了提高图像增强的准确性， 可以通过双边网格的方式， 对原始图像进 行映射处理。

在一实施例中， 具体地， 步骤 "基于所述映射关系对所述原始图像进行映射� � 理， 得到第二光照图" 可以包括： 基于所述映射关系对所述原始图像进行映射处 理， 得到映射后图像； 对所述映射后图像进行上采样， 得到第二光照图。

其中， 双边网格上采样的原理是选择一个参考图像， 对参考图像任意一个空间 的像素进行空域和值域的采样， 然后找到其在网格中的位置， 通过三线性插值的方 法， 实现未知范围的亮度值的计算。

在实际应用中，比如，如图 7所示，可以根据第一光照图，得到映射变换� �阵， 之后可以通过该映射变换矩阵， 对原始图像进行映射处理， 得到映射后图像， 该映 射后图像为一种分辨率低于原始图像分辨率的 图像。 之后可以对该映射后图像进行 双边网格上采样操作， 在映射后图像像素的基础上， 在像素点之间采用合适的插值 算法插入新的元素， 得到第二光照图。

205、 根据第二光照图对原始图像进行图像增强处理 ， 得到目标图像。

其中， 目标图像可以为经过图像增强后获得的图像。

其中， 可以将图像的增强问题看作是寻找原始图像与 目标图像之间映射关系的 问题。 比如， 可以采用/代表目标图像对应的矩阵， 采用 I代表原始图像对应的矩 阵， 采用函数 F代表原始图像与目标图像之间的映射函数， 那么映射函数 F可以通 过下式进行表示：

I = F(I)

由于目标图像、 原始图像和第二光照图之间存在关系， 比如， 可以采用 S表示 第二光照图对应的矩阵，采用/表示目标图像� �应的矩阵，采用 I代表原始图像对应 的矩阵， SP么目标图像、 原始图像和第二光照图之间的关系可以如下式 所示：

7 = 5 *7

因此， 可以通过原始图像和第二光照图， 获得目标图像。 根据原始图像 I和第 二光照图 S , 获得目标图像 /可以如下式所示：

F(I) = S ¹ I

在一实施例中， 比如， 如图 7所示， 可以首先获取原始图像， 并对原始图像进 行下采样， 得到 256x256像素的输入图像。 之后将该输入图像输入至包括预训练好 的 VGG16网络模型的初级特征提取网络中，提取原� ��图像的初级特征，之后将该初 级特征分别输入并联的局部特征提取网络和全 局特征提取网络中， 提取出局部特征 和全局特征， 并将局部特征和全局特征进行合并操作， 得到第一光照图。 之后通过 双边网格上采样， 得到映射关系， 并根据这种映射关系， 得到第二光照图。 最后通 过公式 / ⁼ ,得到目标图像。通过这种方式增强图像,可以� ��速图像增强的过程, 从而提高图像增强的效率。

在一实施例中， 该图像增强方法还可以包括图像增强网络模型 的训练过程。 如 图 3所示， 该图像增强方法还可以包括如下流程。

301、基于图像增强网络模型和训练图像，获取 训练图像对应的预测增强图像。 其中， 训练图像可以为网络模型在训练过程中所应用 的图像， 该训练图像中包 括样本增强图像。 该样本增强图像为对训练图像进行的与图像增 强相关的标注。

其中， 获取训练图像的方式可以有多种。 比如， 可以从本地存储中获取训练图 像， 或者从网络侧设备获取训练图像， 还可以通过拍摄设备进行拍摄， 获取到训练 图像等等。

其中， 对训练图像进行标注的方式可以有多种。 强后， 获取到样本增强图像; 还可以通过专家对训练图像进行标注， 获取到样本增强图像等等。

其中， 预测增强图像可以为训练图像经过网络模型增 强后得至啲图像。 该预测 增强图像与真实的样本增强图像之间可以具有 一定的差异， 但这种差异可以通过对 网络模型进行训练而缩小。

在实际应用中， 比如， 可以将训练图像输入图像增强网络模型中， 获取到训练 图像对应的预测增强图像。 其中， 通过该图像增强网络模型进行训练图像的图像 增 强方法， 与通过该图像增强网络模型进行原始图像的图 像增强方法相同， 上文已经 叙述， 此处不再赘述。

在一实施例中， 还可以通过对训练图像进行随机裁剪的方式， 提高训练样本的 多样性。 比如， 还可以将训练图像随机裁剪为多张 512x512尺寸的图像， 以增加样 本的多样性。

其中， 可以通过提高训练图像的多样性， 提高网络模型的准确性。 训练图像中 可以包括多种拍摄情况的图像， 比如正常曝光、 曝光不足、 光线不足或者背光等多 种情况的图像， 根据这样的训练图像训练出的网络模型， 能够适应不同实际拍摄情 况下获取的图像。

在一实施例中， 比如， 可以通过获取标准条件数据集、 以及特殊条件数据集, 并根据标准条件数据集以及特殊条件数据集， 构建包括多种拍摄类型的切 I练图像。

其中， 标准条件数据集为包括正常曝光图像的数据集 ， 比如， 标准条件数据集 可以为 MIT- Adobe Five K Dataset, 该标准条件数据集中包括多张由一组不同摄影 师 用单反相机拍摄的原始格式的图像， 也就是说摄像机传感器记录的所有信息都会被 保存下来， 这些图像涵盖了广泛的场景、 主题和光照条件。 之后采用专门用于调整 图像的软件对拍摄的图像进行了重新润色， 从而获取到标准条件数据集。

在一实施例中， 比如， 标准条件数据集可以使用 MIT- Adobe Five K Dataset, 数 据集中训练样本的标注可以选择专家 C的标注。 但是由于标准条件数据集的创建主 要是为了增强一般图像， 而不是曝光不足的图像， 标准条件数据集中只包括很小的 -部分（约 4%）的未曝光图像， 因此标准条件数据集中缺乏特殊拍摄条件的情 况， 比 如夜间拍摄的图像和在非均匀光照情况下获取 的图像等等。为了增加样本的多样性, 还可以弓 I入特殊条件数据集。

其中， 特殊条件数据集为包括非正常曝光图像的数据 集， 比如， 特殊条件数据 集中可以包括曝光不足、 光线不足、 背光等特殊拍摄条件下获取的图像等等。 这种 特殊条件数据集可以包括多样的拍摄情况、 场景、 主题和样式等。 通过增加特殊条 件数据集， 可以对标准条件数据集中缺乏的图像种类进行 补充。

比如， 可以使用相机捕获分辨率为 6000x4000的图像，然后通过搜索 "曝光不 足〃、 "光线不足〃、 "背光〃 等关键字， 从图片分享数据库中收集大约 15%的图像。 之后专家利用图形工具软件为收集到的每一幅 图像进行重新润色， 得到对应的参考 图像， 建立特殊条件数据集。 最后， 可以将数据集中图像随机分成两个子集， 2750 张用于网络模型的训练， 2750张用于网络模型的测试。

根据标准条件数据集以及特殊条件数据集构建 的切 I练图像， 进行网络模型的训 练,可以使得训练后的网络模型适应多种拍摄� �况，从而提高了图像增强的准确性。

302、 基于目标损失函数获取预测增强图像与样本增 强图像之间的损失信息。 其中， 损失信息可以包括对比度损失信息、 颜色损失信息、 平滑度损失信息中 的一种或多种， 该损失信息可以表示预测增强图像与样本增强 图像之间的差异， 这 种差异可以通过对网络模型的训练缩小。

其中， 损失函数可以用来对网络模型的预测值与真实 值的不一致程度进行估量 的函数。 损失函数越小， 说明网络模型的鲁棒性越好。

在实际应用中， 比如， 可以通过目标损失函数， 对预测增强图像与样本增强图 像之间的损失信息进行获取， 该损失信息可以为预测增强图像与样本增强图 像之间 的差异， 通过网络模型的训练可以减少该损失信息。

其中， 该目标损失函数可以根据实际应用需求进行灵 活设置。 目前通常通过调 整图像的光照图， 进行光照图的局部平滑优化操作， 来增强图像。 但是这种方法会 造成一些光环的人工痕迹， 以及图像局部过度曝光的情况， 导致图像过度增强。

在一实施例中， 因此， 可以设计一种目标损失函数， 该目标损失函数可以包括 重构损失函数、 局部平滑损失函数、 以及颜色损失函数中的一种或几种损失函数。 通过对于光照图进行约束， 使得图像不会产生过度曝光， 过度增强的情况。

具体地， 该图像增强方法还可以包括：

基于所述图像增强网络模型和训练图像， 获取所述训练图像对应的预测增强图 像；

基于重构损失函数获取所述预测增强图像与样 本增强图像之间的对比度损失 信息， 所述样本增强图像为所述训练图像对应的增强 图像；

基于所述对比度损失信息对所述预测增强图像 与所述样本增强图像进行收敛, 得到训练后图像增强网络模型。

其中， 重构损失函数可以获取图像的对比度损失信息 ， 比如， 重构损失函数可 以通过度量欧式距离误差来获取。即,计算图� �增强网络模型生成的预测增强图像， 与经过专家标注的样本增强图像之间的欧氏距 离。

其中， 欧式距离为欧几里得空间中两点间直线的距离 。

在一实施例中， 比如， 可以根据欧式距离误差度量获取重构损失函数 。 比如， 可以采用 S表示预测增强图像对应的原分辨率光照图矩� �， 采用 ^{7 /} 表示样本增强图 像， 采用 ^7< 表示训练图像， 可以通过预测增强图像对应的原分辨率光照图 矩阵 S和 样本增强图像 相乘， 计算与训练图像 ^7< 之间欧式距离误差度量， 以得到重构损失 函数。 重构损失函数 的公式可以如下：

4 =|，, /,| ²

其中， 多通道光照范围可以为 PU ¹ , 样本增强图像 ^和训练图像 ⁷ 呻 的所有像素通道都被标准化为［0,1］。 中 ^# ｝表示像素颜色的通道， 可以包括 RGB （红绿蓝） 三种像素颜色通道。 由于 可以将 ^设为 S的下限， 以确 保图像经过图像增强后 ⁷ ^ 的所有颜色通道都以 1 为上限， 以此避免颜色超出色 域。 而将 1设置为 S的上限， 可以避免错误地使曝光不足的区域变暗。

在一实施例中， 还可以对重构损失函数中光照图的约束范围进 行调整， 以满足 不同情况的实际需求。 比如， 还可以通过对 S添加不同的约束， 以调节图像的亮暗 程度、 图像的颜色鲜艳程度， 等等。

通过重构损失函数， 可以使得获得的增强后图像更加清晰， 以及使得图像对比 度更好。 但是目标函数中仅仅包括重构损失函数， 仍然存在无法正确生成图像对比 度细节和图像准确颜色的风险。

因此， 在一实施例中， 还可以在目标损失函数中添加局部平滑损失函 数， 以提 升图像增强的准确性。

具体地， 该图像增强方法还可以包括：

基于所述图像增强网络模型和训练图像， 获取所述训练图像对应的预测增强图 像；

基于局部平滑损失函数获取所述预测增强图像 与样本增强图像之间的平滑度 损失信息， 所述样本增强图像为所述训练图像对应的增强 图像； 基于所述平滑度损失信息对所述预测增强图像 与所述样本增强图像进行收敛, 得到训练后图像增强网络模型。

由于在传统方法里， 通常利用调整图像的直方图分布曲线， 以及利用优化图像 的光照图局部平滑， 来进行图像增强， 但是这类方法通常使用单通道的光照图进行 图像增强,会导致对于图像颜色的把控出现偏� �,在图像颜色增强的方面出现欠缺。

因此， 可以通过对图像的 RGB三通道同时进行优化， 并利用网络模型的学习 能力， 对光照图进行学习的方式， 提高图像增强的准确性。

其中， 局部平滑损失函数可以获取图像的平滑度损失 信息， 该局部平滑损失函 数可以通过对图像像素三通道进行求和获取。

在实际应用中，可以通过对图像像素三通道求 和获取局部平滑损失函数，比如, 可以采用 P表示图像像素， 采用 S表示光照图， 局部平滑损失函数 ^的计算公式可 以如下：

其中，可以对像素的三通道进行求和得到局部 平滑损失函数 4 ,可以采用 和 表示图像空间水平和垂直方向的偏导数,采用 <和 表示像素三通道空间变化 的平滑度权重, 计算公式可以如下:

其中， ^是训练图像 的对数图像， 0 ^{= 1} _ ² 是控制图像灵敏度的参数， 个常量， 通常设置为 0.0001 , 以防止被零除。

其中， 采用局部平滑损失函数对网络模型进行训练， 可以减少过拟合， 提高网 络模型的泛化能力， 还可以恢复良好的图像对比度和图像中更清晰 的细节。

在一实施例中， 虽然重构损失函数中已经隐式地测量了色差的 欧式距离， 但是 欧式距离的度量仅可以对色差进行数值上的测 量， 而无法保证颜色向量方向一致， 因此可能导致明显的颜色不匹配。 为了准确还原图像中颜色信息， 还可以引入颜色 损失函数。

具体地， 该图像增强方法还可以包括：

基于所述图像增强网络模型和训练图像， 获取所述训练图像对应的预测增强图 基于颜色损失函数获取所述预测增强图像与样 本增强图像之间的颜色损失信 息， 所述样本增强图像为所述训练图像对应的增强 图像；

基于所述颜色损失信息对所述预测增强图像与 所述样本增强图像进行收敛， 得 到训练后图像增强网络模型。

其中， 颜色损失函数可以获取图像的颜色损失信息， 比如， 颜色损失函数可以 通过计算图像像素三通道构成的向量夹角来获 取。

在实际应用中， 可以通过图像像素三通道构成的向量夹角获取 颜色损失函数。 比如， 可以通过颜色损失函数使得经过网络模型得到 的预测增强图像与样本增强图 像之间的颜色相对应。 对于预测增强图像与样本增强图像， 可以将图像的 RGB值, 视为空间上的向量， 从而计算预测增强图像与样本增强图像对应颜 色通道向量之间 的夹角。 夹角越小， 说明向量之间的方向越接近。

在一实施例中，比如，可以采用 ^(/< )表示预测增强图像，采用 表示样本增强 图像， 颜色损失函数 的计算公式可以如下：

在一实施例中， 目标损失函数可以包括重构损失函数、 局部平滑损失函数、 以 及颜色损失函数， 比如， 可以采用 ^表示重构损失函数， 采用 表示局部平滑损失 函数， 采用 ^表示颜色损失函数，采用 L表示目标损失函数。 其中， 可以采用 表 示重构损失函数在训练中所占的权重，采用 ^表示局部平滑损失函数在训练中所占 的权重，采用％表示颜色损失函数在训练中所 占的权重。 目标损失函数的计算公式 可以如下所示：

在一实施例中，比如，可以使得图像增强网络 模型训练过程中， ^=1, ^=2, ® ^c =3。

303、基于损失信息对预测增强图像与样本增强 图像进行收敛，得到训练后图像 增强网络模型。

在实际应用中， 可以基于损失信息对预测增强图像与样本增强 图像进行收敛, 并得到训练后图像增强网络模型。

在一实施例中， 比如， 可以采用损失函数， 对预测增强图像与样本增强图像进 行收敛， 通过 P牵低预测增强图像与样本增强图像之间的误� �， 进行不断的训练， 以 调整权重至合适数值， 便可得到切 I练后图像增强网络模型。

通过图像增强方法对网络模型进行训练， 并采用训练后的网络模型进行图像的 增强， 可以加快网络运行的速度， 提升图像增强的效率， 并且不损害增强的效果， 提升图像增强的准确率。 采用上述方法切 I练出的网络模型可以通过对光照进行约束， 从而实现图像增强 效果的自定义。 比如， 可以通过增强局部平滑光照来增强对比度， 通过限制光照大 小来设置首选曝光级别， 等等。

在一实施例中， 该图像增强方法还可以通过调整损失函数中对 光照图的约束， 使得用户能够根据个人喜好对图像进行调整， 比如图像的亮暗、 图像中颜色的鲜艳 程度等等。

在一实施例中， 该图像增强方法还可以通过增加图像去噪处理 以及对图像完全 丟失细节的补充生成处理， 以获得增强效果更好的图像。

该图像增强方法可以广泛应用在各种拍摄条件 中， 对于白天暗光不足、 背光拍 摄的图像或者夜晚的原始图像， 都可以运用该图像增强方法进行增强。 还可以在拍 照的时彳 I吴解决部分光照不均匀的问题。 如图 8所示， 可以将原始图像输入， 通过该 图像增强方法可以直接得到增强后的目标图像 。 对于 1080P的高清大图也可以实时 进行图像增强处理， 因此， 该图像增强方法也可以拓展到对于挪顷中的图 像进行图 像增强。

该图像增强方法可以生成高质量的图像， 增强后图像具体表现在图像细节清晰、 对比度明显、 曝光适中、 不会产生局部过曝或者过暗等问题， 同时图像的颜色方面 更加鲜艳,更加美观。该图像增强方法可以处� �不同像素的图像,比如，可以对 1080P 大小的图像进行实时的增强， 还可以处理单反相机拍摄的分辨率 4k的图像。

在一实施例中， 将本申请的图像增强方法与五种最新的图像增 强方法进行正确 率的比较，五种最新的图像增强方法包括基于 Retinex的图像增强方法 JieP、基于深 度学习的图像增强方法 HDRNet、 DPE、 White-Box以及 Distort-and-Recover。 对于 以上方法都采用推荐的参数进行公开实验， 并分别得到图像增强结果， 其中， 对于 四种基于深度学习的图像增强方法， 都在特殊条件数据集和标准条件数据集上进行 了重新的训练。 实验结果表明， 本申请的图像增强方法正确率大约为其他方法 正确 率的三倍。

在一实施例中， 还进行了本申请图像增强方法与其他图像增强 方法之间的视觉 比较。 使用了两张特殊的图像进行视觉对比， 其中一张为曝光不均匀的图像， 该图 像中包括难以察觉的风车细节（该图像来自特 殊条件数据集），另一张为整体低光的 图像，该图像中包括少量的肖像细节（该图像 来自标准条件数据集）。将这两张图像 分别通过不同的图像增强方法进行图像增强后 ， 进行视觉对比。 对比结果显示， 本 申请的图像增强方法能够在前景和背景中恢复 更多的细节， 并得到更好的对比度， 且不会明显牺牲图像中过度曝光或者曝光不足 的部分图像。 其次， 本申请的图像增 强方法能够展现更生动自然的色彩， 使得经过图像增强后的图像效果更加逼真。 在一实施例中， 为了评估深度学习网络模型的学习效率和泛化 能力， 可以使用 PSNR（Peak Signal to Noise Ratio ,峰值信噪比）和 SSIM（structural similarity index, 结构相似性） 对多种图像增强方法进行度量。 为了保证度量结果的准确性， 将所有 图像增强方法的网络模型都在特殊条件数据集 和标准条件数据集上进行重新训练。 表一为在特殊条件数据集和标准条件数据集上 进行重新训练后， 多种图像增强方法 之间 PSNR和 SSIM的比较。 表二为在 MIT-Adobe FiveK Dataset数据集上进行重新 训练后， 多种图像增强方法之间 PSNR和 SSIM的比较。 如表一和表二所示， 本申 请的图像增强方法优于其他图像增强方法， 说明本申请的图像增强方法不仅能够适 用于特殊条件数据集， 而且可以推广至 U MIT-Adobe Five K Dataset数据集。

表 1

表 2

由表 1和表 2所示， 通过比较两表中包括三种损失函数的本申请图 像增强方法 和不包括三种损失函数的本申请图像增强方法 发现， 本申请图像增强方法在学习图 像到光照图的映射优于学习图像到图像的映射 。 另外， 表中还显示了损失函数种类 的不同， 对结果的改进情况， 从而证明了每种损失函数起到的作用。

在一实施例中，还进行了对用户评价的研究， 以进行图像增强方法之间的比较。 首先从图片分享数据库中通过 "City”、 "Flower”、 "Food”、 "Landscape”和 "Portrait” 等关键字搜索了 100张图像，这些图像中超过 50%的像素强度低于 0.3。然后使用多 种图像增强方法对上述图像进行图像增强， 并通过参与者对每种图像增强方法对应 的增强结果进行评级。 为了保证结果的准确性， 这些增强结果以随机的方式呈现给 参与者。

如图 9至图 14所示，参与者对图中所示的六个问题分别给� ��评分，从 1分至 5 分。 六个问题分别为 "容易辨认出图像中的细节吗？〃 "图像颜色鲜艳吗？〃 "结果 图像视觉上真实吗？〃 "结果图像是否没有过度曝光？〃 "结果图像比输入图像更吸 引人吗？ 〃 "你的总分是多少？ 〃。 每张图显示了特定问题的评分情况。 比较结果显 示， 本申请的图像增强方法获得的高分更多， 更受用户的青睐。

由上可知， 本申请实施例获取原始图像， 对原始图像的特征进行合成处理， 得 到原始图像对应的第一光照图， 第一光照图的分辨率低于原始图像的分辨率， 基于 第一光照图， 获取用于将图像映射成第二光照图的映射关系 ， 基于映射关系对原始 图像进行映射处理， 得到第二光照图， 第二光照图的分辨率与原始图像的分辨率相 同， 根据第二光照图对原始图像进行图像增强处理 ， 得到目标图像。 该方案通过深 度学习进行图像增强， 提高了图像增强的效率和准确性。 还通过对原始图像和标注 过的光照图进行回归学习， 获取图像增强所需的网络模型， 使得网络模型的训练更 加容易， 网络模型的鲁棒性更强， 并且便于对图像进行进一步的操作。 同时设计了 三种损失函数， 提升增强图像在颜色、 对比度方面的准确性。 并且通过在网络模型 训练过程中， 对光照图进行约束， 使得图像不会产生过度曝光、 过度增强的情况。

根据上述实施例所描述的方法， 以下将举例作进一步详细说明。

在本实施例中， 如图 4所示， 将以该图像增强装置具体集成在网络设备中为 例 进行说明。

401、 网络设备获取原始图像。

在实际应用中， 网络设备可以获取多种拍摄情况的原始图像进 行图像增强， 比 如， 原始图像可以为拍摄时正常曝光的图像、 曝光不足的图像、 光线不足的图像或 者背光的图像等等。 而不仅限于对正常曝光的图像进行图像增强， 从而扩大了图像 增强方法应用的广泛性。

在实际应用中， 网络设备获驅始图像的方式可以有多种， 比如， 可以从本地 存储中获取原始图像， 或者从网络侧设备获取原始图像， 等等。

在一实施例中， 比如， 网络设备还可以在通过摄像设备采集图像时， 选择当前 采集到的图像作为原始图像。 又比如， 当通过摄像设备采集图像并在图像拍摄界面 （如图像预览界面）中显示时，可以截取当前 界面显示的图像作为原始图像，等等。

在一实施例中， 网络设备还可以从本地或者外部存储单元中获 取原始图像； 比 如， 还可以从本地图像数据库中获取原始图像。

402、网络设备对原始图像的特征进行合成处理 ，得到原始图像对应的低分辨率 光照图。

由于目前采用深度学习的方法对图像进行图像 增强时， 通常是采用原始图像到 标注图像进行回归学习得到的网络模型进行图 像增强操作， 但是这样的方法， 会使 得网络模型的学习效率低， 网络模型的鲁棒性不强， 并且在图像对比度方面也存在 缺陷。

在实际应用中， 网络设备可以采用原始图像到光照图进行回归 学习得到的图像 增强网络模型， 进行图像增强操作。 采用原始图像到光照图进行回归学习得到的图 像增强网络模型， 网络模型的学习效率高， 网络模型的鲁棒性强， 并且容易对图像 进行更近一步的操作。

该图像增强方法可以适用于图像增强网络模型 。 图像增强网络模型采用原始图 像到光照图之间的映射关系， 替代原始图像到标注图像之间的映射关系。 这种方式 的优势在于， 原始图像到光照图之间的映射， 通常具有相对简单的形式和已知的先 验。 因此， 使得该图像增强网络模型具有较强的泛化能力 ， 能够有效处理复杂摄影 条件下获取的不同情况的原始图像。

在实际应用中， 原始图像对应的低分辨率光照图可以通过特征 合成得到。 网络 设备可以首先提取出原始图像的特征， 并对该提取出的特征进行特征合成， 生成低 分辨率光照图。

其中， 由于在传统方法中， 通常采用调整图像直方图分布曲线的方法， 从全局 上对图像进行增强， 但是这种方法会导致局部光亮、 过曝、 过暗等问题， 并且生成 的图像颜色不会很鲜艳。

又由于增强曝光不足的图像需要同时对图像的 局部特征 （比如对比度、 细节清 晰度、阴影和高光，等等）和全局特征（比如 颜色分布、平均亮度和场景类别等等） 进行调整。 因此， 可以通过分别提取出原始图像的局部特征和全 局特征， 来提高图 像增强的准确性。

在实际应用中， 网络设备可以将原始图像输入卷积网络中， 提取出原始图像的 局部特征和全局特征， 之后将提取出的局部特征和全局特征进行特征 合成， 得到低 分辨率光照图。

其中， 为了提高图像特征提取的准确性， 可以采用网络模型对图像的特征进行 提取。

其中， 如图 6所示， 卷积网络可以包括初级特征提取网络、 局部特征提取网络 和全局特征提取网络， 其中， 局部特征提取网络和全局特征提取网络并联， 并与初 级特征提取网络串联。

在实际应用中， 网络设备可以将原始图像输入包括预训练好的 VGG16网络结 构的初级特征提取网络中， 提取出原始图像的初级特征， 之后将初级特征同时输入 并联的局部特征提取网络和全局特征提取网络 中， 提取出局部特征和全局特征， 该 局部特征提取网络包括两层卷积层， 该全局特征提取网络包括两层卷积层和三层全 连接层。

为了能够实时处理高分辨率图像， 可以使得大多数网络计算都在低分辨率中完 成， 可以通过下采样的方式对图像进行分辨率的转 换。

在实际应用中， 网络设备可以在原始图像像素构成的矩阵中， 获取一个预设尺 寸 s*s的矩阵， 之后将预设尺寸矩阵内的像素变成一个像素， 这个像素可以根据预 设规则进行获取， 比如这个像素可以是预设尺寸矩阵内所有像素 的均值。 将整张原 始图像的像素都进行变换后， 可以得到下采样后的低分辨率输入图像。 之后可以将 该低分辨率输入图像输入到卷积网络中进行特 征提取， 以及进行后续的步骤。 403、网络设备基于低分辨率光照图，获取用于 将图像映射成第二光照图的映射 变换矩阵。

比如， 网络设备可以对低分辨率光照图的像素进行空 域和值域的采样， 得到采 样后的像素， 之后找到对应像素在网格中的位置， 并进行网格差值运算， 得到映射 变换矩阵。

404、网络设备基于映射变换矩阵对原始图像进 行映射处理,得到原分辨率光照 图。

其中， 为了提高图像增强的准确性， 可以通过双边网格的方式， 对原始图像进 行映射处理。

在实际应用中， 如图 7所示， 网络设备可以根据低分辨率光照图， 得到映射变 换矩阵， 之后可以通过这种映射关系， 对原始图像进行映射处理， 得到映射后的图 像， 该映射后的图像为一种低分辨率图像。 之后可以对该映射后图像进行双边网格 上采样操作， 在映射后图像像素的基础上， 在像素点之间采用合适的插值算法插入 新的元素， 得到原分辨率光照图。

405、网络设备根据原分辨率光照图对原始图像 进行图像增强处理，得到目标图 像。

其中， 可以将图像的增强问题看作是寻找原始图像与 目标图像之间映射关系的 问题。采用/代表目标图像对应的矩阵，采用 I代表原始图像对应的矩阵，采用函数 F代表原始图像与目标图像之间的映射函数， 那么映射函数 F可以通过下式进行表 示：

I = F(I)

由于目标图像、 原始图像和原分辨率光照图之间存在关系， 可以采用 S表示原 分辨率光照图对应的矩阵，采用 /表示目标图像对应的矩阵，采用 I代表原始图像对 应的矩阵， 那么目标图像、 原始图像和原分辨率光照图之间的关系如下式 所示：

I = S *I

因此， 网络设备可以通过原始图像和原分辨率光照图 ， 获得目标图像。 根据原 始图像 I和原分辨率光照图 S , 获得目标图像 /如下式所示：

F(I) = S ¹ I

在实际应用中， 如图 7所示， 网络设备首先获取原始图像， 并对原始图像进行 下采样， 得到 256x256像素的低分辨率输入图像。 之后将该低分辨率输入图像输入 至包括预训练好的 VGG16网络模型的初级特征提取网络中， 提取原始图像的初级 特征,之后将该初级特征分别输入并联的局部� �征提取网络和全局特征提取网络中， 提取出局部特征和全局特征， 并将局部特征和全局特征进行合并操作， 得到低分辨 率光照图。 之后通过双边网格上采样， 得到映射变换矩阵， 并根据映射变换矩阵， 得到原分辨率光照图。最后通过公式 得到目标图像。通过这种方式增强图 像， 可以加速图像增强的过程， 从而提高图像增强的效率。

在实际应用中， 该图像增强方法还包括图像增强网络模型的训 练过程， 该图像 增强方法还包括如下流程：

A、 网络设备基于图像增强网络模型和训练图像， 获取训练图像对应的预测增 强图像。

在实际应用中， 网络设备可以将训练图像输入图像增强网络模 型中， 获取到训 练图像对应的预测增强图像， 其中， 通过该图像增强网络模型进行训练图像的图像 增强方法， 与通过该图像增强网络模型进行原始图像的图 像增强方法相同， 上文已 经叙述， 此处不再赘述。

在实际应用中， 网络设备还可以通过对训练图像进行随机裁剪 的方式， 提高训 练样本的多样性。 将训练图像随机裁剪为多张 512x512尺寸的图像， 以增加样本的 多样性。

其中， 可以通过提高训练图像的多样性， 提高网络模型的准确性。 训练图像中 可以包括多种拍摄情况的图像， 比如正常曝光、 曝光不足、 光线不足或者背光等多 种情况的图像， 根据这样的训练图像训练出的网络模型， 能够适应不同实际拍摄情 况下获取的图像。

在实际应用中，网络设备可以通过获取标准条 件数据集、以及特殊条件数据集, 并根据标准条件数据集以及特殊条件数据集， 构建包括多种拍摄类型的切 I练图像。 标准条件数据集为包括正常曝光图像的数据集 ， 该标准条件数据集使用 MIT-Adobe Five K Dataset, 数据集中训练样本的标注选择专家 C的标注。 但是由于标准条件数 据集的创建主要是为了增强一般图像， 而不是曝光不足的图像， 标准条件数据集中 只包括很小的一部分（约 4%）的未曝光图像， 因此标准条件数据集中缺乏特殊拍摄条 件的情况， 比如夜间拍摄的图像和在非均匀光照情况下获 取的图像等等。 为了增加 样本的多样性， 引入特殊条件数据集。

其中， 特殊条件数据集为包括非正常曝光图像的数据 集， 比如， 特殊条件数据 集中可以包括曝光不足、 光线不足、 背光等特殊拍摄条件下获取的图像等等。 这种 特殊条件数据集可以包括多样的拍摄情况、 场景、 主题和样式等。 通过增加特殊条 件数据集， 可以对标准条件数据集中缺乏的图像种类进行 补充。

根据标准条件数据集以及特殊条件数据集构建 的切 I练图像， 进行网络模型的训 练,可以使得训练后的网络模型适应多种拍摄� �况，从而提高了图像增强的准确性。 B、 网络设备基于目标损失函数获取预测增强图像 与样本增强图像之间的损失 信息。

在实际应用中， 网络设备可以通过目标损失函数， 对预测增强图像与样本增强 图像之间的损失信息进行获取， 该损失信息可以为预测增强图像与样本增强图 像之 间的差异， 通过网络模型的训练可以减少该损失信息。

目前通常通过调整图像的光照图， 进行光照图的局部平滑优化操作， 来增强图 像。 但是这种方法会造成一些光环的人工痕迹， 以及图像局部过度曝光的情况， 导 致图像过度增强。 因此， 可以设计一种包括重构损失函数、 局部平滑损失函数、 以 及颜色损失函数的目标损失函数， 通过对于光照图进行约束， 使得图像不会产生过 度曝光， 过度增强的情况。

在实际应用中， 目标损失函数包括重构损失函数、 局部平滑损失函数、 以及颜 色损失函数，采用 ^表示重构损失函数，采用 ^表示局部平滑损失函数，采用 ^表 示颜色损失函数， 采用 L表示目标损失函数。 采用 ^表示重构损失函数在训练中所 占的权重，采用 表示局部平滑损失函数在训练中所占的权重， 采用 表示颜色损 失函数在训练中所占的权重。 目标损失函数的计算公式如下所示：

在实际应用中， 使得图像增强网络模型训练过程中， ^ =1 , ^ =2, =3。 在实际应用中,网络设备采用 S表示预测增强图像对应的原分辨率光照图矩� �， 采用 表示样本增强图像， 采用 ^/; 表示训练图像， 可以通过预测增强图像对应的原 分辨率光照图矩阵 S和样本增强图像 ^相乘， 计算与训练图像 ^7< 之间欧式距离误差 度量， 以得到重构损失函数。 重构损失函数 ^的公式可以如下：

,f

其中， 多通道光照范围可以 , 样本增强图像 ^和训练图像 ⁷ 呻 的所有像素通道都被标准化为［0 像素颜色的通道， 可以包括 RGB （红绿蓝） 三种像素颜色通道。 ^Ii , 可以将 ⁷ 设为 S的下限， 以确 保图像经过图像增强后 ⁷ ^ 的所有颜色通道都以 1 为上限， 以此避免颜色超出色 域。 而将 1设置为 S的上限， 可以避免错误地使曝光不足的区域变暗。

在实际应用中， 网络设备还可以对重构损失函数中光照图的约 束范围进行调整, 以满足不同情况的实际需求。 网络设备通过对 S添加不同的约束， 以调节图像的亮 暗程度、 图像的颜色鲜艳程度， 等等。 通过重构损失函数， 可以使得获得的增强后图像更加清晰， 以及使得图像对比 度更好。 但是目标函数中仅仅包括重构损失函数， 仍然存在无法正确生成图像对比 度细节和图像准确颜色的风险。

由于在传统方法里， 通常利用调整图像的直方图分布曲线， 以及利用优化图像 的光照图局部平滑， 来进行图像增强， 但是这类方法通常使用单通道的光照图进行 图像增强,会导致对于图像颜色的把控出现偏� �,在图像颜色增强的方面出现欠缺。

因此， 可以通过对图像的 RGB三通道同时进行优化， 并利用网络模型的学习 能力， 对光照图进行学习的方式， 提高图像增强的准确性。

其中， 局部平滑损失函数可以获取图像的平滑度损失 信息， 该局部平滑损失函 数可以通过对图像像素三通道进行求和获取。

在实际应用中， 网络设备通过对图像像素三通道求和获取局部 平滑损失函数, 采用 p表示图像像素， 采用 S表示光照图， 局部平滑损失函数 的计算公式可以如 下：

其中，网络设备对像素的三通道进行求和得到 局部平滑损失函数 4 ,采用 和 表示图像空间水平和垂直方向的偏导数,采用 <和 表示像素三通道空间变化 的平滑度权重, 计算公式可以如下:

其中， ^是训练图像 的对数图像， 0 ^{= 1} _ ² 是控制图像灵敏度的参数， 个常量， 通常设置为 0.0001 , 以防止被零除。

其中， 采用局部平滑损失函数对网络模型进行训练， 可以减少过拟合， 提高网 络模型的泛化能力， 还可以恢复良好的图像对比度和图像中更清晰 的细节。

虽然重构损失函数中已经隐式地测量了色差的 欧式距离， 但是欧式距离的度量 仅可以对色差进行数值上的测量， 而无法保证颜色向量方向一致， 因此可能导致明 显的颜色不匹配。 为了准确还原图像中颜色信息， 还可以引入颜色损失函数。

其中， 颜色损失函数可以获取图像的颜色损失信息， 颜色损失函数可以通过计 算图像像素三通道构成的向量夹角来获取。

在实际应用中， 网络设备可以通过图像像素三通道构成的向量 夹角获取颜色损 失函数， 比如， 可以通过颜色损失函数使得经过网络模型得到 的预测增强图像与样 本增强图像之间的颜色相对应。 对于预测增强图像与样本增强图像， 可以将图像的 RGB值，视为空间上的向量，从而计算预测增强 图像与样本增强图像对应颜色通道 向量之间的夹角， 夹角越小， 说明向量之间的方向越接近。

在实际应用中，采用 ^F(/< )表示预测增强图像，采用 表示样本增强图像，颜色 损失函数 的计算公式可以如下：

C、 网络设备基于损失信息对预测增强图像与样本 增强图像进行收敛， 得到训 练后图像增强网络模型。

在实际应用中， 网络设备可以基于损失信息对预测增强图像与 样本增强图像进 行收敛， 并得到训练后图像增强网络模型。

在实际应用中， 网络设备可以采用重构损失函数、 局部平滑损失函数、 以及颜 色损失函数， 对预测增强图像与样本增强图像进行收敛， 通过 P牵低预测增强图像与 样本增强图像之间的误差， 进行不断的训练， 以调整权重至合适数值， 便可得到训 练后图像增强网络模型。

通过图像增强方法对网络模型进行训练， 并采用训练后的网络模型进行图像的 增强， 可以加快网络运行的速度， 提升图像增强的效率， 并且不损害增强的效果， 提升图像增强的准确率。

采用上述方法切 I练出的网络模型可以通过对光照进行约束， 从而实现图像增强 效果的自定义， 比如， 可以通过增强局部平滑光照来增强对比度， 通过限制光照大 小来设置首选曝光级别， 等等。

在一实施例中， 该图像增强方法还可以通过调整损失函数中对 光照图的约束, 使得用户能够根据个人喜好对图像进行调整， 比如图像的亮暗、 图像中颜色的鲜艳 程度等等。

在一实施例中， 该图像增强方法还可以通过增加图像去噪处理 以及对图像完全 丟失细节的补充生成处理， 以获得增强效果更好的图像。

在实际应用中， 该图像增强方法需要拥有一个满足性能要求的 图形处理器 (GPU) , 并且需要配置好 TensorFlow深度学习平台， 在该深度学习平台上可以对 图像增强方法进行直接的运行。

该图像增强方法可以广泛应用在各种拍摄条件 中， 对于白天暗光不足、 背光拍 摄的图像或者夜晚的原始图像， 都可以运用该图像增强方法进行增强。 还可以在拍 照的时彳 I吴解决部分光照不均匀的问题。 如图 8所示， 可以将原始图像输入， 通过该 图像增强方法可以直接得到增强后的目标图像 。 对于 1080P的高清大图也可以实时 进行图像增强处理， 因此， 该图像增强方法也可以拓展到对于挪顷中的图 像进行图 像增强。 该图像增强方法可以生成高质量的图像， 增强后图像具体表现在图像细节清晰、 对比度明显、 曝光适中、 不会产生局部过曝或者过暗等问题， 同时图像的颜色方面 更加鲜艳,更加美观。该图像增强方法可以处� �不同像素的图像,比如，可以对 1080P 大小的图像进行实时的增强， 还可以处理单反相机拍摄的分辨率 4k的图像。

由上可知， 本申请实施例通过网络设备获取原始图像， 对原始图像的特征进行 合成处理， 得到原始图像对应的低分辨率光照图， 基于低分辨率光照图， 获取用于 将图像映射成第二光照图的映射变换矩阵， 基于映射变换矩阵对原始图像进行映射 处理， 得到原分辨率光照图， 根据原分辨率光照图对原始图像进行图像增强 处理， 得到目标图像。 该方案通过深度学习进行图像增强， 提高了图像增强的效率和准确 性。 还通过对原始图像和标注过的光照图进行回归 学习， 获取图像增强所需的网络 模型， 使得网络模型的训练更加容易， 网络模型的鲁棒性更强， 并且便于对图像进 行进一步的操作。 同时设计了三种损失函数， 提升增强图像在颜色、 对比度方面的 准确性。 并且通过在网络模型训练过程中， 对光照图进行约束， 使得图像不会产生 过度曝光、 过度增强的情况。

为了更好地实施以上方法， 本申请实施例还提供一种图像增强装置， 该图像增 强装置具体可以集成在网络设备中。

例如， 如图 15所示， 该图像增强装置可以包括获取模块 151、 特征合成模块 152、 0央射关系获取模块 153、 0央射模块 154和图像增强模块 155。

获取模块 151 , 用于获取原始图像；

特征合成模块 152, 用于对所述原始图像的特征进行合成处理， 得到所述原始 图像对应的第一光照图， 所述第一光照图的分辨率低于所述原始图像的 分辨率；

0央射关系获取模块 153 , 用于基于所述第_光照图， 获取用于将图像映射成第 二光照图的映射关系；

映射模块 154, 用于基于所述映射关系对所述原始图像进行映 射处理， 得到第 二光照图， 所述第二光照图的分辨率与所述原始图像的分 辨率相同；

图像增强模块 155 , 用于根据所述第二光照图对所述原始图像进行 图像增强处 理， 得到目标图像。

在一实施例中， 参考图 16, 所述特征合成模块 152, 可以包括：

特征提取子模块 1521 ,用于基于卷积网络提取所述原始图像的局部� �征和全局 特征；

特征合成子模块 1522,用于对所述局部特征和所述全局特征进行� ��征合成，得 到所述原始图像对应的第一光照图。

具体实施时，以上各个单元可以作为独立的实 彳本来实现，也可以进行任意组合， 作为同一或若干个实彳本来实现,以上各个单� �的具体实施可参见前面的方法实施例, 在此不再赘述。

由上可知， 本申请实施例通过获取模块 151获取原始图像， 通过特征合成模块 152对原始图像的特征进行合成处理， 得到原始图像对应的第一光照图， 第一光照 图的分辨率低于原始图像的分辨率， 通过映射关系获取模块 153基于第一光照图， 获取用于将图像映射成第二光照图的映射关系 ， 通过映射模块 154基于映射关系对 原始图像进行映射处理， 得到第二光照图， 第二光照图的分辨率与原始图像的分辨 率相同， 通过图像增强模块 155根据第二光照图对原始图像进行图像增强处 理， 得 到目标图像。该方案通过深度学习进行图像增 强,提高了图像增强的效率和准确性。 还通过对原始图像和标注过的光照图进行回归 学习，获取图像增强所需的网络模型, 使得网络模型的训练更加容易， 网络模型的鲁棒性更强， 并且便于对图像进行进一 步的操作。同时设计了三种损失函数，提升增 强图像在颜色、对比度方面的准确性。 并且通过在网络模型训练过程中,对光照图进� �约束，使得图像不会产生过度曝光、 过度增强的情况。

本申请实施例还提供一种计算机设备， 该计算机设备可以为服务器或终端等设 备， 其集成了本申请实施例所提供的任一种图像增 强装置， 例如上文所述的网络设 备。 如图 17所示， 图 17是本申请实施例提供的计算机设备的结构示� ��图， 具彳本来 讲：

该计算机设备可以包括一个或者一个以上处理 核心的处理器 171、 一个或一个 以上计算机可读存储介质的存储器 172、 电源 173和输入单元 174等部件。 本领域 技术人员可以理解，图 17中示出的计算机设备结构并不构成对网络设� ��的限定，可 以包括比图示更多或更少的部件，或者组合某 些部件，或者不同的部件布置。其中： 处理器 171是该计算机设备的控制中心， 利用各种接口和线路连接整个计算机 设备的各个部分， 通过运行或执行存储在存储器 172内的软件程序和 /或模块， 以及 调用存储在存储器 172内的数据， 执行计算机设备的各种功能和处理数据， 从而对 计算机设备进行整体监控。 可选的， 处理器 171可包括一个或多个处理核心； 优选 的， 处理器 171可集成应用处理器和调制解调处理器， 其中， 应用处理器主要处理 操作系统、 用户界面和应用程序等， 调制解调处理器主要处理无线通信。 可以理解 的是， 上述调制解调处理器也可以不集成到处理器 171中。

存储器 172可用于存储软件程序以及模块， 处理器 171通过运行存储在存储器

172的软件程序以及模块， 从而执行各种功能应用以及数据处理。 存储器 172可主 要包括存储程序区和存储数据区， 其中， 存储程序区可存储操作系统、 至少一个功 能所需的应用程序 （比如声音播放功能、 图像播放功能等） 等； 存储数据区可存储 根据网络设备的使用所创建的数据等。 此外， 存储器 172可以包括高速随机存取存 储器， 还可以包括非易失性存储器， 例如至少一个磁盘存储器件、 闪存器件、 或其 他易失性固态存储器件。 相应地， 存储器 172还可以包括存储器控制器， 以提供处 理器 171对存储器 172的访问。

计算机设备还包括给各个部件供电的电源 173。 其中， 电源 173可以通过电源 管理系统与处理器 171逻辑相连， 从而通过电源管理系统实现管理充电、 放电、 以 及功耗管理等功能。 电源 173还可以包括一个或一个以上的直充或交充电 源、 再充 电系统、电源故障检测电路、电源转换器或者 逆变器、电源状态指示器等任意组件。

该计算机设备还可包括输入单元 174, 该输入单元 174可用于接收输入的数字 或字符信息， 以及产生与用户设置以及功能控制有关的键盘 、 鼠标、 操作杆、 光学 或者轨迹球信号输入。

尽管未示出， 计算机设备还可以包括显示单元等， 在此不再赘述。 具体在本实 施例中， 计算机设备中的处理器 171会按照如下的指令， 将一个或一个以上的应用 程序的进程对应的可执行文件加载到存储器 172中， 并由处理器 171来运行存储在 存储器 172中的应用程序， 从而实现各种功能， 如下：

获取原始图像， 对原始图像的特征进行合成处理， 得到原始图像对应的第一光 照图， 第一光照图的分辨率低于原始图像的分辨率， 基于第一光照图， 获取用于将 图像映射成第二光照图的映射关系， 基于映射关系对原始图像进行映射处理， 得到 第二光照图， 第二光照图的分辨率与原始图像的分辨率相同 ， 根据第二光照图对原 始图像进行图像增强处理， 得到目标图像。

以上各个操作的具体实施可参见前面的实施例 ， 在此不再赘述。

由上可知， 本申请实施例获取原始图像， 对原始图像的特征进行合成处理， 得 到原始图像对应的第一光照图， 第一光照图的分辨率低于原始图像的分辨率， 基于 第一光照图， 获取用于将图像映射成第二光照图的映射关系 ， 基于映射关系对原始 图像进行映射处理， 得到第二光照图， 第二光照图的分辨率与原始图像的分辨率相 同， 根据第二光照图对原始图像进行图像增强处理 ， 得到目标图像。 该方案通过深 度学习进行图像增强， 提高了图像增强的效率和准确性。 还通过对原始图像和标注 过的光照图进行回归学习， 获取图像增强所需的网络模型， 使得网络模型的训练更 加容易， 网络模型的鲁棒性更强， 并且便于对图像进行进一步的操作。 同时设计了 三种损失函数， 提升增强图像在颜色、 对比度方面的准确性。 并且通过在网络模型 训练过程中， 对光照图进行约束， 使得图像不会产生过度曝光、 过度增强的情况。

本领域普通技术人员可以理解， 上述实施例的各种方法中的全部或部分步骤可 以通过指令来完成， 或通过指令控制相关的硬件来完成， 该指令可以存储于一计算 机可读存储介质中， 并由处理器进行加载和执行。

为此， 本申请实施例提供一种存储介质， 其中存储有多条指令， 该指令能够被 处理器进行加载， 以执行本申请实施例所提供的任一种图像增强 方法中的步骤。 例 如， 该指令可以执行如下步骤：

获取原始图像， 对原始图像的特征进行合成处理， 得到原始图像对应的第一光 照图， 第一光照图的分辨率低于原始图像的分辨率， 基于第一光照图， 获取用于将 图像映射成第二光照图的映射关系， 基于映射关系对原始图像进行映射处理， 得到 第二光照图， 第二光照图的分辨率与原始图像的分辨率相同 ， 根据第二光照图对原 始图像进行图像增强处理， 得到目标图像。

以上各个操作的具体实施可参见前面的实施例 ， 在此不再赘述。

其中， 该存储介质可以包括： 只读存储器 (ROM, Read Only Memory) , Pit机 存取记忆体 (RAM, Random Access Memory)、 磁盘或光盘等。

由于该存储介质中所存储的指令， 可以执行本申请实施例所提供的任一种图像 增强方法中的步骤， 因此， 可以实现本申请实施例所提供的任一种图像增 强方法所 能实现的有益效果， 详见前面的实施例， 在此不再赘述。

以上对本申请实施例所提供的一种图像增强方 法、 装置及存储介质进行了详细 介绍， 本文中应用了具体个例对本申请的原理及实施 方式进行了阐述， 以上实施例 的说明只是用于帮助理解本申请的方法及其核 心思想； 同时， 对于本领域的技术人 员，依据本申请的思想，在具体实施方式及应 用范围上均会有改变之处，综上所述， 本说明书内容不应理解为对本申请的限制。