技术领域 本发明涉及图像信息处理技术领域， 更具体的说，是涉及一种低分辨率视 频的服装识别方法及系统。

背景技术 随着科技的不断进步， 传统的生物识别技术已经难以满足安全敏感场 合 (如部队大院、 武警大院等军事管辖区）的安全防护的要求。 因此， 提出了对 能实现自动实时识别人物身份的智能视觉监控 系统的需求，近年来非接触式远 距离的人物身份识别技术备受研究人员的广泛 关注， 也得到了相应的发展。

当前， 主要在多模式、 大范围的视觉监控技术实现远距离的人员检测 、 分 类与识别技术方面进行相关研究。 具体包括 "基于步态的身份识别" 和 "基于 人脸识别基础的身份识别" 的两种方式。

其中， 由于针对基于步态的远距离人员身份识别， 需要建立丰富的步态知 识库。 因此， 无法满足在人员数量大又有制服区分的场合， 实现非接触式远距 离的人物身份识别的要求。

基于人脸识别基础的身份识别， 主要采用多级检测体系， 大致分为四级： 人脸检测、 军装区域检测、饰物检测及领花识别， 并在执行每一级的过程中过 滤掉大量无关数据， 以提高检测精度和效率。 其具体识别过程如图 1所示， 在 人脸检测后得到的人脸数据为下一级执行军装 区域检测服务；在军装区域检测 后得到的军装区域掩码为下一级饰物及领花检 测服务。

在现有技术上述基于人脸识别基础的身份识别 过程中所进行的服装识别， 需要先进行人脸识别， 然后再根据饰物领花特征进行军装识别。 但是， 在进行 人脸识别和军装的识别， 要求高分辨率、 背景效果好的图像， 如针对低分辨率 图像， 识别准确率将降低且漏检率高。 而且该方法适用于图像， 而非视频进行 服装识别， 因此无法满足或无法适应视频乃至低分辨率视 频中的服装识别。 发明内容 有鉴于此， 本发明提供了一种低分辨率视频的服装识别方 法及系统， 以克 服采用现有技术中基于人脸识别的方法，无法 实现低分辨率视频中的人物服装 及身份识别的问题。

为实现上述目的， 本发明提供如下技术方案：

一种低分辨率视频的服装识别方法， 包括：

确定接收到的视频流中的当前时间序列，提 取所述视频流中的前景图像，从所 述前景图像中确定人体目标， 并提取所述人体目标的轮廓信息；

分解所述人体目标的轮廓信息，依据预设服装 类别提取所述人体目标的轮 廓信息中各分块对应的服装特征值； 帧中各分块的服装类别；

融合所述各分块的服装类别， 并依据预存储的服装类别进行投票判决，确 定当前时间序列中所述人体目标的服装类别；

返回执行确定所述视频流中的当前时间序列这 一步骤，获取所述视频流中 不同时间序列中各帧中同一人体目标的服装类 别进行融合，并依据预存储的服 装类别进行投票判决， 确定所述运动目标的服装类别。

一种低分辨率视频的服装识别系统， 包括：

提取装置， 用于确定接收到的视频流中的当前时间序列， 以及提取所述视 频流时间序列的前景图像，从所述前景图像中 确定人体目标， 并提取所述人体 目标的轮廓信息；

分解装置， 用于分解所述人体目标的轮廓信息，依据预设 服装类别提取所 述人体目标的轮廓信息中各分块对应的服装特 征值；

比较识别装置，用于将获取到的各分块的服装 特征值与预设服装特征阈值 进行比较， 识别当前帧中各分块的服装类别；

融合装置，用于融合所述视频流中同一时间序 列或不同时间序列中各帧所 述各分块的服装类别；

判决装置， 用于依据预存储的服装类别进行投票判决，确 定当前时间序列 中所述人体目标的服装类别；以及不同时间序 列各帧中同一人体目标的服装类 别进行融合后， 所述人体目标的服装类别的判决。

经由上述的技术方案可知， 与现有技术相比， 本发明公开了一种低分辨率 视频的服装识别方法及系统。 基于时空分类器融合技术， 首先， 提取获取到的 视频流中的前景图像， 以及提取运动的人体的轮廓信息； 然后， 依据提取的轮 廓信息进行运动人体目标的识别；通过对视频 帧中同一帧图像内同一人体目标 的不同分块， 分别进行多点特征识别进行处理， 并对识别结果进行投票判决； 最后根据视频流内多帧图像中同一人体目标的 判决结果进行投票判决，最终确 定该人体目标的服装类别。通过上述本发明基 于时空分类器融合技术，根据背 景模型进行运动人体目标识别的方法对算法进 行预处理，能够排除视频背景中 与识别目标颜色相近的物体， 降低干扰。 同时综合考虑多个服装特征， 基于运 动检测、人体识别和服装识别，对同一人体目 标多个视频帧中的服装特征判决 的结果， 最终确定该运动目标的服装类别， 从而实现高效率、 高质量， 高准确 度的身份及服装识别目的。

附图说明 为了更清楚地说明本发明实施例或现有技术中 的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作筒单 地介绍，显而易见地， 下面描述 中的附图仅仅是本发明的实施例，对于本领域 普通技术人员来讲，在不付出创 造性劳动的前提下， 还可以根据提供的附图获得其他的附图。

图 1为现有技术公开的一种基于人脸识别的身份� �别的方法流程图； 图 2为本发明实施例公开的一种低分辨率视频的� �装识别方法的流程图； 图 3为本发明实施例公开的提取前景图像的流程� �；

图 4a~ 4c为本发明实施例公开人体目标的识别流程中� ��效果图； 图 5为本发明实施例公开的进行多种特征信息提� �的流程图；

图 6为本发明实施例公开的进行多特征弱分类器� �合的流程图； 图 7 为本发明实施例公开的最终完成低分辨率视频 中服装识别处理的效 果图；

图 8为本发明实施例公开的一种低分辨率视频的� �装识别系统的框架图。 具体实施方式 下面将结合本发明实施例中的附图，对本发明 实施例中的技术方案进行清 楚、 完整地描述， 显然， 所描述的实施例仅仅是本发明一部分实施例， 而不是 全部的实施例。基于本发明中的实施例， 本领域普通技术人员在没有做出创造 性劳动前提下所获得的所有其他实施例， 都属于本发明保护的范围。

本发明以下实施例公开了一种低分辨率视频的 服装识别方法和系统，基于 时空分类器融合技术， 能够对各种制服、 普通服装、 迷彩服等进行识别分类， 并采用高效率、 高质量、 且可靠准确的方式实现最终的人物身份信息的 识别。 具体过程通过以下实施例进行详细说明。 实施例一

请参阅附图 2, 为本发明公开的一种低分辨率视频的服装识别 方法的流程 图， 主要包括以下步骤：

步骤 S101 , 提取接收到的视频流中的前景图像。

请参见附图 3 , 执行步骤 S101的具体过程为：

步骤 S1011 , 将视频流读取至计算机或相关可进行分析的设 备中， 分解获 取到的视频流， 按照时间序列得到多个单帧视频序列。

步骤 S1012, 获取多个所述单帧视频序列对应的前景图像。 针对该步骤 S1012中获取一个单帧视频序列对应的前景图像� ��过程为： 首先， 根据视频序 列的内容，对视频进行背景建模；其次，确定 当前单帧视频序列和当前背景帧； 其次，依据当前帧视频序列与背景帧之间的差 值，确定所述当前单帧视频序列 对应的前景图像； 最后， 为保证下一帧中的背景帧的准确， 根据当前单帧视频 序列更新背景帧， 该更新过程为实时更新。

需要说明的是， 上述所确定的当前背景帧， 其确定的过程为： 采用单高斯 或混合高斯方法实现的背景建模。并进一步的 采用帧差原理依据当前单帧视频 序列与背景帧的差值获取对应的前景图像。

上述对视频进行背景建模可以采用单高斯、 混合高斯、 Kernel-based、 Eigen-Background等方法。在本发明所公开的该实� �例中采用混合高斯的方法 进行背景建模， 即获取背景帧， 该混合高斯模型的定义为：

其中， 是第 j个高斯核权重； K为高斯核个数； ；;(; ^;∑ 是中值为 /、 方差为∑ 的第 j个高斯分布。 上述（1 ) 式表示为： 在 N时刻， 每个像素拥有 _¾ 的概率 PC^^ K个高 斯混合所描述， 以便于用于视频流中的背景建模。

采用上述过程对运动物体的前景图像进行提取 ，即通过视频图像与背景图 像相减实现前景图像的提取， 即采用帧差的方式可以提高前景图像提取的效 果， 进而获得较为准确的运动目标的前景图像， 即轮廓前景图像。

此外， 为了消除在提取前景图像的过程中噪声和空洞 等因素的影响， 采用 滤波方法去除噪声； 采用数学形态学方法去除空洞，从而得到效果 更好的运动 目标的前景图像。 执行上述过程后的效果图如图 4a~ ® 4c所示， 其中， 图 4a 为视频图像； 图 4b为背景图像（背景帧）； 图 4c为当前运动目标对应的前景 图像。

步骤 S102, 确定所述视频流中的当前时间序列， 从所述前景图像中确定 运动目标， 并提取运动人体目标的轮廓信息。其中人体目 标一般情况下指运动 的人体， 即当前时间序列中出现在前景图像中的人体。

在执行步骤 S102的过程中获取的轮廓信息基于人体目标的� �廓宽度和轮 廓高度确定。 且具体提取人体目标的轮廓信息的过程为： 首先， 从所述前景图 像中提取运动物体的特征，按照运动物体的宽 度和高度的比例进行分析，识别 运动的人体； 然后， 分析获取所述人体的轮廓信息。

更具体的说明为： 根据平面几何知识提取运动物体的轮廓特征。 将每个运 动物体的轮廓最左边的点和最右边的点之间的 距离作为物体的宽度；将最上面 的点与最下面的点之间的距离作为运动物体的 高度。 计算运动物体的长宽比， 并将获取到的各个运动物体的长宽比与常规人 体的肩宽、身高比例的阈值进行 对比， 排除车辆等其他运动物体， 确定运动目标， 即运动人体， 并从中提取运 动人体的轮廓信息。

采用上述步骤 S101和步骤 S102中前景图像的提取方法，以及识别前景图 像中的运动目标的方式， 以及针对运动目标的预处理（设置常规人体的 肩宽、 身高比例的阈值 ), 能够有效的克服树木、 建筑物等物体对识别结果的影响， 以及降低运动物体中非运动人体对识别运动人 体的干扰。

步骤 S103 , 分解所述人体目标的轮廓信息， 依据预设服装类别提取所述 人体目标的轮廓信息中各分块对应的服装特征 值。 较， 识别当前帧中各分块的服装类别。

步骤 S105 , 融合所述各分块的服装类别， 并依据预存储的服装类别进行 投票判决， 确定当前时间序列中所述人体目标的服装类别 。

其中， 针对上述各个分块的多种特征信息提取、 融合以及识别的过程。 多 种特征信息提取具体针对步骤 S103 , 请参见附图 5 , 主要包括以下步骤： 步骤 S1031 , 分解所述人体的轮廓信息， 按照人体生物特征对人体进行分 块。

步骤 S1032, 进行特征值训练， 依据预设服装类别进行对应的服装特征值 的计算。

步骤 S1033 , 提取所述人体的轮廓信息中各分块对应的服装 特征值。

识别当前帧中各分块的服装类别针对步骤 S104, 识别和确定当前时间序 列中所述人体目标的服装类别则针对步骤 S105 , 且对各个分块的多种特征信 息的融合也针对步骤 S105。 程， 也可以具体为： 首先， 根据执行步骤 S102获取的人体目标， 确定其中一 个人体目标。 分解确定的人体目标的轮廓信息， 即对同一个人体进行分块， 如 将该人体按照人体特征分为胳膊、上衣、裤子 等部分进行分块（如步骤 S1031 ); 然后， 进行各个分块中的服装特征值的计算和提取； 再对不同分块服装类别进 行识别， 并将各个分块的服装类别进行融合。 即基于时空分类器融合技术实现 该融合； 最后通过大数判决进行投票判决，确定当前时 间序列中所述人体目标 的服装类别。

上述过程可筒单记载为： 针对视频流中同一帧图像中， 同一个人体目标不 同分块的服装类别， 利用图像空间相关性， 对多块识别结果进行投票判决， 运 用大数判决对同一人体的多个识别结果进行融 合汇总， 得到服装识别结果。

另外， 对于低分辨率视频来说， 任何一种特征都稳定性都不高， 因此， 为 保证对低分辨率视频中的运动目标的服装识别 ，在本发明中利用多个弱分类器 融合级联成对于单块图像稳定的强分类器， 以实现对分块图像进行服装识别。 具体进行多特征弱分类器融合的过程可参见附 图 6。

针对各分块中对应的服装特征值，在本实施例 中选取颜色和纹理特征作为 分类特征进行特征值的计算， 该计算过程对应图 5中的特征值计算部分。

首先，针对不同类别服装颜色和纹理特征及进 行训练， 该训练可以离线进 行。 选取数百个样本， 分别计算服装颜色和纹理特征。 即对每个识别出的分块 (人体区域）进行色彩、 灰度共生阵等特征值计算。

其中， 颜色特征计算， 在分割样本的巨型区域， 将 RGB颜色空间转化为 HSV颜色空间， HSV颜色系统更接近人类视觉感知。 具体转化方法如下：

( 2 )

max(R, G, B) - min(R, G, B)

max(R, G, B)

( 3 )

max(R, G, B)

255

( 4 )

其中， R、 G、 B分别代表 RGB颜色空间的颜色值， H、 S、 V分别代表 HSV颜色空间中的颜色值。

利用上述公式（2 )至公式（4 )对于转化后的图片， 拆分出 H、 S、 V三 通道。 此外， 通过统计不同类别服装11、 S、 V值， 可以确定预设服装颜色特 征阈值的取值范围。

纹理特征计算， 对不同服装样本， 选用灰度共生矩阵进行纹理特征计算。 灰度共生矩阵共有 15个特征值，在本发明所公开的该实施例中选� ��角二阶矩、 对比度、 相关和熵四个统计效果较好的特征进行计算。 其中， 角二阶矩， 又称能量， 具体用公式可以表示为：

ASM =∑∑P(i † ( 5 ) 该角二阶矩是影像纹理灰度变化均一的度量， 用于反映影像灰度分布均匀 程度和纹理粗细度。 该对比度 CON用于度量矩阵的值是如何分布和影像中局部 变化的多少， 反映了影像的清晰度和纹理的沟纹深浅。

相关 CORRLN, 则用于度量空间灰度共生矩阵元素在行或列方 向上的相 似程度。 因此， 相关值的大小可以反映影像中局部灰度相关性 。 具体表示为：

CORRLN = |∑∑ (W)P(i, j)) - μ _χ μ _γ } / ^ ( 7 ) 熵 ΕΝΤ用于度量影像纹理的随机性。当空间共生 矩阵中所有值均相等时， 它取得最大值； 相反， 如果共生矩阵中的值非常不均匀时， 其值较小。 具体表 示为：

利用上述公式（5 )至（8 ), 针对转化为灰度图像的样本 RGB图像， 计算 统计不同类别服装角二阶矩、 对比度、 相关度和熵信息， 最终确定预设服装纹 理特征阈值范围。

在进行不同类别服装颜色和纹理特征的训练之 后，根据上述计算方法对识 别出来人体的视频图像中人体区域进行颜色和 纹理特征进行分块计算；对于所 选的颜色特征和纹理多个不同特征； 对于第 j个特征， 构造弱分类器 1¾,由阈值 范围确定每块图像服装各弱分类器的值； 由于， 各分类器特征权重相同， 对于 N个特征， 每个特征权值分别为 1/N。 最后将弱分类器融合级联成对于单块图 像稳定的强分类器输出。即利用对应各分块的 服装类别弱分类器融合所述各分 块的服装类别， 并将融合的结果通过强分类器输出。

最后， 根据属于同一人体目标， 即同一人体的不同分块的识别结果， 运用 大数判决进行服装识别， 获取最终的识别结果。

本发明实施例通过综合考虑颜色、 纹理等多个特征， 由多个弱分类器形成 强分类器， 经过大数判决， 利用同一人体不同分块的识别结果进行服装识 别结 果优化。 保证获取效果较好、 可靠性高的识别效果。

需要说明的是，预设服装纹理特征阈值和预设 服装颜色特征阈值都属于预 设服装特征阈值的一部分。 也就是说， 在进行对比的过程中， 获取的同类型的 各分块的服装特征值对应与预设服装特征阈值 中同类型的特征阈值进行比较。

步骤 S106, 返回步骤 S102, 实现对所述人体目标的跟踪， 即执行下一时 间序列或相邻时间序列中人体目标的服装类别 的识别。

步骤 S107 , 获取所述视频流中不同时间序列中各帧同一人 体目标的服装 类别进行融合， 并依据预存储的服装类别进行投票判决，确定 所述运动目标的 服装类别。

执行步骤 S106采用最筒单的运动目标跟踪方法， 对视频序列中下一时间 序列或相邻时间序列中运动人体目标， 根据该目标的人体形态特性（长宽比） 和位置相关性进行同一运动目标跟踪。并重复 执行上述步骤 S102至步骤 S105 , 获取同一运动目标在当前时间序列中所述人体 目标的服装类别。最后执行步骤 S107, 根据多个相邻视频序列服装类别识别结果， 进行投票表决， 利用大数判 决结果平滑掉有误的识别结果。从而完成低分 辨率视频中服装识别处理。具体 识别后的效果参见图示 7。

在执行步骤 S106和步骤 S107的过程中，通过上述本发明实施例中利用� � 间序列相关性， 对相邻多帧识别结果进行汇总， 根据跟踪结果， 对同一人体的 多帧服装识别结果进行投票判决， 运用相邻多帧的识别结果平滑有误的结果， 最终借助时空融合结果实现或完成快速、 高精度的服装识别。

此外， 在发明公开的实施例基于通过运动检测， 减少检测目标数量； 利用 离线进行特征训练； 采用筒化权值计算设定方法等措施， 能够提高本发明进行 服装识别的实时性。 上述本发明公开的实施例中详细描述了一种低 分辨率视频的服装识别方 法，对于本发明的方法可采用多种形式的系统 实现， 因此本发明还公开了一种 低分辨率视频的服装识别系统， 下面给出具体的实施例进行详细说明。

请参见附图 8 , 为本发明实施例公开的一种低分辨率视频的服 装识别系 统， 主要包括： 提取装置 11、 分解装置 12、 比较识别装置 13、 融合装置 14 和判决装置 15。

提取装置 11 , 用于确定接收到的视频流中的当前时间序列， 以及提取所 述视频流中的前景图像，从所述前景图像中确 定运动人体目标， 并提取所述人 体目标的轮廓信息。

分解装置 12, 用于分解所述人体目标的轮廓信息， 依据预设服装类别提 取所述人体目标的轮廓信息中各分块对应的服 装特征值。

比较识别装置 13 , 用于将获取到的各分块的服装特征值与预设服 装特征 阈值进行比较， 识别当前帧中各分块的服装类别。

融合装置 14 , 用于融合所述视频流中同一时间序列或不同时 间序列中各 帧所述各分块的服装类别。

判决装置 15 , 用于依据预存储的服装类别进行投票判决， 确定当前时间 序列中所述人体目标的服装类别；以及不同时 间序列中各帧中同一人体目标的 服装类别进行融合后， 所述人体目标的服装类别的判决。

在上述本发明实施例公开的低分辨率视频的服 装识别系统的基础上，还包 括：

去除装置 16, 用于对获取到的所述前景图像进行噪声和空洞 的去除操作。 上述本发明公开的该系统对应上述实施例一公 开的方法，各部分具体执行 的原理或执行的过程可参见上述公开的方法与 其相关的部分。 综上所述：

本发明所公开的方法和系统基于时空分类器融 合技术，基于运动检测、人 体识别和服装识别，对同一人体目标多个视频 流中的服装特征进行判决， 最终 确定该运动目标的服装类别和身份， 从而实现高效率、 高质量， 高准确度的身 份及服装识别目的。

本说明书中各个实施例采用递进的方式描述， 每个实施例重点说明的都是 与其他实施例的不同之处，各个实施例之间相 同相似部分互相参见即可。对于 实施例公开的装置而言， 由于其与实施例公开的方法相对应， 所以描述的比较 筒单， 相关之处参见方法部分说明即可。

结合本文中所公开的实施例描述的方法或算法 的步骤可以直接用硬件、处 理器执行的软件模块， 或者二者的结合来实施。软件模块可以置于随 机存储器 ( RAM )、内存、只读存储器（ ROM )、电可编程 ROM、电可擦除可编程 ROM、 寄存器、 硬盘、 可移动磁盘、 CD-ROM, 或技术领域内所公知的任意其它形式 的存储介质中。

对所公开的实施例的上述说明，使本领域专业 技术人员能够实现或使用本 发明。 对这些实施例的多种修改对本领域的专业技术 人员来说将是显而易见 的， 本文中所定义的一般原理可以在不脱离本发明 的精神或范围的情况下， 在 其它实施例中实现。 因此， 本发明将不会被限制于本文所示的这些实施例 ， 而 是要符合与本文所公开的原理和新颖特点相一 致的最宽的范围。