JPH1155663 | IMAGE TRANSMITTER AND IMAGE TRANSMISSION METHOD |
WO/1997/027512 | OPTICAL PROJECTOR |
JP2014127834 | CALIBRATION SYSTEM FOR ON-VEHICLE CAMERA |
YANG ZHEN (CN)
ZHANG PENG (CN)
MA HUADONG (CN)
YANG ZHEN (CN)
ZHANG PENG (CN)
CN101635846A | 2010-01-27 | |||
CN101448176A | 2009-06-03 | |||
CN1809175A | 2006-07-26 |
北京凯特来知识产权代理有限公司 (CN)
权利要求 1、 一种视频质量的评估方法, 其特征在于, 包括: 通过多帧图像 MPEG-4 精细粒度可扩展编码后每帧图像在增强层的失真值, 以及所述多帧图像 MPEG-4精细粒度可扩展编码后在增强层的数据量, 获取解码重建的多帧图像的失真值; 通过所述解码重建的多帧图像的失真值得到所述解码重建的多帧图像的峰值信噪比; 获取网络传输的时延抖动值以及启动延迟值; 通过所述解码重建的多帧图像的峰值信噪比、 所述网络传输的时延抖动值以及所述启动延迟值 评估视频质量。 2、 根据权利要求 1所述的方法, 其特征在于, 所述通过多帧图像 MPEG-4精细粒度可扩展编码 后每帧图像在增强层的失真值, 以及所述多帧图像 MPEG-4 精细粒度可扩展编码后在增强层的数据 量, 获取解码重建的多帧图像的失真值, 包括: 通过所述多帧图像 MPEG-4精细粒度可扩展编码后每帧图像在增强层的数据量,获取所述多帧图 像 MPEG-4精细粒度可扩展编码后每帧图像在增强层的失真值; 通过所述多帧图像 MPEG-4精细粒度可扩展编码后每帧图像在增强层的数据量,以及传输 MPEG-4 精细粒度可扩展编码后的多帧图像的视频数据包的比特数,获取所述多帧图像 MPEG- 4精细粒度可扩 展编码后在增强层的数据量; 通过所述多帧图像 MPEG-4 精细粒度可扩展编码后每帧图像在增强层的数据量, 所述多帧图像 MPEG-4精细粒度可扩展编码后每帧图像在增强层的失真值, 所述多帧图像 MPEG-4精细粒度可扩展 编码后在增强层的数据量, 以及所述图像的像素值, 获取解码重建的多帧图像的失真值, 其中, 所 述图像的像素值根据图像的位确定。 3、 根据权利要求 1所述的方法, 其特征在于, 所述根据所述解码重建的多帧图像的失真值得到 所述解码重建的多帧图像的峰值信噪比, 包括: 根据所述解码重建的多帧图像的失真值以及所述图像的像素值, 得到所述解码重建的多帧图像 的峰值信噪比, 其中, 所述图像的像素值根据图像的位确定。 4、根据权利耍求 1所述的方法,其特征在于,所述获取网络传输的时延抖动值以及启动延迟值, 包括: 通过终端发送测试数据包, 获取所述网络传输的时延抖动值; 通过测 M终端发送视频请求到开始播放视频之间的等待时间, 获取所述启动延迟值。 5、 根据权利耍求 2所述的方法, 其特征在于, 所述方法包括: 终端接收服务器发送的视频数据包,所述视频数据包携带所述多帧图像 MPEG-4精细粒度可扩展 编码后每帧图像在增强层的失真值,以及所述多帧图像 MPEG- 4精细粒度可扩展编码后在增强层的数 据 此时, 所述终端通过多帧图像 MPEG-4精细粒度可扩展编码后每帧图像在增强层的失真值, 以及 所述多帧图像 MPEG-4 精细粒度可扩展编码后在增强层的数据量, 获取解码重建的多帧图像的失真 值。 6、 一种终端, 其特征在丁 ·, 包括: 第一获取单元, 用于通过多帧图像 MPEG-4精细粒度可扩展编码后每帧图像在增强层的失真值, 以及所述多帧图像 MPEG-4精细粒度可扩展编码后在增强层的数据量,获取解码重建的多帧图像的失 真值; 第二获取单元, W于通过所述解码重建的多帧图像的失真值得到所述解码重建的多帧图像的峰 值信噪比; 第二获取单元, 用于获取网络传输的时延抖动值以及启动延迟值; 评估单元, W于通过所述解码重建的多帧图像的峰值信噪比、 所述网络传输的时延抖动值以及 所述启动延迟值评估视频质量。 7、 根据权利耍求 6所述的终端, 其特征在丁 ·, 所述第一获取单元, 包括: 第一获取子单元,用于通过所述多帧图像 MPEG-4精细粒度可扩展编码后每帧图像在增强层的数 据量, 获取所述多帧图像 MPEG- 4精细粒度可扩展编码后每帧图像在增强层的失真值; 第二获取子单元,用于通过所述多帧图像 MPEG-4精细粒度可扩展编码后每帧图像在增强层的数 据¾, 以及传输 MPEG-4精细粒度可扩展编码后的多帧图像的视频数据包的比特数, 获取所述多帧图 像 MPEG- 4精细粒度可扩展编码后在增强层的数据量; 第:!获取子单元,用于通过所述多帧图像 MPEG-4精细粒度可扩展编码后每帧图像在增强层的数 据¾, 所述多帧图像 MPEG-4 精细粒度可扩展编码后每帧图像在增强层的失真值, 所述多帧图像 MPEG- 4精细粒度可扩展编码后在增强层的数据 M, 以及所述图像的像素值, 获取解码重建的多帧图 像的失真值, 其中, 所述图像的像素值根据图像的位确定。 8、 根据权利要求 6所述的终端, 其特征在丁 ·, 所述第二获取单元, 具体用于根据所述解码重建 的多帧图像的火真值以及所述图像的像素值, 得到所述解码重建的多帧图像的峰值信噪比, 其中, 所述图像的像素值根据图像的位确定。 9、 根据权利要求 6所述的终端, 其特征在于, 所述第三获取单元, 包括: 第四获取子单元, 用于通过发送测试数据包, 获取所述网络传输的时延抖动值; 第五获取亍单元, 用于通过测量发送视频请求到开始播放视频之间的等待时间, 获取所述启动 延迟值。 10、 根据权利耍求 7所述的终端, 其特征在丁 ·, 所述终端包括: 接收单元, ffl于接收服务器发送的视频数据包, 所述视频数据包携带所述多帧图像 MPEG-4精细 粒度可扩展编码后每帧图像在增强层的失真值,以及所述多帧图像 MPEG- 4精细粒度可扩展编码后在 增强层的数据 此时,所述第一获取单元通过多帧图像 MPEG-4精细粒度可扩展编码后每帧图像在增强层的失真 值, 以及所述多帧图像 MPEG-4精细粒度可扩展编码后在增强层的数据量, 获取解码重建的多帧图像 的失真值。 11、 一种服务器, 其特征在于, 包括: 第四获取单元, ffl于获取多帧图像 MPEG-4精细粒度可扩展编码后每帧图像在增强层的失真值, 以及所述多帧图像 MPEG-4精细粒度可扩展编码后在增强层的数据 M; 发送单元, 用于将所述多帧图像 MPEG 4精细粒度可扩展编码后每帧图像在增强层的失真值, 以 及所述多帧图像 MPEG-4精细粒度可扩展编码后在增强层的数据量发送给终端。 12、 根据权利要求 11所述的服务器, 其特征在于, 所述服务器还包括: 第五获取单元,用于通过多帧图像 MPEG-4精细粒度可扩展编码后每帧图像在增强层的失真值, 以及所述多帧图像 MPEG-4精细粒度可扩展编码后在增强层的数据量,获取解码重建的多帧图像的失 真值; 此时, 所述发送单元, 用于将所述解码重建的多帧图像的失真值发送给所述终端。 13、 根据权利要求 11所述的服务器, 其特征在于, 所述服务器还包括: 第六获取单元, ) ¾于通过所述解码重建的多帧图像的失真值得到所述解码重建的多帧图像的峰 值信噪比; 此时, 所述发送单元, 将所述解码重建的多帧图像的峰值信噪比发送给所述终端。 14、 一种视频质量的评估系统, 其特征在于, 包括终端和服务器: 所述服务器, 用于获取多帧图像 MPEG-4精细粒度可扩展编码后每帧图像在增强层的失真值, 以 及所述多帧图像 MPEG-4精细粒度可扩展编码后在增强层的数据量, 将所述多帧图像 MPEG- 4精细粒 度可扩展编码后每帧图像在增强层的失真值,以及所述多帧图像 MPEG-4精细粒度可扩展编码后在增 强层的数据^发送给所述终端; 所述终端, 用于通过多帧图像 MPEG-4精细粒度可扩展编码后每帧图像在增强层的失真值, 以及 所述多帧图像 MPEG-4 精细粒度可扩展编码后在增强层的数据量, 获取解码重建的多帧图像的失真 值, 通过所述解码重建的多帧图像的失真值得到所述解码重建的多帧图像的峰值信噪比, 获取网络 传输的时延抖动值以及启动延迟值, 通过所述解码重建的多帧图像的峰值信噪比、 所述网络传输的 时延抖动值以及所述启动延迟值评估视频质 ¾。 |
本发明涉及通信技术领域, 尤其涉及一种视频质量的评估方法、 终端、 服务器及系统。 发明背景
视频流技术是指视频图像经过特殊编码,如 MPEG- 4 FGS (Moving Pictures Experts Group 4 Fine Granularity Scalabi l ity,动态图像压縮标准 4精细粒度可扩展)编码等可伸縮视频编码(Sc alable Video Coding) 后, 终端用户通过网络或者特定数字信道边下载边 解码播放视频数据的一种工作方 式。
目前,视频流技术结合 P2P ( Peer- to- Peer,对等网络)技术和 CDN (Content Delivery Network, 内容分发网络) 技术, 通过在骨干网络上使用 CDN将媒体分发到边缘节点, 在边缘节点上将 P2P的 流量限制在同一区域内, 减少了骨干网上的突发流量。 结合 CDN技术和 P2P技术提供视频流服务, 面临着如何保障终端用户 QoS ( Qual ity of Service, 服务质量) 的挑战。
准确的对视频质量进行评估是保障终端用户 QoS的重要前提, 具体的, 现有技术中对视频质量 进行评估时, 需要同时获得图像和解码后的图像以进行比较 计算, 计算复杂度高, 而且, 由于没有 考虑网络因素, 如丢包、 延迟、 抖动等, 导致评估结果不准确。 发明内容
本发明实施例的目的是提供一种视频质量的评 估方法、 终端、 服务器及系统, 实现提高评估结 果的准确度及降低评估复杂度。
本发明实施例提供一种视频质量的评估方法, 包括:
通过多帧图像 MPEG-4 精细粒度可扩展编码后每帧图像在增强层的失 真值, 以及所述多帧图像 MPEG- 4精细粒度可扩展编码后在增强层的数据量, 获取解码重建的多帧图像的失真值;
通过所述解码重建的多帧图像的失真值得到所 述解码重建的多帧图像的峰值信噪比; 获取网络传输的时延抖动值以及启动延迟值;
通过所述解码重建的多帧图像的峰值信噪比、 所述网络传输的时延抖动值以及所述启动延迟 值 评估视频质量。
对应的, 本发明实施例提供一种终端, 包括:
第一获取单元, 用于通过多帧图像 MPEG-4精细粒度可扩展编码后每帧图像在增强层 的失真值, 以及所述多帧图像 MPEG- 4精细粒度可扩展编码后在增强层的数据量, 取解码重建的多帧图像的失 真值;
第二获取单元, 用于通过所述解码重建的多帧图像的失真值得 到所述解码重建的多帧图像的峰 值信噪比;
第三获取单元, 用于获取网络传输的时延抖动值以及启动延迟 值; 评估单元, 用于通过所述解码重建的多帧图像的峰值信噪 比、 所述网络传输的时延抖动值以及 所述启动延迟值评估视频质量。
对应的, 本发明实施例提供一种服务器, 包括:
第四获取单元, 用于获取多帧图像 MPEG-4精细粒度可扩展编码后每帧图像在增强层 的失真值, 以及所述多帧图像 MPEG- 4精细粒度可扩展编码后在增强层的数据量;
发送单元, 用于将所述多帧图像 MPEG- 4精细粒度可扩展编码后每帧图像在增强层的 真值, 以 及所述多帧图像 MPEG- 4精细粒度可扩展编码后在增强层的数据量发 给终端,使所述终端获取解码 重建的多帧图像的失真值。
一种视频质量的评估系统, 其特征在于, 包括终端和服务器:
所述服务器, 用于获取多帧图像 MPEG-4精细粒度可扩展编码后每帧图像在增强层 的失真值, 以 及所述多帧图像 MPEG-4精细粒度可扩展编码后在增强层的数据量 , 将所述多帧图像 MPEG-4精细粒 度可扩展编码后每帧图像在增强层的失真值, 以及所述多帧图像 MPEG-4精细粒度可扩展编码后在增 强层的数据量发送给所述终端;
所述终端, 用于通过多帧图像 MPEG- 4精细粒度可扩展编码后每帧图像在增强层的 真值, 以及 所述多帧图像 MPEG- 4 精细粒度可扩展编码后在增强层的数据量, 获取解码重建的多帧图像的失真 值, 通过所述解码重建的多帧图像的失真值得到所 述解码重建的多帧图像的峰值信噪比, 获取网络 传输的时延抖动值以及启动延迟值, 通过所述解码重建的多帧图像的峰值信噪比、 所述网络传输的 时延抖动值以及所述启动延迟值评估视频质量 。
本发明实施例提供的视频质量的评估方法、 终端、 服务器及系统, 终端通过得到多帧解码重建 图像的峰值信噪比, 启动延迟以及时延抖动评估视频质量, 实现提高评估结果的准确度, 而且, 通 过每帧图像在增强层的失真值, 以及多帧图像在增强层的数据量, 获取解码重建的多帧图像的失真 值, 降低了计算复杂度。 附图简要说明
图 1为本发明实施例视频质量的评估方法流程示 图一;
图 2为本发明实施例终端构成示意图一;
图 3为本发明实施例终端构成示意图二;
图 4为本发明实施例服务器构成示意图一;
图 5为本发明实施例服务器构成示意图二;
图 6为本发明实施例视频质量的评估系统构成示 图;
图 7为本发明实施例视频质量的评估方法中服务 的流程示意图;
图 8为本发明实施例视频质量的评估方法中终端 流程示意图。 实施本发明的方式
如图 1所示, 本发明实施例提供一种视频质量的评估方法, 包括: 步骤 11、 通过多帧图像 MPEG- 4精细粒度可扩展 (FGS) 编码后每帧图像在增强层的失真值, 以 及多帧图像 MPEG-4精细粒度可扩展编码后在增强层的数据量 , 获取解码重建的多帧图像的失真值。
步骤 12、 通过解码重建的多帧图像的失真值得到解码重 建的多帧图像的峰值信噪比。
步骤 13、 获取网络传输的时延抖动值以及启动延迟值。
步骤 14、 通过解码重建的多帧图像的峰值信噪比、 网络传输的时延抖动值以及启动延迟值评估 视频质量。
本发明实施例视频质量的评估方法的执行主体 可以是终端, 终端通过得到多帧解码重建图像的 峰值信噪比, 启动延迟以及时延抖动评估视频质量, 实现提高评估结果的准确度, 而且, 通过每帧 图像在增强层的失真值, 以及多帧图像在增强层的数据量, 获取解码重建的多帧图像的失真值, 终 端只需要少量计算, 降低了计算复杂度。
本发明实施例视频质量的评估方法, 服务器接收终端的视频请求后, 读取对应的视频文件, 视 频文件的视频数据经 MPEG-4 FGS编码等可伸縮视频编码后, 视频流封装成视频数据包传送给终端, 视频数据包如 RTP (Real-time Transport Protocol, 实时传送协议) 包。
MPEG-4 FGS编码将视频数据编码成两个比特流: 一个基本层比特流和一个增强层比特流。 基本 层使用基于分层运动补偿和 DCT (Discrete Cosine Transform, 离散余弦变换) 变换的编码方式达 到网络传输的最低要求。 增强层使用位平面编码方式对 DCT残差进行编码来覆盖网络带宽的变化范 围。 而且, 每一帧图像的增强层比特流可以在任何地点截 断。
具体而言, 步骤 11中, 通过多帧图像 MPEG-4 FGS编码后每帧图像在增强层的失真值, 以及多 帧图像 MPEG- 4 FGS编码后在增强层的数据量, 获取解码重建的多帧图像的失真值, 可以包括: 1、 通过多帧图像 MPEG-4 FGS编码后每帧图像在增强层的数据量, 获取多帧图像 MPEG-4 FGS编 码后每帧图像在增强层的失真值。
示例性的, 可以利用率失真函数截断视频流增强层比特流 计算每帧图像的失真值, 如第 i帧图 像的失真值
其中, 为第 i帧图像在增强层的比特数, 为图像信号的方差、 ε为一个比例系数, 可以为
1. 2或者 1. 4。
图像信号的方差等于信号平方的均值减去信号 均值的平方, 此处, 取第 i帧图像前的一些图像 帧, 来计算得到图像信号的方差, 其值是离散的。
2、 通过多帧图像 MPEG-4 FGS码后每帧图像在增强层的数据量, 以及传输 MPEG-4 FGS编码后的 多帧图像的视频数据包的比特数, 获取多帧图像 MPEG-4 FGS编码后在增强层的数据量。
示例性的, 多帧图像 MPEG- 4 FGS编码后在增强层的数据量 R: 其中, 多帧图像从第 X帧到 Y帧, 为第 i帧图像属于增强层的比特数; s为服务器传输多帧图 像 MPEG-4 FGS编码后的视频流的视频数据包大小, 如 RTP数据包的大小; ε为一个比例系数, 可以 为 1. 2或 1. 4。
其中, 多帧图像 MPEG-4 FGS编码后在增强层的数据量可以是多帧图像 MPEG-4 FGS编码后截断 到 k个位平面的数据量, k的取值与编码格式有关, 如: MPEG-4 FGS编码时, 利用编码行程和电平 值提供编码后增强层的位平面。
3、通过多帧图像 MPEG- 4FGS编码后每帧图像在增强层的数据量, 多帧图像 MPEG- 4FGS编码后每 帧图像在增强层的失真值, 多帧图像 MPEG-4FGS编码后在增强层的数据量, 以及图像的像素值, 获 取解码重建的多帧图像的失真值, 其中, 图像的像素值根据图像的位确定。
示例性的, 图像的像素值 ^" = 2"— '—I , n为图像的位。 进而, 解码重建的多帧图像的失真值 : b{x→Y) = Y ( + - ^D, ) (3) 其中, 多帧图像从第 X帧到 Υ帧; 为第 i帧与第 i- 1帧在增强层的比特数差; Δ ),.为第 i 帧与第 i-1帧的失真值差。
而且, 通过多帧图像 MPEG- 4 FGS编码后增强层的数据量 R 以及图像的像素值 M , 可以得到传 输视频数据包需要的带宽 C :
C = R /M (4) 具体而言, 步骤 12中, 根据解码重建的多帧图像的失真值得到解码重 建的多帧图像的峰值信噪 比, 可以包括:
根据解码重建的多帧图像的失真值以及图像的 像素值, 得到解码重建的多帧图像的峰值信噪比
(PSNR, Peak Signal to Noise Ratio)值。
PSNR(X→ F) = 10 * log( 2 / D) (5) 其中, 多帧图像从第 X帧到 Y帧, = 2"— i _l。
具体而言, 步骤 13中, 获取网络传输的时延抖动值以及启动延迟值, 可以包括:
通过终端发送测试数据包, 获取网络传输的时延抖动值。
通过测量终端发送视频请求到开始播放视频之 间的等待时间, 获取启动延迟值。
示例性的, 启动延迟 (Delay): 指衡量终端用户在请求观看视频到实际开始观 看视频之间的等 待时间。 启动延迟具体可以定义为从终端发出加入请求 开始, 到终端己经缓冲足够的数据用来播放 视频。 这里假设一个终端如果获取了 6r个连续的数据块时, 终端即可以播放 (其中 r是码率)。 一 般来说一个周期约为 2秒钟, 那么 6个调度周期的数据就是 12秒钟的数据。
时延抖动(Jitter): 指时延变化, 抖动大多源于网络中的队列或缓冲, 而且抖动的产生是随机 的。 由于视频流服务的时间相关性很强, 图像帧间的时间限制必须严格遵循, 否则终端用户将明显 感觉到视频不连贯。
获取网络传输的时延抖动值以及启动延迟值, 可以参考现有技术的相关内容得以理解, 在此不 作赘述。
具体而言, 步骤 13中, 通过解码重建的多帧图像的峰值信噪比、 网络传输的时延抖动值以及启 动延迟值评估视频质量, 可以包括:
终端通过解码重建的多帧图像的峰值信噪比、 网络传输的时延抖动值以及启动延迟值评估视 频 质量。
示例性的, 终端利用评估函数计算终端的视频流质量 Q:
Q = PSNR b I {Delay 0 * Jitter d ) (6) 其中, 参数 b、 c、 d为经验值, 一般情况下 b=2/3, c=l/3, d=l/3, Q为质量评估值, Q值越大, 终端感知的视频质量越好。
可选的, 本发明实施例提供视频质量的评估方法, 还可以包括:
终端接收服务器发送的视频数据包, 视频数据包携带多帧图像 MPEG-4 FGS编码后每帧图像在增 强层的失真值, 以及多帧图像 MPEG- 4FGS编码后在增强层的数据量。 也就是说, 服务器可以根据上述公式(1 )、 公式(2 )计算得到多帧图像在增强层的失真值 ^', 多帧图像在增强层的数据量 R。 而且, 服务器可以根据上述公式 (4) 计算传输视频数据包需要的带 宽(:。 从而, 服务器可以按照所得的带宽 C值为视频流传输分配合适的带宽, 并且, 将图像的失真 值 β ', 多帧图像在增强层的数据量 R与视频流一起封装成视频数据包传送给终端 此时, 步骤 11 中, 终端根据上述公式 (3 ), 通过多帧图像在增强层的失真值 ', 以及多帧图 像在增强层的数据 ¾ R, 获取解码重建的多帧图像的失真值 。
或者, 可选的, 本发明实施例提供视频质量的评估方法, 还可以包括:
终端接收服务器发送的视频数据包, 视频数据包携带多帧图像 MPEG-4 FGS编码后每帧图像在增 强层的失真值。 也就是说, 服务器仅根据上述公式 (1 ) 计算得到多帧图像在增强层的失真值 ^', 而且, 服务 器可以根据上述公式 (4) 计算传输视频数据包需要的带宽 C。 从而, 服务器可以按照所得的带宽 C 值为视频流传输分配合适的带宽, 并且, 将图像的失真值 与视频流一起封装成视频数据包传送给 终端。
此时, 步骤 11中, 终端根据上述公式 (2 )计算多帧图像 MPEG-4 FGS编码后在增强层的数据量
R, 以及终端根据上述公式 (3 ) 计算得到解码重建的多帧图像的失真值 。
可见, 终端可以接服务器发送的收视频数据包, 通过视频数据包直接获取计算解码重建的多帧 图像的峰值信噪比涉及的参数, 实现减少终端的计算量, 避免由于终端既需要转发又需要播放视频, 过多计算可能会导致其输入或输出缓冲区拥塞 。 或者, 可选的, 服务器根据上述公式 (1 ) 至公式 (5) 计算得到解码重建的多帧图像的峰值信 噪比, 终端通过解码重建的多帧图像的峰值信噪比、 网络传输的时延抖动值以及启动延迟值评估视 频质量, 实现极大程度的减少终端的计算量。 如图 2所示, 对应于上述实施例提供的视频质量的评估方法 , 本发明实施例提供一种终端, 包 括:
第一获取单元 21, 用于通过多帧图像 MPEG- 4 FGS编码后每帧图像在增强层的失真值, 以及多 帧图像 MPEG- 4 FGS编码后在增强层的数据量, 获取解码重建的多帧图像的失真值。
第二获取单元 22, 用于通过解码重建的多帧图像的失真值得到解 码重建的多帧图像的峰值信噪 比。
第三获取单元 23, 用于获取网络传输的时延抖动值以及启动延迟 值。
评估单元 24, 于通过解码重建的多帧图像的峰值信噪比、 网络传输的时延抖动值以及启动延 迟值评估视频质量。
本发明实施例终端, 通过得到多帧解码重建图像的峰值信噪比, 启动延迟以及时延抖动评估视 频质量, 实现提高评估结果的准确度, 而且, 通过每帧图像在增强层的失真值, 以及多帧图像在增 强层的数据量, 获取解码重建的多帧图像的失真值, 降低了计算复杂度。
如图 3所示, 第一获取单元 21, 可以包括:
第一获取子单元 31, 用于通过多帧图像 MPEG-4 FGS编码后每帧图像在增强层的数据量, 获取 多帧图像 MPEG- 4 FGS编码后每帧图像在增强层的失真值。
示例性的, 可以利用率失真函数截断视频流增强层比特流 计算每帧图像的失真值, 如第 i帧图 像的失真值
D t = s 1 a lr ' ( 1 ) 其中, 为第 i帧图像在增强层的比特数, 为图像信号的方差、 ε为一个比例系数, 可以为 1. 2或者 1. 4。
第二获取子单元 32, 用于通过多帧图像 MPEG-4 FGS编码后每帧图像在增强层的数据量, 以及 传输 MPEG- 4 FGS编码后的多帧图像的视频数据包的比特数, 获取多帧图像 MPEG-4 FGS编码后在增 强层的数据量。
示例 像 MPEG- 4 FGS编码后增强层的数据量 R: 其中, 多帧图像从第 X帧到 Y帧, 为第 i帧图像属于增强层的比特数; s为服务器传输多帧图 像 MPEG- 4 FGS编码后的视频流的视频数据包大小, 如 RTP数据包的大小; ε为一个比例系数, 可以 为 1. 2或 1. 4。
其中, 多帧图像 MPEG- 4 FGS编码后在增强层的数据量可以是多帧图像 MPEG- 4 FGS编码后截断 到 k个位平面的数据量, k的取值与编码格式有关, 如: MPEG- 4 FGS编码时, 利用编码行程和电平 值提供编码后增强层的位平面。
第三获取子单元 33, 用于通过多帧图像 MPEG-4 FGS编码后每帧图像在增强层的数据量, 多帧 图像 MPEG- 4 FGS编码后每帧图像在增强层的失真值, 多帧图像 MPEG-4 FGS编码后在增强层的数据 量, 以及图像的像素值, 获取解码重建的多帧图像的失真值, 其中, 图像的像素值根据图像的位确 定。
示例性的, 图像的像素值 ^ = 2" _1 _1, n为图像的位。
进而, 解码重建的多帧图像的失真值 :
γ C— R
D(X→Y) = Y(D i + -—— AD t ) ( 3 ) 其中, 多帧图像从第 X帧到 Υ帧; ΔΓ,.为第 i帧与第 i-1帧在增强层的比特数差; AD, '为第 i 帧与第 i- 1帧的失真值差。
而且, 通过多帧图像 MPEG- 4 FGS编码后增强层的数据量 R 以及图像的像素值 M, 可以得到传 输视频数据包需要的带宽 C :
C = R I M (4) 具体而言, 第二获取单元 22, 具体用于根据解码重建的多帧图像的失真值以 及图像的像素值, 得到解码重建的多帧图像的峰值信噪比, 其中, 图像的像素值根据图像的位确定。
示例性的, ¾Μ?( →1 = 10* 1θ3(Μ 2 / ) ( 5) 第三获取单元 23, 可以包括:
第四获取子单元 35, 用于通过发送测试数据包, 获取网络传输的时延抖动值。
第五获取子单元 36, 用于通过测量发送视频请求到开始播放视频之 间的等待时间, 获取启动延 迟值。
示例性的, 评估单元 24利用评估函数计算终端的视频流质量 Q:
Q = PSNR b I {Delay 0 * Jitter (6)
其中, 参数 b、 c、 d为经验值, 一般情况下 b=2/3, c::l/3, d=l/3, Q为质量评估值, Q值越大, 终端感知的视频质 S越好。
本发明实施例提供一种终端, 还可以包括:
接收单元 37, 用于接收服务器发送的视频数据包, 视频数据包携带多帧图像 MPEG- 4 FGS编码 后每帧图像在增强层的失真值, 以及多帧图像 MPEG- 4 FGS编码后在增强层的数据量;
此时, 第一获取单元 21通过多帧图像 MPEG-4 FGS编码后每帧图像在增强层的失真值, 以及多 帧图像 MPEG-4 FGS编码后在增强层的数据量, 获取解码重建的多帧图像的失真值。 也就是说, 服务器可以根据上述公式(1 )、 公式(2 )计算得到多帧图像在增强层的失真值 ^', 多帧图像在增强层的数据量 R。 而且, 服务器可以根据上述公式 (4) 计算传输视频数据包需要的带 宽 C。 从而, 服务器可以按照所得的带宽 C值为视频流传输分配合适的带宽, 并且, 将图像的失真 值^' , 多帧图像在增强层的数据量 R与视频流一起封装成视频数据包传送给终端 或者, 服务器仅根据上述公式 (1 ) 计算得到多帧图像在增强层的失真值 ^', 而且, 服务器可 以根据上述公式 (4 ) 计算传输视频数据包需要的带宽 C。 从而, 服务器可以按照所得的带宽 C值为 视频流传输分配合适的带宽,并且,将图像的 失真值 与视频流一起封装成视频数据包传送给终端。
可见, 终端可以接服务器发送的收视频数据包, 通过视频数据包直接获取计算解码重建的多帧 图像的峰值信噪比涉及的参数, 实现减少终端的计算量, 避免由于终端既需要转发又需要播放视频, 过多计算可能会导致其输入或输出缓冲区拥塞 。
或者, 可选的, 服务器根据上述公式 (1 ) 至公式 (5 ) 计算得到解码重建的多帧图像的峰值信 噪比, 终端通过解码重建的多帧图像的峰值信噪比、 网络传输的时延抖动值以及启动延迟值评估视 频质量, 实现极大程度的减少终端的计算量。 如图 4所示, 本发明实施例提供一种服务器, 包括:
第四获取单元 41, 用于获取多帧图像 MPEG-4 FGS编码后每帧图像在增强层的失真值, 以及多 帧图像 MPEG- 4 FGS编码后在增强层的数据量。
发送单元 42, 用于将多帧图像 MPEG- 4 FGS编码后每帧图像在增强层的失真值, 以及多帧图像 MPEG- 4 FGS编码后在增强层的数据量发送给终端。
示例性的, 可以利用率失真函数截断视频流增强层比特流 计算每帧图像的失真值, 如第 i帧图 D,
像的失真值
D, ― ε λ σ: 2 . β
( 1 ) 其中, 为第1帧图像在增强层的比特数, 为图像信号的方差、 ε为一个比例系数, 可以为 1. 2或者 1. 4。
示例 像 MPEG-4 FGS编码后增强层的数据量 R:
其中, 多帧图像从第 X帧到 Y帧, r '为第 i帧图像属于增强层的比特数; s为服务器传输多帧图 像 MPEG- 4 FGS编码后的视频流的视频数据包大小, 如 RTP数据包的大小; ε为一个比例系数, 可以 为 1. 2或 1. 4。
其中, 多帧图像 MPEG-4 FGS编码后在增强层的数据量可以是多帧图像 MPEG-4 FGS编码后截断 到 k个位平面的数据量, k的取值与编码格式有关, 如: MPEG-4 FGS编码时, 利用编码行程和电平 值提供编码后增强层的位平面。
示例性的, 服务器通过多帧图像 MPEG-4 FGS编码后增强层的数据量 R 以及图像的像素值 M , 可以得到传输视频数据包需要的带宽 C:
C = R IM (4) 从而 ,服务器可以按照所得的带宽 C值为视频流传输分配合适的带宽,并且,将 像的失真值 D ', 多帧图像在增强层的数据量 R与视频流一起封装成视频数据包传送给终端
如图 5所示, 本发明实施例服务器, 还可以包括:
第五获取单元 51, 用于通过多帧图像 MPEG- 4 FGS编码后每帧图像在增强层的失真值, 以及多 帧图像 MPEG-4 FGS编码后在增强层的数据量, 获取解码重建的多帧图像的失真值。
此时, 发送单元 42, 用于将解码重建的多帧图像的失真值发送给终 端。
示例性的, 图像的像素值 ^ = 2" _1 _ 1, n为图像的位。
进而, 解码重建的多帧图像的失真值 :
y C - R
D(X→· Γ) = Υ ( , + ^―^ - AD, ) ( 3) 其中, 多帧图像从第 X帧到 Y帧; Δ^.为第 i帧与第 i- 1帧在增强层的比特数差; Δ£»,为第 i 帧与第 i-1帧的失真值差。
服务器可以按照所得的带宽 C值为视频流传输分配合适的带宽, 并且, 将解码重建的多帧图像 的失真值 与视频流一起封装成视频数据包传送给终端。
本发明实施例服务器, 还可以包括:
第六获取单元 52, 用于通过解码重建的多帧图像的失真值得到解 码重建的多帧图像的峰值信噪 比。
此时, 发送单元 42, 用于将解码重建的多帧图像的峰值信噪比发送 给终端。
示例性的, Ρ Λ^( →7) = 10 * 1θ8(^ 2 / β) ( 5) 其中, 多帧图像从第 X帧到 Υ帧, M = 2"-L l。
可见, 终端可以接服务器发送的收视频数据包, 通过视频数据包直接获取计算解码重建的多帧 图像的峰值信噪比涉及的参数, 实现减少终端的计算量, 避免由于终端既需要转发又需要播放视频, 过多计算可能会导致其输入或输出缓冲区拥塞 。 如图 6所示, 本发明实施例提供一种视频质量的评估系统, 包括服务器 61和终端 62:
服务器 61, 用 Τ·获取多帧图像 MPEG-4 FGS编码后每帧图像在增强层的失真值, 以及多帧图像
MPEG-4 FGS编码后在增强层的数据量, 将多帧图像 MPEG-4 FGS编码后每帧图像在增强层的失真值, 以及多帧图像 MPEG-4 FGS编码后在增强层的数据量发送给终端 62; 终端 62, 用于通过多帧图像 MPEG-4 FGS 编码后每帧图像在增强层的失真值, 以及多帧图像 MPEG-4 FGS编码后在增强层的数据量, 获取解码重建的多帧图像的失真值, 通过解码重建的多帧图 像的失真值得到解码重建的多帧图像的峰值信 噪比, 获取网络传输的时延抖动值以及启动延迟值, 通过解码重建的多帧图像的峰值信噪比、 网络传输的时延抖动值以及启动延迟值评估视 频质量。
本发明实施例视频质量的评估系统中服务器 61和终端 62, 可以参考上述实施例的服务器和终 端得以理解, 在此不作赘述。 如图 7所示, 本发明实施例视频质量的评估方法中服务器的 流程图, 视频数据采用 MPEG- 4 FGS 编码等可伸缩视频编码, 说明本发明实施例视频质量的评估方法:
步骤 710、 服务器接收到终端的媒体请求时, 服务器査找媒体文件, 如找到媒体文件则启动媒 体流下载进程, 并初始化用于媒体流传输的数据结构, 此处, 媒体流为视频流。
步骤 720、 如果媒体文件没有发送完毕, 则进入步骤 730, 否则, 结束。
步骤 730、 服务器读取符合 RTP包大小的视频流。 步骤 740、 服务器计算视频流中每帧图像在增强层的失真 值 D ', 为计算视频流经过网络传输后 在终端的失真值 做准备。
步骤 750、服务器计算视频流中多帧图像在增强层的 数据量 R, 为计算视频流经过网络传输后在 终端的失真值 做准备, 以及为计算传输媒体流所需带宽值 C做准备。 步骤 760、 服务器将视频流中每帧图像在增强层的失真值 '和视频流中多帧图像在增强层的数 据量 R和视频流数据一起经 RTP包进行封装, 打包成适合网络传输的数据包。
步骤 770、 服务器通过步骤 750得到的多帧图像在增强层的数据量 R值计算传输媒体流所需的 带宽值 (:。
步骤 780、 服务器按照所得的带宽 C值为媒体流传输分配合适的带宽, 在带宽分配完成后, 发 送 RTP包给终端。
本发明实施例提供的视频质量的评估方法, 通过每帧图像在增强层的失真值, 以及多帧图像在 增强层的数据量, 获取解码重建的多帧图像的失真值, 降低了计算复杂度。 而且, 实现减少终端的 计算量, 避免由于终端既需要转发又需要播放视频, 过多计算可能会导致其输入或输出缓冲区拥塞 。 如图 8所示, 本发明实施例视频质量的评估方法中终端的流 程图, 视频数据采用 MPEG- 4 FGS编 码等可伸缩视频编码, 说明本发明实施例视频质量的评估方法:
步骤 810、 终端 W户希望播放某个媒体文件时, 向媒体服务器发送媒体请求, 并启动媒体流接 收流程。
步骤 820、 终端收到服务器发送的 RTP包, 则进入步骤 830, 否则, 结束。
步骤 830、 终端对 RTP包进行解码操作, 得到解码后的数据。 步骤 840、 终端从解码后的数据中获取视频流中每帧图像 在增强层的失真值 和多帧图像在增 强层的数据量 R。 步骤 850、 终端通过 和 R计算视频流经过网络传输后解码后的多帧图 的失真值 , 为了计 算解码后的多帧图像的 PSNR做准备。 步骤 860、 终端通过 β '、 R和 计算 PSNR, 从客观量测法去评鉴视频的质量, 为最终评估终 端的视频质量做准备。
步骤 870、 终端测量启动延迟和时延抖动的值, 从用户主观看视频的角度去评鉴视频的质量, 为最终客观评估终端的视频质量做准备。
步骤 880、 终端通过 PSNR、 启动延迟和时延抖动的值, 客观评估终端的视频质量。
本发明实施例提供的视频质量的评估方法, 终端通过得到多帧解码重建图像的峰值信噪比 , 启 动延迟以及时延抖动评估视频质量, 实现提高评估结果的准确度, 而且, 通过每帧图像在增强层的 失真值, 以及多帧图像在增强层的数据量, 获取解码重建的多帧图像的失真值, 降低了计算复杂度。 本领域普通技术人员可以理解实现上述实施例 方法中的全部或部分流程, 是可以通过计算机程 序来指令相关的硬件来完成, 所述的程序可存储于一计算机可读取存储介质 中, 该程序在执行时, 可包括如上述各方法的实施例的流程。 其中, 所述的存储介质可为磁碟、 光盘、 只读存储记忆体 ( Read-Only Memory, ROM) 或随机存储记忆体 ( Random Access Memory, RAM) 等。
Next Patent: METHOD, COMBINER AND SYSTEM FOR TRANSMITTING SIGNALS