代康 (中国广东省深圳市南山区高新技术产业园科技南路中兴通讯大厦, Guangdong 7, 518057, CN)
中兴通讯股份有限公司 (中国广东省深圳市南山区高新技术产业园科技南路中兴通讯大厦, Guangdong 7, 518057, CN)
DAI, Kang (ZTE Plaza, Keji Road South Hi-Tech Industrial Park, Nansha, Shenzhen Guangdong 7, 518057, CN)
| 权^, WJ^巾 1、 一种录像方法, 其特征在于, 该方法包括: 对釆集到的音视频数据分别进行编码, 并分别为编码后的音频帧数据 和视频帧数据分配同步控制标识; 将音频帧数据、 视频帧数据及对应的同步控制标识存入緩存, 比较緩 存中当前的音频帧与视频帧的同步控制标识, 之后依据预先设置的存储规 则保存緩存中的音视频帧数据。 2、 根据权利要求 1所述的方法, 其特征在于, 在分别为编码后的音频 帧数据和视频帧数据分配同步控制标识之前, 该方法进一步包括: 根据预先设置的图像传感器的帧率与音频釆样间隔, 分别计算初始的 视频帧数据和音频帧数据的时间间隔。 3、 根据权利要求 2所述的方法, 其特征在于, 以音频帧数据的时间间 隔为参照物, 所述为编码后的音频帧数据和视频帧数据分别分配同步控制 标识, 为: 分别统计当前编码后的具有相同时间间隔的音频帧数和视频帧数, 之 后与预先设置的分析规则进行匹配, 确定能匹配后, 釆用预先设置的修正 公式对视频帧数据的时间间隔进行修正; 将统计的音频帧数和视频帧数分别置为零, 之后根据修正后的视频帧 数据的时间间隔及上一次为视频帧数据分配的同步控制标识, 为当前的视 频帧数据分配同步控制标识, 相应的, 根据音频帧数据的时间间隔及上一 次为音频帧数据分配的同步控制标识, 为当前的音频帧数据分配同步控制 标识。 4、 根据权利要求 3所述的方法, 其特征在于, 该方法进一步包括: 确定与预先设置的分析规则不能匹配后, 根据当前釆用的视频帧数据 的时间间隔及上一次为视频帧数据分配的同步控制标识, 为当前的视频帧 数据分配同步控制标识, 相应的, 帧数据的时间间隔及上一次为 音频帧数据分配的同步控制标识, 为当前的音频帧数据分配同步控制标识。 5、 根据权利要求 3或 4所述的方法, 其特征在于, ^口果 Δ7 >Δ7 所述分析规则为: INA7 — ΜΔΓ >Δ7 ; 口果 Δ7 <Δ7 所述分析规则为: |Λ^Δ7 - ΜΔΓ >Δ7^; 其中, 表示当前釆用的视频帧数 据的时间间隔, 表示音频帧数据的时间间隔, 丽 ν表示具有相同时间间 隔 的所有视频帧数据的时间间隔的累积时间, 表示在丽 ν内所有 音频帧数据的时间间隔的累计时间; 相应的, 如果 Δ7 >ΔΓ, 所述爹正公式为: (NATv-MATA>ATy (1— ^ △7; (MATA-NATv>ATf 如果 < ΑΤΑ , 所述修正公式为: △7; 其中, L」表示向下取整, 「,表示向上取整。 6、 根据权利要求 2所述的方法, 其特征在于, 以视频帧数据的时间间 隔为参照物, 所述为编码后的音频帧数据和视频帧数据分别分配同步控制 标识, 为: 分别统计当前编码后的具有相同时间间隔的音频帧数和视频帧数, 之 后与预先设置的分析规则进行匹配, 确定能匹配后, 釆用预先设置的修正 公式对音频帧数据的时间间隔进行修正; 将统计的音频帧数和视频帧数分别置为零, 之后根据修正后的音频帧 数据的时间间隔及上一次为音频帧数据分配的同步控制标识, 为当前的音 频帧数据分配同步控制标识, 相 w'、j , ϋ视频帧数据的时间间隔及上一 次为视频帧数据分配的同步控制标识, 为当前的视频帧数据分配同步控制 标识。 7、 根据权利要求 6所述的方法, 其特征在于, 该方法进一步包括: 确定与预先设置的分析规则不能匹配后, 根据当前釆用的音频帧数据 的时间间隔及上一次为音频帧数据分配的同步控制标识, 为当前的音频帧 数据分配同步控制标识, 相应的, 根据视频帧数据的时间间隔及上一次为 视频帧数据分配的同步控制标识, 为当前的视频帧数据分配同步控制标识。 8、 根据权利要求 6或 7所述的方法, 其特征在于, ^口果 Δ7 >Δ7 所述分析规则为: INA7 — ΜΔΓ >Δ7 ; 口果 Δ7 <Δ7 所述分析规则为: |NA7 - MATA 相应的, 如果 Δ7 >Δ7 所述爹正公式为: AT, -Δ7 (ΜΑΤΑ-ΝΑΤν>ΑΤν M AT, = ΤΛ +— ^ν (ΝΑΤν-ΜΑΤΑ>ΑΤ Μ 如果 Δ7 < AT, , 所述修正公式为: 丄 (ΜΑΤΛ-ΝΑΤν>ΑΤΛ Μ . 1 1 +— ΙΔΓ, (NATV-MATA>ATA Μ 9、 根据权利要求 2、 3、 4、 6或 7所述的方法, 其特征在于, 所述存储规则为: 如果音频帧的同步控制标识小于或等于视频帧的同 步控制标识, 则保存音频帧数据, 如果音频帧的同步控制标识大于视频帧 的同步控制标识, 则保存视频帧数据。 10、 根据权利要求 1、 2、 3、 4、 6或 7所述的方法, 其特征在于, 该 方法进一步包括: 判断緩存中当前是否同时具 j H 数据及对应的同步控制标识, 确定有后, 比较緩存中当前的音频帧与视频帧的同步控制标识。 11、 一种录像装置, 其特征在于, 该装置包括: 釆集单元、 编码单元、 同步控制单元、 緩存单元、 以及写入单元; 其中, 釆集单元, 用于釆集音视频数据, 并将釆集到的音视频数据发送给编 码单元; 编码单元, 用于收到釆集单元发送的音视频数据后, 对釆集到的音视 频数据分别进行编码, 并将编码后的音频帧数据和视频帧数据发送给同步 控制单元; 同步控制单元, 用于收到编码单元发送的编码后的音频帧数据和视频 帧数据后, 分别为编码后的音频帧数据和视频帧数据分配同步控制标识, 并将音频帧数据、 视频帧数据及对应的同步控制标识存入緩存单元中, 并 触发写入单元; 緩存单元, 用于保存音频帧数据、 视频帧数据及对应的同步控制标识; 写入单元, 用于收到同步控制单元的触发信息后, 比较緩存单元中当 前的音频帧与视频帧的同步控制标识, 并依据预先设置的存储规则保存緩 存单元中的音视频帧数据。 12、 根据权利要求 11所述的装置, 其特征在于, 在分别为编码后的音频帧数据和视频帧数据分配同步控制标识之前, 所述同步控制单元, 还用于根据预先设置的图像传感器的帧率与音频釆样 间隔, 分别计算初始的视频帧数据和音频帧数据的时间间隔。 13、 根据权利要求 11或 12所述的装置, 其特征在于, 所述写入单元, 还用于判断緩存单元中当前是否同时具有音视频帧数 据及对应的同步控制标识, 确定有后, 比较緩存单元中当前的音频帧与视 频帧的同步控制标识。 14、 根据权利要求 11或 12 "ntrj jL , 其特征在于, 该装置进一步 包括: 设置单元, 用于设置分析规则、 图像传感器的帧率与音频釆样间隔、 修正公式、 以及存储规则。 15、 根据权利要求 11或 12所述的装置, 其特征在于, 所述写入单元, 还用于在停止录像后, 保存緩存单元中剩余的音频帧 数据或视频帧数据。 |
本发明涉及多媒体领域的录像技术, 特别是指一种录像方法及装置。 背景技术
随着电子技术与软件技术的发展, 多媒体在日常生活中所占的比重越 来越大, 与此同时, 人们对多媒体体验的要求也日益提高。
通过录像, 人们能以图像和声音的方式、 方便地记录下日常生活的点 点滴滴, 因此, 带有录像功能的多媒体设备也越来越受到消费 者的青睐。 录像文件的最终体现就是播放, 如果已录制的文件在播放时出现画面与声 音不同步的现象, 则会极大影响用户体验。
在理想情况下, 录像时所釆集的每帧音视频数据的时间间隔恒 定, 其 中, 视频数据的帧间隔由设定的图像传感器的帧率 决定, 音频数据的帧间 隔由设定的釆样间隔决定。 但是, 在实际录制过程中, 由于图像传感器的 帧率降低或系统调度的延迟, 会使视频数据的帧间隔变得不恒定, 从而使 音视频数据的时间统计出现误差, 即: 会出现音视频不能同步的现象。 而 且, 随着用户录制时间的推移, 会使音视频不能同步的情况越来越严重。
申请号为 200610041631.3的中国专利申请《一种录像方法》 该专利提 出: 分段录制音视频数据, 并通过比较已录制音视频数据的时间长度进行 选择性保存, 以达到音视频同步的效果。 但是, 由于在录制过程中, 存在 图像传感器的帧率降低或系统调度延迟的因素 , 釆用上述专利提供的录像 方法, 还是会出现音视频的时间统计出现误差的情况 , 相应的, 如果不对 这些误差进行处理, 随着用户录制时间的推移, 则会出现音视频不能同步 的现象。 发明内容
有鉴于此, 本发明的主要目的在于提供一种录像方法及装 置, 能解决 现有技术中由于图像传感器的帧率变化或系统 调度延迟造成的音视频数据 不能同步的问题。
为达到上述目的, 本发明的技术方案是这样实现的:
本发明提供了一种录像方法, 该方法包括:
对釆集到的音视频数据分别进行编码, 并分别为编码后的音频帧数据 和视频帧数据分配同步控制标识;
将音频帧数据、 视频帧数据及对应的同步控制标识存入緩存, 比较緩 存中当前的音频帧与视频帧的同步控制标识, 之后依据预先设置的存储规 则保存緩存中的音视频帧数据。
上述方案中, 在分别为编码后的音频帧数据和视频帧数据分 配同步控 制标识之前, 该方法进一步包括:
根据预先设置的图像传感器的帧率与音频釆样 间隔, 分别计算初始的 视频帧数据和音频帧数据的时间间隔。
上述方案中, 以音频帧数据的时间间隔为参照物, 所述为编码后的音 频帧数据和视频帧数据分别分配同步控制标识 , 为:
分别统计当前编码后的具有相同时间间隔的音 频帧数和视频帧数, 之 后与预先设置的分析规则进行匹配, 确定能匹配后, 釆用预先设置的修正 公式对视频帧数据的时间间隔进行修正;
将统计的音频帧数和视频帧数分别置为零, 之后根据修正后的视频帧 数据的时间间隔及上一次为视频帧数据分配的 同步控制标识, 为当前的视 频帧数据分配同步控制标识, 相应的, 根据音频帧数据的时间间隔及上一 次为音频帧数据分配的同步控制标识, 为当前的音频帧数据分配同步控制 标识。 上述方案中, 该方法进一步 ^ :
确定与预先设置的分析规则不能匹配后, 根据当前釆用的视频帧数据 的时间间隔及上一次为视频帧数据分配的同步 控制标识, 为当前的视频帧 数据分配同步控制标识, 相应的, 根据音频帧数据的时间间隔及上一次为 频帧数据分配的同步控制标识, 为当前的音频帧数据分配同步控制标识, 上述方案中, 如果 ΔΓ >Δ7 所述分析规则为: INA7 — ΜΔΓ >Δ7 ; 如 果 Δ <Δ7 所述分析规则为: |NA7 - ΜΔΓ >Δ7^; 其中, 表示当前釆 用的视频帧数据的时间间隔, 表示音频帧数据的时间间隔, 7表示具 有相同时间间隔 的所有视频帧数据的时间间隔的累积时间, Μ Τ Α 表示 在 Λ^ΔΤ 内所有音频帧数据的时间间隔的累计时间;
相应的, 如果 Δ7 >Δ7 所述爹正公式为:
(NAT r -MAT A >AT v
(1 — ^
△7;
(MAT A -NAT v >AT f 如果 < ΑΤ Α , 则所述修正公式为:
△7; 其中, L」表示向下取整, 「,表示向上取整。
上述方案中, 以视频帧数据的时间间隔为参照物, 所述为编码后的音 频帧数据和视频帧数据分别分配同步控制标识 , 为:
分别统计当前编码后的具有相同时间间隔的音 频帧数和视频帧数, 之 后与预先设置的分析规则进行匹配, 确定能匹配后, 釆用预先设置的修正 公式对音频帧数据的时间间隔进行修正;
将统计的音频帧数和视频帧数分别置为零, 之后根据修正后的音频帧 数据的时间间隔及上一次为音频 力-^的同步控制标识, 为当前的 频帧数据分配同步控制标识, 相应的, 根据视频帧数据的时间间隔及上一 次为视频帧数据分配的同步控制标识, 为当前的视频帧数据分配同步控制 标识。
上述方案中, 该方法进一步包括:
确定与预先设置的分析规则不能匹配后, 根据当前釆用的音频帧数据 的时间间隔及上一次为音频帧数据分配的同步 控制标识, 为当前的音频帧 数据分配同步控制标识, 相应的, 根据视频帧数据的时间间隔及上一次为 视频帧数据分配的同步控制标识, 为当前的视频帧数据分配同步控制标识。
上述方案中, 如果 Δ7 >Δ7 所述分析规则为: INA7 — ΜΔΓ >Δ7 ; 如
^ΑΤ ν <ΑΤ Λ , 所述分析规则为: |NA7 — ΜΔΓ >Δ7^; 相应的, 如果 Δ7 >Δ7 所述爹正公式为:
AT, -Δ7 (ΜΑΤ Α -ΝΑΤ ν >ΑΤ ν
M
AT, =
(NAT v -MAT A >AT f
Μ 如果 Δ7 < AT, , 所述修正公式为:
丄
(ΜΑΤ Λ -ΝΑΤ ν >ΑΤ Λ
Μ .
1
1 +— ΙΔΓ, (NAT V -MAT A >AT A
Μ 上述方案中, 所述存储规则为: 如果音频帧的同步控制标识小于或等 于视频帧的同步控制标识, 则保存音频帧数据, 如果音频帧的同步控制标 识大于视频帧的同步控制标识, 则保存视频帧数据。
上述方案中, 该方法进一步包括:
判断緩存中当前是否同时具有音视频帧数据及 对应的同步控制标识, 确定有后, 比较緩存中当前的音频帧与视频帧的同步控制 标识。 本发明还提供了一种录像装 JL , ¾ ^JL包括: 釆集单元、 编码单元、 同步控制单元、 緩存单元、 以及写入单元; 其中,
釆集单元, 用于釆集音视频数据, 并将釆集到的音视频数据发送给编 码单元;
编码单元, 用于收到釆集单元发送的音视频数据后, 对釆集到的音视 频数据分别进行编码, 并将编码后的音频帧数据和视频帧数据发送给 同步 控制单元;
同步控制单元, 用于收到编码单元发送的编码后的音频帧数据 和视频 帧数据后, 分别为编码后的音频帧数据和视频帧数据分配 同步控制标识, 并将音频帧数据、 视频帧数据及对应的同步控制标识存入緩存单 元中, 并 触发写入单元;
緩存单元, 用于保存音频帧数据、 视频帧数据及对应的同步控制标识; 写入单元, 用于收到同步控制单元的触发信息后, 比较緩存单元中当 前的音频帧与视频帧的同步控制标识, 并依据预先设置的存储规则保存緩 存单元中的音视频帧数据。
上述方案中, 在分别为编码后的音频帧数据和视频帧数据分 配同步控 制标识之前, 所述同步控制单元, 还用于根据预先设置的图像传感器的帧 率与音频釆样间隔, 分别计算初始的视频帧数据和音频帧数据的时 间间隔。
上述方案中, 所述写入单元, 还用于判断緩存单元中当前是否同时具 有音视频帧数据及对应的同步控制标识, 确定有后, 比较緩存单元中当前 的音频帧与视频帧的同步控制标识。
上述方案中, 该装置进一步包括: 设置单元, 用于设置分析规则、 图 像传感器的帧率与音频釆样间隔、 修正公式、 以及存储规则。
上述方案中, 所述写入单元, 还用于在停止录像后, 保存緩存单元中 剩余的音频帧数据或视频帧数据。 本发明提供的录像方法及装 , yr , - J编码后的音频帧数据和视频帧 数据分配同步控制标识; 将音频帧数据、 视频帧数据及对应的同步控制标 识存入緩存, 比较緩存中当前的音频帧与视频帧的同步控制 标识, 之后依 据预先设置的存储规则保存緩存中的音视频帧 数据, 如此, 能针对录像过 程釆集到的音视频数据实现同步, 从而能避免由于图像传感器的帧率变化 或系统调度延迟造成的音视频数据不能同步现 象的发生, 进而提升用户体 验。
另外, 本发明釆用时间戳作为同步控制标识, 在分配同步控制标识时, 利用修正公式对视频帧数据的时间间隔进行修 正, 并根据修正后的视频帧 数据的时间间隔为当前的视频帧数据分配同步 控制标识; 或者, 利用修正 公式对音频帧数据的时间间隔进行修正, 并根据修正后的音频帧数据的时 间间隔为当前的音频帧数据分配同步控制标识 , 如此, 能简单、 有效地实 现音视频数据的同步。 附图说明
图 1为本发明录像的方法流程示意图;
图 2为本发明以音频帧数据的时间间隔为参照物 , 分配同步控制标 识的方法流程示意图;
图 3 为本发明以视频帧数据的时间间隔为参照物时 , 分配同步控制标 识的方法流程示意图;
图 4为本发明录像的装置结构示意图。 具体实施方式
下面结合附图及具体实施例对本发明再作进一 步详细的说明。
本发明录像的方法, 如图 1所示, 包括以下步骤:
步骤 101 : 对釆集到的音视频数据分别进行编码, 并分别为编码后的音 频帧数据和视频帧数据分配同步 」仲 A ,
这里, 所述釆集到的音视频数据是指: 从音视频数据源釆集到的音视 频数据;
可以釆用现有的编码技术对音视频数据分别进 行编码;
本发明釆用时间戳作为同步控制标识, 即: 编码后的音频帧数据和视 频帧数据的同步控制标识为该帧数据的起始时 间;
在分别为编码后的音频帧数据和视频帧数据分 配同步控制标识之前, 该方法还可以进一步包括:
根据预先设置的图像传感器的帧率与音频釆样 间隔, 分别计算初始的 视频帧数据和音频帧数据的时间间隔;
其中, 依据摄像头的性能设置图像传感器的帧率及音 频釆样间隔; 釆 用图像传感器的帧率的倒数作为初始的视频帧 数据的时间间隔, 釆用音频 釆样间隔的倒数作为初始的音频帧数据的时间 间隔; 并且, 因为以音频帧 的时间间隔为参照物, 所以在整个录像过程中, 音频帧数据的时间间隔为 固定值, 不会发生变化;
以音频帧数据的时间间隔为参照物, 所述为编码后的音频帧数据和视 频帧数据分别分配同步控制标识, 如图 2所示, 包括以下步骤:
步骤 101a: 分别统计当前编码后的具有相同时间间隔的音 频帧数和视 频帧数, 之后执行步骤 101b;
这里, 可以釆用两个计数器, 分别按釆集顺序统计编码后的具有相同 时间间隔的音频帧数和视频帧数, 在统计当前编码后的具有相同时间间隔 的音频帧数和视频帧数时, 每完成一个具有相同时间间隔的音频帧数据的 编码后, 则给统计音频帧数的计数器的值加一, 同样的, 每完成一个具有 相同时间间隔视频数据的编码后, 则给统计视频帧数的计数器的值加一, 直至视频帧的时间间隔进行修正后将两个计数 器的值清零, 重新开始计数; 所述具有相同时间间隔的视 疋指: 釆用相同时间间隔分配同 步控制标识的视频帧数据加上当前编码后的视 频帧数据; 相应的, 所述具 有相同时间间隔的音频帧数据是指: 在釆用相同时间间隔分配同步控制标 识的视频帧数据加上当前编码后的视频帧数据 的时间间隔的累计时间内的 编码后的音频帧数据;
步骤 101b: 判断是否能与预先设置的分析规则进行匹配, 如果能匹配, 则执行步骤 101c, 否则, 执行步骤 101 f;
这里, 如果 Δ7 >Δ7^ , 所述分析规则为: INA7 — ΜΔΓ >Δ7 ; 如果
ΑΤ ν <ΑΤ Λ , 所述分析规则为: |NA7 - ΜΔΓ >Δ ; 其中, 表示当前釆用 的视频帧数据的时间间隔, 表示音频帧数据的时间间隔, 丽 ν 表示具有 相同时间间隔 的所有视频帧数据的时间间隔的累积时间, Μ Τ Α 表示在 NAT V 内所有音频帧数据的时间间隔的累计时间 ; M及 N分别对应统计的音 频帧数和统计的视频帧数, 即: 统计音频帧数的计数器的值及统计视频帧 数的计数器的值;
在实际应用过程中, 一般会设置 Δ7 >ΔΓ ; 设置分析规则的依据为: 在实际应用过程中, 允许视频帧数据或音频 帧数据有一定的滞后, 但是不能滞后太多, 即: 可以允许滞后的时间为 与 ΔΓ二者当中的最大值, 如果滞后的时间超过 与 ΔΓ二者当中的最大 值, 随着录制时间的推移, 则会出现音视频数据不能同步的现象。
步骤 101c: 釆用预先设置的修正公式对视频帧数据的时间 间隔进行修 正;
这里, 如果 Δ7 >ΔΓ, 则所述爹正公式为:
△7; = (1 - ^ (NAT r -MAT A >AT J/ (MAT A -NAT v >AT f 如果 < ΑΤ Λ , 则所述爹正,厶 \^:
△7;
其中, L」表示向下取整, 「,表示向上取整;
设置修正公式的依据为: 对分析规则的不等式进行解析, 得到修正公 步骤 101d: 将统计的音频帧数和视频帧数分别置为零, 之后执行步骤 101e;
具体地, 将两个计数器的值分别清零; 将统计的音频帧数和视频帧数 分别置为零的目的是: 为下一次的视频帧数据分配同步控制标识做准 备。
步骤 101e: 根据修正后的视频帧数据的时间间隔及上一次 为视频帧数 据分配的同步控制标识, 为当前的视频帧数据分配同步控制标识, 相应的, 根据音频帧数据的时间间隔及上一次为音频帧 数据分配的同步控制标识, 为当前的音频帧数据分配同步控制标识;
这里, 举个例子来说, 假设上一次为视频帧数据分配的同步控制标识 为 7; , 修正后的视频帧数据的时间间隔为 , 则为当前的视频帧数据分配 的同步控制标识为: Γ + ΔΓ ' ; 相应的, 4叚设上一次为音频帧数据分配的同 步控制标识为 Γ , 音频帧数据的时间间隔为 ΔΓ , 则为当前的音频帧数据分 配的同步控制标识为: Τ Α + ΑΤ Α 。
步骤 101f: 根据当前釆用的视频帧数据的时间间隔及上一 次为视频帧 数据分配的同步控制标识, 为当前的视频帧数据分配同步控制标识, 相应 的, 根据音频帧数据的时间间隔及上一次为音频帧 数据分配的同步控制标 识, 为当前的音频帧数据分配同步控制标识;
这里, 举个例子来说, 假设上一次为视频帧数据分配的同步控制标识 为 7; , 当前釆用的视频帧数据的 i«j i«j rmyj ΑΤ Ν , 则为当前的视频帧数据分 配的同步控制标识为: Γ+ΔΓ;相应的, H没上一次为音频帧数据分配的 同步控制标识为 Γ,音频帧数据的时间间隔为 ΔΓ,则为当前的音频帧数据 分配的同步控制标识为: Τ Α + ΑΤ Α 。
同样的, 还可以以视频帧数据的时间间隔为参照物, 为编码后的音频 帧数据和视频帧数据分别分配同步控制标识, 此时, 视频帧数据的时间间 隔为固定值, 不会发生变化, 如图 3所示, 包括以下步骤:
101A: 分别统计当前编码后的具有相同时间间隔的音 频帧数和视频帧 数, 之后执行步骤 101B;
这里, 统计方法与以音频帧数据的时间间隔为参照物 时的统计方法相 同, 这里不再细述。
步骤 101B: 判断与预先设置的分析规则进行匹配, 如果能匹配, 则执 行步骤 101C, 否则, 执行步骤 101F;
这里, 分析规则与以音频帧数据的时间间隔为参照物 时的分析规则相 同, 这里不再细述。
步骤 101C: 釆用预先设置的修正公式对音频帧数据的时间 间隔进行修 正;
这里, 如果 Δ7>Δ7 则所述爹正公式为:
如果 Δ7 < AT, , 则所述修正公式为:
1-— ΙΔΓ, (ΜΑΤ Λ -ΝΑΤ Ν >ΑΤ Λ \+—)ΑΤ Α (ΝΑΤ Ν -ΜΑΤ Α >ΑΤ Α
Μ Α 步骤 101D: 将统计的音频 贞数分别置为零, 之后执行步骤 101D。
步骤 101E: 根据修正后的音频帧数据的时间间隔及上一次 为音频帧数 据分配的同步控制标识, 为当前的音频帧数据分配同步控制标识, 相应的, 根据视频帧数据的时间间隔及上一次为视频帧 数据分配的同步控制标识, 为当前的视频帧数据分配同步控制标识。
步骤 101F: 根据当前釆用的音频帧数据的时间间隔及上一 次为音频帧 数据分配的同步控制标识, 为当前的音频帧数据分配同步控制标识, 相应 的, 根据视频帧数据的时间间隔及上一次为视频帧 数据分配的同步控制标 识, 为当前的视频帧数据分配同步控制标识。
步骤 102:将音频帧数据、视频帧数据及对应的同步 制标识存入緩存, 比较緩存中当前的音频帧与视频帧的同步控制 标识, 之后依据预先设置的 存储规则保存緩存中的音视频帧数据;
这里, 所述存储规则为: 如果音频帧的同步控制标识小于或等于视频 帧的同步控制标识, 则保存音频帧数据, 如果音频帧的同步控制标识大于 视频帧的同步控制标识, 则保存视频帧数据;
当前未保存的音频帧数据或视频帧数据仍然保 留在緩存中, 当新的视 频帧数据或音频帧数据及对应的同步控制标识 存入緩存后, 将当前未保存 的音频帧数据或视频帧数据对应的同步控制标 识与新的视频帧数据或音频 帧数据及对应的同步控制标识进行比较, 依据存储规则保存緩存中的音视 频帧数据, 具体地, 如果当前未保存的是音频帧数据, 则当新的视频帧数 据及对应的同步控制标识存入緩存后, 将当前未保存的音频帧数据对应的 同步控制标识与新的视频帧数据对应的同步控 制标识进行比较, 并依据存 储规则保存緩存中的音视频帧数据; 如果当前未保存的是视频帧数据, 则 当新的音频帧数据及对应的同步控制标识存入 緩存后, 将当前为保存的视 频帧数据对应的同步控制标识与 w '、J "¾ HI'J数据及对应的同步控制标识进 行比较, 并依据存储规则保存緩存中的音视频帧数据, 如此循环, 直至整 个录像过程结束;
保存音视频帧数据是指形成可以播放的影音文 件, 而且所形成的影音 文件在播放时能实现画面与声音的同步;
在比较緩存中当前的音频帧与视频帧的同步控 制标识之前, 该方法还 可以进一步包括:
判断緩存中当前是否同时具有音视频帧数据及 对应的同步控制标识, 确定有, 则再比较緩存中当前的音频帧与视频帧的同步 控制标识, 如果没 有, 则不做任何操作。
在停止录像后, 如果緩存中有剩余的音频帧数据或视频帧数据 , 会保 存緩存中剩余的音频帧数据或视频帧数据; 其中, 在停止录像后, 由于音 频帧和视频帧的时间间隔不一样, 因此, 緩存中只会剩下音频帧数据和视 频帧数据当中的一种。
为实现上述方法, 本发明还提供了一种录像装置, 如图 4所示, 该装 置包括: 釆集单元 41、 编码单元 42、 同步控制单元 43、 緩存单元 44、 以 及写入单元 45; 其中,
釆集单元 41 , 用于釆集音视频数据, 并将釆集到的音视频数据发送给 编码单元 42;
编码单元 42, 用于收到釆集单元 41发送的音视频数据后,对釆集到的 音视频数据分别进行编码, 并将编码后的音频帧数据和视频帧数据发送给 同步控制单元 43;
同步控制单元 43 ,用于收到编码单元 42发送的编码后的音频帧数据和 视频帧数据后, 分别为编码后的音频帧数据和视频帧数据分配 同步控制标 识, 并将音频帧数据、 视频帧数据及对应的同步控制标识存入緩存单 元 44 中, 并触发写入单元 45;
緩存单元 44, 用于保存音频帧数据、 视频帧数据及对应的同步控制标 识;
写入单元 45 , 用于收到同步控制单元 43的触发信息后, 比较緩存单元 44中当前的音频帧与视频帧的同步控制标识, 并依据预先设置的存储规则 保存緩存单元 44中的音视频帧数据。
其中, 该装置还可以进一步包括: 设置单元, 用于设置分析规则、 图 像传感器的帧率与音频釆样间隔、 修正公式、 以及存储规则。
在分别为编码后的音频帧数据和视频帧数据分 配同步控制标识之前, 所述同步控制单元 43 , 还用于根据预先设置的图像传感器的帧率与音 频釆 样间隔, 分别计算初始的视频帧数据和音频帧数据的时 间间隔。
所述写入单元 45 ,还用于判断緩存单元 44中当前是否同时具有音视频 帧数据及对应的同步控制标识, 确定有后, 比较緩存单元 44中当前的音频 帧与视频帧的同步控制标识。
所述写入单元 45 ,还用于确定緩存单元 44中当前没有同时具有音视频 帧数据及对应的同步控制标识时时, 不做任何操作。
所述写入单元 45 ,还用于在停止录像后,保存緩存单元 44中剩余的音 频帧数据或视频帧数据。
这里, 本发明的所述装置中的同步控制单元的具体处 理过程已在上文 中详述, 不再赘述。
以上所述, 仅为本发明的较佳实施例而已, 并非用于限定本发明的保 护范围, 凡在本发明的精神和原则之内所作的任何修改 、 等同替换和改进 等, 均应包含在本发明的保护范围之内。
