Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD AND DEVICE FOR PROCESSING RECORDED CONTENT OF AUDIO/VIDEO CONFERENCE
Document Type and Number:
WIPO Patent Application WO/2015/039426
Kind Code:
A1
Abstract:
Disclosed in an embodiment of the present invention are a method and device for processing the recorded content of an audio/video conference, the method comprising: a message stream encryption (MSE) receives the audio data and/or video data of each participating terminal transmitted by a micro controller unit (MCU), and receives a viewer permission configured by a first terminal, each participating terminal including the first terminal; the MSE checks whether the permission for a second terminal requesting viewing of an audio/video conference is higher than the viewer permission configured by the first terminal; if not, the MSE processes the audio data and/or video data of each participating terminal other than the first terminal; and the MSE outputs the processed audio data and/or video data. The embodiment of the present invention enables a participating terminal to determine, according to the participating information security of the participating terminal, whether to allow other terminals to watch a related audio/video conference, thus flexibly and effectively ensuring the participating information security of participants.

Inventors:
RUAN GUANCHUN (CN)
ZHANG RANRAN (CN)
Application Number:
PCT/CN2014/074776
Publication Date:
March 26, 2015
Filing Date:
April 04, 2014
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
HUAWEI TECH CO LTD (CN)
International Classes:
H04N5/76
Foreign References:
CN101489092A2009-07-22
CN103124342A2013-05-29
CN101895719A2010-11-24
CN103475835A2013-12-25
Download PDF:
Claims:
权 利 要 求

1、 一种音视频会议录制内容的处理方法, 其特征在于, 包括:

流媒体引擎 MSE接收多点控制单元 MGU 发送的各与会终端的音频数据和 / 或视频数据, 以及第一终端配置的观看者权限, 其中, 所述各与会终端包含所 述第一终端;

所述 MSE查看申请观看音视频会议的第二终端的权限是否高于所述第一终 端配置的观看者权限;

若否,所述 MSE对除所述第一终端之外的各与会终端的音频数据和 /或视频 数据进行处理;

所述 MSE输出处理后的音频数据和 /或视频数据。

2、 根据权利要求 1 所述的方法, 其特征在于, 还包括:

当所述第二终端的权限高于所述第一终端配置的观看者权限时, 所述 MSE 对所述各与会终端的音频数据和 /或视频数据进行处理。

3、 根据权利要求 1 或 2所述的方法, 其特征在于, 在所述 MSE接收 MGU 发送的各与会终端的音频数据和 /或视频数据,以及第一终端配置的观看者权限 之前, 还包括:

所述 MGU向所述第一终端发送是否接受录制或者是否取消录制的信息; 当所述 MGU接收到所述第一终端发送的不允许对所述第一终端录制的信息 或停止对所述第一终端录制的信息后, 向所述第一终端发送是否配置权限的信 息;

所述 MGU接收所述第一终端发送的观看者权限。 4、 根据权利要求 1 至 3 中任意一项所述的方法, 其特征在于, 所述 MSE 接收各与会终端的音频数据和 /或视频数据, 以及第一终端配置的观看者权限, 包括: 所述 MSE接收所述 MGU发送的所述各与会终端音频数据中的最大四方的音 频数据以及所述音频数据的控制信息,和 /或所述各与会终端的视频数据以及视 频数据的控制信息; 其中, 所述音频数据的控制信息包含所述第一终端的音频 标识信息及其对应的观看者权限, 所述视频数据的控制信息包含所述第一终端 的视频标识信息及其对应的观看者权限。

5、 根据权利要求 4所述的方法, 其特征在于, 所述第一终端的音频标识信 息包括所述第一终端的会场号以及停录的标志信息; 所述第一终端的视频标识 信息包括所述第一终端的会场号、 视频画面模式、 所述第一终端的会场在视频 画面中的位置, 以及停录的标志信息。

6、 根据权利要求 5所述的方法, 其特征在于, 所述 MSE对除所述第一终端 之外的各与会终端发送的音频数据和 /或视频数据进行处理, 包括:

所述 MSE根据所述第一终端的会场号以及停录的标志信息, 对所述 MGU发 送的各与会终端音频数据中的最大四方的音频数据进行选择性混音, 其中, 进 行混音的音频数据中不包含所述第一终端的音频数据; 和 /或,

所述 MSE根据所述第一终端的会场号、 视频画面模式、 所述第一终端的会 场在视频画面中的位置, 以及停录的标志信息, 将所述第一终端的视频数据替 换为指定视频数据, 并将所述指定视频数据与除所述第一终端之外的各与会终 端发送的视频数据进行处理。

7、 一种音视频会议录制内容的处理方法, 其特征在于, 包括:

多点控制单元 MGU接收第一终端发送的录制决策信息, 所述录制决策信息 包括不允许对所述第一终端录制的信息或停止对所述第一终端录制的信息; 所述 MGU 对除所述第一终端之外的各与会终端发送的音频数据和 /或视频 数据进行处理;

所述 MGU将处理后的音频数据和 /或视频数据发送至流媒体引擎 MSE进行会 议录制。

8、 根据权利要求 7所述的方法, 其特征在于, 在所述 MGU接收第一终端发 送的录制决策信息之前, 还包括:

所述 MGU接收业务管理中心 SMG发送的允许所述第一终端决策录制过程的 配置信息。

9、 根据权利要求 8所述的方法, 其特征在于, 在所述 MGU接收 SMG发送的 允许所述第一终端决策录制过程的配置信息之后, 在所述 MGU接收第一终端发 送的录制决策信息之前, 还包括:

所述 MGU向所述第一终端发送是否允许录制的信息。

10、 一种音视频会议录制内容的处理装置, 其特征在于, 包括: 数据接收单元, 用于接收多点控制单元 MGU发送的各与会终端的音频数据 和 /或视频数据, 以及第一终端配置的观看者权限, 其中, 所述各与会终端包含 所述第一终端;

权限判断单元, 用于查看申请观看音视频会议的第二终端的权限是否高于 所述第一终端配置的观看者权限;

音视频处理单元, 用于当所述权限判断单元的判断结果为所述第二终端的 权限不高于所述第一终端配置的观看者权限时, 对除所述第一终端之外的各与 会终端的音频数据和 /或视频数据进行处理;

数据输出单元,用于输出所述音视频处理单元处理后的音频数据和 /或视频 数据。

1 1、 根据权利要求 10所述的装置, 其特征在于,

所述音视频处理单元, 还用于当权限判断单元的判断结果为所述第二终端 的权限高于所述第一终端配置的观看者权限时, 对所述各与会终端的音频数据 和 /或视频数据进行处理

1 2、 根据权利要求 1 0或 1 1 所述的装置, 其特征在于,

所述数据接收单元, 具体用于接收所述 MGU发送的所述各与会终端音频数 据中的最大四方的音频数据以及所述音频数据的控制信息,和 /或所述各与会终 端的视频数据以及视频数据的控制信息; 其中, 所述音频数据的控制信息包含 所述第一终端的音频标识信息及其对应的观看者权限, 所述视频数据的控制信 息包含所述第一终端的视频标识信息及其对应的观看者权限。

1 3、 根据权利要求 1 2所述的装置, 其特征在于, 所述第一终端的音频标识 信息包括所述第一终端的会场号以及停录的标志信息; 所述第一终端的视频标 识信息包括所述第一终端的会场号、 视频画面模式、 所述第一终端的会场在视 频画面中的位置, 以及停录的标志信息。

1 4、 根据权利要求 1 3所述的装置, 其特征在于,

所述音视频处理单元, 具体用于根据所述第一终端的会场号以及停录的标 志信息, 对所述 MGU发送的各与会终端音频数据中的最大四方的音频数据进行 选择性混音, 其中, 进行混音的音频数据中不包含所述第一终端的音频数据; 和 /或, 根据所述第一终端的会场号、 视频画面模式、 所述第一终端的会场在视 频画面中的位置, 以及停录的标志信息, 将所述第一终端的视频数据替换为指 定视频数据, 并将所述指定视频数据与除所述第一终端之外的各与会终端发送 的视频数据进行处理。

1 5、 一种音视频会议录制内容的处理装置, 其特征在于, 包括: 信息接收单元, 用于接收第一终端发送的录制决策信息, 所述录制决策信 息包括不允许对所述第一终端录制的信息或停止对所述第一终端录制的信息; 音视频处理单元, 用于对除所述第一终端之外的各与会终端发送的音频数 据和 /或视频数据进行处理;

数据发送单元,用于将处理后的音频数据和 /或视频数据发送至流媒体引擎

MSE进行会议录制。 1 6、 根据权利要求 1 5所述的装置, 其特征在于, 还包括:

配置接收单元, 用于在所述信息接收单元接收第一终端发送的录制决策信 息之前, 接收业务管理中心 SMG发送的允许所述第一终端决策录制过程的配置 信息。 1 7、 根据权利要求 1 6所述的装置, 其特征在于, 还包括:

问询单元, 用于在配置接收单元接收所述 SMG发送的允许所述第一终端决 策录制过程的配置信息之后, 在所述信息单元接收第一终端发送的录制决策信 息之前, 向所述第一终端发送是否允许录制的信息。

Description:
一种音视频会议录制内容的处理方法及装置 本申请要求于 2013 年 9 月 18 日提交中 国专利局、 申请号为 201310429340.1、 发明名称为 "一种音视频会议录制内容的处理方法及装 置" 的中国专利申请的优先权, 其全部内容通过引用结合在本申请中。 技术领域 本发明涉及通信技术领域, 特别是涉及一种音视频会议录制内容的处理方 法及装置。 背景技术 随着视频会议技术的飞速发展, 会议录播技术也越来越多地应用在诸如司 法、 教育、 医疗、 重要论坛等等场景。

如图 1 所示, 展示了一个典型的多点视频会议录制的场景。 业务管理中心 (会议搡作管理平台) (Service Management Center, SMC) 完成会议的调度 后, 视频会议终端 10a、 10b, 10c, 通过麦克风和摄像头获取音视频信息, 经 过一些处理后打包成音视频码流发送给多点控 制单元(Micro Control ler Unit, MCU) 11。 MCU 11 将终端发送过来的音视频码流进行解码, 然后根据特定策略 进行混音和合成多画面处理, 然后将处理过的音视频数据编码成码流, 通过网 络发送到流媒体引擎(Message Stream Encrypt i on, MSE) 12中, 最后由 MSE 12 将收到的音视频码流进行存储, 供用户下载 /点播或者直接进行直播等业务 搡作。

然而, 根据应用场景的不同, 各与会方对与会时自身信息安全的要求不完 全相同。 现有技术中, 完全通过网络侧 MGU及 MSE来笼统地完成全会议的录制 及播放, 与会方无法控制自己的终端是否被录制或是否 允许被查看, 显然以上 所述的录制方法无法满足各个与会方对自身信 息安全的不同需求。 发明内容 本发明实施例中提供了一种音视频会议录制内 容的处理方法及装置, 能够 满足各个与会方对自身信息安全的不同需求。

为了解决上述技术问题, 本发明实施例公开了如下技术方案:

第一方面, 提供一种音视频会议录制内容的处理方法, 包括:

流媒体引擎 MSE接收多点控制单元 MGU 发送的各与会终端的音频数据和 / 或视频数据, 以及第一终端配置的观看者权限, 其中, 所述各与会终端包含所 述第一终端;

所述 MSE查看申请观看音视频会议的第二终端的权限 是否高于所述第一终 端配置的观看者权限;

若否,所述 MSE对除所述第一终端之外的各与会终端的音频 数据和 /或视频 数据进行处理;

所述 MSE输出处理后的音频数据和 /或视频数据。

结合上述第一方面, 在第一种可能的实现方式中, 还包括:

当所述第二终端的权限高于所述第一终端配置 的观看者权限时, 所述 MSE 对所述各与会终端的音频数据和 /或视频数据进行处理。

结合上述第一方面, 和 /或第一种可能的实现方式, 在第二种可能的实现方 式中, 在所述 MSE接收 MGU发送的各与会终端的音频数据和 /或视频数据, 以及 第一终端配置的观看者权限之前, 还包括:

所述 MGU向所述第一终端发送是否接受录制或者是否 取消录制的信息; 当所述 MGU接收到所述第一终端发送的不允许对所述第 一终端录制的信息 或停止对所述第一终端录制的信息后, 向所述第一终端发送是否配置权限的信 息;

所述 MGU接收所述第一终端发送的观看者权限。

结合上述第一方面, 和 /或第一种可能的实现方式, 和 /或第二种可能的实 现方式, 在第三种可能的实现方式中, 所述 MSE接收各与会终端的音频数据和 / 或视频数据, 以及第一终端配置的观看者权限, 包括: 所述 MSE接收所述 MGU发送的所述各与会终端音频数据中的最大四 方的音 频数据以及所述音频数据的控制信息,和 /或所述各与会终端的视频数据以及视 频数据的控制信息; 其中, 所述音频数据的控制信息包含所述第一终端的 音频 标识信息及其对应的观看者权限, 所述视频数据的控制信息包含所述第一终端 的视频标识信息及其对应的观看者权限。

结合上述第一方面, 和 /或第一种可能的实现方式, 和 /或第二种可能的实 现方式, 和 /或第三种可能的实现方式, 在第四种可能的实现方式中, 所述第一 终端的音频标识信息包括所述第一终端的会场 号以及停录的标志信息; 所述第 一终端的视频标识信息包括所述第一终端的会 场号、 视频画面模式、 所述第一 终端的会场在视频画面中的位置, 以及停录的标志信息。

结合上述第一方面, 和 /或第一种可能的实现方式, 和 /或第二种可能的实 现方式, 和 /或第三种可能的实现方式, 和 /或第四种可能的实现方式, 在第五 种可能的实现方式中, 所述 MSE对除所述第一终端之外的各与会终端发送的 音 频数据和 /或视频数据进行处理, 包括:

所述 MSE根据所述第一终端的会场号以及停录的标志 信息, 对所述 MGU发 送的各与会终端音频数据中的最大四方的音频 数据进行选择性混音, 其中, 进 行混音的音频数据中不包含所述第一终端的音 频数据; 和 /或,

所述 MSE根据所述第一终端的会场号、 视频画面模式、 所述第一终端的会 场在视频画面中的位置, 以及停录的标志信息, 将所述第一终端的视频数据替 换为指定视频数据, 并将所述指定视频数据与除所述第一终端之外 的各与会终 端发送的视频数据进行处理。

第二方面, 提供一种音视频会议录制内容的处理方法, 包括:

多点控制单元 MGU接收第一终端发送的录制决策信息, 所述录制决策信息 包括不允许对所述第一终端录制的信息或停止 对所述第一终端录制的信息; 所述 MGU 对除所述第一终端之外的各与会终端发送的音 频数据和 /或视频 数据进行处理;

所述 MGU将处理后的音频数据和 /或视频数据发送至流媒体引擎 MSE进行会 议录制。

结合上述第二方面, 在第一种可能的实现方式中, 在所述 MGU接收第一终 端发送的录制决策信息之前, 还包括:

所述 MGU接收业务管理中心 SMG发送的允许所述第一终端决策录制过程的 配置信息。

结合上述第二方面, 和 /或第一种可能的实现方式, 在第二种可能的实现方 式中, 在所述 MGU接收 SMG发送的允许所述第一终端决策录制过程的配 置信息 之后, 在所述 MGU接收第一终端发送的录制决策信息之前, 还包括:

所述 MGU向所述第一终端发送是否允许录制的信息。

第三方面, 提供一种音视频会议录制内容的处理装置, 包括:

数据接收单元, 用于接收多点控制单元 MGU发送的各与会终端的音频数据 和 /或视频数据, 以及第一终端配置的观看者权限, 其中, 所述各与会终端包含 所述第一终端;

权限判断单元, 用于查看申请观看音视频会议的第二终端的权 限是否高于 所述第一终端配置的观看者权限;

音视频处理单元, 用于当所述权限判断单元的判断结果为所述第 二终端的 权限不高于所述第一终端配置的观看者权限时 , 对除所述第一终端之外的各与 会终端的音频数据和 /或视频数据进行处理;

数据输出单元,用于输出所述音视频处理单元 处理后的音频数据和 /或视频 数据。

结合上述第三方面, 在第一种可能的实现方式中, 所述音视频处理单元, 还用于当权限判断单元的判断结果为所述第二 终端的权限高于所述第一终端配 置的观看者权限时, 对所述各与会终端的音频数据和 /或视频数据进行处理。

结合上述第三方面, 和 /或第一种可能的实现方式, 在第二种可能的实现方 式中, 所述数据接收单元, 具体用于接收所述 MGU发送的所述各与会终端音频 数据中的最大四方的音频数据以及所述音频数 据的控制信息,和 /或所述各与会 终端的视频数据以及视频数据的控制信息; 其中, 所述音频数据的控制信息包 含所述第一终端的音频标识信息及其对应的观 看者权限, 所述视频数据的控制 信息包含所述第一终端的视频标识信息及其对 应的观看者权限。

结合上述第三方面, 和 /或第一种可能的实现方式, 和 /或第二种可能的实 现方式, 在第三种可能的实现方式中, 所述第一终端的音频标识信息包括所述 第一终端的会场号以及停录的标志信息; 所述第一终端的视频标识信息包括所 述第一终端的会场号、 视频画面模式、 所述第一终端的会场在视频画面中的位 置, 以及停录的标志信息。

结合上述第三方面, 和 /或第一种可能的实现方式, 和 /或第二种可能的实 现方式, 和 /或第三种可能的实现方式, 在第四种可能的实现方式中, 所述音视 频处理单元, 具体用于根据所述第一终端的会场号以及停录 的标志信息, 对所 述 MGU发送的各与会终端音频数据中的最大四方的 音频数据进行选择性混音, 其中, 进行混音的音频数据中不包含所述第一终端的 音频数据; 和 /或, 根据所 述第一终端的会场号、 视频画面模式、 所述第一终端的会场在视频画面中的位 置, 以及停录的标志信息, 将所述第一终端的视频数据替换为指定视频数 据, 并将所述指定视频数据与除所述第一终端之外 的各与会终端发送的视频数据进 行处理。

第四方面, 提供一种音视频会议录制内容的处理装置, 包括:

信息接收单元, 用于接收第一终端发送的录制决策信息, 所述录制决策信 息包括不允许对所述第一终端录制的信息或停 止对所述第一终端录制的信息; 音视频处理单元, 用于对除所述第一终端之外的各与会终端发送 的音频数 据和 /或视频数据进行处理;

数据发送单元,用于将处理后的音频数据和 /或视频数据发送至流媒体引擎

MSE进行会议录制。

结合上述第四方面, 在第一种可能的实现方式中, 还包括:

配置接收单元, 用于在所述信息接收单元接收第一终端发送的 录制决策信 息之前, 接收业务管理中心 SMG发送的允许所述第一终端决策录制过程的配 置 信息。 结合上述第四方面, 和 /或第一种可能的实现方式, 在第二种可能的实现方 式中, 还包括:

问询单元, 用于在配置接收单元接收所述 SMG发送的允许所述第一终端决 策录制过程的配置信息之后, 在所述信息单元接收第一终端发送的录制决策 信 息之前, 向所述第一终端发送是否允许录制的信息。

本发明实施例中 MSE根据与会终端发送的观看者权限信息以及申 请观看音 视频会议的终端的权限来进行音视频数据的处 理, 使得与会终端可以根据自身 的与会信息安全决定是否允许其他终端观看相 关音视频会议, 从而灵活有效的 保障了与会者的与会信息安全。 附图说明 为了更清楚地说明本发明实施例或现有技术中 的技术方案, 下面将对实施 例或现有技术描述中所需要使用的附图作简单 地介绍, 显而易见地, 对于本领 域普通技术人员而言, 在不付出创造性劳动性的前提下, 还可以根据这些附图 获得其他的附图。

图 1 为现有技术中多点视频会议录制的场景示意图 ;

图 2为本发明实施例一种音视频会议录制内容的 理方法流程图; 图 3为图 2所示实施例中 MGU发送码流的模式示意图;

图 4为本发明实施例另一种音视频会议录制内容 处理方法流程图; 图 5为本发明实施例另一种音视频会议录制内容 处理方法流程图; 图 6a为本发明实施例中 MGU对音视频数据进行处理的示意图;

图 6b为图 6a所示实施例中 MGU对视频数据处理后的效果图;

图 7为本发明实施例另一种音视频会议录制内容 处理方法流程图; 图 8为本发明实施例一种音视频会议录制内容的 理装置结构示意图; 图 9为本发明实施例另一种音视频会议录制内容 处理装置结构示意图。 具体实施方式 为了使本技术领域的人员更好地理解本发明实 施例中的技术方案, 并使本 发明实施例的上述目的、 特征和优点能够更加明显易懂, 下面结合附图对本发 明实施例中技术方案作进一步详细的说明。

参见图 2, 为本发明实施例一种音视频会议录制内容的处 理方法流程图。 该方法可以包括:

步骤 201, MSE接收 MGU发送的各与会终端的音频数据和 /或视频数据, 以 及第一终端配置的观看者权限, 其中, 所述各与会终端包含所述第一终端。

本发明实施例中, 第一终端为了保护自身与会信息 (音视频) 的安全, 可 以设定观看第一终端与会信息的观看者权限, 例如高于第一权限级别的观看者 才可以观看该第一终端的与会信息。

其中, 该第一终端可以首先将设定的观看者权限发送 至 MGU, MGU将该第一 终端设置的观看者权限, 以及接收到的各与会终端 (包括第一终端) 的音视频 数据发送至 MSE。

具体的, 该 MGU可以按照如图 3所示的码流发送模式, 将各与会终端音频 数据中的最大四方的音频数据以及音频数据的 控制信息,和 /或各与会终端的视 频数据以及视频数据的控制信息发送至 MSE。

其中, 音频部分创建 4条通道, 分别发送各与会终端的最大四方的音频码 流并且每一个实时传输协议 (Rea卜 t i me Transport Protoco l, RTP) 包都会附 加一个附加域字段, 该附加域字段用于承载音频数据的控制信息, 具体可以包 含第一终端的音频标识信息及其对应的观看者 权限, 该第一终端的音频标识信 息例如第一终端所在的会场号等能够标识该第 一终端的音频数据, 以便于 MSE 获知第一终端的音频数据的信息; 视频部分由于带宽过高, 只创建 1 条通道, 跟音频一样, 也需要每个 RTP包附加一个附加域字段, 该附加域字段用于承载 视频数据的控制信息, 具体可以包含第一终端的视频标识信息及其对 应的观看 者权限, 该第一终端的视频标识信息例如视频画面模式 , 该第一终端所在的会 场号,第一终端视频在多视频画面中的位置等 能够标识该第一终端的视频数据, 以便于 MSE获知第一终端的视频数据的信息。

音视频数据的控制信息中应该包含音视频数据 的相关标识信息以及观看者 权限的对应关系, 以便于当存在多个设置观看者权限的与会终端 时, MSE 可以 根据音视频数据的控制信息找到各终端的音视 频数据及其对应的观看者权限。

当然, MGU也可以按照其他方式发送上述信息至 MSE, 不局限于上述方式。 步骤 202, MSE查看申请观看音视频会议的第二终端的权限 是否高于第一终 端配置的观看者权限。

MCU可以直接接收第二终端发送的自身权限级别 , 也可以向 SMG等查询该 提出申请的第二终端的权限级别。 若该第二终端的权限级别高于第一终端设置 的观看者权限, 则 MSE可以按照正常的音视频处理方法, 将各与会终端 (包含 第一终端) 的音视频数据进行处理并输出, 以供第二终端观看。 如果第二终端 的权限级别低于第一终端设置的观看者权限, 则执行步骤 203。

步骤 203, MSE对除第一终端之外的各与会终端的音频数据 和 /或视频数据 进行处理。

该 MSE根据音频数据的控制信息以及视频数据的控 制信息可以获知哪些数 据是第一终端的音视频数据, 进而可以从接收到的音视频数据中排除第一终 端 的音视频数据。

其中, MSE 对除第一终端之外的各与会终端发送的音频数 据进行处理的方 法有多种, 例如, MSE 直接对除第一终端之外的各与会终端发送的音 频数据进 行混音处理, 然后进行饱和叠加等, 若 MSE接收到的音视频数据为各与会终端 音频数据中的最大四方的音频数据, 则 MSE可以不用再选取音视频数据的最大 四方, 而直接根据对除第一终端之外的最大四方的音 频数据进行选择性混音, 然后进行饱和叠加。 对于具体的音频数据处理方法, 此处不做限定。

MSE 对除第一终端之外的各与会终端发送的视频数 据进行处理的方法也有 多种, 例如, MSE 可以根据所述第一终端的会场号、 视频画面模式、 所述第一 终端的会场在视频画面中的位置等信息, 直接将第一终端的视频数据屏蔽掉, 也可以将第一终端的视频数据替换为其他指定 的视频数据, 然后再对替换后的 视频数据与其他与会终端发送的视频数据进行 处理等。 对于具体的视频数据处 理方法, 此处不做限定。 步骤 204, MSE输出处理后的音频数据和 /或视频数据。

MSE输出处理后的音频数据和 /或视频数据, 以供第二终端观看。

本发明实施例中, MSE 可以根据观看者的权限以及与会终端设置的观 看权 限对音视频数据进行处理, 使得与会终端可以通过简单的配置来管理自己 的与 会信息, 可以更加灵活地控制与会者的信息安全, 提升了用户体验。

参见图 4, 为本发明实施例另一种音视频会议录制内容的 处理方法流程图。 该方法可以包括:

步骤 401, MCU向第一终端发送是否接受录制或者是否取消 录制的信息。

SMC 可以对是否允许终端决策录制过程, 以及是否允许终端配置权限进行 约定, 然后由 SMG 将约定的信息通过传输控制协议 (Transm i ss i on Cont ro l

Protoco l , TCP ) 信令包传输给 MGU。

MCU 接收到允许第一终端决策录制过程以及配置权 限的信息后, 可以首先 向第一终端发送是否接受录制的信息, 或者在已经开始对第一终端的录制后向 第一终端发送是否取消录制的信息。

步骤 402, 当所述 MGU接收到所述第一终端发送的不允许对所述第 一终端 录制的信息或停止对所述第一终端录制的信息 后, 向所述第一终端发送是否配 置权限的信息。

在第一终端界面弹出提示 "接收录制? "提示之后, 如果第一终端选择了 " CANCEL " ; 或者在第一终端界面弹出提示 "取消录制? "提示之后, 如果第一 终端选择了 " 0K "。 MCU 会紧接着再弹出一个同样的提示框 "是否配置权限", 且下面会出现 MSE系统上报的权限列表复选框供第一终端选择 。

步骤 403, MCU接收所述第一终端发送的观看者权限。

第一终端选择某种观看者权限后, MGU 即可获知该第一终端配置的观看者 权限。

步骤 404, MSE接收多点控制单元 MGU发送的各与会终端的音频数据和 /或 视频数据, 以及第一终端配置的观看者权限, 其中, 所述各与会终端包含所述 第一终端。 该步骤与前述步骤 201 类似。

MSE接收所述 MGU 发送的所述各与会终端音频数据中的最大四方 的音频数 据以及所述音频数据的控制信息,和 /或所述各与会终端的视频数据以及视频数 据的控制信息; 其中, 所述音频数据的控制信息包含所述第一终端的 音频标识 信息及其对应的观看者权限, 所述视频数据的控制信息包含所述第一终端的 视 频标识信息及其对应的观看者权限。

所述第一终端的音频标识信息包括所述第一终 端的会场号以及停录的标志 信息; 所述第一终端的视频标识信息包括所述第一终 端的会场号、 视频画面模 式、 所述第一终端的会场在视频画面中的位置, 以及停录的标志信息。

步骤 405,MSE查看申请观看音视频会议的第二终端的 权限是否高于所述第 一终端配置的观看者权限。

该步骤与前述步骤 202类似, 此处不再赘述。 如果第二终端的权限高于第 一终端配置的观看者权限, 则 MSE将各与会终端 (包含第一终端) 的音视频数 据进行处理并输出, 以供第二终端观看。 如果第二终端的权限级别低于第一终 端设置的观看者权限, 则执行步骤 406。

步骤 406, 所述 MSE对除所述第一终端之外的各与会终端的音频 数据和 /或 视频数据进行处理。

所述 MSE根据所述第一终端的会场号以及停录的标志 信息, 对所述 MGU发 送的各与会终端音频数据中的最大四方的音频 数据进行选择性混音, 其中, 进 行混音的音频数据中不包含所述第一终端的音 频数据; 和 /或,

所述 MSE根据所述第一终端的会场号、 视频画面模式、 所述第一终端的会 场在视频画面中的位置, 以及停录的标志信息, 将所述第一终端的视频数据替 换为指定视频数据, 并将所述指定视频数据与除所述第一终端之外 的各与会终 端发送的视频数据进行处理。

步骤 407, 所述 MSE输出处理后的音频数据和 /或视频数据。

本发明实施例中, MSE 可以根据观看者的权限以及与会终端设置的观 看权 限对音视频数据进行处理, 使得与会终端可以通过简单的配置来管理自己 的与 会信息, 可以更加灵活地控制与会者的信息安全, 提升了用户体验。 参见图 5, 为本发明实施例另一种音视频会议录制内容的 处理方法流程图。 该方法可以包括:

步骤 501, MGU接收第一终端发送的录制决策信息, 该录制决策信息包括不 允许对所述第一终端录制的信息或停止对所述 第一终端录制的信息。

本发明实施例中,各与会终端可以决策是否允 许录制和 /或何时中止录制本 终端自身的与会信息。

本步骤首先由 MGU接收第一终端的录制决策信息, 该第一终端的录制决策 信息可以是由第一终端直接发送至 MGU的,也可以是由其他装置转发至 MGU的。 该决策信息可以是不允许对第一终端录制的信 息; 也可以是停止对第一终端录 制的信息, 也即由录制状态转变为停止录制状态。 当然, 如果第一终端允许对 其进行录制, 可以向 MGU发送允许录制第一终端的信息, 也可以不向 MGU发送 任何信息。

步骤 502, MCU对除所述第一终端之外的各与会终端发送的 音频数据和 /或 视频数据进行处理。

MCU 在接收到第一终端发送的上述不允许录制或停 止录制的决策信息后, 对除第一终端之外的各与会终端发送的音频数 据和 /或视频数据进行处理。

其中, MGU 对除第一终端之外的各与会终端发送的音频数 据进行处理的方 法有多种, 例如, MGU 直接对除第一终端之外的各与会终端发送的音 频数据进 行混音处理, 或者, MGU 对除第一终端之外的各与会终端发送的音频数 据选取 最大四方, 然后进行饱和叠加等, 此处不做限定。

MCU 对除第一终端之外的各与会终端发送的视频数 据进行处理的方法也有 多种, 例如, MGU 可以直接将第一终端的视频数据屏蔽掉, 也可以将第一终端 的视频数据替换为其他视频数据, 然后再对替换后的视频数据与其他与会终端 发送的视频数据进行处理等, 此处不做限定。

以 T1 -T4四个终端通过 MGU召开多点会议为例, 各终端分别发送音频数据 及视频数据至 MGU, MCU若接收到 T1 终端发送的不允许录制或停止录制 T1 终端 的决策信息, 如图 6a所示, 对于音频数据, MGU对 T2-T4终端发送的音频码流 解码后进行混音处理, 而不允许 T1 参加录制混音。 在另一实施例中, 若参加混 音的终端大于四个, 则 MGU在对音频码流解码后, 可以先选取音频数据中的最 大四方, 然后针对选取出的最大四方进行饱和叠加, 完成混音, 当然, 该最大 四方中不包含发送不允许录制或停止录制决策 信息的终端。对于视频数据, MGU 首先对 T2-T4的视频码流进行解码, 接下来 MGU将分两种情况进行处理: 第一, 如果 T1 所在的会场刚好是 MGU待录制的单画面会场, 也即 T1 的视频数据用于 形成待录制的单画面视频, 则替换 T1 的视频数据, 具体可以使用当前会议主席 的视频数据进行替换, 形成会议主席的单画面, 或者使用禁止录制的指定视频 数据进行替换, 形成禁止录制画面, 再或者, 使用其他多个终端的视频数据进 行替换, 形成多画面视频, 如图 6b所示。 第二, 如果当前视频录制策略是录制 某组多画面, 而且 T1 的画面也在该策略要求的多画面中, 也即 T1 的视频数据 为用于形成多画面视频的视频数据之一,那么 可以将该 T1 的视频数据替换为禁 止录制的指定视频数据,则在最终形成的多画 面中 T1 的视频画面将直接显示禁 止录制的画面, 如图 6b所示。

步骤 503, MCU将处理后的音频数据和 /或视频数据发送至流媒体引擎 MSE 进行会议录制。

MCU 处理完音频数据和 /或视频数据后, 即可将处理后的音频数据和 /或视 频数据发送至 MSE 进行存储供用户进行下载 /点播或者直接进行直播等业务搡 作。

本发明实施例中 MGU根据与会终端发送的录制决策信息来进行音 视频数据 的处理,使得与会终端可以根据自身的与会信 息安全决定是否接受 MGU的录制, 即使已经开始了录制, 也可以根据当前会议内容的安全性停止或者开 始被 MGU 录制。 每一个与会终端都可以通过录制决策信息控制 网络侧完成终止或者开始 录制本终端的与会信息(音视频), 从而灵活有效的保障了与会者的与会信息安 全。

在本发明的另一实施例中, 若 M G U接收到第一终端发送的录制决策信息为 允许对第一终端录制的信息, 或者, MGU 自始至终没有接收到第一终端发送的 停止对第一终端录制的信息, 则 MGU对接收到的包括第一终端在内的各与会终 端发送的音视频数据按照现有方式处理, 然后发送至 MSE。

在本发明的另一实施例中, 在 MGU接收第一终端的录制决策信息之前, 可 以首先约定是否允许终端进行录制决策, 如图 7所示, 该方法可以包括: 步骤 701, MGU接收 SMG发送的允许第一终端决策录制过程的配置信 息。

SMC 可以将是否允许第一终端决策录制过程的配置 信息通过传输控制协议 ( Transm i ss i on Cont ro l Protoco l , TCP ) 信令包传输给 MGU。

以 SMG允许第一终端可以决策录制过程的配置信息 为例, 若 MGU接收到配 置信息时, 第一终端还未开启录制, 则可以执行步骤 702~705。

若 MGU接收到配置信息时, 第一终端已经进行了录制, 但是会议中途可能 遇到了一些私密性较强的会议内容, 第一终端希望单方面的停止 MGU对本方会 场的录制。 此时, 第一终端用户可以按私有协议的形式将停止对 第一终端录制 的信息进行打包发送给 MGU, MGU即可执行步骤 706~708。

步骤 702, MCU向第一终端发送是否允许录制的信息。

在第一终端开启录制之前, MGU 可以通过私有协议推送一条含有是否允许 录制的消息给第一终端。具体的, 该第一终端可以在其管理控制界面和 TV界面 同时弹出 "接受录制? " 的提示, 供用户选择。

第一终端用户可以根据自身的安全性要求, 选择接受或者取消本次录制请 求。 在用户选择了 0K或者 CANCEL (取消) 之后, 第一终端将该是否允许录制 的信息通过私有协议发送给 MGU。

若第一终端向 MGU 发送不允许对第一终端进行录制的信息, MGU 即可执行 前述 703~705。

步骤 703, MCU接收不允许对第一终端录制的信息。

步骤 704, MCU对除第一终端之外的各与会终端发送的音频 数据和 /或视频 数据进行处理。

该处理过程与前述实施例中 MSE对除第一终端之外的各与会终端发送的音 频数据和 /或视频数据进行处理的过程类似, 此处不再赘述。

步骤 705, MCU将处理后的音频数据和 /或视频数据发送至流媒体引擎 MSE 进行会议录制。

步骤 706, MCU接收停止对第一终端录制的信息。

步骤 707, MCU对除第一终端之外的各与会终端发送的音频 数据和 /或视频 数据进行处理。

根据步骤 701 MCU接收到的配置信息可知, 第一终端可以决策其录制过程, 因此在步骤 706 中接收到第一终端发送的停止录制的信息后, MGU 即可执行本 步骤 707 对除第一终端之外的各与会终端发送的音频数 据和 /或视频数据进行 处理。

MCU 完成处理之后可以向第一终端反馈处理完成的 消息, 终端收到消息并 解析后可以停止在本地观看视频中叠加正在录 制的标志, 并弹出提示 "取消录 制成功!"。

步骤 708, MCU将处理后的音频数据和 /或视频数据发送至流媒体引擎 MSE 进行会议录制。

上述步骤 704~705, 以及步骤 707~708 与前述实施例中的步骤 502~503类 似, 此处不再赘述。

在另一实施例中, 在步骤 701 后, MGU也可以不执行步骤 702, 也即不主动 询问第一终端是否允许录制, 而是直接执行步骤 403接收与会终端发送录制决 策信息, 若该与会终端为 SMG配置的允许决策录制过程的终端, 如第一终端, 则 MGU即可按照该第一终端发送的录制决策信息, 执行后续步骤。

上述方法实施例可以应用于多点视频会议系统 。 其中的 "第一终端" 仅为 示例, 并非特指或限定。 在上述方法中, 第一终端可以有一个或多个, 均可以 按照上述方法对与会终端的音视频数据进行处 理。

以上是对本发明方法实施例的描述,下面对实 现上述方法的装置进行介绍。 参见图 8, 为本发明实施例一种音视频会议录制内容的处 理装置结构示意 图。 该装置具体可以是 MSE, 该装置可以包括:

数据接收单元 801, 用于接收多点控制单元 MGU 发送的各与会终端的音频 数据和 /或视频数据, 以及第一终端配置的观看者权限, 其中, 所述各与会终端 包含所述第一终端;

权限判断单元 802, 用于查看申请观看音视频会议的第二终端的权 限是否 高于所述第一终端配置的观看者权限;

音视频处理单元 803, 用于当所述权限判断单元 802的判断结果为所述第 二终端的权限不高于所述第一终端配置的观看 者权限时, 对除所述第一终端之 外的各与会终端的音频数据和 /或视频数据进行处理;

数据输出单元 804, 用于输出所述音视频处理单元 803处理后的音频数据 和 /或视频数据。

该装置通过上述单元可以根据观看者的权限以 及与会终端设置的观看权限 对音视频数据进行处理, 使得与会终端可以通过简单的配置来管理自己 的与会 信息, 可以更加灵活地控制与会者的信息安全, 提升了用户体验。 该装置具体 可以是 MSE。

在本发明的另一实施例中, 该音视频处理单元 803, 还可以用于当权限判 断单元 802的判断结果为所述第二终端的权限高于所述 第一终端配置的观看者 权限时, 对所述各与会终端的音频数据和 /或视频数据进行处理。

在另一实施例中, 该数据接收单元 801, 具体用于接收所述 MGU 发送的各 与会终端音频数据中的最大四方的音频数据以 及所述音频数据的控制信息,和 / 或所述各与会终端的视频数据以及视频数据的 控制信息; 其中, 所述音频数据 的控制信息包含所述第一终端的音频标识信息 及其对应的观看者权限, 所述视 频数据的控制信息包含所述第一终端的视频标 识信息及其对应的观看者权限。

其中, 所述第一终端的音频标识信息包括所述第一终 端的会场号以及停录 的标志信息; 所述第一终端的视频标识信息包括所述第一终 端的会场号、 视频 画面模式、 所述第一终端的会场在视频画面中的位置, 以及停录的标志信息。

所述音视频处理单元 803, 具体用于根据所述第一终端的会场号以及停录 的标志信息, 对所述 MGU发送的各与会终端音频数据中的最大四方的 音频数据 进行选择性混音, 其中, 进行混音的音频数据中不包含所述第一终端的 音频数 据; 和 /或, 根据所述第一终端的会场号、 视频画面模式、 所述第一终端的会场 在视频画面中的位置, 以及停录的标志信息, 将所述第一终端的视频数据替换 为指定视频数据, 并将所述指定视频数据与除所述第一终端之外 的各与会终端 发送的视频数据进行处理。

参见图 9, 为本发明实施例另一种音视频会议录制内容的 处理装置结构示 意图。

该装置具体可以是 MGU, 该装置可以包括:

信息接收单元 901, 用于接收第一终端发送的录制决策信息, 所述录制决 策信息包括不允许对所述第一终端录制的信息 或停止对所述第一终端录制的信 息;

音视频处理单元 902, 用于对除所述第一终端之外的各与会终端发送 的音 频数据和 /或视频数据进行处理;

数据发送单元 903, 用于将处理后的音频数据和 /或视频数据发送至流媒体 引擎 MSE进行会议录制。

该装置通过上述单元根据与会终端发送的录制 决策信息来进行音视频数据 的处理,使得与会终端可以根据自身的与会信 息安全决定是否接受 MGU的录制, 即使已经开始了录制, 也可以根据当前会议内容的安全性停止或者开 始被 MGU 录制。 每一个与会终端都可以通过录制决策信息控制 网络侧完成终止或者开始 录制本终端的与会信息(音视频), 从而灵活有效的保障了与会者的与会信息安 全。 该装置具体可以是 MGU。

在本发明的另一实施例中, 该装置除了可以包括信息接收单元 901、 音视 频处理单元 902和数据发送单元 903之外, 还可以包括:

配置接收单元, 用于在所述信息接收单元 901 接收第一终端发送的录制决 策信息之前, 接收业务管理中心 SMG发送的允许所述第一终端决策录制过程的 配置信息。 问询单元, 用于在配置接收单元接收所述 SMG发送的允许所述第一终端决 策录制过程的配置信息之后, 在所述信息单元接收第一终端发送的录制决策 信 息之前, 向所述第一终端发送是否允许录制的信息。

本发明实施例还提供了另一种视频会议录制内 容的处理装置, 该装置可以 包括收发器、 存储器和处理器。

处理器、 存储器、 收发器通过总线相互连接; 总线可以是 I SA 总线、 PG I 总线或 E I SA总线等。 所述总线可以分为地址总线、 数据总线、 控制总线等。

其中, 收发器用于接收 MGU发送的各与会终端的音频数据和 /或视频数据, 以及第一终端配置的观看者权限, 其中, 所述各与会终端包含所述第一终端; 输出处理后的音频数据和 /或视频数据。

所述存储器中存储有一段程序, 具体地, 程序可以包括程序代码, 所述程 序代码包括计算机搡作指令。 存储器可能包含高速 RAM存储器, 也可能还包括 非易失性存储器 (non-vo l at i l e memory ) , 例如至少一个磁盘存储器。

所述处理器用于读取存储器中的程序代码, 执行以下步骤:

查看申请观看音视频会议的第二终端的权限是 否高于所述第一终端配置的 观看者权限;

若否,对除所述第一终端之外的各与会终端的 音频数据和 /或视频数据进行 处理。

本发明实施例还提供了一种音视频会议录制内 容的处理装置, 该装置可以 包括收发器、 存储器和处理器。

处理器、 存储器、 收发器通过总线相互连接; 总线可以是 I SA 总线、 PG I 总线或 E I SA总线等。 所述总线可以分为地址总线、 数据总线、 控制总线等。

其中, 收发器用于接收第一终端发送的录制决策信息 , 所述录制决策信息 包括不允许对所述第一终端录制的信息或停止 对所述第一终端录制的信息; 将 处理后的音频数据和 /或视频数据发送至流媒体引擎 MSE进行会议录制。

所述存储器中存储有一段程序, 具体地, 程序可以包括程序代码, 所述程 序代码包括计算机搡作指令。 存储器可能包含高速 RAM存储器, 也可能还包括 非易失性存储器 (non-vo l at i l e memory ) , 例如至少一个磁盘存储器。

所述处理器用于读取存储器中的程序代码, 执行以下步骤:

MCU 对除所述第一终端之外的各与会终端发送的音 频数据和 /或视频数据 进行处理。

本领域普通技术人员可以意识到, 结合本文中所公开的实施例描述的各示 例的单元及算法步骤, 能够以电子硬件、 或者计算机软件和电子硬件的结合来 实现。 这些功能究竟以硬件还是软件方式来执行, 取决于技术方案的特定应用 和设计约束条件。 专业技术人员可以对每个特定的应用来使用不 同方法来实现 所描述的功能, 但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到, 为描述的方便和简洁, 上述描述 的系统、装置和单元的具体工作过程, 可以参考前述方法实施例中的对应过程, 在此不再赘述。

在本申请所提供的几个实施例中, 应该理解到, 所揭露的系统、 装置和方 法, 可以通过其它的方式实现。 例如, 以上所描述的装置实施例仅仅是示意性 的, 例如, 所述单元的划分, 仅仅为一种逻辑功能划分, 实际实现时可以有另 外的划分方式, 例如多个单元或组件可以结合或者可以集成到 另一个系统, 或 一些特征可以忽略, 或不执行。 另一点, 所显示或讨论的相互之间的耦合或直 接耦合或通信连接可以是通过一些接口, 装置或单元的间接耦合或通信连接, 可以是电性, 机械或其它的形式。 单元显示的部件可以是或者也可以不是物理单 元, 即可以位于一个地方, 或者 也可以分布到多个网络单元上。 可以根据实际的需要选择其中的部分或者全部 单元来实现本实施例方案的目的。

另外, 在本发明各个实施例中的各功能单元可以集成 在一个处理单元中, 也可以是各个单元单独物理存在, 也可以两个或两个以上单元集成在一个单元 中。

所述功能如果以软件功能单元的形式实现并作 为独立的产品销售或使用 时, 可以存储在一个计算机可读取存储介^中。 基于这样的理解, 本发明的技 术方案本^上或者说对现有技术做出贡献的部 或者该技术方案的部分可以以 软件产品的形式体现出来, 该计算机软件产品存储在一个存储介^中, 包括若 干指令用以使得一台计算机设备 (可以是个人计算机, 服务器, 或者网络设备 等)或处理器(processor )执行本发明各个实施例所述方法的全部或部 步骤。 而前述的存储介^包括: U盘、移动硬盘、只读存储器(ROM, Read-On l y Memory)、 随机存取存储器 ( RAM, Random Access Memory ) , 磁碟或者光盘等各种可以存 储程序代码的介^。

以上所述, 仅为本发明的具体实施方式, 但本发明的保护范围并不局限于 此, 任何熟悉本技术领域的技术人员在本发明揭露 的技术范围内, 可轻易想到 变化或替换, 都应涵盖在本发明的保护范围之内。 因此, 本发明的保护范围应 所述以权利要求的保护范围为准。