技术领域

本发明涉及多人视频会话技术领域， 特别涉及一种多人会话时数据呈现的方法、 服务 器、 用户端及系统。

书

背景技术

随着网络技术的迅速发展， 多人视频会话系统逐渐得到了广泛的建设和应 用， 使得多 个地方的用户可以通过所部署的用户端及传输 线路， 将声音及图像在彼此之间进行互传， 以实现即时且互动的沟通， 提高了开会的效率， 且降低开会成本。

现有技术中， 每个参与会话的用户可以通过所部署的多个用 户端或者采用同一用户端 上的大屏幕的多个小窗口来呈现所有的其他参 与会话的用户通过用户端发送的数据， 但是， 这种方式会给网络带来很大的带宽压力， 尤其在参与会话的用户的数量过大时， 网络的带 宽压力也将会更加的明显。 发明内容

为了解决现有技术的问题， 本发明实施例提供了一种多人会话时数据呈现 的方法、 服 务器、 用户端及系统。 所述技术方案如下：

一种多人会话时数据呈现的方法， 所述方法包括：

服务器与参与会话的多个用户端建立会话连接 ；

通过所述会话连接接收所述参与会话的多个用 户端发送的会话控制命令、 音频数据和 视频数据；

根据所述参与会话的多个用户端发送的会话控 制命令， 为第一用户端分配所述第一用 户端请求呈现的音频数据和视频数据， 所述第一用户端为所述参与会话的多个用户端 中的 任一个；

将分配给所述第一用户端的音频数据及视频数 据发送给所述第一用户端， 以便所述第 一用户端呈现所接收到的音频数据及视频数据 。

所述会话控制命令包括切换命令， 相应地， 所述根据所述参与会话的多个用户端发送 的会话控制命令， 为所述第一用户端分配所述第一用户端所要呈 现的视频数据， 包括： 根据所述第一用户端所发送的切换命令， 确定所述第一用户端所关注的第二用户端， 所述切换命令包括第一用户端当前所关注的第 二用户端的信息， 所述第二用户端为所述参 与会话的多个用户端中除所述第一用户端之外 的一个或者多个用户端；

将所接收到的所述第二用户端发送的视频数据 分配给所述第一用户端。

所述会话控制命令包括会话通知命令， 相应地， 所述根据所述参与会话的多个用户端 发送的会话控制命令， 为所述第一用户端分配所述第一用户端所要呈 现的音频数据， 包括: 根据所述参与会话的多个用户端发送的会话通 知命令， 确定所述参与会话的多个用户 端中发言的用户端， 所述会话通知命令包括参与会话的用户端当前 是否发言的信息；

从所述发言的用户端中选择不大于预定值的用 户端， 并将接收到的所选择的用户端发 送的音频数据分配给所述第一用户端。

所述从所述发言的用户端中选择不大于预定值 的用户端包括：

当所述发言的用户端的数量大于所述预定值时 ， 确定所述发言的用户端被所述第一用 户端关注的关注权重；

根据所述发言的用户端被所述第一用户端关注 的关注权重， 从所述发言的用户端中选 择大于预定值的用户端。

所述确定所述发言的用户端被所述第一用户端 关注的关注权重， 包括：

根据所述发言的用户端被所述第一用户端关注 的次数、 所述发言的用户端所属运营商 的权限等级或 /和所述发言的用户端的身份等级计算得到所� �关注权重。

一种服务器， 所述服务器包括： 会话连接建立模块、 接收模块、 分配模块和发送模块; 所述会话连接建立模块， 用于与参与会话的多个用户端建立会话连接；

所述接收模块， 用于通过所述会话连接接收所述参与会话的多 个用户端发送的会话控 制命令、 音频数据和视频数据；

所述分配模块， 用于根据所述参与会话的多个用户端发送的会 话控制命令， 为所述第 一用户端分配所述第一用户端请求呈现的音频 数据和视频数据， 所述第一用户端为所述参 与会话的多个用户端中的任一个；

所述发送模块， 用于将分配给所述第一用户端的音频数据及视 频数据发送给所述第一 用户端， 以便所述第一用户端呈现所接收到的音频数据 及视频数据。

所述分配模块包括： 第一确定单元， 用于当所述会话控制命令包括切换命令时， 根据所述第一用户端所发 送的切换命令， 确定所述第一用户端所关注的第二用户端， 所述切换命令包括第一用户端 当前所关注的第二用户端的信息， 所述第二用户端为所述参与会话的多个用户端 中除所述 第一用户端之外的一个或者多个用户端；

第一分配单元， 用于将所接收到的所述第二用户端发送的视频 数据分配给所述第一用 户端。

所述分配模块包括：

第二确定单元， 用于当所述会话控制命令包括会话通知命令时 ， 根据所述参与会话的 多个用户端发送的会话通知命令， 确定所述参与会话的多个用户端中发言的用户 端， 所述 会话通知命令包括参与会话的用户端当前是否 发言的信息；

选择单元， 用于从所述发言的用户端中选择不大于预定值 的用户端；

第二分配单元， 用于将接收到的所选择的用户端发送的音频数 据分配给所述第一用户 所述选择单元包括：

确定子单元， 用于当所述发言的用户端的数量大于所述预定 值时， 确定所述发言的用 户端被所述第一用户端关注的关注权重；

选择子单元， 用于根据所述发言的用户端被所述第一用户端 关注的关注权重， 从所述 发言的用户端中选择大于预定值的用户端。

所述确定子单元， 具体用于根据所述发言的用户端被所述第一用 户端关注的次数、 所 述发言的用户端所属运营商的权限等级或 /和所述发言的用户端的身份等级计算得到所� �关 注权重。

一种多人会话时数据呈现的方法， 所述方法包括：

第一用户端与服务器建立会话连接， 所述第一用户端为所述参与会话的多个用户端 中 的任一个；

通过所述会话连接向所述服务器发送会话控制 命令、 音频数据和视频数据； 接收所述服务器根据所述会话控制命令所分配 的音频数据和视频数据， 并呈现所接收 到的音频数据及视频数据。

其中， 所述会话控制命令包括切换命令， 所述切换命令中包含有所述第一用户端当前 所关注的第二用户端的信息， 所述第二用户端为所述参与会话的多个用户端 中除所述第一 用户端之外的一个或者多个用户端；

所述接收所述服务器根据所述会话控制命令所 分配的视频数据， 包括： 接收所述服务器为所述第一用户端分配的所述 第二用户端发送的视频数据。 所述会话控制命令包括会话通知命令；

所述接收所述服务器根据所述会话控制命令所 分配的音频数据， 包括：

接收所述服务器将所述服务器选择的用户端发 送的音频数据分配给所述第一用户端的 音频数据；

其中， 所述服务器选择的用户端为所述服务器根据所 述参与会话的多个用户端发送的 会话通知命令， 确定所述参与会话的多个用户端中发言的用户 端， 从所述发言的用户端中 选择不大于预定值的用户端； 所述会话通知命令包括参与会话的用户端当前 是否发言的信 息。

一种用户端， 所述用户端包括：

会话连接建立模块， 用于与服务器建立会话连接， 所述用户端为所述参与会话的多个 用户端中的任一个；

发送模块， 用于通过所述会话连接向所述服务器发送会话 控制命令、 音频数据和视频 数据；

接收模块， 用于接收所述服务器根据所述会话控制命令所 分配的音频数据和视频数据; 呈现模块， 用于呈现所接收到的音频数据及视频数据。

所述会话控制命令包括切换命令， 所述切换命令中包含有所述用户端当前所关注 的第 二用户端的信息， 所述第二用户端为所述参与会话的多个用户端 中除所述用户端之外的一 个或者多个用户端；

所述接收模块， 用于接收所述服务器为所述用户端分配的所述 第二用户端发送的视频 数据。

所述会话控制命令包括会话通知命令；

所述接收模块， 用于接收所述服务器将所述服务器选择的用户 端发送的音频数据分配 给所述用户端的音频数据；

其中， 所述服务器选择的用户端为所述服务器根据所 述参与会话的多个用户端发送的 会话通知命令， 确定所述参与会话的多个用户端中发言的用户 端， 从所述发言的用户端中 选择不大于预定值的用户端； 所述会话通知命令包括参与会话的用户端当前 是否发言的信 息。

一种多人会话时数据呈现的系统， 所述系统包括服务器和参与多人会话的多个用 户端; 其中， 所述服务器为以上所述的任一服务器；

所述参与会话的多个用户端为以上所述的任一 用户端， 用于分别通过会话连接向所述 服务器发送会话控制命令、 本地音频数据和视频数据， 并呈现所述服务器分配的音频数据 及视频数据。

一种计算机可读存储介质， 所述计算机可读存储介质存储有一个或者一个 以上程序， 所述一个或者一个以上程序被一个或者一个以 上的处理器用来执行多人会话时数据呈现的 方法， 所述方法包括：

与参与会话的多个用户端建立会话连接；

通过所述会话连接接收所述参与会话的多个用 户端发送的会话控制命令、 音频数据和 视频数据；

根据所述参与会话的多个用户端发送的会话控 制命令， 为第一用户端分配所述第一用 户端请求呈现的音频数据和视频数据， 所述第一用户端为所述参与会话的多个用户端 中的 任一个；

将分配给所述第一用户端的音频数据及视频数 据发送给所述第一用户端， 以便所述第 一用户端呈现所接收到的音频数据及视频数据 。

其中， 所述会话控制命令包括切换命令， 所述根据所述参与会话的多个用户端发送的 会话控制命令， 为所述第一用户端分配所述第一用户端所要呈 现的视频数据， 包括：

根据所述第一用户端所发送的切换命令， 确定所述第一用户端所关注的第二用户端， 所述切换命令包括第一用户端当前所关注的第 二用户端的信息， 所述第二用户端为所述参 与会话的多个用户端中除所述第一用户端之外 的一个或者多个用户端；

将所接收到的所述第二用户端发送的视频数据 分配给所述第一用户端。

其中， 所述会话控制命令包括会话通知命令， 所述根据所述参与会话的多个用户端发 送的会话控制命令， 为所述第一用户端分配所述第一用户端所要呈 现的音频数据， 包括： 根据所述参与会话的多个用户端发送的会话通 知命令， 确定所述参与会话的多个用户 端中发言的用户端， 所述会话通知命令包括参与会话的用户端当前 是否发言的信息；

从所述发言的用户端中选择不大于预定值的用 户端， 并将接收到的所选择的用户端发 送的音频数据分配给所述第一用户端。

其中， 所述从所述发言的用户端中选择不大于预定值 的用户端包括：

当所述发言的用户端的数量大于所述预定值时 ， 确定所述发言的用户端被所述第一用 户端关注的关注权重；

根据所述发言的用户端被所述第一用户端关注 的关注权重， 从所述发言的用户端中选 择大于预定值的用户端。

其中， 所述确定所述发言的用户端被所述第一用户端 关注的关注权重， 包括： 根据所述发言的用户端被所述第一用户端关注 的次数、 所述发言的用户端所属运营商 的权限等级或 /和所述发言的用户端的身份等级计算得到所� �关注权重。

一种计算机可读存储介质， 所述计算机可读存储介质存储有一个或者一个 以上程序， 所述一个或者一个以上程序被一个或者一个以 上的处理器用来执行多人会话时数据呈现的 方法， 所述方法包括：

与服务器建立会话连接， 所述第一用户端为所述参与会话的多个用户端 中的任一个； 通过所述会话连接向所述服务器发送会话控制 命令、 音频数据和视频数据；

接收所述服务器根据所述会话控制命令所分配 的音频数据和视频数据， 并呈现所接收 到的音频数据及视频数据。

其中， 所述会话控制命令包括切换命令， 所述切换命令中包含有所述第一用户端当前 所关注的第二用户端的信息， 所述第二用户端为所述参与会话的多个用户端 中除所述第一 用户端之外的一个或者多个用户端；

所述接收所述服务器根据所述会话控制命令所 分配的视频数据， 包括：

接收所述服务器为所述第一用户端分配的所述 第二用户端发送的视频数据。

所述会话控制命令包括会话通知命令；

所述接收所述服务器根据所述会话控制命令所 分配的音频数据， 包括：

接收所述服务器将所述服务器选择的用户端发 送的音频数据分配给所述第一用户端的 音频数据；

其中， 所述服务器选择的用户端为所述服务器根据所 述参与会话的多个用户端发送的 会话通知命令， 确定所述参与会话的多个用户端中发言的用户 端， 从所述发言的用户端中 选择不大于预定值的用户端； 所述会话通知命令包括参与会话的用户端当前 是否发言的信 息。

本发明实施例提供的技术方案带来的有益效果 是： 通过根据参与会话的多个用户端发 送的会话控制命令， 为参与会话的多个用户端中的任一个第一用户 端分配音频数据和视频 数据， 将分配给第一用户端的音频数据及视频数据发 送给第一用户端进行呈现的技术方案 的实现， 对分配给用户端的音频数据和视频数据进行了 控制， 可以减少对网络带宽的依赖， 节省网络流量， 并降低对用户端性能的要求， 如现有技术要求参与会话的用户使用多个用 户端或者大屏幕的用户端来呈现会话时的音频 和视频数据， 而本发明实施例由于对分配给 用户端的音频和视频数据进行了控制而降低了 对用户端的性能要求， 使得多人会话可以覆 盖到更多的用户 （可以包括手机等小屏幕的用户端或者计算机 等大屏幕的用户端）。 另一方 面， 服务器仅负责视频和音频资源的分配及中转， 降低了资源消耗， 提高了资源分配的并 发性， 可以使得低成本支持大量的会话用户。 附图说明

为了更清楚地说明本发明实施例中的技术方案 ， 下面将对实施例描述中所需要使用的 附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本发明的一些实施例 ， 对于本 领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据这些附图获得其他的 附图。

图 1是本发明实施例一提供的一种多人会话时数� �呈现的方法流程示意图； 图 2是本发明实施例一提供的另一种多人会话时� �据呈现的方法流程示意图； 图 3是本发明实施例二提供的一种多人会话时数� �呈现的方法流程示意图； 图 4是本发明实施例二提供的一种服务器与参与� �话的用户端间建立会话连接的示意 图；

图 5是本发明实施例二提供的一种第一用户端在� �人会话时数据呈现的实例图； 图 6是本发明实施例三提供的一种服务器结构示� �图；

图 Ί是本发明实施例三提供的一种服务器结构示� ��图；

图 8是本发明实施例四提供的一种用户端结构示� �图；

图 9是本发明实施例五提供的一种多人会话时数� �呈现的系统示意图。 具体实施方式

为使本发明的目的、 技术方案和优点更加清楚， 下面将结合附图对本发明实施方式作 进一步地详细描述。

实施例一

参见图 1， 本实施例提供了一种多人会话时数据呈现的方 法， 包括：

步骤 101 : 服务器与参与会话的多个用户端建立会话连接 ；

步骤 102: 通过会话连接接收参与会话的多个用户端发送 的会话控制命令、音频数据和 视频数据；

步骤 103: 根据参与会话的多个用户端发送的会话控制命 令， 为第一用户端分配第一用 户端请求呈现的音频数据和视频数据， 其中， 第一用户端为参与会话的多个用户端中的任 一^ ^ .

步骤 104: 将分配给第一用户端的音频数据及视频数据发 送给第一用户端， 以便第一用 户端呈现所接收到的音频数据及视频数据。 参见图 2， 本实施例还提供了一种多人会话时数据呈现的 方法， 方法包括：

201： 第一用户端与服务器建立会话连接， 第一用户端为参与会话的多个用户端中的任 一^ ^ .

202： 通过会话连接向服务器发送会话控制命令、 音频数据和视频数据；

203： 接收服务器根据会话控制命令所分配的音频数 据和视频数据， 并呈现所接收到的 音频数据及视频数据。

本发明实施例提供的技术方案带来的有益效果 是： 通过根据参与会话的多个用户端发 送的会话控制命令， 为参与会话的多个用户端中的任一个第一用户 端分配音频数据和视频 数据， 将分配给第一用户端的音频数据及视频数据发 送给第一用户端进行呈现的技术方案 的实现， 对分配给用户端的音频数据和视频数据进行了 控制， 可以减少对网络带宽的依赖， 节省网络流量， 并降低对用户端性能的要求， 如现有技术要求参与会话的用户使用多个用 户端或者大屏幕的用户端来呈现会话时的音频 和视频数据， 而本发明实施例由于对分配给 用户端的音频和视频数据进行了控制而降低了 对用户端的性能要求， 使得多人会话可以覆 盖到更多的用户 （可以包括手机等小屏幕的用户端或者计算机 等大屏幕的用户端）。 另一方 面， 服务器仅负责视频和音频资源的分配及中转， 降低了资源消耗， 提高了资源分配的并 发性， 可以使得低成本支持大量的会话用户。 实施例二

参见图 3， 为本发明实施例所提供的一种多人会话时数据 呈现的方法， 适用于通过无线 连接方式所建立的多人视频会话的场景， 可以使得在多人视频会话时， 参与会话的用户端 可以分别呈现视频数据和音频数据， 如呈现一路视频数据和多路音频数据， 整个发明实施 例中所述的视频数据是指一组由连续的图像帧 所构成的图像数据。 其中， 所述多人视频会 话由服务器及参与会话的多个用户端构成， 所述用户端可以是诸如手机或者平板电脑等移 动通信设备， 所述服务器可以是流媒体服务器， 方法包括：

步骤 301 : 服务器与参与会话的多个用户端建立会话连接 ；

具体地， 服务器可以通过无线连接的方式、 有线连接的方式或者无线与有线混合连接 的方式来与参与会话的多个用户端建立会话连 接， 本实施例对此不作具体限定。 其中， 本 发明实施例所述的建立会话连接的过程可以包 括：

第一用户端向服务器发送呼叫请求， 以通过服务器呼叫参与会话的其他用户端。 其中， 第一用户端为参与会话的多个用户端中的任一 个， 呼叫请求包括所呼叫的参与会话的用户 端信息， 如所呼叫的参与会话的用户端的标识等信息。 作为一个可选实现的实施例， 服务器在接收到第一用户端所发送的呼叫请求 时， 分配 会话房间， 并通知第一用户端进入会话房间进行等待； 之后， 向第一用户端所呼叫的参与 会话的用户端转发所述呼叫请求， 并在接收到第一用户端所呼叫的参与会话的用 户端返回 的呼叫响应后， 通知第一用户端所呼叫的参与会话的用户端进 入所述会话房间进行等待， 至此， 服务器与参与会话的多个用户端建立了会话连 接。

作为另一个可选实现的实施例， 服务器在接收到第一用户端所发送的呼叫请求 后， 向 第一用户端所呼叫的参与会话的用户端转发所 述呼叫请求， 并在接收到第一用户端所呼叫 的参与会话的用户端返回的呼叫响应后， 分配会话房间， 并通知第一用户端及其呼叫的参 与会话的用户端进入所述会话房间等待， 至此， 服务器与参与会话的多个用户端建立了会 话连接。

图 4 为本发明实施例所提供的一种服务器与参与会 话的用户端间所建立的会话连接的 示意图， 服务器可以通过上述方式在应用层与参与会话 的用户端建立会话连接， 包括： 会 话控制连接 （1 )、 视频数据传输连接 （2) 及音频数据传输连接 （3) 等。

本发明实施例在具体实现时， 服务器所建立的上述会话连接可以复用相同的 TCP (Transmission Control Protocol ， 传输控制协议） 连接或者 UDP (User Datagram Protocol, 用户数据包协议） 连接， 也可以分别使用不同的 TCP或者 UDP连接。

当服务器与参与会话的多个用户端建立会话连 接后， 同一会话房间内的用户端彼此之 间便可以通过与服务器间建立的会话连接进行 会话。

步骤 302:服务器通过所建立的会话连接接收参与会� �的多个用户端所分别上传的音频 数据及视频数据；

本发明实施例中， 参与会话的多个用户端进行会话时， 分别采集本地的音频数据及视 频数据， 并分别通过上述所建立的音频数据传输连接及 视频数据传输连接将所采集到的音 频数据及视频数据上传到服务器；

这样， 服务器接收到参与会话的多个用户端各自上传 的音频数据和视频数据后， 便可 以从接收到的音频数据和视频数据中， 选择分配给参与会话的各用户端所要呈现的音 频数 据和视频数据， 具体的分配过程参见步骤 303和 304的描述。

步骤 303:服务器通过所建立的会话连接接收参与会� �的多个用户端发送的会话控制命 令， 其中， 所述会话控制命令可以包括会话通知命令及切 换命令等；

本发明实施例在具体实现时， 当参与会话的用户端开始或者停止会话时， 可以通过上 述所建立的会话控制连接向服务器发送会话通 知命令， 通知服务器参与会话的用户端的会 话状态， 所述会话通知命令包含有参与会话的用户端是 否发言的信息； 当参与会话的用户 端切换其关注的其他参与会话的用户端时， 可以通过上述所建立的会话控制连接向服务器 发送切换命令， 通知服务器参与会话的用户端所关注用户端的 信息， 所述切换命令包含有 所切换用户端的信息。

本发明实施例在具体实现时， 服务器可以根据参与会话的各用户端所发送的 切换命令， 确定参与会话的多个用户端中未被其他用户端 所关注的用户端， 作为一可选实现的实施例， 服务器丢弃所接收到的未被其他用户端所关注 的用户端上传的音频数据及视频数据， 作为 另一可选实现的实施例， 服务器向未被其他用户端所关注的用户端发送 终止上传命令， 未 被其他用户端所关注的用户端接收到终止上传 命令后， 终止上传其本地采集到的音频数据 及视频数据， 以节省无线带宽。

本发明实施例中， 步骤 302与步骤 303之间并无执行顺序上的约束。

步骤 304: 服务器根据参与会话的多个用户端发送的会话 控制命令， 为第一用户端分配 第一用户端请求呈现的音频数据和视频数据， 其中， 所述第一用户端为参与会话的多个用 户端中的任一个；

本发明实施例中为第一用户端分配视频数据包 括：

根据第一用户端发送的切换命令， 确定第一用户端所关注的第二用户端， 其中， 切换 命令包括第一用户端当前关注的第二用户端的 信息， 第二用户端为参与会话的多个用户端 中除第一用户端之外的一个或者多个用户端；

将所接收的第二用户端发送的视频数据分配给 第一用户端。

本发明实施例中， 通过将第一用户端所关注的第二用户端的视频 数据发送给第一用户 端的实现， 第一用户端便可以通过不断切换其关注的第二 用户端来切换显示其关注的用户 端， 以保证用户的使用体验。 例如， 当第一用户端为小屏幕用户端时， 第一用户端可以一 次仅关注一个参与会话的用户端， 这样， 第一用户端一次呈现一个参与会话的用户端的 视 频数据， 使得小屏幕的第一用户端可以呈现较大的视频 图像， 且通过自由切换其关注的参 与会话的用户端， 保证小屏幕的第一用户端可以自由切换呈现参 会会话的用户端， 而最终 保证用户的使用体验。

本发明实施例中为第一用户端分配音频数据包 括：

根据参与会话的多个用户端发送的会话通知命 令， 确定参与会话的多个用户端中发言 的用户端， 其中， 所述会话通知命令包括参与会话的用户端当前 是否发言的信息；

从发言的用户端中选择不大于预定值个的用户 端， 并将接收到的所选择的用户端发送 的音频数据分配给第一用户端， 其中， 预定值可以根据网络的带宽来预先设定。

本发明实施例中， 当发言的用户端的数量不大于预定值时， 则将接收到的所发言的用 户端发送的音频数据分配给第一用户端；

当发言的用户端的数量大于预定值时， 确定发言的用户端被第一用户端关注的关注权 重；

根据所述发言的用户端被所述第一用户端关注 的关注权重， 从所述发言的用户端中选 择大于预定值个的用户端， 本发明实施例在具体实现时， 根据关注权重从发言的用户端中 选择用户端时， 关注权重高的发言的用户端被优先选择。

其中， 确定发言的用户端被第一用户端关注的关注权 重包括： 可以根据发言的用户端 被第一用户端关注的次数、 发言的用户端所属运营商的权限等级或 /和发言的用户端的身份 等级计算 （如加权计算等） 得到发言的用户端被第一用户端关注的关注权 重。

本发明实施例中， 通过从发言的用户端中选择不大于预定值个的 用户端， 且将所选择 的用户端发送的音频数据分配给第一用户端的 实现， 限定第一用户端所可以呈现的音频数 据的数量， 以降低多人会话时对网络的带宽要求。

本发明实施例虽然限定了第一用户端所可以呈 现的音频数据的数量， 但是并不会降低 用户的使用体验， 原因如下： 当多人会话时， 如果两三个人同时说话， 听者是可以分清谁 在说什么的， 但是当过多人 （比如十几个人） 同时说话时， 听者基本上就分不清谁在说什 么了。 而在友好的交谈中， 这种过多的人同时说话的情况会很快消失， 大家礼貌的安静下 来让一个人或者少数的几个人说话。 所以， 本发明实施例中， 将第一用户端所呈现的音频 数据限定在预定值个参与会话的其他的用户端 所发送的音频数据是是不会降低用户体验 的。

本发明实施例中， 当参与会话的多个用户端中发言的用户端的数 量大于预定值时， 采 用发言者被第一用户端关注的关注权重要保证 第一用户端可以呈现其所关注的重要的参与 会话的用户端的音频数据， 在一定程度上可以保证用户的使用体验。

本发明实施例在具体实现时， 服务器为第一用户端分配音频数据可以包括：

1 )、 服务器根据接收到的第一用户端发送的切换命 令维护一个第一用户端的视频关注 列表， 该视频关注列表存储有第一用户端所关注第二 用户端与关注权重间对应关系。

具体实现时， 根据第一用户端所发送的切换命令， 统计并记录第一用户端所关注过的 第二用户端的信息， 其中， 第一用户端所关注过的第二用户端的信息包括 第二用户端的标 识及被第一用户端关注的次数， 如第一用户端先后关注过用户端 2、 用户端 3和用户端 4， 用户端 2、 3和 4被关注的次数分别为 3次、 1次和 4次； 根据第一用户端所关注的第二用 户端的记录信息计算第一用户端所关注第二用 户端的关注权重， 作为一个可选的实施例， 直接将第二用户端被第一用户端关注的次数作 为第二用户端的关注权重； 作为另一可选实 现的实施例， 根据第二用户端被第一用户端所关注的次数、 第二用户端的身份等级或 /和第 二用户端所属运营商等级计算 （如加权计算等） 得到第二用户端的关注权重。

其中， 第二用户端的身份等级及第二用户端所属运营 商的等级都可以在服务器的本地 存储文件中查找得到。 这是由于服务器在与第二服务器进行会话连接 时， 要求第二用户端 在服务器内进行注册， 告知服务器其身份以及所属运营商等基本用户 信息， 服务器可以根 据第二用户端的身份查询身份与身份等级间对 应关系可以得到第二用户端的身份等级， 并 可以根据第二用户端所属运营商查找运营商与 运营商等级间对应关系得到第二用户端所述 运营商的等级， 之后， 服务器在本地存储文件中存储第二用户端对应 的身份等级及所述运 营商等级等信息， 故， 服务器可以从本地存储文件中获知第二用户端 的身份等级及所属运 营商等级等信息。

例如， 服务器所获取的第一用户端的视频关注列表如 表 1所示。

表 1 : 第一用户端的视频关注列表

2)、 根据参与会话的各用户端发送的会话通知命令 维护一当前发言者列表， 该当前发 言者列表给出了多人会话时， 当前发言的用户端的信息， 具体可以如表 2所示。

表 2: 当前发言者列表

3)、 根据无线网络的带宽确定可以分配给第一用户 端的音频数据的数量；

本发明实施例中， 所述的音频数据的数量指第一用户端可以呈现 几路的音频数据， 例 如， 用户端 1可以呈现 1路的音频数据， 即用户端可以呈现其他参与会话的 1个用户端所 对应的音频数据； 4)、 根据所维护的第一用户端的视频关注列表及当 前发言者列表确定分配给第一用户 端的音频数据；

具体地， 查找当前发言列表得到当前发言的用户端， 如表 2所示， 当前发言的用户端 有用户端 1、 用户端 2及用户端 4;

由于用户端 1为当前发言的用户端， 用户端 1对应的音频数据不用再分配用户端 1， 且 用户端 1可以呈现 1路的音频数据， 故从当前发言的用户端 2及用户端 4中选择一个用户 端对应的音频数据分配给用户端 1 ;

由表 1所示的用户端 1的视频关注列表可以知道，当前发言的用户� � 2的关注权重为 3， 当前发言的用户端 4的关注权重为 4， 故将用户端 4发送的音频数据分配给用户端 1。

步骤 305: 服务器将分配给第一用户端的音频数据及视频 数据发送给第一用户端， 具体 通过与第一用户端间建立的音频数据传输连接 和视频数据传输连接将分配给第一用户端的 音频数据及视频数据发送给第一用户端；

具体地， 服务器将分配给第一用户端的音频数据及视频 数据进行编码。 具体地， 可以 采用 AMR (Adaptive Multi-Rate, 自适应多速率）编码对分配给第一用户端的音 频数据进行 编码， 之后， 将编码后的音频数据发送给第一用户端， 以节省传输音频数据的带宽、 提高 音频数据的传输效率及传输安全性。 可以采用加密技术对视频数据进行加密， 之后通过视 频数据传输连接将分配给第一用户端的视频数 据发送给第一用户端。

步骤 306: 第一用户端呈现所接收到的音频数据及视频数 据；

一方面，第一用户端对接收到的视频数据进行 解密后显示。参见图 5，本发明实施例中， 第一用户端在第一显示区域显示接收到的视频 数据， 也即第一用户端所关注的用户端 （第 二用户端） 的视频数据， 在第二显示区域显示除自身及第二用户端外的 其他参与会话的用 户端的头像图标， 以便第一用户端可以根据第二显示区域所显示 的头像图标选择切换其关 注的用户端。

另一方面， 第一用户端对接收到的音频数据进行混音后播 放。 具体地， 第一用户端预 先安装有混音器， 该混混音器可以将接收到的多路音频数据混音 后合成一路音频信号进行 播放， 具体的混音方式请参见现有技术， 此处就不再赘述。

本发明实施例提供的技术方案带来的有益效果 是： 通过根据参与会话的多个用户端发 送的会话控制命令， 为参与会话的多个用户端中的任一个第一用户 端分配音频数据和视频 数据， 将分配给第一用户端的音频数据及视频数据发 送给第一用户端进行呈现的技术方案 的实现， 对分配给用户端的音频数据和视频数据进行了 控制， 可以减少对网络带宽的依赖， 节省网络流量， 并降低对用户端性能的要求， 如现有技术要求参与会话的用户使用多个用 户端或者大屏幕的用户端来呈现会话时的音频 和视频数据， 而本发明实施例由于对分配给 用户端的音频和视频数据进行了控制而降低了 对用户端的性能要求， 使得多人会话可以覆 盖到更多的用户 （可以包括手机等小屏幕的用户端或者计算机 等大屏幕的用户端）。 另一方 面， 服务器仅负责视频和音频资源的分配及中转， 降低了资源消耗， 提高了资源分配的并 发性， 可以使得低成本支持大量的会话用户。 实施例三

参见图 6， 本发明实施例提供了一种服务器， 该服务器具体可以上述方法实施例所述的 服务器相同， 包括： 会话连接建立模块 601、 接收模块 602、 分配模块 603和发送模块 604; 会话连接建立模块 601， 用于与参与会话的多个用户端建立会话连接；

接收模块 602，用于通过所述会话连接接收所述参与会话 的多个用户端发送的会话控制 命令、 音频数据和视频数据；

分配模块 603， 用于根据所述参与会话的多个用户端发送的会 话控制命令， 为第一用户 端分配第一用户端请求呈现的音频数据和视频 数据， 所述第一用户端为所述参与会话的多 个用户端中的任一个；

发送模块 604， 用于将分配给所述第一用户端的音频数据及视 频数据发送给第一用户 端， 以便第一用户端呈现所接收到的音频数据及视 频数据。

参见图 7， 本发明实施例如图 6所示的分配模块 603包括：

第一确定单元 6031， 用于当所述会话控制命令包括切换命令时， 根据第一用户端所发 送的切换命令， 确定第一用户端所关注的第二用户端， 切换命令包括第一用户端当前所关 注的第二用户端的信息， 第二用户端为参与会话的多个用户端中除第一 用户端之外的一个 或者多个用户端；

第一分配单元 6032， 用于将所接收到的所述第二用户端发送的视频 数据分配给所述第 一用户端。

第二确定单元 6033， 用于当所述会话控制命令包括会话通知命令时 ， 根据所述参与会 话的多个用户端发送的会话通知命令， 确定所述参与会话的多个用户端中发言的用户 端， 所述会话通知命令包括参与会话的用户端当前 是否发言的信息；

选择单元 6034， 用于从所述发言的用户端中选择不大于预定值 的用户端；

第二分配单元 6035， 用于将接收到的所选择的用户端发送的音频数 据分配给所述第一 用户端。

具体地， 选择单元 6034包括： 确定子单元， 用于当发言的用户端的数量大于预定值时， 确定发言的用户端被第一用 户端关注的关注权重；

选择子单元， 用于根据发言的用户端被第一用户端关注的关 注权重， 从发言的用户端 中选择大于预定值的用户端。

其中， 确定子单元， 具体用于根据所述发言的用户端被所述第一用 户端关注的次数、 所述发言的用户端所属运营商的权限等级或 /和所述发言的用户端的身份等级计算得到所� � 关注权重。

本发明实施例提供的技术方案带来的有益效果 是： 通过根据参与会话的多个用户端发 送的会话控制命令， 为参与会话的多个用户端中的任一个第一用户 端分配音频数据和视频 数据， 将分配给第一用户端的音频数据及视频数据发 送给第一用户端进行呈现的技术方案 的实现， 对分配给用户端的音频数据和视频数据进行了 控制， 可以减少对网络带宽的依赖， 节省网络流量， 并降低对用户端性能的要求， 如现有技术要求参与会话的用户使用多个用 户端或者大屏幕的用户端来呈现会话时的音频 和视频数据， 而本发明实施例由于对分配给 用户端的音频和视频数据进行了控制而降低了 对用户端的性能要求， 使得多人会话可以覆 盖到更多的用户 （可以包括手机等小屏幕的用户端或者计算机 等大屏幕的用户端）。 另一方 面， 服务器仅负责视频和音频资源的分配及中转， 降低了资源消耗， 提高了资源分配的并 发性， 可以使得低成本支持大量的会话用户。 实施例四

参见图 8， 本发明实施例提供了一种用户端， 该用户端具体可与上述方法实施例的用户 端相同， 包括： 会话连接建立模块 801、 发送模块 802、 接收模块 803和呈现模块 804; 会话连接建立模块 801， 用于与服务器建立会话连接， 该用户端为参与会话的多个用户 端中的任一个；

发送模块 802， 用于通过会话连接向服务器发送会话控制命令 、 音频数据和视频数据； 接收模块 803， 用于接收服务器根据会话控制命令所分配的音 频数据和视频数据； 呈现模块 804， 用于呈现所接收到的音频数据及视频数据。

作为一个可选的实施例， 会话控制命令包括切换命令， 切换命令中包含有用户端当前 所关注的第二用户端的信息， 第二用户端为参与会话的多个用户端中除用户 端之外的一个 或者多个用户端；

接收模块 803， 用于接收服务器为用户端分配的第二用户端发 送的视频数据。

作为另一个可选的实施例， 会话控制命令包括会话通知命令； 接收模块 803，用于接收服务器将服务器选择的用户端发 送的音频数据分配给用户端的 音频数据；

其中， 服务器选择的用户端为服务器根据参与会话的 多个用户端发送的会话通知命令， 确定参与会话的多个用户端中发言的用户端， 从发言的用户端中选择不大于预定值的用户 端； 会话通知命令包括参与会话的用户端当前是否 发言的信息。

本实施例提供的技术方案带来的有益效果是： 通过向服务器发送会话控制命令， 接收 服务器为其分配的音频数据和视频数据进行呈 现的技术方案的实现， 对呈现的音频数据和 视频数据进行了控制， 可以减少对网络带宽的依赖， 节省网络流量， 并降低对用户端性能 的要求， 如现有技术要求参与会话的用户使用多个用户 端或者大屏幕的用户端来呈现会话 时的音频和视频数据， 而本发明实施例由于对分配给用户端的音频和 视频数据进行了控制 而降低了对用户端的性能要求， 使得多人会话可以覆盖到更多的用户 （可以包括手机等小 屏幕的用户端或者计算机等大屏幕的用户端） 。 另一方面， 服务器仅负责视频和音频资源的 分配及中转， 降低了资源消耗， 提高了资源分配的并发性， 可以使得低成本支持大量的会 话用户。 实施例五

参见图 9， 本发明实施例还提供了一种多人会话时数据呈 现的系统， 该系统包括服务器

901和参与多人会话的多个用户端 902;

其中， 服务器 901请参见实施例三所述的任一服务器， 此处就不再赘述。

参与会话的多个用户端 902如上述实施例四所述的任一用户端， 用于分别通过会话连 接向服务器 401发送会话控制命令、 本地音频数据和视频数据， 并呈现服务器 401分配的 音频数据及视频数据。

本发明实施例提供的技术方案带来的有益效果 是： 通过根据参与会话的多个用户端发 送的会话控制命令， 为参与会话的多个用户端中的任一个第一用户 端分配音频数据和视频 数据， 将分配给第一用户端的音频数据及视频数据发 送给第一用户端进行呈现的技术方案 的实现， 对分配给用户端的音频数据和视频数据进行了 控制， 可以减少对网络带宽的依赖， 节省网络流量， 并降低对用户端性能的要求， 如现有技术要求参与会话的用户使用多个用 户端或者大屏幕的用户端来呈现会话时的音频 和视频数据， 而本发明实施例由于对分配给 用户端的音频和视频数据进行了控制而降低了 对用户端的性能要求， 使得多人会话可以覆 盖到更多的用户 （可以包括手机等小屏幕的用户端或者计算机 等大屏幕的用户端）。 另一方 面， 服务器仅负责视频和音频资源的分配及中转， 降低了资源消耗， 提高了资源分配的并 发性， 可以使得低成本支持大量的会话用户。 实施例六

本发明实施例提供了一种计算机可读存储介质 ， 该计算机可读存储介质可以是上述实 施例中的存储器中所包含的计算机可读存储介 质； 也可以是单独存在， 未装配入服务器中 的计算机可读存储介质。 所述计算机可读存储介质存储有一个或者一个 以上程序， 所述一 个或者一个以上程序被一个或者一个以上的处 理器用来执行多人会话时数据呈现的方法， 所述方法包括：

与参与会话的多个用户端建立会话连接；

通过会话连接接收参与会话的多个用户端发送 的会话控制命令、 音频数据和视频数据; 根据参与会话的多个用户端发送的会话控制命 令， 为第一用户端分配第一用户端请求 呈现的音频数据和视频数据， 第一用户端为参与会话的多个用户端中的任一 个；

将分配给第一用户端的音频数据及视频数据发 送给第一用户端， 以便第一用户端呈现 所接收到的音频数据及视频数据。

假设上述为第一种可能的实施方式， 则在第一种可能的实施方式作为基础而提供的 第 二种可能的实施方式中， 会话控制命令包括切换命令， 根据参与会话的多个用户端发送的 会话控制命令， 为第一用户端分配第一用户端所要呈现的视频 数据， 包括：

根据第一用户端所发送的切换命令， 确定第一用户端所关注的第二用户端， 切换命令 包括第一用户端当前所关注的第二用户端的信 息， 第二用户端为参与会话的多个用户端中 除第一用户端之外的一个或者多个用户端；

将所接收到的第二用户端发送的视频数据分配 给第一用户端。

在第一种可能的实施方式作为基础而提供的第 三种可能的实施方式中， 会话控制命令 包括会话通知命令， 根据参与会话的多个用户端发送的会话控制命 令， 为第一用户端分配 第一用户端所要呈现的音频数据， 包括：

根据参与会话的多个用户端发送的会话通知命 令， 确定参与会话的多个用户端中发言 的用户端， 会话通知命令包括参与会话的用户端当前是否 发言的信息；

从发言的用户端中选择不大于预定值的用户端 ， 并将接收到的所选择的用户端发送的 音频数据分配给第一用户端。

在第三种可能的实施方式作为基础而提供的第 四种可能的实施方式中， 从发言的用户 端中选择不大于预定值的用户端包括：

当发言的用户端的数量大于预定值时， 确定发言的用户端被第一用户端关注的关注权 重；

根据发言的用户端被第一用户端关注的关注权 重， 从发言的用户端中选择大于预定值 的用户端。

在第四种可能的实施方式作为基础而提供的第 五种可能的实施方式中， 确定发言的用 户端被第一用户端关注的关注权重， 包括：

根据发言的用户端被第一用户端关注的次数、 发言的用户端所属运营商的权限等级或 / 和发言的用户端的身份等级计算得到关注权重 。

通过根据参与会话的多个用户端发送的会话控 制命令， 为参与会话的多个用户端中的 任一个第一用户端分配音频数据和视频数据， 将分配给第一用户端的音频数据及视频数据 发送给第一用户端进行呈现的技术方案的实现 ， 对分配给用户端的音频数据和视频数据进 行了控制， 可以减少对网络带宽的依赖， 节省网络流量， 并降低对用户端性能的要求， 如 现有技术要求参与会话的用户使用多个用户端 或者大屏幕的用户端来呈现会话时的音频和 视频数据， 而本发明实施例由于对分配给用户端的音频和 视频数据进行了控制而降低了对 用户端的性能要求， 使得多人会话可以覆盖到更多的用户 （可以包括手机等小屏幕的用户 端或者计算机等大屏幕的用户端）。另一方面 ，服务器仅负责视频和音频资源的分配及中转 ， 降低了资源消耗， 提高了资源分配的并发性， 可以使得低成本支持大量的会话用户。 实施例七

本发明实施例提供了一种计算机可读存储介质 ， 该计算机可读存储介质可以是上述实 施例中的存储器中所包含的计算机可读存储介 质； 也可以是单独存在， 未装配入终端中的 计算机可读存储介质。 所述计算机可读存储介质存储有一个或者一个 以上程序， 所述一个 或者一个以上程序被一个或者一个以上的处理 器用来执行多人会话时数据呈现的方法， 所 述方法包括：

与服务器建立会话连接， 第一用户端为参与会话的多个用户端中的任一 个；

通过会话连接向服务器发送会话控制命令、 音频数据和视频数据；

接收服务器根据会话控制命令所分配的音频数 据和视频数据， 并呈现所接收到的音频 数据及视频数据。

假设上述为第一种可能的实施方式， 则在第一种可能的实施方式作为基础而提供的 第 二种可能的实施方式中， 会话控制命令包括切换命令， 切换命令中包含有第一用户端当前 所关注的第二用户端的信息， 第二用户端为参与会话的多个用户端中除第一 用户端之外的 一个或者多个用户端； 接收服务器根据会话控制命令所分配的视频数 据， 包括：

接收服务器为第一用户端分配的第二用户端发 送的视频数据。

在第一种可能的实施方式作为基础而提供的第 三种可能的实施方式中， 终端的存储器 中， 还包含用于执行以下操作的指令：

会话控制命令包括会话通知命令；

接收服务器根据会话控制命令所分配的音频数 据， 包括：

接收服务器将服务器选择的用户端发送的音频 数据分配给第一用户端的音频数据； 其中， 服务器选择的用户端为服务器根据参与会话的 多个用户端发送的会话通知命令， 确定参与会话的多个用户端中发言的用户端， 从发言的用户端中选择不大于预定值的用户 端； 会话通知命令包括参与会话的用户端当前是否 发言的信息。

本发明实施例提供的计算机可读存储介质， 通过向服务器发送会话控制命令， 接收服 务器为其分配的音频数据和视频数据进行呈现 的技术方案的实现， 对呈现的音频数据和视 频数据进行了控制， 可以减少对网络带宽的依赖， 节省网络流量， 并降低对用户端性能的 要求， 如现有技术要求参与会话的用户使用多个用户 端或者大屏幕的用户端来呈现会话时 的音频和视频数据， 而本发明实施例由于对分配给用户端的音频和 视频数据进行了控制而 降低了对用户端的性能要求， 使得多人会话可以覆盖到更多的用户 （可以包括手机等小屏 幕的用户端或者计算机等大屏幕的用户端）。 另一方面， 服务器仅负责视频和音频资源的分 配及中转， 降低了资源消耗， 提高了资源分配的并发性， 可以使得低成本支持大量的会话 用户。

需要说明的是： 上述实施例提供的服务器与用户端在呈现数据 时， 仅以上述各功能模 块的划分进行举例说明， 实际应用中， 可以根据需要而将上述功能分配由不同的功能 模块 完成， 即将服务器与用户端的内部结构划分成不同的 功能模块， 以完成以上描述的全部或 者部分功能。 另外， 上述实施例提供的服务器、 用户端、 多人视频会话时数据呈现的系统 与多人视频会话时数据呈现的方法实施例属于 同一构思， 其具体实现过程详见方法实施例， 这里不再赘述。

上述本发明实施例序号仅仅为了描述， 不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例 的全部或部分步骤可以通过硬件来完 成， 也可以通过程序来指令相关的硬件完成， 所述的程序可以存储于一种计算机可读存储 介质中， 上述提到的存储介质可以是只读存储器， 磁盘或光盘等。

以上所述仅为本发明的较佳实施例， 并不用以限制本发明， 凡在本发明的精神和原则 之内， 所作的任何修改、 等同替换、 改进等， 均应包含在本发明的保护范围之内。