本发明涉及通信领域， 尤其涉及一种视频通信的方法、 装置和系统。 背景技术

现有技术中的远程呈现会议系统的大致布局如 图 1 所示。 该系统包含三 个大屏幕显示器 1、 2、 3 , 三个高清摄像机 4、 5、 6, 用来拍摄会议桌 8前面 坐着的参会者 14至 19。每个显示器显示一部分参会者， 例如每个显示器显示 两个参会者， 3个显示器显示的内容构成一个完整的会议场� �。

在实现本发明的过程中， 发明人发现现有技术中至少存在如下问题： 由 于多个摄像机之间和多个显示设备之间存在差 异， 使得每幅图像之间会存在 亮度和颜色差异； 并且每两幅图像在交接处会存在图像过渡差异 ， 例如， 在 图 1 中， 摄像机 4和 5由于安放位置的限制， 造成相邻两个摄像机的拍摄区 域产生缺失或重叠， 例如摄像机 4会拍摄到 16的一部分图像， 或者 5会拍摄 到 15的一部分图像， 或者摄像机 4和 5都没有拍摄到 15和 16中间部分的区 域， 因而导致最终图像显示效果不理想， 不能给予用户一个无缝式的全景体 验。 发明内容

本发明的实施例提供一种视频通信的方法、 装置和系统， 能够生成大范 围、 高分辨率的全景视频图像并进行无缝呈现， 给用户提供一个较好的沉浸 式全景体验。

为达到上述目的， 本发明的实施例釆用如下技术方案：

一种视频通信站点， 包括：

至少两个本地摄像机， 用于指向至少两个本地用户部分， 拍摄至少两路 本地用户部分的本地视频图像； 本地摄像拼接融合器， 用于根据第一视频处理参数中的融合参数， 对所 述拍摄得到的至少两路本地用户部分的本地视 频图像进行融合， 生成全景视 频图像； 并将所述全景视频图像编码成视频码流， 将所述视频码流发送给远 端的视频通信站点；

本地显示融合器， 用于从远端接收到的视频码流中分别解码得到 至少两 路视频数据； 根据第二视频处理参数中的融合参数， 对所述解码得到的至少 两路视频数据进行融合； 将融合后的至少两路视频数据输出给本地显示 设备； 至少两个本地显示设备， 用于显示经过所述本地显示融合器融合后的至 少两路视频数据。

提供一种视频通信的方法， 包括：

获取至少两路本地视频图像；

根据第一视频处理参数中的融合参数， 对所述至少两路本地视频图像进 行融合， 生成全景视频图像；

将所述全景视频图像发送给视频编码器， 通过所述视频编码器将所述全 景视频图像编码成视频码流， 并将所述视频码流发送出去。

还提供一种视频通信的方法， 包括：

获取视频解码器从视频码流中解码出的至少两 路视频数据， 所述视频码 流由所述视频解码器从远端的视频通信站点接 收得到；

根据第二视频处理参数中的融合参数， 对所述至少两路视频数据进行融 合；

将所述融合后的至少两路视频数据输出给显示 设备， 由所述显示设备显 示所述融合后的至少两路视频数据。

还提供一种视频通信的装置， 包括：

第一获取单元， 用于获取至少两路本地视频图像；

第一融合单元， 用于根据第一视频处理参数中的融合参数， 对由所述第 一获取单元获取的至少两路本地视频图像进行 融合， 生成全景视频图像； 第一发送单元， 用于将由所述第一融合单元获得的全景视频图 像发送给 视频编码器， 通过所述视频编码器将所述全景视频图像编码 成视频码流， 并 将所述视频码流发送出去。

还提供一种视频通信的装置， 包括：

第二获取单元， 用于获取视频解码器从视频码流中解码出的至 少两路视 频数据， 所述视频码流由所述视频解码器从远端的视频 通信站点接收得到； 第二融合单元， 用于根据第二视频处理参数中的融合参数， 对由所述第 二获取单元获取的至少两路视频数据进行融合 ；

输出单元， 用于将由所述第二融合单元融合后的至少两路 视频数据输出 给显示设备， 由所述显示设备显示所述融合后的至少两路视 频数据。

一种视频通信的系统， 包括至少两个视频通信站点。 所述至少两个视频 通信站点的其中一个站点， 用于拍摄至少两路本地用户部分的本地视频图 像； 根据第一视频处理参数中的融合参数， 对所述拍摄得到的至少两路本地用户 部分的本地视频图像进行融合， 生成全景视频图像； 并将所述全景视频图像 编码成视频码流， 将所述视频码流通过网络发送出去； 所述至少两个视频通 信站点的至少一个站点， 作为接收站点， 用于从接收到的视频码流中分别解 码得到至少两路视频数据； 根据第二视频处理参数中的融合参数， 对所述解 码得到的至少两路视频数据进行融合； 将融合后的至少两路视频数据输出显 示。

本发明实施例提供的视频通信的方法、 装置和系统， 在视频通信的发送 端将所获取的至少两路视频图像融合为全景视 频图像， 融合得到的全景视频 图像能够更真实地表现相邻视频图像之间交接 区域位置关系， 使得最后显示 出的图像给用户更真实的全景式体验， 解决了摄像机拍摄的相邻视频图像在 交接处存在重叠或缺失区域、 并且亮度和颜色不一致的问题； 本发明实施例 中的视频通信发送端将融合后的全景视频图像 编码成视频码流发送给视频通 信接收端后， 视频通信接收端对其进行进一步地融合处理， 再将融合处理后 的视频图像输出到显示设备进行显示， 视频通信接收端进行的融合处理能够 使得多个投影图像在弧形幕上无缝呈现， 并且各个投影区域在颜色和亮度方 面差异较小， 提高了全景视频图像的视觉连续性， 能够给用户更好的沉浸式 全景体验。 附图说明

为了更清楚地说明本发明实施例或现有技术中 的技术方案， 下面将对实 施例或现有技术描述中所需要使用的附图作简 单地介绍， 显而易见地， 下面 描述中的附图是本发明的一些实施例， 对于本领域普通技术人员来讲， 在不 付出创造性劳动的前提下， 还可以根据这些附图获得其他的附图。

图 1为现有技术中视频通信的系统布局示意图；

图 2为本发明实施例提供的视频通信系统布局的� �视图一；

图 3为本发明实施例提供的视频通信系统布局的� �视图二；

图 4为本发明实施例提供的视频通信系统布局的� �视图；

图 5为本发明实施例提供的视频通信系统布局的� �视图三；

图 6为本发明实施例提供的视频通信系统的设备� �接图；

图 7为本发明实施例提供的视频通信的方法流程� �；

图 8为本发明另一实施例提供的视频通信的方法� �程图；

图 9为本发明又一实施例提供的视频通信发送端� �法流程图；

图 10为本发明又一实施例提供的视频通信接收端� ��法流程图； 图 11为本发明实施例提供的共光心摄像机原理图� ��；

图 12为本发明实施例提供的共光心摄像机原理图� ��；

图 13为本发明实施例提供的共光心摄像机结构示� ��图；

图 14为本发明实施例提供的共光心摄像机和弧面� ��的安装结构图； 图 15为本发明实施例提供的视频通信的方法中发� ��端的第一视频处理参 数的配置流程图； 图 17为本发明实施例提供的视频通信的方法中接� ��端的第二视频处理参 数的配置流程图；

图 18为本发明实施例提供的接收端投影仪之间的� ��度和颜色差异曲线； 图 19为本发明实施例提供的发送端视频通信的装� ��结构示意图一； 图 20为本发明实施例提供的发送端视频通信的装� ��结构示意图二； 图 21为本发明实施例提供的发送端视频通信的装� ��结构示意图三； 图 22为本发明实施例提供的发送端视频通信的装� ��结构示意图四； 图 23为本发明实施例提供的接收端视频通信的装� ��结构示意图一； 图 24为本发明实施例提供的接收端视频通信的装� ��结构示意图二； 图 25为本发明实施例提供的接收端视频通信的装� ��结构示意图三； 图 26为本发明实施例提供的接收端视频通信的装� ��结构示意图四。 具体实施方式

为使本发明实施例的目的、 技术方案和优点更加清楚， 下面将结合本发 明实施例中的附图， 对本发明实施例中的技术方案进行清楚、 完整地描述， 显然， 所描述的实施例是本发明一部分实施例， 而不是全部的实施例。 基于 本发明中的实施例， 本领域普通技术人员在没有付出创造性劳动前 提下所获 得的所有其他实施例， 都属于本发明保护的范围。

下面的实施例均以本方法应用于视频会议场景 为例进行说明。

一种视频通信站点， 包括：

至少两个本地摄像机， 用于指向至少两个本地用户部分， 拍摄至少两路 本地用户部分的本地视频图像。 本发明实施例中， 所述至少两个本地摄像机 为一个具有三个机芯的共光心摄像机， 由同一个同步时钟来实现每个机芯之 间拍摄时间的同步。

本地摄像拼接融合器， 用于根据第一视频处理参数中的融合参数， 对所 述拍摄得到的至少两路本地用户部分的本地视 频图像进行融合， 生成全景视 频图像； 并将所述全景视频图像编码成视频码流， 将所述视频码流发送给远 端的视频通信站点。 在本发明实施例中， 所述第一视频处理参数由所述本地 摄像拼接融合器计算获得， 或者由 PC机计算后， 发送给所述本地摄像拼接融 合器获得。 所述 PC机与所述本地摄像拼接融合器相连。 所述第一视频处理参 数包括： 融合参数、 GAMMA校正参数、 坏点补偿参数、 变换参数、 剪裁区 域参数。

本地显示融合器， 用于从远端接收到的视频码流中分别解码得到 至少两 路视频数据； 根据第二视频处理参数中的融合参数， 对所述解码得到的至少 两路视频数据进行融合； 将融合后的至少两路视频数据输出给本地显示 设备。 在本发明实施例中， 所述第二视频处理参数由所述本地显示融合器 计算获得， 或者由 PC机计算后， 发送给所述本地显示融合器获得。 所述 PC机与所述本 地显示融合器相连。 所述第二视频处理参数包括： 融合参数、 GAMMA校正 参数、 投影校正参数、 变换参数、 剪裁区域参数。

至少两个本地显示设备， 用于显示经过所述本地显示融合器融合后的至 少两路视频数据。 在本发明实施例中， 所述至少两个本地显示设备可以是投 影机和屏幕， 或者显示器； 其中， 所述屏幕可以为弧面幕， 也可以为椭圓幕， 或抛物幕， 或折面幕， 或直幕， 所述显示器一般为高清平板显示器， 以获得 高清的视频图像。

本发明实施例提供的视频通信站点， 通过至少两个本地摄像机获取至少 两路本地视频图像， 将所获取的至少两路本地视频图像融合为全景 视频图像， 融合得到的全景视频图像能够更真实地表现相 邻视频图像之间交接区域位置 关系， 使得最后显示出的图像给用户更真实的全景式 体验， 解决了摄像机拍 摄的相邻视频图像在交接处存在重叠或缺失区 域、 并且亮度和颜色不一致的 问题。 并且， 由本地显示融合器接收远端的视频码流， 对其进行进一步地融 合处理， 再将融合处理后的视频数据输出到显示设备进 行显示， 所述融合处 理能够使得多个投影图像在屏幕上无缝呈现， 并且各个投影区域在颜色和亮 度方面差异较小， 提高了全景视频图像的视觉连续性， 能够给用户更好的沉 浸式全景体验。

图 2显示了本发明所述的视频会议系统整体布局� �俯视图， 包括： 一个共 光心摄像机 9, 用于釆集会议场景的图像数据， 获得三个视频图像， 其中， 所 述共光心摄像机的每个机芯的拍摄时间是同步 的， 由同一个同步时钟来实现 这种同步； 一个弧形会议桌 7和多个用户座椅 1 ~ 6 , 其中， 用户表示出席视频 会议的一个或多个个人或者个人的群组， 在视频会议期间， 用户作为讲话者 来参与会话或者作为非讲话者参与； 一个弧面幕 8 , 三个投影仪 10, 11 , 12, 用于显示由显示融合器处理过的三路视频图像 和共享数据信息； 摄像机的拍 摄区域是所述的三个本地摄像机的拍摄区域的 并集， 摄像机的视角范围与摄 像机的个数和每个摄像机的拍摄视角有关。 由于本发明实施例中有 3个摄像 机， 每个摄像机的视角在 30度〜 45度之间， 因此所述视角范围为 90度〜 135度之 间， 优选地， 摄像机的视角选择 35度， 那么摄像机的视角范围为一个 105度的 圓弧； 投影屏幕以会议桌边缘中点为圓心， 半径在 2500毫米到 7500毫米之间 取值， 优选地， 投影屏幕的半径取为 2700毫米； 投影屏幕的弧长根据所述摄 像机的视角范围和投影屏幕的半径确定， 投影屏幕的高度与投影屏幕的弧长 和视频图像的比例有关， 优选地， 投影屏幕的弧长的取值大约为 4950毫米， 高的取值大约为 900毫米。 上述参数的设计保证了真人大小的视觉效果， 图中 桌面边沿 101处在显示屏上获得约 1 : 1的图像； 因为距离摄像机较近， 100处可 获得约 1.1 :1的投影图像， 反之 102处获得约 0.9:1的投影图像。 摄像机 9的虚拟 光心和投影屏幕 8的上表面中心位于同一垂直线上， 并且所述垂直线的距离约 为 100毫米； 13为背投箱体， 容纳了 3个投影仪 10 , 11 , 12。 其中投影仪釆用 背投的方式将图像投射在弧面幕 8上， 该背投箱体可以设计为暗室， 使得弧面 幕 8上的图像尽可能的少受外界光线的影响， 以获得更好的投影效果； 当然， 除了背投方式外， 还可以釆用前投的方式来实现图像的显示。 标号为 14, 15 , 16为三个麦克风， 用于釆集本地音频信号； 标号为 20, 21 , 22为三个扬声器， 用于输出通过网络传输过来的远端会场音频信 号。 图 3显示了本发明所述的视频会议系统整体布局� �另一个俯视图。 与图 2 的不同之处在于， 该会议室布局方案釆用了多排用户座位设置（ 图 3中显示为 两排用户座位）。 在图 2原有的一排会议桌 7的前后， 还可以增加一排或多排会 议桌和相应的座位。 例如， 图 3中增加了一排会议桌 104 , 并增加了座椅 101 ~ 103。 由于后排会议桌 7的座椅距离显示屏较远， 而且有前面一排参会者的遮 挡， 因而体验会变差。 为了解决这个问题， 可以将后排的会议桌和座椅整体 提升一个高度， 形成阶梯状的会议室布局， 并且在设计座位时尽量使后排的 参会者位于前排两个参会者的中间。 这样后排的参会者就不会被前排遮挡， 可以改善用户体验。

图 4显示了本发明所述的视频会议系统整体布局� �侧面图 （以一个用户的 侧面为例）。摄像机光心 0位于屏幕后方 100毫米处， 并距离有效屏幕上边缘的 下方 100毫米。 摄像机的拍摄垂直视角约为 20度。 由于摄像机无法放置在用户 的水平视线位置上， 因此摄像机光轴需要向下倾斜一个预定角度， 在本发明 实施例中此角度为 8.5度。 为了看到桌面， 在设计时使桌边 300毫米的弧带在弧 面幕上显示 100毫米的高度， 这样人像可呈现的高度范围约为 800毫米。 人眼 在中间位置， 可以计算出垂直眼对眼偏差角度约为 6.2度， 接近眼神接触角度 偏差可觉察门限 5度， 因此可以获得较好的眼对眼的效果。

可选的， 在本实施例中， 弧面幕不仅可以显示视频数据， 也可以显示共 享数据信息， 并可以根据用户的观看位置进行灵活的配置。 例如： 可以通过 在某一个弧面幕的显示区域划出一个空间， 用来显示该共享数据信息。 共享 数据信息可以包括： 分享的文字、 图片以及视频信息。 所述的共享数据信息 源可以预先存储在本端， 也可以通过网络传输的方式由远端进行分享。 当然， 该共享数据信息还可以通过在另设的至少一个 显示装置显示， 该至少一个显 示装置可以布置在会议室的一端， 也可以布置在所述至少一个用来显示远端 会场的显示装置的延伸处。 如图 5 所示， 可以对弧面幕进行扩展， 增加另一 显示设备来显示共享数据信息。 例如可以增加 2个投影显示区域 4, 5。 原来 的投影区域 1、 2、 3 也可以配置成显示共享数据信息。 当用户坐在位置 102 看投影区域 2时， 投影区域 2可以显示远端会场图像， 也可以显示共享数据 信息。 当用户坐在位置 102看投影区域 2和 4时， 2可以配置成显示远端会场 图像， 4可以配置成显示共享数据信息。 当用户坐在位置 102看投影区域 2、 4和 5时， 4和 5可以配置成显示远端会场图像， 2可以配置成显示的共享数 据信息。 这样参会双方都能获得共同看共享数据信息的 体验。

图 6显示了本发明实施例提供的两个视频通信站� �设备连接图。 发送端的 共光心摄像机 1釆集会场视频图像， 输出三路视频图像（一般釆用 1920x 1080 的高清视频图像）给发送端的摄像拼接融合器 。 由于共光心摄像机 1釆集的原 始的三个视频图像无法简单地组合成一个理想 的会场全景图像， 因此摄像拼 接融合器需要对这三路视频图像进行处理， 根据第一视频处理参数中的融合 参数， 对所述三路视频图像进行融合， 生成大约为 48: 9的高分辨率的会场全 景视频图像。 全景视频图像可以通过三路方式输出到发送端 的三台视频通信 终端， 视频通信终端分别对每路视频图像进行编码， 并将编码后得到的视频 码流封装成网络数据包， 通过网络发送给远端的视频通信站点。

其中， 在本发明的实施例中， 所釆用的网络具体体现于网络中的设备， 包括硬件和任何适当的控制逻辑， 用于互联与网络相耦合的各个元件并辅助 如本实施例所示的各个站点之间的通信。 网络可以包括局域网 （LAN )、 城域 网 （MAN )、 广域网 （WAN )、 任何其他公共或私有网络、 局部、 区域或全球 通信网络、 企业内部互联网络、 其他合适的有线或无线通信链路、 或者前面 各项的任意组合。 网络可以包括网关、 路由器、 集线器、 交换机、 接入点、 基站、 和任何其他硬件、 软件， 或者可以实现任何合适的协议或通信的前面 各项的组合。

接收端接收网络中数据包， 并使用三台视频通信终端中的视频解码单元 对三路视频码流进行解码， 获得三路视频数据， 然后输出给显示融合器。 显 示融合器根据第二视频处理参数中的融合参数 ， 对所述三路视频数据进行融 合， 最后输出给三台投影仪 2 , 投影到弧面幕上形成一个约为 48: 9的高分辨 率的全景无缝视频图像。 其中， 3和 4为两个 PC工作站， 作为调校工具， 分别 用于和摄像拼接融合器、 显示融合器一起完成图像显示前的融合处理。

需要说明的是， 所述视频编码器可以集成在所述摄像拼接融合 器中； 或 者当所述系统包括发送端视频通信终端时， 所述视频编码器也可以集成在所 述发送端视频通信终端中。 所述视频解码器可以集成在所述显示融合器中 ； 或者当所述系统还包括接收端视频通信终端时 ， 所述视频解码器也可以集成 在所述接收端视频通信终端中。

本实施例中将摄像拼接融合器置于发送端， 将显示融合器置于接收端。 事实上， 所述显示融合器也可以置于发送端， 与所述摄像拼接融合器相连， 并置于摄像拼接融合器之后， 显示融合器处理视频图像时所需的参数可从接 收端获取； 所述摄像拼接融合器也可以置于接收端， 与所述显示融合器相连， 并置于显示融合器之前， 摄像拼接融合器处理视频图像时所需的参数可 从发 送端获取。

本发明实施例提供的视频通信的系统， 在视频通信的发送端将所获取的 至少两路视频图像融合为全景视频图像， 融合得到的全景视频图像能够更真 实地表现相邻视频图像之间交接区域位置关系 ， 使得最后显示出的图像给用 户更真实的全景式体验， 解决了摄像机拍摄的相邻视频图像在交接处存 在重 叠或缺失区域、 并且亮度和颜色不一致的问题。 本发明实施例中的视频通信 发送端将全景视频图像编码成视频码流发送给 视频通信接收端后， 视频通信 接收端对其进行进一步地融合处理， 再将融合处理后的视频图像输出到显示 设备进行显示， 视频通信接收端进行的融合处理能够使得多个 投影图像在屏 幕上无缝呈现， 并且各个投影区域在颜色和亮度方面差异较小 ， 提高了全景 视频图像的视觉连续性， 能够给用户更好的沉浸式全景体验。

由于不同设备之间的工作状态会存在差异， 即使在同一工作环境下， 也 会由于其器件的性质不同， 导致输出的结果不同。 为了解决现有技术中存在 的利用多个摄像机拍摄多幅图像， 造成了每幅图像之间存在亮度和颜色差异、 并且在图像交接区域处的图像显示效果不理想 的问题， 本发明实施例提供一 种视频通信的方法和装置。

如图 7所示， 本发明实施例提供的视频通信的方法， 包括：

步骤 101 , 获取至少两路本地视频图像；

本实施例中， 所述获取到的至少两路本地视频图像由共光心 摄像机拍摄 得到。 具体地， 用户首先通过一台 PC机登录到摄像拼接融合器上， 并通过 PC机向摄像拼接融合器发出图像釆集命令； 摄像拼接融合器接到釆集图像的 命令后， 从共光心摄像机中获取由所述摄像机拍摄到的 至少两路视频图像， 并将其保存在摄像拼接融合器的緩存中。 当然， 拍摄得到至少两路视频图像 的设备不局限于共光心摄像机， 此处不再——列举。

步骤 102,根据第一视频处理参数中的融合参数，对� �述至少两路本地视 频图像进行融合， 生成全景视频图像；

在本实施例中， 融合参数是第一视频处理参数中的一部分参数 ， 第一视 频处理参数是根据所获取到的视频图像。 具体地， 将在步骤 101 中获取的至 少两路视频图像传输给所述 PC机， 由 PC机根据所述视频图像来计算所需要 的融合参数。 PC机将计算出的融合参数传输给摄像拼接融合� ��， 由摄像拼接 融合器将接收到的融合参数配置为工作状态所 要使用的参数， 并根据所配置 的融合参数将所述至少两路视频图像拼接为一 路全景视频图像。 可以理解的 是， 除了上述实现方法外， 也可以在摄像拼接融合器中计算融合参数， 直接 由摄像拼接融合器完成计算、 配置、 融合等全部的过程， 而不需要与 PC机进 行交互， 这样就需要摄像拼接融合器能够获取到各个本 地摄像机的相应参数， 进而确定融合参数以及进行 GAMMA校正、 传感器坏点补偿、 图像处理的相 关变换以及剪裁、 缩放、 分割的相关参数； 或者， 也可以单独由一台或多台 PC机完成计算、 配置、 融合的过程， 而不需要与摄像拼接融合器进行交互。 实际的产品实现方式可由用户的具体需求确定 ， 此处不再赘述。 步骤 103 , 将所述全景视频图像发送给视频编码器， 通过所述视频编码器 将所述全景视频图像编码成视频码流， 并将视频码流发送出去。

所述视频编码器可以集成在发送端的视频通信 终端中， 也可以集成在所 述摄像拼接融合器中。 在本实施例中， 由发送端的视频通信终端对融合后的 全景视频图像进行编码， 并将编码后的视频码流发送到网络。 视频通信接收 端从网络中接收所述视频码流。

在点对点（ Point To Point )的视频通信结构中， 编码后的视频码流通过网 络发送到接收端， 而对于点对多点 （ Point To Multi-Point ) 的视频通信的结构 中， 编码后的视频码流可能会发送给相应的多点通 信的服务器， 由多点通信 服务器进行多点融合处理后， 在发给相应的接收端。

本发明实施例提供的视频通信的方法， 将所获取的至少两路视频图像融 合为一路全景视频图像， 融合得到的全景视频图像能够更真实地表现相 邻视 频图像之间交接区域位置关系， 使得最后显示出的图像给用户更真实的全景 式体验， 解决了摄像机拍摄的相邻视频图像在交接处存 在重叠和缺失区域、 并且亮度和颜色不一致的问题。

如图 8所示， 本发明另一个实施例还提供一种视频通信的方 法， 包括： 步骤 201 , 获取视频解码器从视频码流中解码出的至少两 路视频数据， 所 述视频码流由所述视频解码器从远端的视频通 信站点接收得到；

在本实施例中， 发送端将视频码流分割为至少两路视频码流发 送， 可以 提高处理速度， 减小出错率。 在接收端， 由视频解码器从网络中接收所述至 少两路视频码流， 并分别对所述视频码流进行解码， 获得至少两路视频数据。 其中， 所述视频解码器可以集成在接收端的视频通信 终端中， 也可以集成在 显示融合器中。

步骤 202,根据第二视频处理参数中的融合参数，对� �述至少两路视频数 据进行融合。

在本实施例中， 由于显示设备之间的差异， 使得所述至少两路视频数据 之间存在颜色和亮度的差异， 对其进行融合， 以消除此差异。 与发送端的图 像融合操作类似， 首先由 PC机计算出融合参数， 将其发送给显示融合器； 显 示融合器将接收到的融合参数配置为工作状态 使用的融合参数， 并根据配置 的融合参数对所述至少两路视频数据进行融合 。 可以理解的是， 本发明实施 例中的计算第二视频处理参数的过程也可以在 显示融合器中完成， 即直接由 显示融合器完成计算、 配置、 融合的全部过程， 而不需要与 PC机进行交互， 这就需要摄像拼接融合器能够获取到各个本地 摄像机的相应参数， 进而确定 融合参数以及进行 GAMMA校正、 传感器坏点补偿、 图像处理的相关变换以 及剪裁、 缩放、 分割的相关参数； 或者， 也可以单独由一台或多台 PC机完成 计算、 配置、 融合的过程， 而不需要与显示融合器进行交互。 实际实现方式 可视用户的具体需求确定， 此处不再赘述。

步骤 203 , 将所述融合后的至少两路视频数据输出给显示 设备， 由所述显 示设备显示所述融合后的至少两路视频数据。

在本发明的实施例中， 所述显示设备包括投影仪和屏幕， 或者显示器； 其中， 所述屏幕不限于弧面幕， 还可以为椭圓幕， 或抛物幕， 或折面幕， 或 直幕， 所述显示器一般为高清平板显示器， 以获得高清的视频图像。 并且， 当显示设备为投影仪和弧面幕， 或者投影仪和椭圓幕， 或者投影仪和抛物幕 时， 在对所述至少两路视频数据进行融合之前， 还要根据投影校正参数， 对 所述至少两路视频数据进行投影校正， 以消除屏幕形状的变换对于图像显示 效果的影响。

本发明实施例提供的视频通信的方法， 将融合后的全景视频图像编码成 视频码流发送给视频通信接收端后， 视频通信接收端对其进行进一步地融合 处理， 再将融合处理后的视频图像输出到显示设备进 行显示， 视频通信接收 端进行的融合处理能够使得多个投影图像在弧 形幕上无缝呈现， 并且各个投 影区域在颜色和亮度方面差异较小， 提高了全景视频图像的视觉连续性， 能 够给用户更好的沉浸式全景体验。 为了使本领域技术人员能够更清楚地理解本发 明实施例提供的技术方 说明。

如图 9和图 10所示， 本发明又一实施例提供的视频通信的方法。

下面具体描述视频通信发送端的方法流程， 如图 9所示， 包括以下步骤： 步骤 301 , 发送端获取至少两路本地视频图像；

在本实施例中， 所述获取到的至少两路本地视频图像由共光心 摄像机拍 摄得到。 发送端的视频图像釆集是由 PC机登录到摄像拼接融合器后， 向摄像 拼接融合器发出图像釆集的命令， 摄像拼接融合器通过共光心摄像机拍摄至 少两路视频图像而获得的， 在本实施例中， 共光心摄像机机芯有三个， 釆集 三路视频会议场景， 每路视频图像的分辨率为 16: 9或者 4: 3。 如图 2的实 施例所示， 每路视频图像由共光心摄像机的一个拍摄得到 ， 在图 2 中， 共光 心摄像机包括三个摄像机， 分别为： 左摄像机、 中摄像机以及右摄像机， 其 中， 左摄像机拍摄到用户座椅编号为 1、 2的与会者， 中摄像机拍摄到用户座 椅编号为 3、 4的与会者， 右摄像机拍摄到用户座椅编号为 5、 6的与会者， 所述的共光心摄像机能够拍摄到所有参会人员 ， 并且， 以上三个摄像机的拍 摄时间是同步的。

步骤 302, 发送端根据第一视频处理参数中的 GAMMA校正参数， 对所 述至少两路本地视频图像进行 GAMMA校正；

在本实施例中， 摄像拼接融合器在对所获取的图像进行处理之 前， 需要 检查处理图像所需要的视频处理参数是否已经 配置。 所述的视频处理参数在 本实施例之中， 指代的是第一视频处理参数。 如果所述参数没有配置， 对所 接收到的视频图像进行透传， 即不对所述视频图像进行处理， 直接输出； 如 果所述参数已经配置， 进行图像处理。 在参数已经配置的情况下， 还需要具 体判断配置了哪些参数， 例如， 如果只配置了 GAMMA参数， 而没有配置传 感器坏点补偿参数， 则只进行 GAMMA校正操作。 由于摄像拼接融合器可以 接收共光心摄像机机芯处理后的视频图像， 也可以接收共光心摄像机传感器， 如电荷耦合器件 （Charge Coupled Device, CCD )或互补金属氧化物半导体 ( Complementary Metal Oxide Semiconductor, CMOS )传感器送出的没有经过 处理的视频图像， 当摄像拼接融合器接收的是没有经过处理的视 频图像时， 需要对所述视频图像进行 GAMMA校正和传感器坏点补偿处理。

步骤 303 ,发送端根据第一视频处理参数中的坏点补偿� �数， 对所述至少 两路本地视频图像进行传感器坏点补偿；

在本实施例中， 如果输出视频图像的传感器存在坏点， 导致所述视频图 像上也存在坏点， 坏点补偿处理可以根据视频图像上坏点的邻近 像素值差值 得到坏点处的像素值， 由于具体的像素插值属于图像处理中的现有技 术， 可 以包括许多方式， 在此不再赘述。

步骤 304,发送端根据第一视频处理参数中的变换参� �，对所述至少两路 本地视频图像进行变换；

在本实施例中， 所述变换包括： 视频图像的平移、 视频图像的旋转、 视 频图像的单应性变换和视频图像的柱面变换中 的任意一种及其组合。

在本实施例中， 首先根据射影几何原理， 将空间中的三维点投影到共光 心摄像机的成像平面上， 所述三维点与平面点之间的坐标变换关系为：

= K[R I t]X 式子 ( 1 )

K 式子 ( 2 )

0 0 1

其中 为平面坐标的齐次表示， X 为世界坐标系的齐次表示， Λ和/ ^为 水平和垂直方向上的等效焦距， s为图像的畸变系数， M _Q , I¾为图像主点坐标; R 为摄像机的旋转矩阵， t为摄像机平移向量。 其中 ,Κ称为摄像机的内参， 包括 水平和垂直方向上的等效焦距、 图像的畸变系数、 图像主点坐标； R和 t称为 摄像机的外参。 将三维点转换为平面点之后， 可以有下述三种方法进行视频图像的变换: 方法一， 对于共光心摄像机中的三个摄像机机芯拍摄的 具有重叠区域的 三个视频图像， 空间中某个平面上的点在其中两个视频图像上 的成像关系为： κ

χ' = Hx = κ 〃 h22 式子 （3)

h 其中 Η为一个 3χ3的矩阵， 自由度为 8, 其代表了两个成像平面之间的变 换关系， 称之为单应性矩阵。 X为变换前图像坐标的齐次表示， χ'为变换后图 像坐标的齐次表示。

对于共光心摄像机， 不考虑参数 t,因此 Η可以表示为：

H-K^ K ¹ 式子 （4)

假设已知变换前和变换后图像上的一个点对坐 标（X, y)和（ x、 y' ), 可以得到两个方程： χ ₌ h _u x + h _n + ^h ₌ ^{x + h} 22 + ^h 23 式子 （ ₅ )

h _3l x + h ₃₂ y + h ₃₃ h _3l x + h ₃₂ y + h ₃₃ 由于 H的自由度为 8, 因此最少只要通过 4对点对建立 8个方程就可以求 出单应性矩阵 H。求出单应性矩阵 H后，可以通过一个坐标变换将两个图像拼 接到一起， 将重叠区域的像素对齐。 H的计算方法有多种， 一种是手动的方 法， 由用户至少选择变换前图像上的 4个点的坐标， 以及该 4个点在变换后 图像上的坐标。 根据这 4个点对的坐标我们可以利用式子（5)建立包括 至少 8个方程的方程组， 求解出单应性矩阵 H。 另一种方法是自动的方法， 该方法 要求两个图像之间具有较大的重叠区域。 可以通过特征点提取算法， 例如尺 度不变性变换算法（ Scale-invariant feature transform, SIFT ), 在重叠区域进行 特征点提取， 找到多个特征点， 建立特征点之间的匹配关系， 再利用式子（5) 建立包括至少 8个方程的方程组， 通过迭代优化算法求出两个图像之间的单 应性矩阵11。

方法二， 由于方法一中求单应性矩阵 H比较复杂， 对于图像变化较小的 情况， 也可以利用仿射变换来模拟单应性变换。 可以釆用下面的变换公式:

χ' = S[R I T]x 式子 （6 ) s =

其中 S为一个图像缩放矩阵， R为二维旋转矩阵， T为平移向量。 X为变 换前图像坐标的齐次表示， x'为变换后图像坐标的齐次表示。

方法三， 利用柱面坐标变换将平面坐标转换为柱面坐标 ， 在柱面坐标下 通过对图像的平移来进行图像拼接。 柱面坐标的变换和反变换为：

X = 5 tan" ¹ ― γ' = s . ^ = 式子 ( 7 ) x = f tan— y = /^-sec— 式子 ( 8 )

s s s

需要说明的是， 步骤 302、 303以及 304是现有的实现步骤， 更换上述三个 步骤的顺序也不影响本发明的达到的效果。

步骤 305 ,发送端根据第一视频处理参数中的融合参数� �对所述至少两路 本地视频图像进行融合， 生成全景视频图像；

在本实施例中， 经过步骤 304 图像变换后， 一般还是无法得到比较理想 的无缝图像， 还必须考虑共光心摄像机机芯拍摄的视频图像 由于曝光或者视 频图像之间的颜色差异导致的视频图像在亮度 或色度上的差异， 所述差异在 两个视频图像的接缝处尤其明显， 因此需要对多个图像进行融合， 以消除不 同图像间亮度或色度等的差异。 在本实施例中， 可以在所述视频图像接缝处 的重叠区域进行 Alpha融合， 该 Alpha融合的公式为：

/(X, y) = , (x, y)I ( , y) + ₂ ( , y)I ₂ (x, y) 式子 （ 9 ) 其中 c¾ (x, y)为视频图像 1像素（X, y)的 Alpha值， (x, y)为视频图像 1像 素（x, _y)的颜色值； 和 / ₂ (x, _y)为视频图像 2像素（x, _y)的 Alpha值和颜 色值。 对于简单的线性 Alpha融合， ^， + ^^， 二：!。 所述 Alpha融合一 般只能对视频图像接缝处的亮度或色度差异进 行融合， 如果视频图像之间本 身的亮度或色度差异较大， 使用所述 Alpha 融合不能获得良好的效果， 这时 可以在整个视频图像上进行拉普拉斯金字塔融 合， 或者梯度阔值融合， 或者 泊松融合， 此处不再对其具体的融合原理进行赘述。

步骤 306,发送端根据第一视频处理参数中的剪裁区� �参数， 将所述全景 视频图像的比例剪裁为第一目标比例；

本实施例中， 对于图像进行剪裁的目的是消除图像中不需要 显示的部分。 所述第一目标比例根据实际情况人为确定。

在步骤 302〜步骤 306中需要用到第一视频处理参数， 在对视频图像进行 处理之前， 需要先配置第一视频处理参数， 根据所配置的参数对视频图像进 行处理。 下面对于所述第一视频处理参数的配置方法进 行详细描述：

本实施例中可以将摄像拼接融合器与 PC机进行结合， 所述 PC机也称为 第一处理机， 由所述 PC机计算第一视频处理参数， 由摄像拼接融合器配置第 一视频处理参数， 并根据所述参数处理图像； 除了上述实现方法外， 也可以 由摄像拼接融合器釆集至少两幅图像， 由摄像拼接融合器根据所釆集到的图 像计算视频处理参数， 即直接由摄像拼接融合器完成计算、 配置、 处理图像 的过程， 而不需要与 PC机进行交互， 例如， 用户可以通过遥控器、 鼠标等方 法手工控制摄像拼接融合器生成所需要的视频 处理参数， 也可以釆用自动算 法由摄像拼接融合器自动生成所需要的视频处 理参数； 或者， 也可以单独由 一台或多台 PC机完成计算、 配置、 处理图像的过程， 而不需要与摄像拼接融 合器进行交互， 例如， 用户通过所述 PC机上的调校软件自动生成所需要的视 频处理参数， 再根据所述参数直接在 PC机上进行图像处理， 其中， 计算参数 部分由中央处理器（ Central Processing Unit, CPU ) 完成， 处理图像部分可由 CPU或图形处理器 (Graphic Processing Unit, GPU)完成。 如果单台 PC机无法 完成所述图像处理， 可以釆用多台 PC机进行联网分布式计算， 所述多台 PC 机之间通过高速以太网进行互联。 上述多种方法的实际实现方式可视用户的 具体需求确定， 此处不再赘述。 需要说明的是， 上述实施例所说明的 PC机只是具体的一种实现方式， 事 实上， 釆用具有音视频输入输出设备的具有处理器的 装置就能够完成上述的 图像处理。 随着云计算技术的发展， 针对本实施例还可以通过在远程呈现管 理服务器设置处理器阵列， 统一由服务器侧完成对釆集的图像进行相应的 图 像处理。

当釆用摄像拼接融合器和 PC机（也称第一处理机 )共同完成视频处理参 数的计算和配置时， 具体的配置方法可以通过如图 15中所示的步骤来实现： 步骤 401 , 启动 PC机上的调校软件；

本实施例中， 所述调校软件具有 GUI界面。 如图 16所示， 所述 GUI界 面包括菜单栏， 工具栏， Tab栏， 显示区， 状态栏和对话框。 其中， 菜单栏用 于用户选择相关的命令， 支持鼠标和键盘快捷键操作； 工具栏用于用户快速 选择常用的命令； Tab栏用于列出打开的图像， 用户可以在打开的图像之间进 行切换和关闭打开的图像； 显示区用于显示用户操作的当前图像， 支持滚动 条， 无法在当前窗口显示的图像内容用户可以拖动 滚动条进行查看。 用户可 以利用鼠标和键盘在显示区域对需要拼接的图 像进行交互式操作， 如对图像 调整变换和融合参数， 实时查看效果等； 状态栏用于显示一些当前重要的信 息， 如图像大小， 当前鼠标坐标等； 对话框由菜单栏或工具栏激发， 用于完 成需要用户键盘输入等的复杂的工作任务等。 用户得到了满意的图像拼接融 合效果后， 可以通过一个简单的命令生成摄像拼接融合器 和显示融合器所需 的图像变换参数、 Alpha融合和 GAMMA校正等参数， 并传输给摄像拼接融 合器和显示融合器。

步骤 402, PC机通过所述调校软件登录到摄像拼接融合器� ��；

所述调校软件可以作为第三方软件本地化安装 在所述的 PC机上，也可以 通过内置于所述的 PC机中的 WEB页面来访问服务器运行。

步骤 403 , PC机向摄像拼接融合器发送图像釆集命令；

步骤 404, 摄像拼接融合器从共光心摄像机中获取釆集到 的至少两幅图 像；

在本实施例中， 摄像拼接融合器接到视频图像釆集命令后， 从共光心摄 像机中获取釆集到的 3个视频图像， 并保存在摄像拼接融合器的緩存中。

步骤 405，摄像拼接融合器将所釆集到的至少两幅图 像发送给所述 PC机； 在本实施例中， 摄像拼接融合器通过数据传输协议将緩存中的 3 个视频 图像发送给 PC机。

步骤 406, PC机根据所釆集到的图像计算第一视频处理参� ��；

在本实施例中， PC机计算出的参数包括摄像机 GAMMA校正参数、 摄 像机传感器坏点的补偿参数、 图像变换参数、 图像 Alpha融合参数表和图像 剪裁区域参数的一种或多种。

步骤 407， PC机将计算出的第一视频处理参数发送给摄像� ��接融合器； 在本实施例中， PC机和摄像拼接融合器之间的数据传输接口可� ��釆用以 太网、 USB 等接口方式， 传输协议可以釆用文件传输协议 （File Transfer Protocol, FTP ), 超文本传输协议（ Hypertext Transfer Protocol, HTTP )、 或使 用传输控制协议 (Transmission Control Protocol, TCP), 用户数据 4艮协议 ( User Datagram Protocol , UDP ) 自定义高层传输协议进行传输。 当计算得到的参数 数据量较大时， 通过数据传输协议传输给摄像拼接融合器。

在本实施例中， PC机的功能还包括向摄像拼接融合器发送配置� ��令。 配 置命令可以通过多种方式进行传输， 例如通过串行端口、 并行端口或网络接 口等进行传输。 如果通过网络接口传输， 可以釆用远程登录协议 （Telnet, Teletype network ), 或者是使用 TCP协议、 UDP协议自定义高层传输协议进 行传输。

步骤 408,摄像拼接融合器将接收到的第一视频处理� �数配置为工作状态 使用的第一视频处理参数。

步骤 307 , 发送端将所述全景视频图像的大小缩放至第一 目标大小； 本实施例中， 步骤 306对视频图像进行剪裁后， 视频图像的大小可能会 变小， 对视频图像进行缩放， 使其尺寸达到用户所需要的大小。 所述第一目 标大小根据实际情况人为确定。

步骤 308, 发送端将所述全景视频图像分割为至少两路视 频数据； 本实施例中， 将全景视频图像分割为三路视频数据输出给三 个视频通信 终端， 能够提高数据处理速度， 降低出错率。 当然， 也可以不分割全景视频 图像， 直接对其编码发送， 但此种方法的视频图像显示效果较差。

步骤 309,发送端通过至少两个视频编码器将所述至� �两路视频数据分别 编码成对应的视频码流， 并将所述至少两路视频数据对应的视频码流分 别发 送出去；

本实施例中， 由三个视频通信终端中的视频编码器对所述三 路视频数据 分别编码， 获得三路视频码流， 并将这三路视频码流发送到网络中， 由接收 端从网络中接收。 其中， 所述视频编码器可以集成在视频通信终端中， 也可 以集成在摄像拼接融合器中。 为了保证端到端的同步， 发送端和接收端需要 进行同步的编码和解码。 为了防止网络抖动等因素带来的编解码不同步 ， 还 需要在视频码流中进行标记， 例如， 在视频码流的数据包上打上时间戳， 以 保证接收端的视频解码器能够按照正确的顺序 解码。

本实施例中， 也可以釆用一台视频通信终端对三路视频数据 进行编码和 发送， 这种方法的优点是三路视频数据的同步比较容 易实现， 整个视频通信 系统的结构也可以得到优化， 但是， 这种方法要求视频通信终端具有更高的 编码处理能力。

在步骤 301 中用到共光心摄像机拍摄视频图像， 下面对于共光心摄像机 的原理及结构进行详细描述：

如图 11所示， 1001为一个棱台结构， 具有 3个表面 1002 , 1003 , 1004 , 这 些表面为平面镜面， 镜面的下方放置 3个摄像机 C01 , C02和 C03。 以其中的一 个摄像机 C02为例说明虚拟共光心原理。 如图 12所示， L02为入射光线， R02 为反射光线， 垂直于反射面 1003的法线为 1006 , 法线 1006和水平线 1010的夹 角为 (9 = 45° , 反射点到摄像机 C02的实际光心 02的垂直距离为 d。 根据光线反 射原理， 摄像机会拍摄到一个虚像， 该虚像有一个虚拟光心 V02。 通过设计 镜面的角度和摄像机的摆放位置， 可以使摄像机 C01 , C02和 C03的虚拟光心 位于同一点， 从而得到虚拟共光心摄像机拍摄得到的 3个图像， 对这 3个图像 进行拼接融合处理， 可以得到在任意深度上都是无缝拼接的图像。

图 13显示了本发明实施例所用共光心摄像机的结� ��图。 C01 , C02和 C03 为 3台高清摄像机机芯， 支持 1920x 1080的高清视频输出。 为了获得更好的垂 直眼对眼效果， 把反射镜置于下方， 把摄像机机芯置于上方进行拍摄。 表面 1002, 1003和 1004为反射镜面， 3个摄像机机芯可以独立进行调解， 用于补偿 结构加工误差和摄像机机芯本身的误差， 机芯的调节自由度包括以摄像机机 芯为坐标原点的 XYZ轴 3个方向上的平移和旋转。 在拍摄时， 需要将摄像机的 焦距调成相同的值， 以保证每个摄像机拍摄的视角范围一致。

图 14显示了本发明实施例所述共光心摄像机 9安装在弧面幕 8支架 81上的 效果图。 为了拍摄到一定范围的桌面， 摄像机光轴必须有一个拍摄的下倾角 度， 该角度通过摄像机安装在投影幕支架上的装置 91可以进行调整， 在本实 施例中取 8.5度。

下面具体描述视频通信接收端的方法流程，如 图 10所示， 包括以下步骤： 步骤 310,接收端从网络获取视频通信发送端发送的� �述至少两路视频码 流， 并通过所述接收端的视频解码器从至少两路视 频码流中分别解码出至少 两路视频数据；

本实施例中， 接收端的三个视频通信终端从网络中获取三路 编码后的视 频码流， 由视频通信终端中的视频解码器分别对其进行 解码， 获得三路已进 行处理的视频数据。 其中， 所述视频解码器可以集成在所述接收端的视频 通 信终端中， 也可以集成在显示融合器中。

可以理解， 也可以通过接收端的单一的视频通信终端完成 从网络侧接收 的三路视频码流进行解码， 可以通过在该单一视频通信终端设置多个解码 器 完成对该三路视频码流的解码处理。

本实施例中， 也可以釆用一台视频通信终端对三路视频码流 进行接收和 解码， 这种方法的优点是多路视频数据的同步比较容 易实现， 整个视频通信 系统的结构也可以得到优化， 但是， 这种方法要求视频通信终端具有更高的 解码处理能力。

步骤 311 , 接收端根据第二视频处理参数中的 GAMMA校正参数， 对所 述至少两路视频数据进行 GAMMA校正；

与发送端类似， 显示融合器在对所获得的视频数据进行处理之 前， 还要 检查处理视频数据所需要的视频显示参数是否 已经配置。 如果所述参数没有 配置， 对所获得的三路视频数据进行透传， 即不对所述视频数据进行处理， 直接输出到显示设备显示； 如果所述参数已经配置， 进行视频数据处理。

在本实施例中， 显示融合器将输出的三路视频数据送入三个投 影仪中显 示， 由于投影仪的内部差异以及投影仪之间的差异 会导致所述三路视频数据 之间存在亮度和颜色差异， 因此， 在显示所述视频数据之前， 需要在显示融 合器中对其进行投影仪的 GAMMA校正。

对于投影仪之间的亮度和颜色差异，可以通过 拍摄反馈的方法进行校正。 投影 RGB三个颜色分量的 0— 255级的模板图像， 与所述三路全景图像的 RGB 颜色分量相比较， 可以建立三个投影仪之间的亮度和颜色差异曲 线。 下面详 细地描述如何进行投影仪之间的 GAMMA校正： 假设 P1和 P2为两台不同的投 影仪， 如图 18所示， 横坐标为模板图像 R分量的颜色级别， 范围是 0— 255; 纵 坐标为所述视频数据的其中两路数据的颜色 R分量，可以认为是所述模板图像 R分量的函数 f(R)。 这样每台投影仪都可以建立一条颜色 R分量的曲线， 对于 0-255的每个级别， 都可以计算得到两台投影仪的 R分量的差值 Δ/，该变量也 可以看作是所述模板图像 R分量的函数。 这样就可以以一个投影仪颜色 R分量 的色度曲线为基准， 通过调整另一个投影仪颜色 R分量的色度曲线， 使两台投 影仪的所要显示的所述两路全景图像的颜色 R分量一致。 另外两个颜色分量 G 和 B的处理方法相同， 在此不再赘述。

对于投影仪内部的亮度和颜色差异， 也可以通过与上述方法类似的方法 校正。 以一台投影仪投影所述三路视频数据中的一路 视频数据为例， 首先将 所述一路视频数据进行分块， 然后对每个分块数据建立亮度和颜色差异曲线 ， 具体的实现方法参见投影仪之间的亮度和颜色 差异曲线建立方法， 此处不再 赘述。

除了校正投影仪之间和投影仪内部的亮度和颜 色差异外， 要获得更好的 投影效果， 还必须进行投影仪的漏光补偿。 由于投影仪在投影纯黑图像时会 有光线泄露， 导致投影得到的图像并不是纯黑的， 而是有一定的亮度， 所以 所述三路视频数据在重叠区域的亮度和非重叠 区域的亮度会不一致。 通过计 算得到所述重叠区域和所述非重叠区域之间的 亮度差异， 给所述非重叠区域 加上计算出来的亮度值， 使所述重叠区域和所述非重叠区域的亮度一致 。

步骤 312,接收端根据第二视频处理参数中的投影校� �参数， 对所述至少 两路视频数据进行投影校正；

在本实施例中， 由于显示设备可以为投影仪和屏幕， 当屏幕是弧面幕， 或者是椭圓幕， 或者是抛物幕时， 要考虑屏幕的形状对于显示图像的影响。 即所述视频数据投影到上述形状的屏幕上时会 产生变形， 因此要进行投影校 正。

步骤 313 ,接收端根据第二视频处理参数中的变换参数� �对所述至少两路 视频数据进行变换；

本实施例中， 所述变换包括： 视频数据的平移、 视频数据的旋转和视频 数据的单应性变换中的至少一种变换。 此步骤中的视频数据变换可以用于补 偿由于投影仪安放位置不准确造成的图像变形 和不对齐。 具体的变换方法可 以参见发送端对于图像进行变换的方法， 具体的原理此处不再赘述。

步骤 314,接收端根据第二视频处理参数中的融合参� �，对所述至少两路 视频数据进行融合； 在本实施例中，图像融合的目的是使两个视频 数据在接缝处不会有明显的 亮度差异。 具体方法是， 首先在两个视频数据的接缝处制造重叠区域， 然后 在所述重叠区域进行 Alpha融合，优选地，釆用非线性 Alpha融合的方法，例如， 非线性 Alpha融合所釆用的公式为：

1 1 丄 1 1 丄

Alpha(x) = (- + - cos θχ) ^γ Alpha(x) = (- - - cos θχ) ^γ 式子 （ 10 ) 其中 (9为角度值， y为 GAMMA值， 通过调整 >和 y可以获得最佳的融合 效果。

步骤 315,接收端根据第二视频处理参数中的剪裁区� �参数， 将所述融合 后的至少两路视频数据的比例剪裁为第二目标 比例；

在本实施例中， 为了兼容目前视频会议系统的显示方式，显示 融合器除了 接投影仪外， 还可以接三台高清平板显示器， 而所述平板显示器具有边框厚 度， 无法做到无缝显示， 因此需要将图像位于边框厚度的部分剪裁掉。 所述 第二目标比例根据所述显示器的边框厚度来确 定。 由用户定义显示器边框宽 度， PC机上的调校软件根据所述平板显示器的大小� ��分辨率， 将以毫米为单 位的平板显示器边框宽度换算为以像素单位的 宽度。 显示融合器根据计算得 到的显示器边框宽度对每路视频数据进行剪裁 ， 生成剪裁后的图像。

步骤 316,接收端将所述融合后的至少两路视频数据� �大小缩放至第二目 标大小；

本实施例中， 对视频数据进行剪裁后， 视频数据的大小可能会变小， 对 视频数据进行缩放， 使其尺寸达到显示时所需要的大小。

步骤 317,接收端将所述融合后的至少两路视频数据� �出给显示设备， 由 显示设备显示所述融合后的至少两路视频数据 。

在本实施例中， 所述显示设备包括投影仪和屏幕， 所述屏幕可以釆用弧 面幕， 或者椭圓幕， 或者抛物幕， 或者折面幕， 或者直幕。 所述显示设备至 少为两个， 在本实施例中， 设置三个投影仪来分别投影显示三路视频数据 。 当然， 视频数据也可以为一路， 即在发送端， 不分割全景视频图像， 此时， 可以只釆用一个投影仪或者一个显示器显示所 得到的一路视频数据， 但显示 效果较差。

优选地， 在本实施例中釆用弧面幕作为投影幕。 其中， 所述椭圓幕和抛 物幕与所述弧面幕类似， 不同之处在于， 由于投影幕的几何形状发生了变化， 需要对步骤 304 中所述的算法进行相应的修改； 当使用折面幕或者直幕作为 屏幕时， 由于视频数据在平面投影上没有畸变， 不用进行视频数据的几何校 正处理， 进一步地， 所述折面幕之间可以釆用钝角进行过渡， 也可以釆用圓 角进行过渡， 釆用圓角过渡比釆用钝角过渡更自然。 圓角半径越大， 过渡的 效果越好， 但过渡的圓角部分需要对视频数据进行几何校 正处理； 当使用直 幕作为屏幕时， 对图像的变换处理最简单。 进一步地， 根据屏幕的几何形状， 可以对会议桌的形状进行相应的修改以获得更 好的呈现效果， 例如在釆用折 面幕或者直幕时， 可以将会议桌改为折面桌的形式。

在步骤 309和步骤 310中用到了视频通信终端， 下面对视频通信终端的 结构进行详细描述：

当所述视频编、 解码器集成在视频通信终端中时， 所述视频通信终端的 各组成模块包括： 音频编解码器， 用于对所接收到的音频信号进行编码或者 解码， 编解码标准可以釆用 G.711,或 G.722, 或 G.723,或 G.728,或 G.729; 视频 编解码器， 用于对所接收到的视频信号进行编码或解码， 编码标准可以釆用 H.261,或 H.263; 系统控制单元， 用于对视频通信终端的正确操作提供信令， 所述信令包括呼叫控制， 能力交换， 命令和指示的信令以及消息； 格式化单 元， 用于对待发送的音频、 视频、 数据和控制流进行格式化， 形成消息输出 到网络接口， 或者从网络接口接收到的消息中提取音频、 视频、 数据和控制 流。 另外， 该单元还对每一种媒体类型， 完成逻辑成帧、 顺序编号、 差错检 测和差错纠正。

在步骤 311〜步骤 315中需要用到第二视频处理参数， 在对视频数据进行 处理之前， 需要先配置第二视频处理参数， 根据所配置的参数对视频数据进 行处理。 下面对于所述第二视频处理参数的配置方法进 行详细描述：

本实施例中可以将显示融合器与 PC机进行结合， 所述 PC机也称为第二 处理机， 由所述 PC机计算第二视频处理参数， 由显示融合器配置第二视频处 理参数， 并根据所述参数处理视频数据； 也可以由显示融合器直接计算第二 视频处理参数， 即直接由显示融合器完成计算、 配置、 处理视频数据的过程， 而不需要与 PC机进行交互；或者，也可以单独由一台或多� �� PC机完成计算、 配置、 处理视频数据的过程， 而不需要与显示融合器进行交互。

当釆用显示融合器和 PC机（也称第二处理机 )共同完成视频显示参数的 计算和配置时， 具体的配置方法可以通过如图 17中所示的步骤来实现：

步骤 501 , 启动 PC机上的调校软件；

所述调校软件与发送端调校软件相同， 此处不再进行赘述。

步骤 502, PC机通过所述调校软件登录到显示融合器上；

步骤 503 , PC机计算出第二视频处理参数；

在本实施例中， PC机计算出的参数包括投影仪 GAMMA校正参数、 视频 图像投影校正参数、 视频图像变换参数表、 视频图像 Alpha融合参数表和图像 剪裁区域参数。

步骤 504, PC机将计算出的第二视频处理参数发送给显示� ��合器； 在本实施例中， PC机和显示融合器之间的数据传输接口可以釆� ��以太网、 USB等接口方式， 传输协议可以釆用 FTP协议、 HTTP协议、 自定义的 TCP协 议或 UDP协议进行传输。 当计算得到的参数数据量较大时， 通过数据传输协 议传输给显示拼接融合器。

在本实施例中， PC机的功能还包括向显示融合器发送配置命令� �� 与 PC 机向摄像拼接融合器发送配置命令类似， 所述配置命令可以通过多种方式进 行传输， 例如通过串行端口、 并行端口或网络接口等进行传输。 如果通过网 络接口传输， 可以釆用 Telnet协议， 或者是 TCP协议、 UDP协议进行传输。 步骤 505 ,显示融合器将接收到的第二视频处理参数配� �为工作状态使用 的第二视频处理参数。

本实施例中， 对第二视频处理参数进行配置后， 就可以对所述三路视频 数据进行步骤 311 315 的处理了， 并显示处理后的视频数据， 即如步骤 317 所述。 到此， 视频通信接收端的方法步骤完成。

本发明实施例提供的视频通信的方法， 在视频通信的发送端将所获取的 至少两路视频图像融合为全景视频图像， 融合得到的全景视频图像能够更真 实地表现相邻视频图像之间交接区域位置关系 ， 使得最后显示出的图像给用 户更真实的全景式体验， 解决了摄像机拍摄的相邻视频图像在交接处存 在重 叠或缺失区域、 并且亮度和颜色不一致的问题。 本发明实施例中的视频通信 发送端将全景视频图像编码成视频码流发送给 视频通信接收端后， 视频通信 接收端对其进行进一步地融合处理， 再将融合处理后的视频图像输出到显示 设备进行显示， 视频通信接收端进行的融合处理能够使得多个 投影图像在弧 形幕上无缝呈现， 并且各个投影区域在颜色和亮度方面差异较小 ， 提高了全 景视频图像的视觉连续性， 能够给用户更好的沉浸式全景体验。

如图 19所示， 本发明实施例还提供一种视频通信的装置， 所述视频通信 装置应用于视频通信系统的发送端， 包括：

第一获取单元 601 , 用于获取至少两路本地视频图像；

第一融合单元 602, 用于根据第一视频处理参数中的融合参数，对 由所述 第一获取单元 601 获取的至少两路本地视频图像进行融合， 生成全景视频图 像；

第一发送单元 603 ,用于将由所述第一融合单元 602获得的全景视频图像 发送给视频编码器， 通过所述视频编码器将所述全景视频图像编码 成视频码 流， 并将所述视频码流发送给远端的视频通信站点 。

本发明实施例提供的视频通信的装置， 由第一融合单元将由第一获取单 元所获取的至少两路视频图像融合为全景视频 图像， 融合得到的全景视频图 像能够更真实地表现相邻视频图像之间交接区 域位置关系， 使得最后显示出 的视频图像给用户更真实的全景式体验， 解决了摄像机拍摄的相邻视频图像 在交接处存在重叠或缺失区域、 并且亮度和颜色不一致的问题。

进一步地， 如图 20所示， 所述视频通信的装置还包括：

同步单元 604, 用于提供同步时钟，使得第一获取单元 601在同步时钟的 校准下， 进行至少两路本地视频图像的获取。

第一 GAMMA校正单元 605 , 用于在对由所述第一获取单元 601获取的 至少两路本地视频图像进行融合之前， 根据所述第一视频处理参数中的 GAMMA校正参数， 对由所述第一获取单元 601获取的至少两路本地视频图 像进行 GAMMA校正；

本实施例中， 由于摄像拼接融合器可以接收共光心摄像机机 芯处理后的 视频图像，也可以接收共光心摄像机传感器， 如 CCD或 CMOS传感器送出的 没有经过处理的视频图像， 当摄像拼接融合器接收的是没有经过处理的视 频 图像时， 需要对所述视频图像进行 GAMMA校正和传感器坏点补偿处理， 以 提高视频图像的显示质量。

坏点补偿单元 606,用于在对由所述第一获取单元 601获取的至少两路本 地视频图像进行融合之前， 根据所述第一视频处理参数中的坏点补偿参数 ， 对由所述第一获取单元 601 获取的至少两路本地视频图像进行传感器坏点 补 偿；

在本实施例中， 如果输出视频图像的传感器存在坏点， 导致所述视频图 像上也存在坏点， 坏点补偿处理可以根据视频图像上坏点的邻近 像素值差值 得到坏点处的像素值， 消除视频图像上的坏点， 提高视频图像显示质量。

第一变换单元 607 ,用于在对由所述第一获取单元 601获取的至少两路本 地视频图像进行融合之前， 根据所述第一视频处理参数中的变换参数， 对所 述至少两路本地视频图像进行变换； 所述变换包括： 视频图像的平移、 视频 图像的旋转、 视频图像的单应性变换和视频图像的柱面变换 中的至少一种变 换。

第一剪裁单元 608 ,用于在对由所述第一获取单元 601获取的至少两路本 地视频图像进行融合之后， 根据所述第一视频处理参数中的剪裁区域参数 ， 将由所述第一融合单元 602获得的全景视频图像的比例剪裁为第一目标 比例； 本实施例中， 对于图像进行剪裁的目的是消除图像中不需要 显示的部分。 所述第一目标比例根据实际情况人为确定。

第一缩放单元 609 ,用于在对由所述第一获取单元 601获取的至少两路本 地视频图像进行融合之后， 将由所述第一融合单元 602获得的全景视频图像 的大小缩放至第一目标大小；

本实施例中， 对视频图像进行剪裁后， 视频图像的大小可能会变小， 对 视频图像进行缩放， 使其尺寸达到用户所需要的大小。 所述第一目标大小根 据实际情况人为确定。

分割单元 610 ,用于在对由所述第一获取单元 601获取的至少两路本地视 频图像进行融合之后， 将由所述第一融合单元 602获得的全景视频图像分割 为至少两路视频数据。

本实施例中， 将融合后的全景视频图像分割为三路视频数据 输出给三个 视频通信终端， 能够提高数据处理速度， 降低出错率。

进一步地， 如图 21所示， 当所述通信装置不需要与 PC机交互时， 所述 通信装置还包括：

第一釆集单元 611 , 用于釆集至少两幅图像；

第一计算单元 612 ,用于根据由所述第一釆集单元 611釆集的至少两幅图 像计算出第一视频处理参数；

第一配置单元 613 ,用于将由所述第一计算单元 612计算出的第一视频处 理参数配置为工作状态使用的第一视频处理参 数。

进一步地， 如图 22所示， 当所述通信装置需要与 PC机交互时， 所述通 信装置还包括： 接收命令单元 614, 用于接收第一处理机发送的图像釆集命令；

第二釆集单元 615 , 用于釆集至少两幅图像；

第二发送单元 616 ,用于将由所述第二釆集单元 615釆集到的至少两幅图 像发送给所述第一处理机；

第一接收参数单元 617 ,用于接收由所述第一处理机根据由所述第二� �集 单元 615釆集的至少两幅图像计算出的第一视频处理 参数；

第二配置单元 618 ,用于将由所述第一接收参数单元 617接收到的第一视 频处理参数配置为工作状态使用的第一视频处 理参数。

本发明实施例提供的视频通信的装置具体实现 方法可以参见本发明实施 例提供的视频通信的方法所述， 此处不再赘述。

如图 23所示， 本发明实施例还提供一种视频通信的装置， 所述视频通信 装置应用于视频通信系统的接收端， 包括：

第二获取单元 701 ,用于获取视频解码器从视频码流中解码出的� �少两路 视频数据， 所述视频码流由所述视频解码器从远端的视频 通信站点接收得到； 第二融合单元 702, 用于根据第二视频处理参数中的融合参数，对 由所述 第二获取单元 701获取的至少两路视频数据进行融合；

输出单元 703 ,用于将由所述第二融合单元 702融合后的至少两路视频数 据输出给显示设备， 由所述显示设备显示所述融合后的至少两路视 频数据。

本发明实施例提供的视频通信的装置， 将由视频通信发送端发送的视频 码流进行接收解码， 由第二融合单元对解码后获得的视频数据进行 进一步地 融合处理， 再由输出单元将融合处理后的视频图像输出到 显示设备进行显示， 视频通信接收端进行的融合处理能够多个投影 图像在弧形幕上无缝呈现， 并 且各个投影区域在颜色和亮度方面差异较小， 提高了全景视频图像的视觉连 续性， 能够给用户更好的沉浸式全景体验。

进一步地， 如图 24所示， 所述视频通信装置还包括：

第二 GAMMA校正单元 704, 用于在对由所述第二获取单元 701获取的 至少两路视频数据进行融合之前， 根据所述第二视频处理参数中的 GAMMA 校正；

本实施例中， 由于投影仪之间和投影仪内部的亮度和颜色差 异， 可以通 过拍摄反馈的方法进行 GAMMA校正,以消除投影仪对于视频图像显示效果 的影响。

投影校正单元 707 ,用于在对由所述第二获取单元 701获取的至少两路视 频数据进行融合之前， 根据所述第二视频处理参数中的投影校正参数 ， 对由 所述第二获取单元 701获取的至少两路视频数据进行投影校正；

第二变换单元 708 ,用于在对由所述第二获取单元 701获取的至少两路视 频数据进行融合之前， 根据所述第二视频处理参数中的变换参数， 对所述至 少两路视频数据进行变换； 所述变换包括： 视频数据的平移、 视频数据的旋 转和视频数据的单应性变换中的至少一种变换 。

此步骤中的图像变换可以用于补偿由于投影仪 安放位置不准确造成的图 像变形和未对齐。

第二剪裁单元 705 ,用于在对由所述第二获取单元 701获取的至少两路视 频数据进行融合之后， 根据所述第二视频处理参数中的剪裁区域参数 ， 将由 所述第二融合单元 702 融合后的至少两路视频数据的比例剪裁为第二 目标比 例；

在本实施例中， 为了兼容目前视频会议系统的显示方式， 显示融合器除 了接投影仪外， 还可以接三台高清平板显示器， 而所述平板显示器具有边框 厚度， 无法做到无缝显示， 因此需要将图像位于边框厚度的部分剪裁掉。 所 述第二目标比例根据所述显示器的边框厚度来 确定。

第二缩放单元 706 ,用于在对由所述第二获取单元 701获取的至少两路视 频数据进行融合之后， 将由所述第二融合单元 702 融合后的至少两路视频数 据的大小缩放至第二目标大小； 本实施例中， 对视频数据进行剪裁后， 视频数据的大小可能会变小， 对 视频数据进行缩放， 使其尺寸达到显示时所需要的大小。

进一步地， 如图 25所示， 当所述通信装置不需要与 PC机交互时， 所述 通信装置还包括：

第二计算单元 709, 用于计算出第二视频处理参数；

所述第二视频处理参数包括投影仪 GAMMA校正参数、视频图像投影校正 参数、视频图像变换参数表、视频图像 Alpha融合参数表和图像剪裁区域参数。

第三配置单元 710,用于将由所述第二计算单元 709计算出的第二视频处 理参数配置为工作状态使用的第二视频处理参 数。

进一步地， 如图 26所示， 当所述通信装置需要与 PC机交互时， 所述通 信装置还包括：

第二接收参数单元 711 , 用于接收由第二处理机计算出的第二视频处理 参 数； 在本实施例中， 第二处理机计算出的参数包括投影仪 GAMMA校正参数、 视频图像投影校正参数、 视频图像变换参数表、 视频图像 Alpha融合参数表和 图像剪裁区域参数。

第四配置单元 712,用于将由所述第二接收参数单元 711接收到的第二视 频处理参数配置为工作状态使用的第二视频处 理参数。

本发明实施例提供的视频通信的装置具体实现 方法可以参见本发明实施 例提供的视频通信的方法所述， 此处不再赘述。

本发明实施例提供的技术方案可应用在视频会 议等视频通信的技术领域 中。

本领域普通技术人员可以理解实现上述实施例 方法中的全部或部分步骤 是可以通过程序来指令相关的硬件完成， 所述的程序可以存储于计算机可读 存储介质中， 如 ROM/RAM、 磁碟或光盘等。

以上所述， 仅为本发明的具体实施方式， 但本发明的保护范围并不局限于此， 任何熟悉本技术领域的技术人员在本发明揭露 的技术范围内， 可轻易想到变 化或替换， 都应涵盖在本发明的保护范围之内。 因此， 本发明的保护范围应 所述以权利要求的保护范围为准。