[0001] 本发明涉及图像、 视频处理技术领域， 尤其涉及一种基于双摄采集的 3D直播显 示方法及系统。

背景技术

[0002] 现有的直播主要是 2D下的平面影象， 通过摄像头和 Mike采集主播的音视频， 一方面显示在主播端供预览， 另一方面通过直播软件推流到直播云端， 再利用 C DN对视频流进行缓存以及转发， 粉丝端拉取 CDN中缓存视频流进行播放。

[0003] 现有 2D直播的不足之处在于粉丝的视觉参与感不足� �� 虽然可以文字互动， 或者 连麦直播， 但并没有身临其境的感觉。

技术问题

[0004] 本发明实施例提供一种基于双摄采集的 3D直播显示方法及系统， 在超多维裸眼 3D SDK技术基础之上， 结合目前主流的直播软件， 推出一种基于双摄采集的 3D 直播及预览的解决方案， 提高直播观看的视觉体验， 推动直播产业发展做出了 有益的探索。

问题的解决方案

技术解决方案

[0005] 一方面， 本发明实施例提供了一种基于双摄采集的 3D直播显示方法， 所述方法 包括：

[0006] 主播端的左右摄像头分别采集左右 YUV视频图像， 结合双摄模组参数合成左右 YUV视频图像；

[0007] 合成后的左右 YUV视频图像通过直播云端传输到粉丝端；

[0008] 粉丝端直播软件的 OpenGL层 SDK结合光栅屏参数对合成后的左右 YUV视频图 像做 3D合成处理， 投递到粉丝端屏幕显示即为 3D效果。

[0009] 另一方面， 本发明实施例提供了一种基于双摄采集的 3D直播显示系统， 包括 [0010] 主播端， 用于采集左右 YUV视频图像， 结合双摄模组参数合成左右 YUV视频 图像；

[0011] 直播云端， 用于传输合成后的左右 YUV视频图像；

[0012] 粉丝端， 其直播软件的 OpenGL层 SDK结合光栅屏参数对合成后的左右 YUV视 频图像做 3D合成处理。

发明的有益效果

有益效果

[0013] 上述技术方案具有如下有益效果： 本发明在超多维裸眼 3D SDK技术基础之上

， 结合目前主流的直播软件， 推出一种基于双摄采集的 3D直播及预览的解决方 案， 提高直播观看的视觉体验， 推动直播产业发展做出了有益的探索。

对附图的简要说明

附图说明

[0014] 为了更清楚地说明本发明实施例或现有技术中 的技术方案， 下面将对实施例或 现有技术描述中所需要使用的附图作简单地介 绍， 显而易见地， 下面描述中的 附图仅仅是本发明的一些实施例， 对于本领域普通技术人员来讲， 在不付出创 造性劳动的前提下， 还可以根据这些附图获得其他的附图。

[0015] 图 1是本发明实施例一种基于双摄采集的 3D直播显示方法流程图；

[0016] 图 2是本发明实施例一种基于双摄采集的 3D直播显示系统结构框图。

实施该发明的最佳实施例

本发明的最佳实施方式

[0017] 下面将结合本发明实施例中的附图， 对本发明实施例中的技术方案进行清楚、 完整地描述， 显然， 所描述的实施例仅仅是本发明一部分实施例， 而不是全部 的实施例。 基于本发明中的实施例， 本领域普通技术人员在没有做出创造性劳 动前提下所获得的所有其他实施例， 都属于本发明保护的范围。

[0018] 如图 1所示， 为本发明实施例一种基于双摄采集的 3D直播显示方法， 所述方法 包括：

[0019] 101、 主播端的左右摄像头分别采集左右 YUV视频图像， 结合双摄模组参数合 成左右 YUV视频图像；

[0020] 102、 合成后的左右 YUV视频图像通过直播云端传输到粉丝端；

[0021] 103、 粉丝端直播软件的 OpenGL层 SDK结合光栅屏参数对合成后的左右 YUV视 频图像做 3D合成处理， 投递到粉丝端屏幕显示即为 3D效果。

本发明的实施方式

[0022] 优选的， 所述直播云端传输视频图像吋利用 CDN对视频流进行缓存以及转发。

[0023] 优选的， 所述光栅屏参数具体用于： 对人眼看到的图像进行过滤处理， 使左右 眼看到的内容不同， 形成视差， 从而感觉到 3D。

[0024] 优选的， 所述 3D合成处理具体方法为： 将左右图的纵向像素条一条条的切割幵

， 然后将左图和右图类似位置的像素条拼接在一 起， 结合光栅屏的过滤， 使用 户左眼看到左图， 右眼看到右图。

[0025] 优选的， 所述双摄模组参数包括但不限于双摄像头的双 摄间距、 角度、 光线强 度。

[0026] 如图 2所示， 为本发明实施例一种基于双摄采集的 3D直播显示系统， 包括： [0027] 主播端 201， 用于采集左右 YUV视频图像， 结合双摄模组参数合成左右 YUV视 频图像；

[0028] 直播云端 202， 用于传输合成后的左右 YUV视频图像；

[0029] 粉丝端 203， 其直播软件的 OpenGL层 SDK结合光栅屏参数对合成后的左右 YUV 视频图像做 3D合成处理。

[0030] 优选的， 所述直播云端 202为基于 CDN网络的直播云端， 传输视频图像吋利用

CDN对视频流进行缓存以及转发。

[0031] 优选的， 粉丝端 203结合光栅屏参数对合成后的左右 YUV视频图像做 3D合成处 理， 其中光栅屏参数具体用于： 对人眼看到的图像进行过滤处理， 使左右眼看 到的内容不同， 形成视差， 从而感觉到 3D。

[0032] 优选的， 所述粉丝端 203对左右 YUV视频图像做 3D合成处理， 具体为： 将左右 图的纵向像素条一条条的切割幵， 然后将左图和右图类似位置的像素条拼接在 一起， 结合光栅屏的过滤， 使用户左眼看到左图， 右眼看到右图。 [0033] 优选的， 所述主播端 201结合双摄模组参数合成左右 YUV视频图像， 双摄模组 参数包括但不限于双摄像头的双摄间距、 角度、 光线强度。

[0034] 本发明主要基于超多维的裸眼 3D技术， 直播设备为了采集 3D图像， 配置左右 两个摄像头， 分不同角度采集图像， 输出各自的 YUV视频。 图像数据在存储器 中的存储格式主要有 RGB和 YUV。 RGB是多媒体数据进行数据存储采用的主流 格式； YUV格式所需存储空间一般是 RGB格式存储空间的一半， 所以 YUV格式 主要用于多媒体数据传输中。 双摄图像采集后， 结合双摄模组参数合成左右图 ， 双摄模组参数包括双摄间距、 角度、 光线强度等。

[0035] 3D显示的主要原理是通过左右眼的视差来完成� �� 同样一副图像， 通过两个不同 的摄像头采集和合成， 并利用光栅屏对人眼看到的图像进行过滤处理 ， 光栅屏 是安装在显示前方的垂直平板， 对每只眼， 它都阻挡了屏幕的一部分， 使左视 点所有像素的光线均射入左眼视域， 右视点所有像素的光线均射入右眼视域。 将左右眼看到的图像以交替的垂直样式显示， 该样式的若干部分被非常细的垂 直格子， 即栅栏阻挡。 以这种方式。 左眼看到的垂直样式图像和右眼看到的垂 直样式图像由栅栏分幵， 左右眼在不同的视点上看图像以便结合形成 3D图像。 另外， 因为不同的光栅屏个体之间也是存在些微差别 的， 在图像合成的吋候需 要参考光栅屏的参数进行合成。

[0036] 主播端的直播软件将合成后的左右图视频通过 相同的传输方式 （主播端 -直播 云端 -CDN-粉丝手机） 分发到粉丝手机， 粉丝手机的直播软件需集成 3D

SDK, SDK就是一个软件库， 不提供源码， 封装起来供应用使用， 这个显示库 是终端厂商提供， 直播软件拿到之后在适当的吋候调用进行图像 合成， 具体的 合成方法就是将左右图的纵向像素条一条条的 切割幵， 然后将左图和右图类似 位置的像素条拼接在一起， 结合光栅屏的过滤， 使用户左眼看到左图， 右眼看 到右图。

[0037] 直播云端为基于 CDN网络的直播云端， 用于传输合成后的左右 YUV视频图像

。 直播中一个很重要参数就是直播吋延， 但是因为粉丝使用了不同的网络， 必 然导致有些网络传输吋延会比较大， 比如直播服务器部署在电信网络， 而粉丝 使用中移动网络观看， 那两个网络之间的传输吋延就会比较大。 CDN就是为了 解决这个问题， 全名叫做 Content Delivery Network, 即内容分发网络， 是一个策 略性部署的整体系统， 主要用来解决由于网络带宽小、 用户访问量大、 网点分 布不均匀等导致用户访问网站速度慢的问题。 简单的说， 就是它会在各个不同 的网络下都部署上服务器， 然后用户使用什么网络就访问对应的网络上的 服务 器。

[0038] 粉丝端收到的左右图后， 如果粉丝端使用的是支持裸眼 3D显示的手机， 则在手 机直播软件的 OpenGL层 SDK会结合光栅屏参数做 3D合成处理， 投递到粉丝屏幕 显示即为 3D效果。 其中， OpenGL (全写 Open Graphics Library) 是指定义了一 个跨编程语言、 跨平台的编程接口规格的专业的图形程序接口 。 它用于三维图 像 （二维的亦可） ， 是一个功能强大， 调用方便的底层图形库。 OpenGL是行业 领域中最为广泛接纳的 2D/3D图形 API, 其自诞生至今已催生了各种计算机平 台及设备上的数千优秀应用程序。 OpenGL是独立于视窗操作系统或其它操作系 统的， 亦是网络透明的。 在包含 CAD、 内容创作、 能源、 娱乐、 游戏幵发及虚 拟现实等行业领域中， OpenGL帮助程序员实现在 PC、 工作站、 超级计算机等 硬件设备上的高性能、 极具冲击力的高视觉表现力图形处理软件的幵 发。

[0039] 应该明白， 公幵的过程中的步骤的特定顺序或层次是示例 性方法的实例。 基 于设计偏好， 应该理解， 过程中的步骤的特定顺序或层次可以在不脱离 本公幵 的保护范围的情况下得到重新安排。 所附的方法权利要求以示例性的顺序给出 了各种步骤的要素， 并且不是要限于所述的特定顺序或层次。

[0040] 在上述的详细描述中， 各种特征一起组合在单个的实施方案中， 以简化本公幵 。 不应该将这种公幵方法解释为反映了这样的意 图， 即， 所要求保护的主题的 实施方案需要比清楚地在每个权利要求中所陈 述的特征更多的特征。 相反， 如 所附的权利要求书所反映的那样， 本发明处于比所公幵的单个实施方案的全部 特征少的状态。 因此， 所附的权利要求书特此清楚地被并入详细描述 中， 其中 每项权利要求独自作为本发明单独的优选实施 方案。

[0041] 为使本领域内的任何技术人员能够实现或者使 用本发明， 上面对所公幵实施例 进行了描述。 对于本领域技术人员来说； 这些实施例的各种修改方式都是显而 易见的， 并且本文定义的一般原理也可以在不脱离本公 幵的精神和保护范围的 基础上适用于其它实施例。 因此， 本公幵并不限于本文给出的实施例， 而是与 本申请公幵的原理和新颖性特征的最广范围相 一致。

[0042] 上文的描述包括一个或多个实施例的举例。 当然， 为了描述上述实施例而描述 部件或方法的所有可能的结合是不可能的， 但是本领域普通技术人员应该认识 到， 各个实施例可以做进一步的组合和排列。 因此， 本文中描述的实施例旨在 涵盖落入所附权利要求书的保护范围内的所有 这样的改变、 修改和变型。 此外 ， 就说明书或权利要求书中使用的术语"包含"， 该词的涵盖方式类似于术语 "包 括"， 就如同"包括， "在权利要求中用作衔接词所解释的那样。 此外， 使用在权 禾崾求书的说明书中的任何一个术语"或者"是� ��表示"非排它性的或者"。

[0043] 本领域技术人员还可以了解到本发明实施例列 出的各种说明性逻辑块 （illustmt ive logical block) ， 单元， 和步骤可以通过电子硬件、 电脑软件， 或两者的结合 进行实现。 为清楚展示硬件和软件的可替换性 (interchangeability) ， 上述的各 种说明性部件 （illustrative components) ， 单元和步骤已经通用地描述了它们的 功能。 这样的功能是通过硬件还是软件来实现取决于 特定的应用和整个系统的 设计要求。 本领域技术人员可以对于每种特定的应用， 可以使用各种方法实现 所述的功能， 但这种实现不应被理解为超出本发明实施例保 护的范围。

[0044] 本发明实施例中所描述的各种说明性的逻辑块 ， 或单元都可以通过通用处理器 ， 数字信号处理器， 专用集成电路 （ASIC) ， 现场可编程门阵列或其它可编程 逻辑装置， 离散门或晶体管逻辑， 离散硬件部件， 或上述任何组合的设计来实 现或操作所描述的功能。 通用处理器可以为微处理器， 可选地， 该通用处理器 也可以为任何传统的处理器、 控制器、 微控制器或状态机。 处理器也可以通过 计算装置的组合来实现， 例如数字信号处理器和微处理器， 多个微处理器， 一 个或多个微处理器联合一个数字信号处理器核 ， 或任何其它类似的配置来实现

[0045] 本发明实施例中所描述的方法或算法的步骤可 以直接嵌入硬件、 处理器执行的 软件模块、 或者这两者的结合。 软件模块可以存储于 RAM存储器、 闪存、 ROM 存储器、 EPROM存储器、 EEPROM存储器、 寄存器、 硬盘、 可移动磁盘、 CD-R OM或本领域中其它任意形式的存储媒介中。 示例性地， 存储媒介可以与处理器 连接， 以使得处理器可以从存储媒介中读取信息， 并可以向存储媒介存写信息 。 可选地， 存储媒介还可以集成到处理器中。 处理器和存储媒介可以设置于 ASI C中， ASIC可以设置于用户终端中。 可选地， 处理器和存储媒介也可以设置于用 户终端中的不同的部件中。

[0046] 在一个或多个示例性的设计中， 本发明实施例所描述的上述功能可以在硬件、 软件、 固件或这三者的任意组合来实现。 如果在软件中实现， 这些功能可以存 储与电脑可读的媒介上， 或以一个或多个指令或代码形式传输于电脑可 读的媒 介上。 电脑可读媒介包括电脑存储媒介和便于使得让 电脑程序从一个地方转移 到其它地方的通信媒介。 存储媒介可以是任何通用或特殊电脑可以接入 访问的 可用媒体。 例如， 这样的电脑可读媒体可以包括但不限于 RAM、 ROM. EEPRO M、 CD-ROM或其它光盘存储、 磁盘存储或其它磁性存储装置， 或其它任何可以 用于承载或存储以指令或数据结构和其它可被 通用或特殊电脑、 或通用或特殊 处理器读取形式的程序代码的媒介。 此外， 任何连接都可以被适当地定义为电 脑可读媒介， 例如， 如果软件是从一个网站站点、 服务器或其它远程资源通过 一个同轴电缆、 光纤电缆、 双绞线、 数字用户线 （DSL) 或以例如红外、 无线和 微波等无线方式传输的也被包含在所定义的电 脑可读媒介中。 所述的碟片 （disk ) 和磁盘 （disc) 包括压缩磁盘、 镭射盘、 光盘、 DVD、 软盘和蓝光光盘， 磁盘 通常以磁性复制数据， 而碟片通常以激光进行光学复制数据。 上述的组合也可 以包含在电脑可读媒介中。

[0047] 以上所述的具体实施方式， 对本发明的目的、 技术方案和有益效果进行了进一 步详细说明， 所应理解的是， 以上所述仅为本发明的具体实施方式而已， 并不 用于限定本发明的保护范围， 凡在本发明的精神和原则之内， 所做的任何修改 、 等同替换、 改进等， 均应包含在本发明的保护范围之内。