Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
IMAGE PROCESSING METHOD, DEVICE AND SYSTEM
Document Type and Number:
WIPO Patent Application WO/2013/023514
Kind Code:
A1
Abstract:
Disclosed in the present invention are an image processing method, device and system. The method comprises: 1) receiving multiple image processing signals to be displayed; 2) stitching the received multiple image processing signals to form one route image display signals; 3) and intercepting the image processing signals from the image display signals. The image processing method, device and system in the present invention enable the contents of a mobile terminal and an external video screen to be displayed separately, thus ensuring that the mobile terminal with low configuration can realize the technical effect that different contents can be displayed in multiple screens. In the present invention, an image processor is set in the mobile terminal, therefore, the reconstruction and modification of the external video screen are avoid, and the adaptability is improved.

Inventors:
CHEN DAQING (CN)
GUO XIAOYAN (CN)
LUO XIAOLIANG (CN)
WEN CONG (CN)
Application Number:
PCT/CN2012/078941
Publication Date:
February 21, 2013
Filing Date:
July 20, 2012
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
CHINA MOBILE COMM CORP (CN)
CHEN DAQING (CN)
GUO XIAOYAN (CN)
LUO XIAOLIANG (CN)
WEN CONG (CN)
International Classes:
H04N5/265
Foreign References:
CN101702305A2010-05-05
CN101977305A2011-02-16
CN101345843A2009-01-14
EP1377026A22004-01-02
Attorney, Agent or Firm:
DRAGON INTELLECTUAL PROPERTY LAW FIRM (CN)
北京银龙知识产权代理有限公司 (CN)
Download PDF:
Claims:
权利 要求 书

1. 一种图像处理方法, 其特征在于, 包括:

1 ) 接收多路待显示的图像处理信号;

2 ) 将接收的多路图像处理信号拼接成一路图像显示信号;

3 ) 在所述图像显示信号中截取拼接前的所述多路图像处理信号。

2. 根据权利要求 1所述的方法, 其特征在于, 在截取拼接前的所述多路 图像处理信号后, 将该多路图像处理信号分别在多屏上显示。

3. 根据权利要求 1所述的方法, 其特征在于, 在所述歩骤 2) 中, 所述 多路图像处理信号通过图像摆放的方式完成拼接, 所述图像摆放的方式包括 依次摆放和间隔摆放, 包括:

将所述多路图像处理信号解码转换为位图文件;

根据所述图像显示信号的显示范围创建临时存储区;

在所述临时存储区内创建所述图像显示信号的临时位图文件;

将多路图像处理信号的位图文件依次或间隔绘制在所述临时存储区的平 面坐标系内, 合并形成所述临时位图文件。

4. 根据权利要求 1或 2所述的方法, 其特征在于, 还包括:

如果所述多路图像处理信号的分辨率范围之和小于所述图像显示信号的 分辨率范围时, 则对所述图像处理信号进行图像拉伸或背景填充处理;

如果所述多路图像处理信号的分辨率范围之和大于所述图像显示信号的 分辨率范围时, 则对所述图像处理信号进行图像缩小处理。

5. 一种图像处理方法, 其特征在于, 包括:

1 ) 应用处理器接收多路待显示的图像处理信号;

2) 应用处理器将接收的多路图像处理信号拼接成一路图像显示信号;

3 )图像处理器在所述图像显示信号中截取拼接前的所述多路图像处理信 号。

6. 根据权利要求 5所述的方法, 其特征在于, 在所述图像处理器截取拼 接前的所述多路图像处理信号后,将该多路图像处理信号分别在多屏上显示。

7. 根据权利要求 6所述的方法, 其特征在于, 所述多屏分别设置在移动 终端和外部显示屏上。

8. 根据权利要求 5或 6所述的方法, 其特征在于, 在所述歩骤 2) 中, 所述多路图像处理信号通过图像摆放的方式完成拼接, 所述摆放方式包括依 次摆放和间隔摆放, 包括:

将所述多路图像处理信号解码转换为位图文件;

根据所述图像显示信号的显示范围创建临时存储区;

在所述临时存储区内创建所述图像显示信号的临时位图文件;

将多路图像处理信号的位图文件依次或间隔绘制在所述临时存储区的平 面坐标系内, 合并形成所述临时位图文件。

9. 根据权利要求 7所述的方法, 其特征在于, 所述应用处理器设置于所 述移动终端内。

10. 根据权利要求 7所述的方法, 其特征在于, 所述图像处理器设置于 所述移动终端内。

11. 根据权利要求 5或 6所述的方法, 其特征在于, 还包括:

如果所述多路图像处理信号的分辨率范围之和小于所述图像显示信号的 分辨率范围时, 则对所述图像处理信号进行图像拉伸或背景填充处理;

如果所述多路图像处理信号的分辨率范围之和大于所述图像显示信号的 分辨率范围时, 则对所述图像处理信号进行图像缩小处理。

12. 根据权利要求 7所述的方法, 其特征在于, 还包括:

4)所述移动终端的操作设备通过所述应用处理器向所述移动终端和外部 显示屏发送控制其图像显示的信号。

13. 根据权利要求 12所述的方法, 其特征在于, 还包括:

5 )所述外部显示屏的操作设备通过所述应用处理器向所述移动终端和外 部显示屏发送控制其图像显示的信号。

14. 一种图像处理装置, 其特征在于, 包括:

应用处理器, 用于接收多路待显示的图像处理信号, 并将接收的多路图 像处理信号拼接成一路图像显示信号;

图像处理器, 用于在所述图像显示信号中截取拼接前的所述多路图像处 理信号分别在移动终端和外部显示屏上显示。

15. 根据权利要求 14所述的装置, 其特征在于, 所述应用处理器包括: 解码转换模块, 用于将所述多路图像处理信号解码转换为位图文件; 存储创建模块,用于根据所述图像显示信号的显示范围创建临时存储区; 位图创建模块, 用于在所述临时存储区内创建所述图像显示信号的临时 位图文件;

绘制合并模块, 用于将多路图像处理信号的位图文件依次或间隔绘制在 所述临时存储区的平面坐标系内, 合并形成所述临时位图文件。

16. 根据权利要求 14所述的装置, 其特征在于, 所述应用处理器设置于 所述移动终端内。

17. 根据权利要求 14所述的装置, 其特征在于, 所述图像处理器设置于 所述移动终端内。

18. 根据权利要求 14所述的装置,其特征在于,所述应用处理器还包括: 分辨率比较模块, 用于比较所述多路图像处理信号的分辨率范围之和与 所述图像显示信号的分辨率范围的大小关系;

图像处理模块, 用于根据所述多路图像处理信号的分辨率范围之和与所 述图像显示信号的分辨率范围的大小关系对所述图像处理信号进行处理: 如果所述多路图像处理信号的分辨率范围之和小于所述图像显示信号的 分辨率范围时, 则对所述图像处理信号进行图像拉伸或背景填充处理;

如果所述多路图像处理信号的分辨率范围之和大于所述图像显示信号的 分辨率范围时, 则对所述图像处理信号进行图像缩小处理。

19. 根据权利要求 14所述的装置, 其特征在于, 还包括:

移动操作设备, 设置于所述移动终端内, 用于向所述移动终端和外部显 示屏发送控制其图像显示的信号;

控制处理模块, 设置于所述应用处理器内, 用于接收所述移动操作设备 的控制信号, 根据该控制信号对所述移动终端和外部显示屏的显示内容进行 控制处理。

20. 根据权利要求 19所述的装置, 其特征在于, 还包括:

外部操作设备, 设置在所述外部显示屏内, 用于向所述移动终端和外部 显示屏发送控制其图像显示的信号;

控制转换模块, 设置于所述应用处理器内, 用于接收所述外部操作设备 发出的在所述外部显示屏上的操作位置坐标信息, 并将该坐标信息转换成移 动终端显示屏上的位置坐标信息;

其中, 所述控制处理模块, 还用于接收所述外部操作设备的控制信号和 所述控制转换模块发送的移动终端显示屏上的位置坐标信息, 并根据该控制 信号和位置坐标信息对所述移动终端和外部显示屏的显示内容进行控制处 理。

21. 一种图像处理系统, 其特征在于, 包括移动终端和外部显示屏, 所 述移动终端包括: 应用处理器, 用于接收多路待显示的图像处理信号, 并将接收的多路图 像处理信号拼接成一路图像显示信号;

图像处理器, 用于在所述图像显示信号中截取拼接前的所述多路图像处 理信号分别在移动终端和外部显示屏上显示。

22. 根据权利要求 21所述的系统, 其特征在于, 所述应用处理器包括: 解码转换模块, 用于将所述多路图像处理信号解码转换为位图文件; 存储创建模块,用于根据所述图像显示信号的显示范围创建临时存储区; 位图创建模块, 用于在所述临时存储区内创建所述图像显示信号的临时 位图文件;

绘制合并模块, 用于将多路图像处理信号的位图文件依次或间隔绘制在 所述临时存储区的平面坐标系内, 合并形成所述临时位图文件。

23. 根据权利要求 21所述的系统,其特征在于,所述应用处理器还包括: 分辨率比较模块, 用于比较所述多路图像处理信号的分辨率范围之和与 所述图像显示信号的分辨率范围的大小关系;

图像处理模块, 用于根据所述多路图像处理信号的分辨率范围之和与所 述图像显示信号的分辨率范围的大小关系对所述图像处理信号进行处理: 如果所述多路图像处理信号的分辨率范围之和小于所述图像显示信号的 分辨率范围时, 则对所述图像处理信号进行图像拉伸或背景填充处理;

如果所述多路图像处理信号的分辨率范围之和大于所述图像显示信号的 分辨率范围时, 则对所述图像处理信号进行图像缩小处理。

24. 根据权利要求 21所述的系统, 其特征在于, 还包括:

移动操作设备, 设置于所述移动终端内, 用于向所述移动终端和外部显 示屏发送控制其图像显示的信号;

控制处理模块, 设置于所述应用处理器内, 用于接收所述移动操作设备 的控制信号, 根据该控制信号对所述移动终端和外部显示屏的显示内容进行 控制处理。

25. 根据权利要求 21所述的系统, 其特征在于, 还包括: 外部操作设备, 设置在所述外部显示屏内, 用于向所述移动终端和外部 显示屏发送控制其图像显示的信号;

控制转换模块, 设置于所述应用处理器内, 用于接收所述外部操作设备 发出的在所述外部显示屏上的操作位置坐标信息, 并将该坐标信息转换成移 动终端显示屏上的位置坐标信息;

其中, 所述控制处理模块, 还用于接收所述外部操作设备的控制信号和 所述控制转换模块发送的移动终端显示屏上的位置坐标信息, 并根据该控制 信号和位置坐标信息对所述移动终端和外部显示屏的显示内容进行控制处 理。

Description:
种图像处理方法、 装置及系统 技术领域

本发明涉及通信领域中视频显示技术, 具体地, 涉及一种图像处理的方 法及装置。 背景技术

WiMo (Wireless Mobile Multimedia Transmission Protocol, 移动终端无线 多媒体传送协议) 是一种支持高清音视频无线传输的技术协议, 通过 WiFi 作为传输手段, 可实现移动终端与家庭电视、 投影设备、 显示设备的多屏共 享互动。 WiMo 技术建立了手机等移动终端与大屏幕显示设备 之间的桥梁, 实现了手机发送端与大屏幕接收侧设备之间的 互动, 可以将在接收侧设备的 操作动作回传给发送端, 例如, 当接收侧设备支持触摸屏控制时, WiMo 可 以将触摸屏的操作信号送回手机进行处理。

为保证互联互通,降低设备成本,充分复用现 有的 WiFi基础设施, WiMo 协议在底层复用 WiFi Mac层及以下层协议。 WiMo协议主要定义了网络适配 层和媒体编解码层的技术标准, 其中在网络适配层为了实现控制信令能够在 发送端和接收端之间实现双向传输, WiMo 设计了专用的信令消息格式进行 传输。

在 WiMo的使用场景中, 一般将手机作为 WiMo的发送端, 将电视机及 其 WiMo附属设备作为接收端。 目前, 手机根据其处理器硬件能力的不同, 可以分为支持单屏幕显示和支持双屏幕或多屏 幕显示两种类型。 对于仅支持 单屏幕显示的手机, 由于硬件能力的原因, 仅能实现手机与 WiMo接收端侧 的大屏幕内容完全相同的显示,控制命令只能 针对同一屏幕的内容进行操作; 只有支持双屏显示的手机,才可以实现手机屏 幕与大屏幕内容的差异化显示, 以支持更为丰富的业务体验。 发明内容

本发明的目的是针对现有的图像处理技术中低 配置的视频发送端无法实 现不同内容图像处理的缺陷, 提出一种图像处理的方法、 装置及系统。

为实现上述目的, 根据本发明的一个方面, 提供了一种图像处理方法。 根据本发明实施例的图像处理方法方法, 包括:

1 ) 接收多路待显示的图像处理信号;

2 ) 将接收的多路图像处理信号拼接成一路图像显 示信号;

3 ) 在图像显示信号中截取拼接前的多路图像处理 信号。

在上述技术方案中, 在截取拼接前的多路图像处理信号后, 将该多路图 像处理信号分别在多屏上显示。

在上述技术方案中, 在歩骤 2) 中, 多路图像处理信号通过图像摆放的 方式完成拼接, 图像摆放的方式包括依次摆放和间隔摆放, 包括:

将多路图像处理信号解码转换为位图文件;

根据图像显示信号的显示范围创建临时存储区 ;

在临时存储区内创建图像显示信号的临时位图 文件;

将多路图像处理信号的位图文件依次或间隔绘 制在临时存储区的平面坐 标系内, 合并形成临时位图文件。

在上述技术方案中, 方法还包括:

如果多路图像处理信号的分辨率范围之和小于 图像显示信号的分辨率范 围时, 则对图像处理信号进行图像拉伸或背景填充处 理;

如果多路图像处理信号的分辨率范围之和大于 图像显示信号的分辨率范 围时, 则对图像处理信号进行图像缩小处理。

为实现上述目的, 根据本发明的另一个方面, 提供了一种图像处理方法。 根据本发明实施例的一种图像处理方法, 包括:

1 ) 应用处理器接收多路待显示的图像处理信号;

2) 应用处理器将接收的多路图像处理信号拼接成 一路图像显示信号;

3 ) 图像处理器在图像显示信号中截取拼接前的多 路图像处理信号。

在上述技术方案中, 在图像处理器截取拼接前的多路图像处理信号 后, 将该多路图像处理信号分别在多屏上显示。

在上述技术方案中, 多屏分别设置在移动终端和外部显示屏上。

在上述技术方案中, 在歩骤 2) 中, 多路图像处理信号通过图像摆放的 方式完成拼接, 摆放方式包括依次摆放和间隔摆放, 包括:

将多路图像处理信号解码转换为位图文件;

根据图像显示信号的显示范围创建临时存储区 ;

在临时存储区内创建图像显示信号的临时位图 文件;

将多路图像处理信号的位图文件依次或间隔绘 制在临时存储区的平面坐 标系内, 合并形成临时位图文件。

在上述技术方案中, 应用处理器设置于移动终端内。

在上述技术方案中, 图像处理器设置于移动终端内。

在上述技术方案中, 方法还包括:

如果多路图像处理信号的分辨率范围之和小于 图像显示信号的分辨率范 围时, 则对图像处理信号进行图像拉伸或背景填充处 理;

如果多路图像处理信号的分辨率范围之和大于 所述图像显示信号的分辨 率范围时, 则对图像处理信号进行图像缩小处理。

在上述技术方案中, 方法还包括: 4)移动终端的操作设备通过应用处理 器向移动终端和外部显示屏发送控制其图像显 示的信号。

在上述技术方案中, 方法还包括: 5)所述外部显示屏的操作设备通过所 述应用处理器向所述移动终端和外部显示屏发 送控制其图像显示的信号。

为实现上述目的, 根据本发明的另一个方面, 提供了一种图像处理装置。 根据本发明实施例的一种图像处理装置, 包括:

应用处理器, 用于接收多路待显示的图像处理信号, 并将接收的多路图 像处理信号拼接成一路图像显示信号;

图像处理器, 用于在所述图像显示信号中截取拼接前的所述 多路图像处 理信号分别在移动终端和外部显示屏上显示。

在上述技术方案中, 应用处理器包括:

解码转换模块, 用于将多路图像处理信号解码转换为位图文件 ; 存储创建模块, 用于根据图像显示信号的显示范围创建临时存 储区; 位图创建模块,用于在临时存储区内创建图像 显示信号的临时位图文件; 绘制合并模块, 用于将多路图像处理信号的位图文件依次或间 隔绘制在 临时存储区的平面坐标系内, 合并形成临时位图文件。 在上述技术方案中, 应用处理器设置于所述移动终端内。

在上述技术方案中, 图像处理器设置于所述移动终端内。

在上述技术方案中, 应用处理器还包括:

分辨率比较模块, 用于比较多路图像处理信号的分辨率范围之和 与图像 显示信号的分辨率范围的大小关系;

图像处理模块, 用于根据多路图像处理信号的分辨率范围之和 与图像显 示信号的分辨率范围的大小关系对图像处理信 号进行处理:

如果多路图像处理信号的分辨率范围之和小于 图像显示信号的分辨率范 围时, 则对图像处理信号进行图像拉伸或背景填充处 理;

如果多路图像处理信号的分辨率范围之和大于 图像显示信号的分辨率范 围时, 则对图像处理信号进行图像缩小处理。

在上述技术方案中, 装置还包括:

移动操作设备, 设置于移动终端内, 用于向移动终端和外部显示屏发送 控制其图像显示的信号;

控制处理模块, 设置于应用处理器内, 用于接收移动操作设备的控制信 号, 根据该控制信号对移动终端和外部显示屏的显 示内容进行控制处理。

在上述技术方案中, 装置还包括:

外部操作设备, 设置在外部显示屏内, 用于向移动终端和外部显示屏发 送控制其图像显示的信号;

控制转换模块, 设置于应用处理器内, 用于接收外部操作设备发出的在 外部显示屏上的操作位置坐标信息, 并将该坐标信息转换成移动终端显示屏 上的位置坐标信息;

控制处理模块, 还用于接收外部操作设备的控制信号和所述控 制转换模 块发送的移动终端显示屏上的位置坐标信息, 并根据该控制信号和位置坐标 信息对移动终端和外部显示屏的显示内容进行 控制处理。

为实现上述目的, 根据本发明的另一个方面, 提供了一种图像处理系统。 根据本发明实施例的一种图像处理系统, 包括移动终端和外部显示屏, 移动终端包括:

应用处理器, 用于接收多路待显示的图像处理信号, 并将接收的多路图 像处理信号拼接成一路图像显示信号;

图像处理器, 用于在图像显示信号中截取拼接前的多路图像 处理信号分 别在移动终端和外部显示屏上显示。

在上述技术方案中, 应用处理器包括:

解码转换模块, 用于将多路图像处理信号解码转换为位图文件 ; 存储创建模块, 用于根据图像显示信号的显示范围创建临时存 储区; 位图创建模块,用于在临时存储区内创建图像 显示信号的临时位图文件; 绘制合并模块, 用于将多路图像处理信号的位图文件依次或间 隔绘制在 临时存储区的平面坐标系内, 合并形成临时位图文件。

在上述技术方案中, 应用处理器还包括:

分辨率比较模块, 用于比较多路图像处理信号的分辨率范围之和 与图像 显示信号的分辨率范围的大小关系;

图像处理模块, 用于根据多路图像处理信号的分辨率范围之和 与图像显 示信号的分辨率范围的大小关系对图像处理信 号进行处理:

如果多路图像处理信号的分辨率范围之和小于 图像显示信号的分辨率范 围时, 则对图像处理信号进行图像拉伸或背景填充处 理;

如果多路图像处理信号的分辨率范围之和大于 图像显示信号的分辨率范 围时, 则对图像处理信号进行图像缩小处理。

在上述技术方案中, 系统还包括:

移动操作设备, 设置于移动终端内, 用于向移动终端和外部显示屏发送 控制其图像显示的信号;

控制处理模块, 设置于应用处理器内, 用于接收移动操作设备的控制信 号, 根据该控制信号对移动终端和外部显示屏的显 示内容进行控制处理。

在上述技术方案中, 系统还包括:

外部操作设备, 设置在外部显示屏内, 用于向移动终端和外部显示屏发 送控制其图像显示的信号;

控制转换模块, 设置于应用处理器内, 用于接收外部操作设备发出的在 外部显示屏上的操作位置坐标信息, 并将该坐标信息转换成移动终端显示屏 上的位置坐标信息; 控制处理模块, 还用于接收外部操作设备的控制信号和控制转 换模块发 送的移动终端显示屏上的位置坐标信息, 并根据该控制信号和位置坐标信息 对移动终端和外部显示屏的显示内容进行控制 处理。

本发明各实施例的图像处理的方法、 装置及系统, 实现移动终端与外部 显示屏的内容分别独立显示, 保证了低配置移动终端可以实现不同内容的多 屏显示的技术效果; 其中, 图像处理器设置于移动终端内, 避免了对外部显 示屏的改造和修改, 提高了适应性。

本实施例的图像处理的方法、 装置及系统, 还包括了移动操作设备和外 部操作设备, 实现了上述操作设备对移动终端和外部显示屏 的分别控制, 更 好的实现了移动终端与外部显示屏不同内容的 独立显示。

本发明的其它特征和优点将在随后的说明书中 阐述, 并且, 部分地从说 明书中变得显而易见, 或者通过实施本发明而了解。 本发明的目的和其他优 点可通过在所写的说明书、 权利要求书、 以及附图中所特别指出的结构来实 现和获得。

下面通过附图和实施例, 对本发明的技术方案做进一歩的详细描述。 附图说明

附图用来提供对本发明的进一歩理解, 并且构成说明书的一部分, 与本 发明的实施例一起用于解释本发明, 并不构成对本发明的限制。 在附图中: 图 1为根据本发明实施例一图像处理方法的流程 ;

图 2为根据本发明实施例一将两路图像处理信号 接成一路图像显示信 号的示意图;

图 3为根据本发明实施例二图像处理方法的流程 ;

图 4为根据本发明方法实施例二将两路图像处理 号拼接成一路图像显 示信号的示意图;

图 5为根据本发明方法实施例二电视机显示屏的 示区域示意图; 图 6为根据本发明实施例一图像处理系统的结构 意图。 具体实施方式 以下结合附图对本发明的优选实施例进行说明 , 应当理解, 此处所描述 的优选实施例仅用于说明和解释本发明, 并不用于限定本发明。

方法实施例

根据本发明实施例, 提供了一种图像处理方法, 包括一部移动终端 (如 手机) 的 LCD显示屏和多部大屏幕显示设备, 如电视机、 电脑显示器、 投影 仪、 大屏幕显示墙等。

图 1为根据本发明实施例一的图像处理方法流程 , 本实施例包括一部 手机和一部电视机,该手机上设有 LCD显示屏,如图 1所示,本实施例包括: 歩骤 S102: 为了实现图像处理信号在手机的 LCD显示屏和电视机显示 屏上分别独立显示, 手机接收需要在手机和电视机上分别显示的两 路图像处 理信号资源, 该两路图像处理信号资源之间具备同歩关系, 以便于歩骤 S104 中进行信号的拼接;

歩骤 S104: 手机将接收的两路图像资源拼接成一路完整统 一的图像, 该 两路图像资源的显示区域的摆放不一定是左右 方式或上下方式, 只要能够将 两路图像摆入一幅整体图片, 且该图片未超出电视机显示屏可以显示的最大 范围即可, 例如手机的 MARVELL PXA920芯片单头显示的最大显示范围为 720p,即 1280*720个像素点,而电视机的 DVD画质图像为 480p,即 640*480 个像素点, 而手机 QVGA屏幕支持 320*240个像素点, 可见一幅 480p图像 +QVGA图像完全可以拼接在一幅 720p图像中, 如图 2所示;

在歩骤 S104中, 例如在拼接 BMP图片时, 可以通过 VC6.0就可以完成 (需要使用 GDI+) , 如:

CombinePic(L "image/bmp ", "12.bmp ", "l.bmp ", "2.bmp ");

BOOL CombinePic(const WCHAR *format, const CString &strDst, const CString &strPicl, \

const CString &strPic2)

{

BOOL bCombine = false;

int nRet = 0;

CLSID clsid; nRet = GetEncoderClsid(format,&clsid);

if (nRet > =0)

{

USES— CONVERSION;

Bitmap bmpl(A2W(strPicl));

Bitmap bmp2(A2W(strPic2));

int n Width = 0, nHeight = 0;

n Width = bmpl .GetWidth(); 〃假设两图片大小相同

nHeight = bmpl .GetHeight();

Bitmap bmpCombine(2*nWidth, nHeight); 〃高不变, 宽 *2, 水平合并

Graphics * pG = NULL;

pG = Graphics: : FromImage(&bmpCombine);

if (pG! = NULL)

{

pG- >DrawImage(&bmpl,0,0);

pG- >DrawImage(&bmp2,nWidth,0);

bmpCombine.Save(A2W(strDst),&clsid,NULL);

}

}

return bCombine;

}

int GetEncoderClsid(const WCHAR *format, CLSID *pClsid) {

int nRet = -1 ;

ImageCodecInfo * pCodednfo = NULL;

圆 T nNum = O'nSize = 0;

GetImageEncodersSize(&nNum,&nSize);

if (nSize <0)

{ return nRet;

}

pCodednfo = new ImageCodecInfo[nSize] ;

if (pCodednfo= = NULL)

{

return nRet;

}

GetImageEncoders(nNunn,nSize,pCodecInfo);

for (UINT i =0; i <nNum; i ++)

{

if (wcscmp(pCodecInfo[i] . Mi meType, format) = =0)

{

*pClsid = pCodecInfo[i] .CIsid;

nRet = i ;

delete口 pCodednfo;

return nRet;

}

else

{

continue;

}

}

delete口 pCodednfo;

return nRet;

}

歩骤 S106: 在歩骤 S104中拼接完成的一路完整统一的图像 (即图像显 示信号)中截取拼接前的两路图像资源(即图 像处理信号)分别在手机的 LCD 屏和电视机显示屏上显示。

其中, 图 2显示的区域说明: a) 整体区域 (即图像显示信号显示的区域) 由 (XI , Yn)、 (Χη, Yl )、 (XI , Υ1 )、 (Χη, Υη) 四个点组成矩形区域, 该区域信息应由手机上应用 处理器中的图像拼接模块经过拼接处理后,由 应用处理器输出到 RGB等显示 总线上;

b) 手机 LCD显示的矩形区域由(X LCD1 , YLCDn )、 ( Xl Dn, YLCDI )、 ( XLCDI ,

YLCDI ( XLCDn, Y L CDn )四个点组成, 图像处理器按照参数设置的方式从 RGB 等显示总线或者显示缓冲区中截取并显示 LCD显示区域的内容,并将其它不 属于 LCD显示区域的内容丢弃;

c) TV 显示区域的矩形区域由(X TV1 , Y TVN )、 (X TVN , Υ ΤΝΙ )、 (Χ ΤΝΙ , Υ ΤΝΙ )、

( XTVn , YTVn )四个点组成, 图像处理器按照参数设置的方式从 RGB等显示总 线或者显示缓冲区中截取并显示 TV显示区域的内容,并将其它不属于 TV显 示区域的内容丢弃。

本实施例的图像处理方法, 以手机 LCD和电视机显示屏为例, 可以确保 在手机仅支持单头显示时,实现手机 LCD与电视机显示屏的内容分别独立显 示, 保证了低配置手机可以实现不同内容的多屏显 示的技术效果; 其中, 图 像处理器设置于移动终端内, 避免了对外部显示屏的改造和修改, 提高了本 图像处理方法的适应性。

根据本发明实施例, 提供了一种图像处理方法, 包括一部移动终端 (如 手机) 的 LCD显示屏和多部大屏幕显示设备, 如电视机、 电脑显示器、 投影 仪、 大屏幕显示墙等。

图 3为根据本发明实施例二的图像处理方法流程 , 本实施例包括一部 手机和一部电视机, 该手机上设有 LCD显示屏, 手机通过无线传输的方式控 制电视机显示屏的显示, 该无线传输协议包括但不限于: 蓝牙、 WiFi、 红外 等协议, 在本实施例中, 以手机通过 WiMo协议远程向电视机传输信号资源 为例进行说明, 实现手机 LCD显示屏与电视机显示屏的独立显示, 两者既可 以实现相同内容的同歩或异歩显示,也可以实 现不同内容的同歩或异歩显示, 还可以实现相同内容或不同内容的交互显示( 即 LCD屏与 TV屏显示的内容 彼此相关)。

需要说明的是, 为配合 WiMo协议的实现, 本实施例包括 WiMo控制装 置, 用于接收手机端发送的信号资源并通过电视机 显示屏显示, 同时接收电 视机的外部操作设备发送的控制信号向手机端 发送。 WiMo 控制装置可以设 置在电视机内部, 也可以设置在电视机外部, 并通过串口、 HDMI、 色差线等 现有标准接口与电视机相连, 或通过红外、 蓝牙等无线方式与电视机相连。

如图 3所示, 本实施例包括:

歩骤 S202: 为了实现图像处理信号在手机的 LCD显示屏和电视机显示 屏上分别独立显示, 手机中的应用处理器 (即 AP处理器) 接收需要在手机 和电视机上分别显示的两路图像处理信号资源 , 该两路图像处理信号资源之 间具备同歩关系, 以便于歩骤 S204中进行信号的拼接;

歩骤 S204: 手机中的应用处理器将接收的两路图像资源拼 接成一路完整 统一的图像, 该两路图像资源的显示区域的摆放不一定是左 右方式或上下方 式, 只要能够将两路图像摆入一幅整体图片, 且该图片未超出电视机显示屏 可以显示的最大范围即可, 例如手机的 MARVELL920 芯片单头显示的最大 显示范围为 720p,即 1280*720个像素点,而电视机的 DVD画质图像为 480p, 即 640*480个像素点, 而手机 QVGA屏幕支持 320*240个像素点, 可见一幅 480p图像 +QVGA图像完全可以拼接在一幅 720p图像中, 如图 4所示;

歩骤 S206: 手机中的图像处理器将在歩骤 S204中拼接完成的一路完整 统一的图像 (即图像显示信号) 中截取拼接前的两路图像资源 (即图像处理 信号) 分别在手机的 LCD屏和电视机显示屏上显示;

其中, 图 4显示的区域说明:

a) 整体区域 (即图像显示信号显示的区域) 由 (XI , Yn)、 (Χη, Yl )、 (XI , Υ1 )、 (Χη, Υη) 四个点组成矩形区域, 该区域信息应由手机中应用 处理器中的图像拼接模块经过拼接处理后,由 应用处理器输出到 RGB等显示 总线上;

b) 手机 LCD显示的矩形区域由(X LCD1 , YLCDn )、 ( Xl Dn, YLCDI )、 ( XLCDI ,

YLCDI ( XLCDn, Y L CDn )四个点组成, 手机中图像处理器中的图像处理器按照参 数设置的方式从 RGB等显示总线或者显示缓冲区中截取并显示 LCD显示区 域的内容, 并将其它不属于 LCD显示区域的内容丢弃;

c) WiMo通过电视机显示屏显示的 WiMo显示区域的矩形区域由(X WLM()1 , YwiMon )、 ( XwiMon' YwiMol )、 ( XwiMol ' YwiMol )、 ( XwiMon' YwiMon )四个点组成, 手机 中图像处理器中的图像处理器按照参数设置的 方式从 RGB 等显示总线或者 显示缓冲区中截取并显示 WiMo显示区域的内容, 并将其它不属于 WiMo显 示区域的内容丢弃, 然后通过 WiMo协议将 WiMo显示区域显示的内容发送 给 WiMo控制装置,由 WiMo控制装置通过电视机显示屏显示其发送的 容。

需要说明的是, 上述图像处理器具有图像截取能力, 即通过寄存器或其 它方式, 从 RGB数据接口传来的数据中提取所需的图像数据 信息。

歩骤 S208: 设置在手机内的控制器与手机的操作设备相连 , 手机的操作 设备通过控制器向手机和电视机显示屏发送控 制其图像显示的信号;

手机自身的操作设备产生的控制信号可以仅针 对 LCD 显示屏的内容显 示进行控制,也可以同时控制手机 LCD显示屏以及 WiMo侧的电视机显示屏 的内容显示, 但如果 WiMo侧的电视机显示屏存在独立的控制信号时 手机 的操作设备仅对手机的 LCD屏幕进行控制, WiMo侧的电视机显示屏由 WiMo 侧的控制信号控制。

其中, 手机的操作设备包括但不限于: 键盘、 触摸屏、 重力感应器等。 歩骤 S210: 设置在手机内的控制器与 WiMo侧的操作设备相连, 电视机 的操作设备通过控制器向手机和电视机显示屏 发送控制其图像显示的信号。

其中, WiMo侧的操作设备设置于电视机或 WiMo控制装置之内或与之 相连, 包括但不限于: 遥控器、 鼠标、 触摸屏等。

WiMo 侧的控制信号既可以仅传输与电视机显示屏的 图像显示位置无关 的控制信息, 也可以传输与电视机显示屏的图像显示位置有 关的控制信息; 当 WiMo侧的控制信号与电视机显示屏的图像显示 置有关时, WiMo侧的 控制信号应当包含电视机显示屏的图像坐标信 息以及动作属性,考虑到 WiMo 侧的操作设备无法获取手机侧完整图像的坐标 系设置信息, 因此电视机显示 屏的坐标信息的描述方式通常是以电视机显示 屏自身的坐标系为准, 我们可 以 , y n )、 (x n , yi )、 ( Xl , yi )、 (x n , y n ) 四点来描述电视机显示屏自身的 坐标系及显示区域, 如图 5所示。

当用户利用 WiMo 侧的操作设备在电视机显示屏的某个位置进行 操作 时, 操作位置的坐标为 (X , y), 当 (X , y )通过 WiMo被传回手机后, 手机 上的控制转换模块应将电视机显示屏的独立坐 标系转换为手机 LCD 屏上统 一坐标系中的坐标(x- Xi+ XwM , y- y n + Y WlM n ), 再传给手机上的控制处理 模块进行识别处理, 转换成相应的控制信号。

需要说明的是, 在坐标(x- Xi+ Xwufoi , y- y n + Y Wl Mon ) 中, χι和 y n 代表 图 5 中电视机显示屏的独立坐标系的起始坐标, 其数值应为常量, ^!^^和

Y WlM n 代表图 4中 WiMo显示区域的坐标。

优选地, 在歩骤 S204中, 两路图像资源通过图像摆放的方式拼接成一路 完整统一的图像, 摆放的方式包括依次摆放和间隔摆放, 以下以一帧图像的 拼接为例进行具体说明:

依次摆放: 将一幅 100 X 100的图片 1和一幅 100 X 200的图片 2分别解 码转换为位图文件 1和位图文件 2, 拟拼接成一幅 100 X 300的一幅图片, 首 先创建一个 drawing.bitmap的临时存储区 tmp, 其大小为 100 X 300, 在 tmp 内创建一个临时位图文件 graphics,将位图文件 1绘制到 tmp的平面坐标系的 (0,0)处, 将位图文件 2绘制到 tmp的平面坐标系的 (0,100)处, 然后将位 图文件 1和位图文件 2合并成临时位图文件 graphics,最后将 tmp上的 graphics 发送到显示缓存中显示出来;

间隔摆放: 将一幅 100 X 100的图片 1和一幅 100 X 200的图片 2分别解 码转换为位图文件 1和位图文件 2, 拟拼接成一幅 100 X 400的一幅图片, 依 照上述方法将位图文件 1绘制到 tmp的平面坐标系的 (0,0) 处, 然后将位图 文件 2绘制到 tmp的平面坐标系的 (0,200) 处, 其它歩骤同上。

优选地, 在歩骤 S204中, 两路图像资源摆入一幅整体图片, 如果两路图 像资源的分辨率范围之和小于该整体图片的分 辨率范围时, 则对该两路图像 资源进行图像拉伸或背景填充处理, 如果两路图像资源的分辨率范围之和大 于该整体图片的分辨率范围时, 则对该两路图像资源进行图像缩小处理。

本实施例的图像处理方法, 在方法实施例一的基础上, 还包括了移动终 端和外部显示屏的操作设备控制移动终端和 /或外部显示屏的歩骤, 实现了上 述操作设备对移动终端和外部显示屏的分别控 制, 更好的实现了移动终端与 外部显示屏不同内容的独立显示。

根据本发明方法实施例三, 提供了一种图像处理方法, 本方法实施例三 针对背景技术中现有的仅支持单头显示的移动 终端无法实现移动终端的显示 屏与外部显示屏显示不同内容的技术缺陷进行 改进, 保证了仅支持单头显示 的移动终端实现移动终端的显示屏与外部显示 屏显示不同的内容。 本实施例 包括:

歩骤 S302: 硬件仅支持单头显示的移动终端部署有图像拼 接模块, 该图 像拼接模块既可以整合在使用 WiMo功能的应用程序模块中, 也可以与操作 系统整合, 向应用程序模块提供供调用的 API接口;

歩骤 S304: 当某一应用程序模块需要使用多屏显示功能时 , 该应用程序 模块需要提供显示在手机显示屏上的图像内容 和显示在电视机显示屏上的图 像内容, 而该两个显示屏显示内容之间的关联与同歩关 系逻辑应由应用程序 模块来处理;

歩骤 S306: 应用程序模块在使用 WiMo功能进行多屏幕显示时, 将歩骤 S304中两屏幕的待显示的图像资源传递给图像 接模块, 图像拼接模块将两 幅图像整合在一幅整体图片中(如图 2和图 4所示), 然后通过调用底层显示 驱动将该整幅图片数据保存到由应用处理器控 制的显示缓冲内存中;

歩骤 S308: 应用程序模块根据操作系统中显示驱动程序指 令, 将显示缓 冲区中整幅图片信息送上数据总线, 图像处理器根据数据总线传来的数据分 别按照之前在系统上电初始化过程中设置好的 图片显示范围的参数 (如显示 图片的区域值, 或由坐标值所映射的显示内存区的地址片段) 进行传输或显 歩骤 S310: 当图像数据被同时分别显示在手机 LCD显示屏和电视机显 示屏上时, 用户可以通过两种方式与应用程序模块进行交 互: 一种是在手机 侧通过 LCD触摸屏或者手机自带的按键等移动操作设备 ,实现对应用程序模 块的控制, 例如: 手机正在运行 WiMo赛车游戏, 电视机显示屏上显示游戏 赛道图像, 同时在手机 LCD触摸屏上显示虚拟的控制手柄图像, 用户可以通 过点击手机 LCD触摸屏上模拟的按键, 由手机 I/O处理模块将控制信号传递 给应用程序模块, 进行相应动作, 并反映到游戏画面的变化; 另一种是电视 机侧支持触摸屏, 可以通过 WiMo将该信号传输回手机, 并由应用程序模块 接收后产生相关响应并显示到图像变化上, 例如手机正在通过 WiMo在电视 机上播放一段视频, 同时手机 LCD触摸屏上显示虚拟的播放控制面板, 如该 电视机显示屏可以支持触控, 那么当用户点击电视机显示屏上某一位置时, 电视机会将本次点击以及在电视机显示屏坐标 系下的位置信息通过 WiMo回 传给手机, 手机接收后会通过控制转换模块, 进行一次坐标转化, 将电视机 坐标系下的位置数据转换成手机侧整幅图片坐 标下的位置数据并按照约定格 式将信息传送给应用程序模块, 以便使应用程序模块可以得知上述触控操作 实际发生在哪个设备和具体坐标位置, 以确定是否需要响应该操作以及如何 响应, 例如在电视机侧可以显示操作按钮时, 应用程序模块可以判断出用户 在电视机上的触控是按下了快进、 快退或者暂停按键, 并作出响应动作; 歩骤 S312: 在某些特殊情况下, 用户可能在电视机侧和手机 LCD触控 上同时进行操作,那么电视机侧和手机 LCD侧同时有操作信号发给应用程序 模块时, 应由控制处理模块来进行顺序判别和排队, 以便应用程序模块进行 有序的处理。

本实施例的图像处理方法,在手机 LCD显示屏和电视机显示屏上实现了 相关内容的交互式显示,更好的实现了手机 LCD显示屏与电视机显示屏不同 内容的独立显示, 对手机 LCD显示屏与电视机显示屏的显示内容进行整合 , 提高了手机 LCD显示屏与电视机显示屏的显示效果。

装置实施例

根据本发明实施例, 提供了一种图像处理装置。 本实施例包括设置于移 动终端内的应用处理器和图像处理器:

应用处理器, 用于接收多路待显示的图像处理信号, 并将接收的多路图 像处理信号拼接成一路图像显示信号;

图像处理器, 用于在图像显示信号中截取拼接前的多路图像 处理信号分 别在移动终端和外部显示屏上显示。

应用处理器包括:

解码转换模块, 用于将多路图像处理信号解码转换为位图文件 ; 存储创建模块, 用于根据图像显示信号的显示范围创建临时存 储区; 位图创建模块, 用于在临时存储区内创建所述图像显示信号的 临时位图 文件; 绘制合并模块, 用于将多路图像处理信号的位图文件依次或间 隔绘制在 临时存储区的平面坐标系内, 合并形成临时位图文件。

其中, 上述图像接收模块中的多路图像处理信号之间 具备同歩关系。 应用处理器还包括:

分辨率比较模块, 用于比较多路图像处理信号的分辨率范围之和 与图像 显示信号的分辨率范围的大小关系;

图像处理模块, 用于根据多路图像处理信号的分辨率范围之和 与图像显 示信号的分辨率范围的大小关系对图像处理信 号进行处理:

如果多路图像处理信号的分辨率范围之和小于 图像显示信号的分辨率范 围时, 则对图像处理信号进行图像拉伸或背景填充处 理;

如果多路图像处理信号的分辨率范围之和大于 图像显示信号的分辨率范 围时, 则对图像处理信号进行图像缩小处理。

本图像处理装置还包括:

移动操作设备, 设置于移动终端内, 用于向移动终端和外部显示屏发送 控制其图像显示的信号;

控制处理模块, 设置于应用处理器内, 用于接收移动操作设备的控制信 号, 根据该控制信号对移动终端和外部显示屏的显 示内容进行控制处理; 并 且, 还用于接收外部操作设备的控制信号和控制转 换模块发送的移动终端显 示屏上的位置坐标信息, 并根据该控制信号和位置坐标信息对移动终端 和外 部显示屏的显示内容进行控制处理。

外部操作设备, 设置在外部显示屏内, 用于向移动终端和外部显示屏发 送控制其图像显示的信号;

控制转换模块, 设置于应用处理器内, 用于接收外部操作设备发出的在 外部显示屏上的操作位置坐标信息, 并将该坐标信息转换成移动终端显示屏 上的位置坐标信息。

本实施例的图像处理装置, 实现移动终端与外部显示屏的内容分别独立 显示, 保证了低配置移动终端可以实现不同内容的多 屏显示的技术效果; 其 中, 图像处理器设置于移动终端内, 避免了对外部显示屏的改造和修改, 提 高了本图像处理装置的适应性。 本实施例的图像处理装置, 还包括了移动操作设备和外部操作设备, 实 现了上述操作设备对移动终端和外部显示屏的 分别控制, 更好的实现了移动 终端与外部显示屏不同内容的独立显示。

系统实施例

根据本发明实施例, 提供了一种图像处理系统。 图 6为根据本发明实施 例一图像处理系统的结构示意图, 如图 6所示, 本实施例包括: 一部手机和 一部电视机, 该手机上设有 LCD显示屏, 手机通过 WiMo协议远程向电视机 传输信号资源, 实现手机 LCD显示屏与电视机显示屏的独立显示, 两者既可 以实现相同内容的同歩或异歩显示,也可以实 现不同内容的同歩或异歩显示, 还可以实现相同内容或不同内容的交互显示( 即 LCD屏与 TV屏显示的内容 彼此相关)。

手机中包括:

应用处理器 10, 与应用程序模块 90相连, 用于接收多路待显示的图像 处理信号, 并将接收的多路图像处理信号拼接成一路图像 显示信号;

图像处理器 20, 用于在图像显示信号中截取拼接前的多路图像 处理信号 分别在手机的 LCD显示屏 50和电视机显示屏 60上显示。

应用处理器 10包括:

解码转换模块, 用于将多路图像处理信号解码转换为位图文件 ; 存储创建模块, 用于根据图像显示信号的显示范围创建临时存 储区; 位图创建模块, 用于在临时存储区内创建所述图像显示信号的 临时位图 文件;

绘制合并模块, 用于将多路图像处理信号的位图文件依次或间 隔绘制在 临时存储区的平面坐标系内, 合并形成临时位图文件。

其中, 上述应用处理器 10中的多路图像处理信号之间具备同歩关系。 应用处理器还包括:

分辨率比较模块, 用于比较多路图像处理信号的分辨率范围之和 与图像 显示信号的分辨率范围的大小关系;

图像处理模块, 用于根据多路图像处理信号的分辨率范围之和 与图像显 示信号的分辨率范围的大小关系对图像处理信 号进行处理: 如果多路图像处理信号的分辨率范围之和小于 图像显示信号的分辨率范 围时, 则对图像处理信号进行图像拉伸或背景填充处 理;

如果多路图像处理信号的分辨率范围之和大于 图像显示信号的分辨率范 围时, 则对图像处理信号进行图像缩小处理。

本图像处理系统还包括:

移动操作设备 70, 设置于手机内, 用于向手机和电视机显示屏 60发送 控制其图像显示的信号;

控制处理模块 13, 设置于应用处理器 10内, 用于接收移动操作设备 70 的控制信号,根据该控制信号对手机和电视机 显示屏 60的显示内容进行控制 处理; 并且, 还用于接收外部操作设备 80的控制信号和控制转换模块 14发 送的手机的 LCD显示屏 50上的位置坐标信息, 并根据该控制信号和位置坐 标信息对手机和手机的 LCD显示屏 50的显示内容进行控制处理。

外部操作设备 80, 设置在电视机显示屏 60 内, 用于向手机和电视机显 示屏 60发送控制其图像显示的信号;

控制转换模块 14, 设置于应用处理器 10内, 用于接收外部操作设备 80 发出的在电视机显示屏 60上的操作位置坐标信息,并将该坐标信息转 成手 机的 LCD显示屏 50上的位置坐标信息。

为了实现手机通过 WiMo协议远程向电视机传输信号资源的目的, 在手 机侧设有 WiMo编码收发模块 30, 在 WiMo侧设有 WiMo收发解码模块 40, 手机侧与 WiMo侧通过 WiMo编码收发模块 30和 WiMo收发解码模块 40实 现通过 WiMo协议传输显示信号资源的目的。

本实施例的图像处理系统, 实现移动终端与外部显示屏的内容分别独立 显示, 保证了低配置移动终端可以实现不同内容的多 屏显示的技术效果; 其 中, 图像处理器设置于移动终端内, 避免了对外部显示屏的改造和修改, 提 高了本图像处理系统的适应性。

本实施例的图像处理系统, 还包括了移动操作设备和外部操作设备, 实 现了上述操作设备对移动终端和外部显示屏的 分别控制, 更好的实现了移动 终端与外部显示屏不同内容的独立显示。

最后应说明的是: 以上所述仅为本发明的优选实施例而已, 并不用于限 制本发明, 尽管参照前述实施例对本发明进行了详细的说 明, 对于本领域的 技术人员来说, 其依然可以对前述各实施例所记载的技术方案 进行修改, 或 者对其中部分技术特征进行等同替换。 凡在本发明的精神和原则之内, 所作 的任何修改、 等同替换、 改进等, 均应包含在本发明的保护范围之内。