Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD AND DEVICE FOR IMAGE PROCESSING, CODER AND DECODER
Document Type and Number:
WIPO Patent Application WO/2014/048372
Kind Code:
A1
Abstract:
A method for image processing. The method includes: when it is determined that the motion information about a first base layer image sub-block corresponding to a first target image sub-block of a target image block is null, determining a second target image sub-block according to the size of the target image block, the size of each target image sub-block included in the target image block and second indication information for indicating the position of the first target image sub-block in the target image block; determining first reference information for coding the first target image sub-block according to motion information about the second target image sub-block, wherein the first base layer image sub-block is an image block located in a base layer image, the target image block is located in an enhancement layer image, and the base layer image corresponds to the enhancement layer image; and coding the target image block to generate a target code stream and first indication information contained in the target code stream.

Inventors:
YANG HAITAO (CN)
LI LI (CN)
LI BIN (CN)
LI HOUQIANG (CN)
Application Number:
PCT/CN2013/084504
Publication Date:
April 03, 2014
Filing Date:
September 27, 2013
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
HUAWEI TECH CO LTD (CN)
USTC UNIV SCIENCE TECH CN (CN)
International Classes:
H04N7/32; H04N7/34
Foreign References:
CN101755458A2010-06-23
CN101156454A2008-04-02
US20120201301A12012-08-09
Attorney, Agent or Firm:
LONGSUN LEAD IP LTD. (CN)
北京龙双利达知识产权代理有限公司 (CN)
Download PDF:
Claims:
权利要求

1. 一种用于图像处理的方法, 其特征在于, 所述方法包括:

当确定与目标图像块的第一目标图像子块相对应的第一基本层图像子 块的运动信息为空时, 根据所述目标图像块的大小、 所述目标图像块包括的 每个目标图像子块的大小和用于指示第一目标图像子块在所述目标图像块 中的位置的第二指示信息, 确定第二目标图像子块;

根据所述第二目标图像子块的运动信息,确定用于对所述第一目标图像 子块进行编码的第一参考信息, 其中, 所述第一基本层图像子块是位于基本 层图像中的图像块, 所述目标图像块位于增强层图像中, 所述的基本层图像 与所述增强层图像相对应,且所述第一基本图像块子块在所述基本层图像中 的空间位置与所述第一目标图像子块在所述增强层图像中的空间位置相对 应;

对所述目标图像块进行编码, 以生成目标码流以及包含于所述目标码流 中的第一指示信息。

2. 根据权利要求 1所述的方法, 其特征在于: 所述根据目标图像块的 大小、所述目标图像块包括的目标图像子块的大小和用于指示第一目标图像 子块在所述目标图像块中的位置的第二指示信息, 确定第二目标图像子块, 包括:

根据以下任一公式, 确定所述第二目标图像子块,

Idx2 + idx, %N/(N/2))x2 + (l- Idxl %N /(N / 4)%2))χ N /4 ;

Idx2 + ((l - ldxx %N/(N/2))x2 + (ldxx %N / (N / 4) %2)) xN/4;

W¾ =/^/NxN + ((l-/ 1%N/(N/2))x2 + (l-/^%N/(N/4)%2))xN/4; 其中, Idx2表示用于指示所述第二目标图像子块在所述目标图像块中的 位置的第三指示信息, / 表示所述第二指示信息, N是根据所述目标图像 块的大小和所述目标图像子块的大小确定的。

3. 根据权利要求 1或 2所述的方法, 其特征在于, 所述根据所述第二 目标图像子块的运动信息,确定用于对所述第一目标图像子块进行编码的第 一参考信息, 包括:

如果所述第二目标图像子块的运动信息为空, 则确定所述第一参考信息 为零运动信息。

4. 根据权利要求 1至 3中任一项所述的方法, 其特征在于: 所述对所 述目标图像块进行编码包括:

根据所述第一参考信息, 对所述第一目标图像子块进行运动补偿处理。

5. 根据权利要求 1至 4中任一项所述的方法, 其特征在于: 所述对所 述目标图像块进行编码包括:

对位于所述目标图像子块之间的边界附近的像素进行去块效应滤波处 理。

6. 根据权利要求 1至 5中任一项所述的方法, 其特征在于: 所述对所 述目标图像块进行编码包括:

对所述第一指示信息进行熵编码, 以使所述第一指示信息在所述目标码 流中与跳过模式标志位或融合 MERGE模式标志位信息相邻。

7. 根据权利要求 1至 6中任一项所述的方法, 其特征在于: 所述对所 述目标图像块进行编码包括:

根据所述增强层图像中位于预设位置的参考图像块是否使用参考信息 进行编码, 确定上下文;

根据所述上下文, 对所述第一指示信息进行熵编码。

8. 一种用于图像处理的方法, 其特征在于, 所述方法包括:

从目标码流中, 获取第一指示信息;

当与目标图像块的第一目标图像子块相对应的第一基本层图像子块的 运动信息为空时, 基于所述第一指示信息, 根据所述目标图像块的大小、 所 述目标图像块包括的每个目标图像子块的大小和用于指示第一目标图像子 块在所述目标图像块中的位置的第二指示信息, 确定第二目标图像子块; 根据所述第二目标图像子块的运动信息,确定用于对所述第一目标图像 子块进行解码的第一参考信息, 其中, 所述第一基本层图像子块是位于基本 层图像中的图像块, 所述目标图像块位于增强层图像中, 所述的基本层图像 与所述增强层图像相对应,且所述第一基本图像块子块在所述基本层图像中 的空间位置与所述第一目标图像子块在所述增强层图像中的空间位置相对 应;

对所述目标码流进行解码, 以获取所述目标图像块。

9. 根据权利要求 8所述的方法, 其特征在于: 所述根据目标图像块的 大小、所述目标图像块包括的目标图像子块的大小和用于指示第一目标图像 子块在所述目标图像块中的位置的第二指示信息, 确定第二目标图像子块, 包括:

根据以下任一公式, 确定所述第二目标图像子块,

Idx2 + idx, %N/(N/2))x2 + (l- Idxl %N /(N / 4)%2))χ N /4 ;

Idx2 + ((l - ldxx %N/(N/2))x2 + (ldxx %N / (N / 4) %2)) xN/4; W¾ =/^/NxN + ((l-/ x1 N/(N/2))x2 + (l-/^ N/(N/4) 2))xN/4; 其中, Idx2表示用于指示所述第二目标图像子块在所述目标图像块中的 位置的第三指示信息, / 表示所述第二指示信息, N是根据所述目标图像 块的大小和所述目标图像子块的大小确定的。

10. 根据权利要求 8或 9所述的方法, 其特征在于, 所述根据所述第二 目标图像子块的运动信息,确定用于对所述第一目标图像子块进行编码的第 一参考信息, 包括:

如果所述第二目标图像子块的运动信息为空, 则确定所述第一参考信息 为零运动信息。

11. 根据权利要求 8至 10中任一项所述的方法, 其特征在于: 所述对 所述目标码流进行解码包括:

根据所述第一参考信息, 对所述第一目标图像子块进行运动补偿处理。

12. 根据权利要求 8至 11 中任一项所述的方法, 其特征在于: 所述对 所述目标码流进行解码包括:

对位于所述目标图像子块之间的边界附近的像素进行去块效应滤波处 理。

13. 根据权利要求 8至 12中任一项所述的方法, 其特征在于: 所述从 目标码流中, 获取第一指示信息, 包括:

从目标码流中, 获取第一指示信息, 其中, 所述第一指示信息在所述目 标码流中与跳过模式标志位或融合 MERGE模式标志位信息相邻。

14. 根据权利要求 8至 13中任一项所述的方法, 其特征在于: 所述从 目标码流中, 获取第一指示信息, 包括:

根据所述增强层图像中位于预设位置的参考图像块是否使用参考信息 进行解码, 确定上下文;

根据所述上下文, 进行熵解码, 以确定所述第一指示信息。

15. 一种用于图像处理的装置, 其特征在于, 所述装置包括: 获取单元, 用于当确定与目标图像块的第一目标图像子块相对应的第一 基本层图像子块的运动信息为空时, 根据所述目标图像块的大小、 所述目标 图像块包括的每个目标图像子块的大小和用于指示第一目标图像子块在所 述目标图像块中的位置的第二指示信息, 确定第二目标图像子块;

用于根据所述第二目标图像子块的运动信息,确定用于对所述第一目标 图像子块进行编码的第一参考信息, 其中, 所述第一基本层图像子块是位于 基本层图像中的图像块, 所述目标图像块位于增强层图像中, 所述的基本层 图像与所述增强层图像相对应,且所述第一基本图像块子块在所述基本层图 像中的空间位置与所述第一目标图像子块在所述增强层图像中的空间位置 相对应;

编码单元, 对所述目标图像块进行编码, 以生成目标码流以及包含于所 述目标码流中的第一指示信息。

16. 根据权利要求 15所述的装置, 其特征在于: 所述获取单元具体用 于根据以下任一公式, 确定所述第二目标图像子块,

Idx2 + idx, %N/(N/2))x2 + (l- Idxl %N /(N / 4)%2))χ N /4 ; Idx2 + ((l - ldxx %N/(N/2))x2 + (ldxx %N / (N / 4) %2)) xN/4;

W¾ =/^/NxN + ((l-/ 1%N/(N/2))x2 + (l-/^%N/(N/4)%2))xN/4; 其中, Idx2表示用于指示所述第二目标图像子块在所述目标图像块中的 位置的第三指示信息, / 表示所述第二指示信息, N是根据所述目标图像 块的大小和所述目标图像子块的大小确定的。

17. 根据权利要求 15或 16所述的装置, 其特征在于, 所述获取单元具 体用于如果所述第二目标图像子块的运动信息为空, 则确定所述第一参考信 息为零运动信息。

18. 根据权利要求 15至 17中任一项所述的装置, 其特征在于: 所述编 码单元具体用于根据所述第一参考信息,对所述第一目标图像子块进行运动 补偿处理。

19. 根据权利要求 15至 18中任一项所述的装置, 其特征在于: 所述编 码单元具体用于对位于所述目标图像子块之间的边界附近的像素进行去块 效应滤波处理。

20. 根据权利要求 15至 19中任一项所述的装置, 其特征在于: 所述编 码单元具体用于对所述第一指示信息进行熵编码, 以使所述第一指示信息在 所述目标码流中与跳过模式标志位或融合 MERGE模式标志位信息相邻。

21. 根据权利要求 15至 20中任一项所述的装置, 其特征在于: 所述编 码单元具体用于根据所述增强层图像中位于预设位置的参考图像块是否使 用参考信息进行编码, 确定上下文;

用于根据所述上下文, 对所述第一指示信息进行熵编码。

22. 一种用于图像处理的装置, 其特征在于, 所述装置包括: 解码单元, 用于从目标码流中, 获取第一指示信息;

获取单元, 用于当与目标图像块的第一目标图像子块相对应的第一基本 层图像子块的运动信息为空时, 基于所述解码单元获取的所述第一指示信 息, 根据所述目标图像块的大小、 所述目标图像块包括的每个目标图像子块 的大小和用于指示第一目标图像子块在所述目标图像块中的位置的第二指 示信息, 确定第二目标图像子块;

用于根据所述第二目标图像子块的运动信息,确定用于对所述第一目标 图像子块进行解码的第一参考信息, 其中, 所述第一基本层图像子块是位于 基本层图像中的图像块, 所述目标图像块位于增强层图像中, 所述的基本层 图像与所述增强层图像相对应,且所述第一基本图像块子块在所述基本层图 像中的空间位置与所述第一目标图像子块在所述增强层图像中的空间位置 相对应;

所述解码单元还用于对所述目标码流进行解码, 以获取所述目标图像 块。

23. 根据权利要求 22所述的装置, 其特征在于: 所述获取单元具体用 于根据以下任一公式, 确定所述第二目标图像子块,

Idx2 / 2)) χ 2 + (1 - Idxl %N /(N/4) %2)) xN/4; Idx2 (N/2))x2 + (ldxx %N / (N / 4) %2)) xN/4; W¾ =/^/NxN + ((l-/ x1 N/(N/2))x2 + (l-/^ N/(N/4) 2))xN/4; 其中, 表示用于指示所述第二目标图像子块在所述目标图像块中的 位置的第三指示信息, / 表示所述第二指示信息, N是根据所述目标图像 块的大小和所述目标图像子块的大小确定的。

24. 根据权利要求 22或 23所述的装置, 其特征在于, 所述获取单元具 体用于如果所述第二目标图像子块的运动信息为空, 则确定所述第一参考信 息为零运动信息。

25. 根据权利要求 22至 24中任一项所述的装置, 其特征在于: 所述解 码单元具体用于根据所述第一参考信息,对所述第一目标图像子块进行运动 补偿处理。

26. 根据权利要求 22至 25中任一项所述的装置, 其特征在于: 所述解 码单元具体用于对位于所述目标图像子块之间的边界附近的像素进行去块 效应滤波处理。

27. 根据权利要求 22至 26中任一项所述的装置, 其特征在于: 所述解 码单元具体用于从目标码流中, 获取第一指示信息, 其中, 所述第一指示信 息在所述目标码流中与跳过模式标志位或融合 MERGE模式标志位信息相 邻。

28. 根据权利要求 22至 27中任一项所述的装置, 其特征在于: 所述解 码单元具体用于根据所述增强层图像中位于预设位置的参考图像块是否使 用参考信息进行解码, 确定上下文;

用于根据所述上下文, 进行熵解码, 以确定所述第一指示信息。

29. 一种用于图像处理的编码器, 其特征在于, 所述编码器包括: 总线;

与所述总线相连的处理器;

与所述总线相连的存储器;

其中, 所述处理器通过所述总线, 调用所述存储器中存储的程序, 以用 于当确定与目标图像块的第一目标图像子块相对应的第一基本层图像子块 的运动信息为空时, 根据所述目标图像块的大小、 所述目标图像块包括的每 个目标图像子块的大小和用于指示第一目标图像子块在所述目标图像块中 的位置的第二指示信息, 确定第二目标图像子块;

用于根据所述第二目标图像子块的运动信息,确定用于对所述第一目标 图像子块进行编码的第一参考信息, 其中, 所述第一基本层图像子块是位于 基本层图像中的图像块, 所述目标图像块位于增强层图像中, 所述的基本层 图像与所述增强层图像相对应,且所述第一基本图像块子块在所述基本层图 像中的空间位置与所述第一目标图像子块在所述增强层图像中的空间位置 相对应;

用于对所述目标图像块进行编码, 以生成目标码流以及包含于所述目标 码流中的第一指示信息

30. 根据权利要求 29所述的编码器, 其特征在于: 所述处理器具体用 于根据以下任一公式, 确定所述第二目标图像子块,

Idx2 + idx, %N/(N/2))x2 + (l- Idxl %N /(N / 4)%2))χ N /4 ;

Idx2 + ((l - ldxx %N/(N/2))x2 + (ldxx %N / (N / 4) %2)) xN/4;

W¾ =/^/NxN + ((l-/ 1%N/(N/2))x2 + (l-/^%N/(N/4)%2))xN/4; 其中, 表示用于指示所述第二目标图像子块在所述目标图像块中的 位置的第三指示信息, / 表示所述第二指示信息, N是根据所述目标图像 块的大小和所述目标图像子块的大小确定的。

31. 根据权利要求 29或 30所述的编码器, 其特征在于, 所述处理器具 体用于如果所述第二目标图像子块的运动信息为空, 则确定所述第一参考信 息为零运动信息。

32. 根据权利要求 29至 31中任一项所述的编码器, 其特征在于: 所述 处理器具体用于根据所述参考信息,对所述第一目标图像子块进行运动补偿 处理。

33. 根据权利要求 29至 32中任一项所述的编码器, 其特征在于: 所述 处理器具体用于对位于所述目标图像子块之间的边界附近的像素进行去块 效应滤波处理。

34. 根据权利要求 29至 33中任一项所述的编码器, 其特征在于: 所述 处理器具体用于对所述第一指示信息进行熵编码, 以使所述第一指示信息在 所述目标码流中与跳过模式标志位或融合 MERGE模式标志位信息相邻。

35. 根据权利要求 29至 34中任一项所述的编码器, 其特征在于: 所述 处理器具体用于根据所述增强层图像中位于预设位置的参考图像块是否使 用参考信息进行编码, 确定上下文;

用于根据所述上下文, 对所述第一指示信息进行熵编码。

36. 一种用于图像处理的解码器, 其特征在于, 所述解码器包括: 总线;

与所述总线相连的处理器;

与所述总线相连的存储器;

其中, 所述处理器通过所述总线, 调用所述存储器中存储的程序, 以用 于从目标码流中, 获取第一指示信息;

用于当与目标图像块的第一目标图像子块相对应的第一基本层图像子 块的运动信息为空时,基于所述第一指示信息,根据所述目标图像块的大小、 所述目标图像块包括的每个目标图像子块的大小和用于指示第一目标图像 子块在所述目标图像块中的位置的第二指示信息, 确定第二目标图像子块; 用于根据所述第二目标图像子块的运动信息,确定用于对所述第一目标 图像子块进行解码的第一参考信息, 其中, 所述第一基本层图像子块是位于 基本层图像中的图像块, 所述目标图像块位于增强层图像中, 所述的基本层 图像与所述增强层图像相对应,且所述第一基本图像块子块在所述基本层图 像中的空间位置与所述第一目标图像子块在所述增强层图像中的空间位置 相对应;

用于对所述目标码流进行解码, 以获取所述目标图像块。

37. 根据权利要求 36所述的解码器, 其特征在于: 所述处理器具体用 于根据以下任一公式, 确定所述第二目标图像子块,

Idx2 + {idx, %N/(N/2))x2 + (l- Idx, %N /(N / 4)%2))χ N /4 ; Idx2 + ((l - ldxx %N/(N/2))x2 + {ldxx %N / (N / 4) %2)) xN/4; W¾ =/^/NxN + ((l-/ x1 N/(N/2))x2 + (l-/^ N/(N/4) 2))xN/4; 其中, 表示用于指示所述第二目标图像子块在所述目标图像块中的 位置的第三指示信息, / 表示所述第二指示信息, N是根据所述目标图像 块的大小和所述目标图像子块的大小确定的。

38. 根据权利要求 36或 37所述的解码器, 其特征在于, 所述处理器具 体用于如果所述第二目标图像子块的运动信息为空, 则确定所述第一参考信 息为零运动信息。

39. 根据权利要求 36至 38中任一项所述的解码器, 其特征在于: 所述 处理器具体用于根据所述第一参考信息,对所述第一目标图像子块进行运动 补偿处理。

40. 根据权利要求 36至 39中任一项所述的解码器, 其特征在于: 所述 处理器具体用于对位于所述目标图像子块之间的边界附近的像素进行去块 效应滤波处理。

41. 根据权利要求 36至 40中任一项所述的解码器, 其特征在于: 所述 处理器具体用于从目标码流中, 获取第一指示信息, 其中, 所述第一指示信 息在所述目标码流中与跳过模式标志位或融合 MERGE模式标志位信息相 邻。

42. 根据权利要求 36至 41中任一项所述的解码器, 其特征在于: 所述 处理器具体用于根据所述增强层图像中位于预设位置的参考图像块是否使 用参考信息进行解码, 确定上下文;

用于根据所述上下文, 进行熵解码, 以确定所述第一指示信息。

43. 一种用于图像处理的方法, 其特征在于, 所述方法包括: 当确定与目标图像块的第一目标图像子块相对应的第一基本层图像子 块的运动信息为空时, 根据所述第一基本层图像子块的重建像素, 确定用于 对所述第一目标图像子块进行编码的第二参考信息, 其中, 所述第一基本层 图像子块是位于基本层图像中的图像块, 所述目标图像块位于增强层图像 中, 所述的基本层图像与所述增强层图像相对应, 且所述第一基本图像块子 块在所述基本层图像中的空间位置与所述第一目标图像子块在所述增强层 图像中的空间位置相对应;

对所述目标图像块进行编码, 以生成目标码流以及包含于所述目标码流 中的第四指示信息。

44. 根据权利要求 43所述的方法, 其特征在于: 所述对所述目标图像 块进行编码包括:

对位于所述目标图像子块之间的边界附近的像素进行去块效应滤波处 理。

45. 根据权利要求 43或 44所述的方法, 其特征在于: 所述对所述目标 图像块进行编码包括:

对所述第四指示信息进行熵编码, 以使所述第四指示信息在所述目标码 流中与跳过模式标志位或融合 MERGE模式标志位信息相邻。

46. 根据权利要求 43至 45中任一项所述的方法, 其特征在于: 所述对 所述目标图像块进行编码包括:

根据所述增强层图像中位于预设位置的参考图像块是否使用参考信息 进行编码, 确定上下文;

根据所述上下文, 对所述第四指示信息进行熵编码。

47. —种用于图像处理的方法, 其特征在于, 所述方法包括: 从目标码流中, 获取第四指示信息;

当确定与目标图像块的第一目标图像子块相对应的第一基本层图像子 块的运动信息为空时, 基于所述第四指示信息, 根据所述第一基本层图像子 块的重建像素, 确定用于对所述第一目标图像子块进行编码的第二参考信 息, 其中, 所述第一基本层图像子块是位于基本层图像中的图像块, 所述目 标图像块位于增强层图像中, 所述的基本层图像与所述增强层图像相对应, 且所述第一基本图像块子块在所述基本层图像中的空间位置与所述第一目 标图像子块在所述增强层图像中的空间位置相对应;

对所述目标码流进行解码, 以获取所述目标图像块。

48. 根据权利要求 47所述的方法, 其特征在于: 所述对所述目标码流 进行解码包括:

对位于所述目标图像子块之间的边界附近的像素进行去块效应滤波处 理。

49. 根据权利要求 47或 48所述的方法, 其特征在于: 所述从目标码流 中, 获取第四指示信息, 包括:

从目标码流中, 获取第四指示信息, 其中, 所述第四指示信息在所述目 标码流中与跳过模式标志位或融合 MERGE模式标志位信息相邻。

50. 根据权利要求 47至 48中任一项所述的方法, 其特征在于: 所述从 目标码流中, 获取第四指示信息, 包括:

根据所述增强层图像中位于预设位置的参考图像块是否使用参考信息 进行解码, 确定上下文;

根据所述上下文, 进行熵解码, 以确定所述第四指示信息。

51. 一种用于图像处理的装置, 其特征在于, 所述装置包括: 获取单元, 用于当确定与目标图像块的第一目标图像子块相对应的第一 基本层图像子块的运动信息为空时,根据所述第一基本层图像子块的重建像 素, 确定用于对所述第一目标图像子块进行编码的第二参考信息, 其中, 所 述第一基本层图像子块是位于基本层图像中的图像块, 所述目标图像块位于 增强层图像中, 所述的基本层图像与所述增强层图像相对应, 且所述第一基 本图像块子块在所述基本层图像中的空间位置与所述第一目标图像子块在 所述增强层图像中的空间位置相对应;

编码单元, 用于对所述目标图像块进行编码, 以生成目标码流以及包含 于所述目标码流中的第四指示信息。

52. 根据权利要求 51所述的装置, 其特征在于: 所述编码单元具体用 于对位于所述目标图像子块之间的边界附近的像素进行去块效应滤波处理。

53. 根据权利要求 51或 52所述的装置, 其特征在于: 所述编码单元具 体用于对所述第四指示信息进行熵编码, 以使所述第四指示信息在所述目标 码流中与跳过模式标志位或融合 MERGE模式标志位信息相邻。

54. 根据权利要求 51至 53中任一项所述的装置, 其特征在于: 所述编 码单元具体用于根据所述增强层图像中位于预设位置的参考图像块是否使 用参考信息进行编码, 确定上下文;

用于根据所述上下文, 对所述第四指示信息进行熵编码。

55. 一种用于图像处理的装置, 其特征在于, 所述装置包括: 解码单元, 用于从目标码流中, 获取第四指示信息;

获取单元, 用于当确定与目标图像块的第一目标图像子块相对应的第一 基本层图像子块的运动信息为空时, 基于所述解码单元获取的第四指示信 息, 根据所述第一基本层图像子块的重建像素, 确定用于对所述第一目标图 像子块进行编码的第二参考信息, 其中, 所述第一基本层图像子块是位于基 本层图像中的图像块, 所述目标图像块位于增强层图像中, 所述的基本层图 像与所述增强层图像相对应,且所述第一基本图像块子块在所述基本层图像 中的空间位置与所述第一目标图像子块在所述增强层图像中的空间位置相 对应;

所述编码单元还用于对所述目标码流进行解码, 以获取所述目标图像 块。

56. 根据权利要求 55所述的装置, 其特征在于: 所述解码单元具体用 于对位于所述目标图像子块之间的边界附近的像素进行去块效应滤波处理。

57. 根据权利要求 55或 56所述的装置, 其特征在于: 所述解码单元具 体用于从目标码流中, 获取第四指示信息, 其中, 所述第四指示信息在所述 目标码流中与跳过模式标志位或融合 MERGE模式标志位信息相邻。

58. 根据权利要求 55至 57中任一项所述的装置, 其特征在于: 所述解 码单元具体用于根据所述增强层图像中位于预设位置的参考图像块是否使 用参考信息进行解码, 确定上下文;

用于根据所述上下文, 进行熵解码, 以确定所述第四指示信息。

59. 一种用于图像处理的编码器, 其特征在于, 所述编码器包括: 总线;

与所述总线相连的处理器;

与所述总线相连的存储器; 其中, 所述处理器通过所述总线, 调用所述存储器中存储的程序, 以用 于当确定与目标图像块的第一目标图像子块相对应的第一基本层图像子块 的运动信息为空时, 根据所述第一基本层图像子块的重建像素, 确定用于对 所述第一目标图像子块进行编码的第二参考信息, 其中, 所述第一基本层图 像子块是位于基本层图像中的图像块, 所述目标图像块位于增强层图像中, 所述的基本层图像与所述增强层图像相对应,且所述第一基本图像块子块在 所述基本层图像中的空间位置与所述第一目标图像子块在所述增强层图像 中的空间位置相对应;

对所述目标图像块进行编码, 以生成目标码流以及包含于所述目标码流 中的第四指示信息。

60. 根据权利要求 59所述的编码器, 其特征在于: 所述处理器具体用 对位于所述目标图像子块之间的边界附近的像素进行去块效应滤波处理。

61. 根据权利要求 59或 60所述的编码器, 其特征在于, 所述处理器具 体用于对所述第四指示信息进行熵编码, 以使所述第四指示信息在所述目标 码流中与跳过模式标志位或融合 MERGE模式标志位信息相邻。

62. 根据权利要求 59至 61中任一项所述的编码器, 其特征在于: 所述 处理器具体用于根据所述增强层图像中位于预设位置的参考图像块是否使 用参考信息进行编码, 确定上下文;

用于根据所述上下文, 对所述第四指示信息进行熵编码。

63. 一种用于图像处理的解码器, 其特征在于, 所述解码器包括: 总线;

与所述总线相连的处理器;

与所述总线相连的存储器;

其中, 所述处理器通过所述总线, 调用所述存储器中存储的程序, 以用 于从目标码流中, 获取第四指示信息;

用于当确定与目标图像块的第一目标图像子块相对应的第一基本层图 像子块的运动信息为空时, 基于所述第四指示信息, 根据所述第一基本层图 像子块的重建像素,确定用于对所述第一目标图像子块进行编码的第二参考 信息, 其中, 所述第一基本层图像子块是位于基本层图像中的图像块, 所述 目标图像块位于增强层图像中, 所述的基本层图像与所述增强层图像相对 应,且所述第一基本图像块子块在所述基本层图像中的空间位置与所述第一 目标图像子块在所述增强层图像中的空间位置相对应;

用于对所述目标码流进行解码, 以获取所述目标图像块。

64. 根据权利要求 63所述的解码器, 其特征在于: 所述处理器具体用 于对位于所述目标图像子块之间的边界附近的像素进行去块效应滤波处理。

65. 根据权利要求 63或 64所述的解码器, 其特征在于, 所述处理器具 体用于从目标码流中, 获取第四指示信息, 其中, 所述第四指示信息在所述 目标码流中与跳过模式标志位或融合 MERGE模式标志位信息相邻。

66. 根据权利要求 63至 65中任一项所述的解码器, 其特征在于: 所述 处理器具体用于根据所述增强层图像中位于预设位置的参考图像块是否使 用参考信息进行解码, 确定上下文;

用于根据所述上下文, 进行熵解码, 以确定所述第四指示信息。

Description:
用于图像处理的方法、 装置、 编码器和解码器 本申请要求于 2012 年 9 月 29 日提交中国专利局、 申请号为 201210375019.5、 发明名称为"用于图像处理的方法、 装置编码器和解码器" 的中国专利申请的优先权, 其全部内容通过引用结合在本申请中。 技术领域

本发明涉及视频处理领域, 并且更具体地, 涉及一种用于图像处理的方 法、 装置、 编码器和解码器。 背景技术

随着互联网的迅猛发展以及人们物质精神文化 的日益丰富,在互联网中 针对视频的应用需求尤其是针对高清视频的应 用需求越来越多, 而高清视频 的数据量非常大, 要想高清视频能在带宽有限的互联网中传输, 必须首先解 决的问题就是高清视频压缩编码问题。

在网络环境里 (比如互联网), 由于网络带宽是有限的, 终端设备以及 用户的需求都是不同的, 所以为了某种特定的应用而一次压缩的码流并 不是 令人满意和有效的, 对一些特定的用户或设备而言, 甚至是没有意义的。 解 决这个问题的一个有效的方法就是利用可伸缩 视频编码( SVC, scalable video coding )技术。 可伸缩编码又称作分层编码。 在该 SVC技术中, 根据包括空 间分辨率、 时间分辨率或者信噪比强度等在内的质量参数 , 对图像进行分层 编码。 例如, 在空间可伸缩编码时, 可以将图像进行降分辨率处理得到低分 辨率图像,作为对比将原图像称作高分辨率图 像,编码器分别对该低质量(例 如, 低分辨率) 图像以及该高质量(例如, 高分辨率) 图像进行编码, 得到 高质量图像编码信息与低质量图像编码信息。 在该 SVC技术中, 根据包括 空间分辨率、 时间分辨率或者信噪比强度等在内的质量参数 , 将一个图像分 为多个图像层。 SVC的目标就是让高质量图像层尽量充分的利用 低质量图像 层的信息, 提高层间预测的效率, 使得编码质量高的图像的时候能够效率更 高。

为了提高层间预测效率, 在现有技术中, 如果在低质量层图像中与高质 量层图像的图像块对应的所有图像块中有至少 一个图像块使用帧间预测模 式, 则直接使用适当缩放后的低质量层图像的图像 块的运动信息作为高质量 层图像中相应图像块的运动信息, 但是, 例如, 在低质量层图像中有一个或 多个子块(对应子块)采用帧内模式(即, 该对应子块的运动信息为空)编 码的情况下, 高质量层图像块中的子块无法从低质量层图像 中的对应子块中 获取运动信息。 该情况下, 会按照给定方法构造得到该子块的运动信息。 然 而, 这些推导得到的运动信息并不准确, 从而会影响对该子块的编码性能, 并进一步影响整个高质量层图像的编码效率。

因此, 希望提供一种方法, 能够提高对于高质量层图像的目标图像块中 不能从低质量层图像中的对应子块获得运动信 息的子块的编码性能。 发明内容

本发明实施例提供一种用于图像处理的方法和 装置, 能够提高对于增强 层图像的目标图像块中不能从基本层图像包括 的对应子块获得运动信息的 子块的编码性能。

第一方面, 提供了一种用于图像处理的方法, 该方法包括: 当确定与目 标图像块的第一目标图像子块相对应的第一基 本层图像子块的运动信息为 空时, 根据该目标图像块的大小、 该目标图像块包括的每个目标图像子块的 大小和用于指示第一目标图像子块在该目标图 像块中的位置的第二指示信 息, 确定第二目标图像子块; 根据该第二目标图像子块的运动信息, 确定用 于对该第一目标图像子块进行编码的第一参考 信息, 其中, 该第一基本层图 像子块是位于基本层图像中的图像块, 该目标图像块位于增强层图像中, 该 的基本层图像与该增强层图像相对应,且该第 一基本图像块子块在该基本层 图像中的空间位置与该第一目标图像子块在该 增强层图像中的空间位置相 对应; 对该目标图像块进行编码, 以生成目标码流以及包含于该目标码流中 的第一指示信息。

在一种可能的实施方式中, 该根据目标图像块的大小、 该目标图像块包 括的目标图像子块的大小和用于指示第一目标 图像子块在该目标图像块中 的位置的第二指示信息,确定第二目标图像子 块, 包括:根据以下任一公式, 确定该第二目标图像子块,

Idx 2 + {idx, %N / (N / 2)) x 2 + (l - Idx, %N / (N / 4) %2)) χ N / 4 ;

Idx 2 + ((l - ldx x %N / (N / 2)) x 2 + {ldx x %N / (N / 4) %2)) x N / 4 ; Idx 2 = Idx N x N + ((l - ldx x %N / (N / 2))x 2 + (l - ldx x %N / (N / 4) %2)) x N / 4 ; 其中, 表示用于指示该第二目标图像子块在该目标图 像块中的位置 的第三指示信息, / 表示该第二指示信息, N是根据该目标图像块的大小 和该目标图像子块的大小确定的。

结合第一方面和第一种可能的实施方式, 在第二种可能的实施方式中, 该根据该第二目标图像子块的运动信息,确定 用于对该第一目标图像子块进 行编码的第一参考信息, 包括: 如果该第二目标图像子块的运动信息为空, 则确定该第一参考信息为零运动信息。

结合第一方面、 第一种可能的实施方式和第二种可能的实施方 式, 在第 三种可能的实施方式中, 该对该目标图像块进行编码包括: 根据该第一参考 信息, 对该第一目标图像子块进行运动补偿处理。

结合第一方面、 第一种可能的实施方式、 第二种可能的实施方式和第三 种可能的实施方式, 在第四种可能的实施方式中, 该根据该参考信息, 对该 目标图像块进行编码, 包括: 对位于该目标图像子块之间的边界附近的像素 进行去块效应滤波处理。

结合第一方面、 第一种可能的实施方式、 第二种可能的实施方式、 第三 种可能的实施方式和第四种可能的实施方式, 在第五种可能的实施方式中, 该根据该参考信息, 对该目标图像块进行编码, 包括: 对该第一指示信息进 行熵编码, 以使该第一指示信息在该目标码流中与跳过模 式标志位或融合 MERGE模式标志位信息相邻。

结合第一方面、 第一种可能的实施方式、 第二种可能的实施方式、 第三 种可能的实施方式、 第四种可能的实施方式和第五种可能的实施方 式, 在第 六种可能的实施方式中, 该根据该参考信息, 对该目标图像块进行编码, 包 括: 根据该增强层图像中位于预设位置的参考图像 块是否使用参考信息进行 编码, 确定上下文; 根据该上下文, 对该第一指示信息进行熵编码。

第二方面, 提供了一种用于图像处理的方法, 该方法包括: 从目标码流 中, 获取第一指示信息; 当与目标图像块的第一目标图像子块相对应的 第一 基本层图像子块的运动信息为空时, 基于该第一指示信息, 根据该目标图像 块的大小、该目标图像块包括的每个目标图像 子块的大小和用于指示第一目 标图像子块在该目标图像块中的位置的第二指 示信息,确定第二目标图像子 块; 根据该第二目标图像子块的运动信息, 确定用于对该第一目标图像子块 进行解码的第一参考信息, 其中, 该第一基本层图像子块是位于基本层图像 中的图像块, 该目标图像块位于增强层图像中, 该的基本层图像与该增强层 图像相对应,且该第一基本图像块子块在该基 本层图像中的空间位置与该第 一目标图像子块在该增强层图像中的空间位置 相对应; 对该目标码流进行解 码, 以获取该目标图像块。

在一种可能的实施方式中, 该根据目标图像块的大小、 该目标图像块包 括的目标图像子块的大小和用于指示第一目标 图像子块在该目标图像块中 的位置的第二指示信息,确定第二目标图像子 块, 包括:根据以下任一公式, 确定该第二目标图像子块,

Idx 2 / 2)) χ 2 + (l - Idx l %N / (N / 4) %2)) x N / 4;

Idx 2 (N/2))x2 + (ldx x %N / (N / 4) %2)) xN/4; W¾ =/^/NxN + ((l-/ x 1 N/(N/2))x2 + (l-/^ N/(N/4) 2))xN/4; 其中, 表示用于指示该第二目标图像子块在该目标图 像块中的位置 的第三指示信息, / 表示该第二指示信息, N是根据该目标图像块的大小 和该目标图像子块的大小确定的。

结合第二方面和第一种可能的实施方式, 在第二种可能的实施方式中, 该根据该第二目标图像子块的运动信息,确定 用于对该第一目标图像子块进 行编码的第一参考信息, 包括: 如果该第二目标图像子块的运动信息为空, 则确定该第一参考信息为零运动信息。

结合第二方面、 第一种可能的实施方式和第二种可能的实施方 式, 在第 三种可能的实施方式中, 该对该目标码流进行解码包括: 根据该第一参考信 息, 对该第一目标图像子块进行运动补偿处理。

结合第二方面、 第一种可能的实施方式、 第二种可能的实施方式和第三 种可能的实施方式, 在第四种可能的实施方式中, 该根据该参考信息, 对该 目标图像块进行解码, 包括: 对位于该目标图像子块之间的边界附近的像素 进行去块效应滤波处理。

结合第二方面、 第一种可能的实施方式、 第二种可能的实施方式、 第三 种可能的实施方式和第四种可能的实施方式, 在第五种可能的实施方式中, 该从目标码流中, 获取第一指示信息, 包括: 从目标码流中, 获取第一指示 信息, 其中, 该第一指示信息在该目标码流中与跳过模式标 志位或融合

MERGE模式标志位信息相邻。 结合第二方面、 第一种可能的实施方式、 第二种可能的实施方式、 第三 种可能的实施方式、 第四种可能的实施方式和第五种可能的实施方 式, 在第 六种可能的实施方式中, 该从目标码流中, 获取第一指示信息, 包括: 根据 该增强层图像中位于预设位置的参考图像块是 否使用参考信息进行解码,确 定上下文; 根据该上下文, 进行熵解码, 以确定该第一指示信息。

第三方面, 提供了一种用于图像处理的装置, 该装置包括: 获取单元, 用于当确定与目标图像块的第一目标图像子块 相对应的第一基本层图像子 块的运动信息为空时, 根据该目标图像块的大小、 该目标图像块包括的每个 目标图像子块的大小和用于指示第一目标图像 子块在该目标图像块中的位 置的第二指示信息, 确定第二目标图像子块; 用于根据该第二目标图像子块 的运动信息, 确定用于对该第一目标图像子块进行编码的第 一参考信息, 其 中, 该第一基本层图像子块是位于基本层图像中的 图像块, 该目标图像块位 于增强层图像中, 该的基本层图像与该增强层图像相对应, 且该第一基本图 像块子块在该基本层图像中的空间位置与该第 一目标图像子块在该增强层 图像中的空间位置相对应; 编码单元, 对该目标图像块进行编码, 以生成目 标码流以及包含于该目标码流中的第一指示信 息。

在一种可能的实施方式中, 该获取单元具体用于根据以下任一公式, 确 定该第二目标图像子块,

Idx 2 %N / (N / 2)) χ 2 + (1 - Idx, %N /(N/4) <¾2)) xN/4; Idx 2 dx x %N/(N/2))x2 + (ldx x %N / (N / 4) %2)) xN/4;

W¾ =/^/NxN + ((l-/ x 1 N/(N/2))x2 + (l-/^ N/(N/4) 2))xN/4; 其中, 表示用于指示该第二目标图像子块在该目标图 像块中的位置 的第三指示信息, / 表示该第二指示信息, N是根据该目标图像块的大小 和该目标图像子块的大小确定的。

结合第三方面和第一种可能的实施方式, 在第二种可能的实施方式中, 该获取单元具体用于如果该第二目标图像子块 的运动信息为空, 则确定该第 一参考信息为零运动信息。

结合第三方面、 第一种可能的实施方式和第二种可能的实施方 式, 在第 三种可能的实施方式中, 该编码单元具体用于根据该第一参考信息, 对该第 一目标图像子块进行运动补偿处理。

结合第三方面、 第一种可能的实施方式、 第二种可能的实施方式和第三 种可能的实施方式, 在第四种可能的实施方式中, 该编码单元还用于对位于 该目标图像子块之间的边界附近的像素进行去 块效应滤波处理。

结合第三方面、 第一种可能的实施方式、 第二种可能的实施方式、 第三 种可能的实施方式和第四种可能的实施方式, 在第五种可能的实施方式中, 该编码单元具体用于对该第一指示信息进行熵 编码, 以使该第一指示信息在 该目标码流中与跳过模式标志位或融合 MERGE模式标志位信息相邻。

结合第三方面、 第一种可能的实施方式、 第二种可能的实施方式、 第三 种可能的实施方式、 第四种可能的实施方式和第五种可能的实施方 式, 在第 六种可能的实施方式中, 该编码单元具体用于根据该增强层图像中位于 预设 位置的参考图像块是否使用参考信息进行编码 , 确定上下文; 用于根据该上 下文, 对该第一指示信息进行熵编码。

第四方面, 提供了一种图像处理的装置, 该装置包括: 解码单元, 用于 从目标码流中, 获取第一指示信息; 获取单元, 用于当与目标图像块的第一 目标图像子块相对应的第一基本层图像子块的 运动信息为空时,基于该解码 单元获取的该第一指示信息, 根据该目标图像块的大小、 该目标图像块包括 的每个目标图像子块的大小和用于指示第一目 标图像子块在该目标图像块 中的位置的第二指示信息, 确定第二目标图像子块; 用于根据该第二目标图 像子块的运动信息,确定用于对该第一目标图 像子块进行解码的第一参考信 息, 其中, 该第一基本层图像子块是位于基本层图像中的 图像块, 该目标图 像块位于增强层图像中, 该的基本层图像与该增强层图像相对应, 且该第一 基本图像块子块在该基本层图像中的空间位置 与该第一目标图像子块在该 增强层图像中的空间位置相对应; 该解码单元还用于对该目标码流进行解 码, 以获取该目标图像块。

在一种可能的实施方式中, 该获取单元具体用于根据以下任一公式, 确 定该第二目标图像子块,

Idx 2 + idx, %N/(N/2))x2 + (l- Idx l %N /(N / 4)%2))χ N /4 ; Idx 2 + ((l - ldx x %N/(N/2))x2 + (ldx x %N / (N / 4) %2)) xN/4; W¾ =/^/NxN + ((l-/ 1 %N/(N/2))x2 + (l-/^%N/(N/4)%2))xN/4; 其中, 表示用于指示该第二目标图像子块在该目标图 像块中的位置 的第三指示信息, /^表示该第二指示信息, N是根据该目标图像块的大小 和该目标图像子块的大小确定的。 结合第四方面和第一种可能的实施方式, 在第二种可能的实施方式中, 该获取单元具体用于如果该第二目标图像子块 的运动信息为空, 则确定该第 一参考信息为零运动信息。

结合第四方面、 第一种可能的实施方式和第二种可能的实施方 式, 在第 三种可能的实施方式中, 该解码单元具体用于根据该第一参考信息, 对该第 一目标图像子块进行运动补偿处理。

结合第四方面、 第一种可能的实施方式、 第二种可能的实施方式和第三 种可能的实施方式, 在第四种可能的实施方式中, 该解码单元还用于对位于 该目标图像子块之间的边界附近的像素进行去 块效应滤波处理。

结合第四方面、 第一种可能的实施方式、 第二种可能的实施方式、 第三 种可能的实施方式和第四种可能的实施方式, 在第五种可能的实施方式中, 该解码单元具体用于从目标码流中, 获取第一指示信息, 其中, 该第一指示 信息在该目标码流中与跳过模式标志位或融合 MERGE模式标志位信息相 邻。

结合第四方面、 第一种可能的实施方式、 第二种可能的实施方式、 第三 种可能的实施方式、 第四种可能的实施方式和第五种可能的实施方 式, 在第 六种可能的实施方式中, 该解码单元具体用于根据该增强层图像中位于 预设 位置的参考图像块是否使用参考信息进行解码 , 确定上下文; 用于根据该上 下文, 进行熵解码, 以确定该第一指示信息。

第五方面, 提供了一种用于图像处理的编码器, 该编码器包括: 总线; 与该总线相连的处理器; 与该总线相连的存储器; 其中, 该处理器通过该总 线, 调用该存储器中存储的程序, 以用于当确定与目标图像块的第一目标图 像子块相对应的第一基本层图像子块的运动信 息为空时,根据该目标图像块 的大小、该目标图像块包括的每个目标图像子 块的大小和用于指示第一目标 图像子块在该目标图像块中的位置的第二指示 信息, 确定第二目标图像子 块; 用于根据该第二目标图像子块的运动信息, 确定用于对该第一目标图像 子块进行编码的第一参考信息, 其中, 该第一基本层图像子块是位于基本层 图像中的图像块, 该目标图像块位于增强层图像中, 该的基本层图像与该增 强层图像相对应,且该第一基本图像块子块在 该基本层图像中的空间位置与 该第一目标图像子块在该增强层图像中的空间 位置相对应; 用于对该目标图 像块进行编码, 以生成目标码流以及包含于该目标码流中的第 一指示信息。 在一种可能的实施方式中, 该处理器具体用于根据以下任一公式, 确定 该第二目标图像子块,

Idx 2 + idx, %N/(N/2))x2 + (l- Idx l %N /(N / 4)%2))χ N /4 ; Idx 2 + ((l - ldx x %N/(N/2))x2 + (ldx x %N / (N / 4) %2)) xN/4; W¾ =/^/NxN + ((l-/ x 1 N/(N/2))x2 + (l-/^ N/(N/4) 2))xN/4; 其中, 表示用于指示该第二目标图像子块在该目标图 像块中的位置 的第三指示信息, / 表示该第二指示信息, N是根据该目标图像块的大小 和该目标图像子块的大小确定的。

结合第五方面和第一种可能的实施方式, 在第二种可能的实施方式中, 该处理器具体用于如果该第二目标图像子块的 运动信息为空, 则确定该第一 参考信息为零运动信息。

结合第五方面、 第一种可能的实施方式和第二种可能的实施方 式, 在第 三种可能的实施方式中, 该处理器具体用于根据该第一参考信息, 对该第一 目标图像子块进行运动补偿处理。

结合第五方面、 第一种可能的实施方式、 第二种可能的实施方式和第三 种可能的实施方式, 在第四种可能的实施方式中, 该处理器具体用于对位于 该目标图像子块之间的边界附近的像素进行去 块效应滤波处理。

结合第五方面、 第一种可能的实施方式、 第二种可能的实施方式、 第三 种可能的实施方式和第四种可能的实施方式, 在第五种可能的实施方式中, 该处理器具体用于对该第一指示信息进行熵编 码, 以使该第一指示信息在该 目标码流中与跳过模式标志位或融合 MERGE模式标志位信息相邻。

结合第五方面、 第一种可能的实施方式、 第二种可能的实施方式、 第三 种可能的实施方式、 第四种可能的实施方式和第五种可能的实施方 式, 在第 六种可能的实施方式中, 该处理器具体用于根据该增强层图像中位于预 设位 置的参考图像块是否使用参考信息进行编码, 确定上下文; 用于根据该上下 文, 对该第一指示信息进行熵编码。

第六方面, 提供了一种用于图像处理的解码器, 该解码器包括: 总线; 与该总线相连的处理器; 与该总线相连的存储器; 其中, 该处理器通过该总 线,调用该存储器中存储的程序, 以用于从目标码流中,获取第一指示信息; 用于当与目标图像块的第一目标图像子块相对 应的第一基本层图像子块的 运动信息为空时, 基于该第一指示信息, 根据该目标图像块的大小、 该目标 图像块包括的每个目标图像子块的大小和用于 指示第一目标图像子块在该 目标图像块中的位置的第二指示信息, 确定第二目标图像子块; 用于根据该 第二目标图像子块的运动信息,确定用于对该 第一目标图像子块进行解码的 第一参考信息,其中,该第一基本层图像子块 是位于基本层图像中的图像块, 该目标图像块位于增强层图像中, 该的基本层图像与该增强层图像相对应, 且该第一基本图像块子块在该基本层图像中的 空间位置与该第一目标图像 子块在该增强层图像中的空间位置相对应; 用于对该目标码流进行解码, 以 获取该目标图像块。

在一种可能的实施方式中, 该处理器具体用于根据以下任一公式, 确定 该第二目标图像子块,

Idx 2 + {idx, %N/(N/2))x2 + (l- Idx, %N /(N / 4)%2))χ N /4 ; Idx 2 + ((l - ldx x %N/(N/2))x2 + (ldx x %N / (N / 4) %2)) xN/4; W¾ =/^/NxN + ((l-/ 1 %N/(N/2))x2 + (l-/^%N/(N/4)%2))xN/4; 其中, 表示用于指示该第二目标图像子块在该目标图 像块中的位置 的第三指示信息, /^表示该第二指示信息, N是根据该目标图像块的大小 和该目标图像子块的大小确定的。

结合第六方面和第一种可能的实施方式, 在第二种可能的实施方式中, 该处理器具体用于如果该第二目标图像子块的 运动信息为空, 则确定该第一 参考信息为零运动信息。

结合第六方面、 第一种可能的实施方式和第二种可能的实施方 式, 在第 三种可能的实施方式中, 该处理器具体用于根据该第一参考信息, 对该第一 目标图像子块进行运动补偿处理。

结合第六方面、 第一种可能的实施方式、 第二种可能的实施方式和第三 种可能的实施方式, 在第四种可能的实施方式中, 该处理器具体用于对位于 该目标图像子块之间的边界附近的像素进行去 块效应滤波处理。

结合第六方面、 第一种可能的实施方式、 第二种可能的实施方式、 第三 种可能的实施方式和第四种可能的实施方式, 在第五种可能的实施方式中, 该处理器具体用于从目标码流中, 获取第一指示信息, 其中, 该第一指示信 息在该目标码流中与跳过模式标志位或融合 MERGE模式标志位信息相邻。

结合第六方面、 第一种可能的实施方式、 第二种可能的实施方式、 第三 种可能的实施方式、 第四种可能的实施方式和第五种可能的实施方 式, 在第 六种可能的实施方式中, 该处理器具体用于根据该增强层图像中位于预 设位 置的参考图像块是否使用参考信息进行解码, 确定上下文; 用于根据该上下 文, 进行熵解码, 以确定该第一指示信息。

第七方面, 提供了一种用于图像处理的方法, 该方法包括: 当确定与目 标图像块的第一目标图像子块相对应的第一基 本层图像子块的运动信息为 空时, 根据该第一基本层图像子块的重建像素, 确定用于对该第一目标图像 子块进行编码的第二参考信息, 其中, 该第一基本层图像子块是位于基本层 图像中的图像块, 该目标图像块位于增强层图像中, 该的基本层图像与该增 强层图像相对应,且该第一基本图像块子块在 该基本层图像中的空间位置与 该第一目标图像子块在该增强层图像中的空间 位置相对应; 对该目标图像块 进行编码, 以生成目标码流以及包含于该目标码流中的第 四指示信息。

在一种可能的实施方式中, 该对该目标图像块进行编码包括: 对位于该 目标图像子块之间的边界附近的像素进行去块 效应滤波处理。

结合第七方面和第一种可能的实施方式, 在第二种可能的实施方式中, 该对该目标图像块进行编码包括: 对该第四指示信息进行熵编码, 以使该第 四指示信息在该目标码流中与跳过模式标志位 或融合 MERGE模式标志位信 息相邻。

结合第七方面、 第一种可能的实施方式和第二种可能的实施方 式, 该对 该目标图像块进行编码包括: 根据该增强层图像中位于预设位置的参考图像 块是否使用参考信息进行编码, 确定上下文; 根据该上下文, 对该第四指示 信息进行熵编码。

第八方面, 提供了一种用于图像处理的方法, 该方法包括: 从目标码流 中, 获取第四指示信息; 当确定与目标图像块的第一目标图像子块相对 应的 第一基本层图像子块的运动信息为空时, 基于该第四指示信息, 根据该第一 基本层图像子块的重建像素,确定用于对该第 一目标图像子块进行编码的第 二参考信息, 其中, 该第一基本层图像子块是位于基本层图像中的 图像块, 该目标图像块位于增强层图像中, 该的基本层图像与该增强层图像相对应, 且该第一基本图像块子块在该基本层图像中的 空间位置与该第一目标图像 子块在该增强层图像中的空间位置相对应; 对该目标码流进行解码, 以获取 该目标图像块。

在一种可能的实施方式中, 该对该目标码流进行解码包括: 对位于该目 标图像子块之间的边界附近的像素进行去块效 应滤波处理。

结合第八方面和第一种可能的实施方式, 在第二种可能的实施方式中, 该从目标码流中, 获取第四指示信息, 包括: 从目标码流中, 获取第四指示 信息, 其中, 该第四指示信息在该目标码流中与跳过模式标 志位或融合 MERGE模式标志位信息相邻。

结合第八方面、 第一种可能的实施方式和第二种可能的实施方 式, 在第 三种可能的实施方式中, 该从目标码流中, 获取第四指示信息, 包括: 根据 该增强层图像中位于预设位置的参考图像块是 否使用参考信息进行解码,确 定上下文; 根据该上下文, 进行熵解码, 以确定该第四指示信息。

第九方面, 提供了一种用于图像处理的装置, 该装置包括: 获取单元, 用于当确定与目标图像块的第一目标图像子块 相对应的第一基本层图像子 块的运动信息为空时, 根据该第一基本层图像子块的重建像素, 确定用于对 该第一目标图像子块进行编码的第二参考信息 , 其中, 该第一基本层图像子 块是位于基本层图像中的图像块, 该目标图像块位于增强层图像中, 该的基 本层图像与该增强层图像相对应,且该第一基 本图像块子块在该基本层图像 中的空间位置与该第一目标图像子块在该增强 层图像中的空间位置相对应; 编码单元, 用于对该目标图像块进行编码, 以生成目标码流以及包含于该目 标码流中的第四指示信息。

在一种可能的实施方式中,该编码单元具体用 于对位于该目标图像子块 之间的边界附近的像素进行去块效应滤波处理 。

结合第九方面和第一种可能的实施方式, 在第二种可能的实施方式中, 该编码单元具体用于对该第四指示信息进行熵 编码, 以使该第四指示信息在 该目标码流中与跳过模式标志位或融合 MERGE模式标志位信息相邻。

结合第九方面、 第一种可能的实施方式和第二种可能的实施方 式, 在第 三种可能的实施方式中, 该编码单元具体用于根据该增强层图像中位于 预设 位置的参考图像块是否使用参考信息进行编码 , 确定上下文; 用于根据该上 下文, 对该第四指示信息进行熵编码。

第十方面, 提供了一种图像处理的装置, 该装置包括: 解码单元, 用于 从目标码流中, 获取第四指示信息; 获取单元, 用于当确定与目标图像块的 第一目标图像子块相对应的第一基本层图像子 块的运动信息为空时,基于该 解码单元获取的第四指示信息, 根据该第一基本层图像子块的重建像素, 确 定用于对该第一目标图像子块进行编码的第二 参考信息, 其中, 该第一基本 层图像子块是位于基本层图像中的图像块, 该目标图像块位于增强层图像 中, 该的基本层图像与该增强层图像相对应, 且该第一基本图像块子块在该 基本层图像中的空间位置与该第一目标图像子 块在该增强层图像中的空间 位置相对应; 该编码单元还用于对该目标码流进行解码, 以获取该目标图像 块。

在一种可能的实施方式中,该解码单元具体用 于对位于该目标图像子块 之间的边界附近的像素进行去块效应滤波处理 。

结合第十方面和第一种可能的实施方式, 在第二种可能的实施方式中, 该解码单元具体用于从目标码流中, 获取第四指示信息, 其中, 该第四指示 信息在该目标码流中与跳过模式标志位或融合 MERGE模式标志位信息相 邻。

结合第十方面、 第一种可能的实施方式和第二种可能的实施方 式, 在第 三种可能的实施方式中, 该解码单元具体用于根据该增强层图像中位于 预设 位置的参考图像块是否使用参考信息进行解码 , 确定上下文; 用于根据该上 下文, 进行熵解码, 以确定该第四指示信息。

第十一方面,提供了一种用于图像处理的编码 器,该编码器包括: 总线; 与该总线相连的处理器; 与该总线相连的存储器; 其中, 该处理器通过该总 线, 调用该存储器中存储的程序, 以用于当确定与目标图像块的第一目标图 像子块相对应的第一基本层图像子块的运动信 息为空时,根据该第一基本层 图像子块的重建像素,确定用于对该第一目标 图像子块进行编码的第二参考 信息, 其中, 该第一基本层图像子块是位于基本层图像中的 图像块, 该目标 图像块位于增强层图像中, 该的基本层图像与该增强层图像相对应, 且该第 一基本图像块子块在该基本层图像中的空间位 置与该第一目标图像子块在 该增强层图像中的空间位置相对应; 对该目标图像块进行编码, 以生成目标 码流以及包含于该目标码流中的第四指示信息 。

在一种可能的实施方式中,该处理器具体用对 位于该目标图像子块之间 的边界附近的像素进行去块效应滤波处理。

结合第十一方面和第一种可能的实施方式, 在第二种可能的实施方式 中, 该处理器具体用于对该第四指示信息进行熵编 码, 以使该第四指示信息 在该目标码流中与跳过模式标志位或融合 MERGE模式标志位信息相邻。 结合第十一方面、 第一种可能的实施方式和第二种可能的实施方 式, 在 第三种可能的实施方式中, 该处理器具体用于根据该增强层图像中位于预 设 位置的参考图像块是否使用参考信息进行编码 , 确定上下文; 用于根据该上 下文, 对该第四指示信息进行熵编码。

第十二方面,提供了一种用于图像处理的解码 器,该解码器包括: 总线; 与该总线相连的处理器; 与该总线相连的存储器; 其中, 该处理器通过该总 线,调用该存储器中存储的程序, 以用于从目标码流中,获取第四指示信息; 用于当确定与目标图像块的第一目标图像子块 相对应的第一基本层图像子 块的运动信息为空时, 基于该第四指示信息, 根据该第一基本层图像子块的 重建像素,确定用于对该第一目标图像子块进 行编码的第二参考信息,其中, 该第一基本层图像子块是位于基本层图像中的 图像块, 该目标图像块位于增 强层图像中, 该的基本层图像与该增强层图像相对应, 且该第一基本图像块 子块在该基本层图像中的空间位置与该第一目 标图像子块在该增强层图像 中的空间位置相对应; 用于对该目标码流进行解码, 以获取该目标图像块。

在一种可能的实施方式中,该处理器具体用于 对位于该目标图像子块之 间的边界附近的像素进行去块效应滤波处理。

结合第十二方面和第一种可能的实施方式, 在第二种可能的实施方式 中, 该处理器具体用于从目标码流中, 获取第四指示信息, 其中, 该第四指 示信息在该目标码流中与跳过模式标志位或融 合 MERGE模式标志位信息相 邻。

结合第十二方面、该处理器具体用于根据该增 强层图像中位于预设位置 的参考图像块是否使用参考信息进行解码,确 定上下文;用于根据该上下文, 进行熵解码, 以确定该第四指示信息。

根据本发明实施例的用于图像处理的方法和装 置,对于增强层图像的目 标图像块中不能从基本层图像包括的对应子块 获得运动信息的第一目标图 像子块, 通过根据所述第一目标图像子块的位置确定第 二目标图像子块, 并 根据该第二目标图像子块的运动信息或在空间 位置上与该第一目标图像子 块相对应的第一基本层图像子块的重建像素, 确定针对该第一目标图像子块 的参考信息, 并根据该参考信息进行编码, 能够提高该第一目标图像子块的 编码性能。 附图说明

为了更清楚地说明本发明实施例的技术方案, 下面将对本发明实施例中 所需要使用的附图作筒单地介绍, 显而易见地, 下面所描述的附图仅仅是本 发明的一些实施例, 对于本领域普通技术人员来讲, 在不付出创造性劳动的 前提下, 还可以根据这些附图获得其他的附图。

图 1是根据本发明一实施例的用于图像处理的方 的示意性流程图。 图 2是根据本发明一实施例的子块划分与子块索 的示意图.

图 3是根据本发明另一实施例的用于图像处理的 法的意性流程图。 图 4是根据本发明一实施例的用于图像处理的装 的示意性框图。

图 5是根据本发明另一实施例的用于图像处理的 置的示意性框图。 图 6是根据本发明一实施例的用于图像处理的编 器的示意性框图。 图 7是根据本发明另一实施例的用于图像处理的 码器的示意性框图。 图 8是根据本发明再一实施例的用于图像处理的 法的示意性流程图 图 9是根据本发明再一实施例的用于图像处理的 法的示意性流程图 图 10是根据本发明再一实施例的用于图像处理的 置的示意性框图。 图 11是根据本发明再一实施例的用于图像处理的 置的示意性框图。 图 12是根据本发明再一实施例的用于图像处理的 码器的示意性框图。 图 13是根据本发明再一实施例的用于图像处理的 码器的示意性框图。 具体实施方式

下面将结合本发明实施例中的附图,对本发明 实施例中的技术方案进行 清楚、 完整地描述, 显然, 所描述的实施例是本发明一部分实施例, 而不是 全部的实施例。 基于本发明中的实施例, 本领域普通技术人员在没有作出创 造性劳动前提下所获得的所有其他实施例, 都属于本发明保护的范围。

图 1示出了从编码端角度描述的根据本发明实施 的用于图像处理的方 法 100的示意性流程图。 如图 1所示, 该方法 100包括:

S110, 当确定与目标图像块的第一目标图像子块相对 应的第一基本层图 像子块的运动信息为空时, 根据该目标图像块的大小、 该目标图像块包括的 每个目标图像子块的大小和用于指示第一目标 图像子块在该目标图像块中 的位置的第二指示信息, 确定第二目标图像子块;

S120, 根据该第二目标图像子块的运动信息, 确定用于对该第一目标图 像子块进行编码的第一参考信息, 其中, 该第一基本层图像子块是位于基本 层图像中的图像块, 该目标图像块位于增强层图像中, 该的基本层图像与该 增强层图像相对应,且该第一基本图像块子块 在该基本层图像中的空间位置 与该第一目标图像子块在该增强层图像中的空 间位置相对应;

S130, 对该目标图像块进行编码, 以生成目标码流以及包含于该目标码 流中的第一指示信息。

具体地说, 在对图像进行分层编码, 例如, 在空间可伸缩编码时, 可以 将图像进行将分辨率处理得到低分辨率图像, 作为对比将原图像称作高分辨 率图像, 编码器分别对该低分辨率图像以及该高分辨率 图像进行编码。 为方 便描述, 本文中将质量高的待编码图像称作增强层图像 , 将对应的质量低的 待编码图像(例如所述低分辨率图像)称作基 本层图像。

在本发明实施例中, 目标图像是使用分层编码技术进行处理的图像 , 基 本层是指分层编码中的质量(包括帧速率、 空间分辨率、 时间分辨率、 信噪 比强度或质量等级等参数)较低的层, 增强层是指分层编码中的质量(包括 帧速率、 空间分辨率、 时间分辨率、 信噪比强度或质量等级等参数)较高的 层。 需要说明的是, 在本发明实施例中, 在本发明实施例中, 对于一个给定 的增强层, 与其相对应的基本层可以为质量低于该增强层 的任一层, 例如, 如果当前存在五层, 编码质量依次提高 (即, 第一层质量最低, 第五层质量 最高), 如果增强层为第四层, 则基本层可以是第一层, 也可以是第二层、 也可以是第三层、 也可以是第四层。 同理, 对于一个给定的基本层, 与其相 对应的增强层可以为质量低于该基本层的任一 层。

增强层图像为当前处理的增强层中的图像,基 本层图像为基本层中与增 强层图像在同一时刻的图像。

综上所述, 在本发明实施例中, 该基本层图像的质量低于该增强层图像 的质量。

目标图像块为该增强层图像中正在处理的图像 块。

基本层图像块为基本层图像中与该目标图像块 在空间位置上存在对应 关系的图像块。

在本发明实施例中,基本层中的图像块与增强 层中的图像块的对应关系 可以根据基本层图像与增强层图像之间的分辨 率比例关系计算得到。 例如, 在包括 X方向和 y方向的系统内,如果增强层图像在 X方向与 y方向的分辨 率分别 本层图像的 2倍,则对于增强层中左上角的像素坐标为(2x , 2y) 且大小为(2m) X (2n)的图像块, 其基本层图像中的对应块可以是左上角 的像素坐标为 (X, y)且大小为 mxn的图像块。

在本发明实施例中, 后述子块是指目标图像块的子块(增强层内的 图像 块), 后述对应子块是指该子块的在基本层中对应的 图像块。

在本发明实施例中, 运动信息可以包括预测方向、 参考图像索引或运动 矢量中的一个或多个, 其中, 预测方向可分为单向和双向预测, 单向预测又 可以分为前向预测与后向预测, 前向预测指使用前向参考图像列表, 即列表 (list) 0中的参考图像产生预测信号, 后向预测指使用后向参考图像列表, 即 list 1中的参考图像产生预测信号, 双向预测指同时使用 list 0和 list 1中 的参考图像产生预测信号;对于单向预测,需 要一个参考图像索引指示在 list 0或 listl中所选择的参考图像, 对于双向预测, 需要两个参考图像索引, 分 别指示在 list 0与 list 1中所选择的参考图像; 每一个运动矢量包括水平方向 分量 X和竖直方向分量 y, 可记作(X, y ), 对于单向预测, 需要一个运动矢 量指示预测信号在所选择的 list 0或 list 1参考图像中的位移,对于双向预测, 需要两个运动矢量,分别指示前向预测信号与 后向预测信号在所选择的 listO 参考图像与 list 1参考图像中的位移。

在本发明实施例中, 目标图像块可以看作由至少两个子块(即, 目标图 像子块)构成的, 其中, 该子块的大小可以根据预设值确定, 为了便于说明, 以下, 以子块大小为 4x4为例进行说明。 例如, 如果目标图像块的大小为 16x 16, 则可以确定该目标图像块包括 16个子块(大小为 4x4)。 从而, 在 本发明实施例中,可以确定该目标图像块中的 每一个子块在基本层中的对应 子块(属于该对应图像块), 并确定该对应子块的运动信息。

在本发明实施例中, 可以根据子块中的某一像素点的坐标 (记作: u {E x ,E y ) n ), 确定该像素点在基本层图像中对应位置的坐标 (记作: u(B x ,B y y ), 并将包含所属对应的位置坐标的基本层中的图 像块作为所述对 应子 , 可以按照以下式 1和式 2计算得到 (^,^):

( E X D + R λ 其中, Ro m )表示截断小数部分的操作, 和 表示偏移量, 可以按 照以下式 3计算得到 R x , 按照以下式 4计算得到 R y

R X =T 5 (3)

R y = 2 s - 5 ( 4 )

其中, S是精度控制因子(例如, 在本发明实施例, 可以设置为 16), 可以按照以下式 5计算得到 D r , 按照以下式 6计算得到 D y

l^BaseWidth

D v = Round (5)

ScaledBase Width

T * BaseHeight

D = Round (6)

ScaledBaseHeight 其中, ^表示基本层图像的宽, BiweH gfe表示基本层图像的高, ScaledBaseWidth表示增强层图像的宽, 以及 ScaledBaseHeight表示增强层图像的 高。

从而, 可以确定该对应子块, 并且, 在该对应子块包括运动信息的情况 下, 可以直接使用该运动信息中的预测方向和参考 图像索引作为该子块(第 一目标图像子块) 的预测方向与参考图象索引。 可以根据以下式 7至式 10, 对该对应子块的运动矢量 )进行缩放, 并将缩放后的运动矢量作 为该子块(第一目标图像子块) 的运动矢量 (EMV x ,EMV^。

EMV x = (BMV x x ScaledBaseWidth + R BW )/ BaseWidth ( 7 )

EMV y = (BMV y x ScaledBaseHeight + R BH ) I BaseHeight ( 8 )

R BW = sgn(BMV x ) * BaseWidth 12 ( 9 )

R BH = sgn(BMV y ) * BaseHeight 12 ( 10)

其中, sgn(x)是符号函数, 可以获取 x的符号。

这里, 需要说明的是, 如果基本层图像与增强层图像的分辨率相同, 则 无需进行上述的缩放操作, 而可以直接使用对应子块的运动信息作为子块 的 运动信息。

通过以上方法, 可以确定目标图像块中能从基本层图像包括的 对应子块 获得运动信息的子块。

从而, 对于能够从基本层图像包括的对应子块获得运 动信息的子块, 可 以将其对应子块的运动信息

可选地, 在本发明实施例中, 该方法还包括: 根据所述基本层图像的编码模式,确定与第一 目标图像子块相对应的第 一基本层图像子块是否包括运动信息。

具体地说,在本发明实施例中,可以根据所述 基本层图像(对应图像块) 的编码模式确定该对应子块是否包含有运动信 息。 例如, 如果基本层图像使 用帧内预测编码模式, 则可以确定该对应子块不包含运动信息(即, 第一基 本层图像子块的运动信息为空)。

从而, 在该对应子块包括运动信息时, 可以按如上所述过程确定该对应 子块并获取其运动信息, 在该对应子块不包括运动信息时, 可以跳过以上流 程。

对于不能从基本层图像包括的对应子块获得运 动信息的子块(即, 第一 目标图像子块), S110, 可以通过以下方法 1 , 确定第二目标图像子块, 并 S120, 根据该第二目标图像子块的运动信息, 获取第一参考信息。

方法 1

可以为该目标图像子块填充运动信息,从而可 以以该填充的运动信息作 为参考信息。

下面, 详细说明本发明实施例中, 填充运动信息的方法。

具体地说, 不失一般性, 例如, 如果目标图像块的大小为 16 x 16, 子块 的大小为 4 x 4,在本发明实施例中,子块的索引分配方法可 与现有技术相 同, 这里, 省略其说明, 图 2所示了子块的划分与索引。

在本发明实施例中, 可以根据目标图像块的大小和子块的大小, 确定处 理层次, 并按处理层次逐层递推处理。 例如, 在本发明实施例中, 可以规定 最底层的层次(记作, 第一层) 中的每个处理单元(记作, 第一处理单元) 包括四个子块, 第一层的上一层次(记作第二层) 的每个处理单元(记作, 第二处理单元) 包括四个第一处理单元, 以此类推, 为了避免赘述, 省略递 推说明。 从而, 作为示例而非限定, 在图 2所示的目标图像块中, 可以包括 两个层次, 第一层中, 子块 0~子块 3构成了第一处理单元 0, 子块 4~子块 7 构成了第一处理单元 1 , 子块 8~子块 11构成了第一处理单元 2, 子块 12~子 块 15构成了第一处理单元 3。 第二层中, 第一处理单元 0~第一处理单元 3 构成了第二处理单元 0。应理解, 以上列举的层次划分方法仅为示例性说明, 本发明并不限定于此。

在本发明实施例中, 对于每一个第一处理单元, 可以按照子块的索引号 (例如, 从小到大)依次判定各子块的运动信息是否为 空, 如果该子块的运 动信息为空, 则可以基于该第一处理单元内与其相邻的子块 (第二目标图像 子块的一例)的运动信息确定其运动信息。 例如, 如果索引为 0的子块(即, 子块 0, 属于第一处理单元 0 ) 的运动信息为空, 可以获取属于同一个处理 单元(第一处理单元 0 ) 内其他子块的运动信息, 并将该运动信息作为该子 块 0的运动信息。 获取顺序可以为, 例如, 首先获取索引为 1的子块(子块 1 , 即, 第二目标图像子块的一例, 在水平方向上与子块 0相邻) 的运动信 息, 如果子块 1的运动信息为空, 则可以再获取索引为 2 (子块 2, 即, 第 二目标图像子块的另一例,在竖直方向上与子 块 0相邻)的子块的运动信息, 如果子块 2的运动信息为空, 则可以再获取索引为 3 (子块 3 , 即, 第二目 标图像子块的再一例, 在对角线方向上与子块 0相邻) 的子块的运动信息。 同理, 对于各运动信息为空的子块, 均可以通过以上方法对其运动信息进行 填充。 应理解, 以上列举的对运动信息为空的子块的运动信息 填充方法仅为 示例性说明, 本发明并不限定于此, 例如, 对于上述获取顺序, 也可以先获 取竖直方向上的规定子块(这里, 为相邻子块)的运动信息, 再获取水平方 向上的规定子块(这里, 为相邻子块)的运动信息, 再获取对角线方向上的 规定子块(这里, 为相邻子块)的运动信息。 即, 该获取顺序可以任意变更。

从而, 经上述在第一层内进行的处理, 对各第一处理单元内的各子块进 行上述处理后, 只要该第一处理单元内的四个子块中有至少一 个子块的运动 信息不为空, 就可以为该第一处理单元内所有运动信息为空 的子块填充(或 者说, 获得)运动信息。

需要说明的是, 对于已根据上述方法填充了运动信息的子块, 在后续处 理中需要使用该子块的运动信息时, 可以直接使用为该子块填充的运动信 息。 即, 第二目标图像子块的运动信息可以是指该第二 目标图像子块的基本 层对应子块的运动信息,也可以是根据本发明 实施例的填充运动信息的方法 为该第二目标图像子块填充的 (来自其他增强层子块的)运动信息。

因此, 当确定某一个子块(例如, 子块 0 ) 的对应子块不包括运动信息 时, 可以从第一层中与该子块 0处于同一第一处理单元(例如, 第一处理单 元 0 ) 的其他子块(例如, 子块 1~子块 3 )获取运动信息。 当与该子块(例 如, 子块 0 )处于同一第一处理单元(例如, 第一处理单元 0 ) 的其他子块 (第一层内的规定子块, 例如, 子块 1~子块 3 )的运动信息为空, 则可以获 取第二处理单元内的规定第一处理单元(例如 ,第一处理单元 1~第一处理单 元 3 ) 中规定子块(第二目标图像子块的另一例) 的运动信息, 并将该运动 信息作为该子块(例如, 子块 0 ) 的运动信息。

即, 如果一个第一处理单元(例如, 第一处理单元 0 ) 内的所有子块的 对应子块均为空, 则可以获取第二处理单元内的其他第一处理单 元(例如, 第一处理单元 1~第一处理单元 3 ) 内的规定子块(为了便于说明, 在本发明 以各第一处理单元左上角的子块为例进行说明 )的运动信息, 并将该运动信 息作为该第一处理单元(第一处理单元 0 ) 内各子块的运动信息。 获取顺序 可以为, 例如, 首先获取索引为 1的第一处理单元(第一处理单元 1 , 其在 水平方向上与第一处理单元 0相邻) 的左上角的子块(子块 4 , 即, 第二目 标图像子块的一例)的运动信息, 如果子块 4的运动信息为空, 则可以认为 该第一处理单元 1内其他子块的运动信息也为空, 从而可以再获取索引为 2 的第一处理单元(第一处理单元 2 ,其在竖直方向上与第一处理单元 0相邻) 的左上角的子块(子块 8 , 即, 第二目标图像子块的另一例) 的运动信息, 如果子块 8的运动信息为空, 则可以认为该第一处理单元 2内其他子块的运 动信息也为空,从而可以再获取索引为 3的第一处理单元(第一处理单元 3 , 其在对角线方向上与第一处理单元 0相邻) 的左上角的子块(子块 12 , 即, 第二目标图像子块的再一例)的运动信息。 同理, 对于各运动信息为空的第 一处理单元, 均可以通过以上方法对其运动信息进行填充。 应理解, 以上列 举的对运动信息为空的子块的运动信息填充方 法仅为示例性说明, 本发明并 不限定于此, 例如, 对于上述获取顺序, 也可以先获取竖直方向上的规定第 一处理单元(这里, 为相邻第一处理单元)的规定子块的运动信息 , 再获取 水平方向上的规定第一处理单元(这里, 为相邻第一处理单元)的规定子块 的运动信息, 再获取对角线方向上的规定第一处理单元(这 里, 为相邻第一 处理单元) 的规定子块的运动信息。 即, 该获取顺序可以任意变更。 并且, 作为上述 "规定子块" 并不限定于第一处理单元左上角的子块, 也可以是同 一第一处理单元内任意位置的子块。

需要说明的是, 由于上述列举的目标图像块的大小为 16 x 16 ,子块的大 小为 4 x 4 , 因此该目标图像块仅包括两层, 上述递归过程结束。但是目标图 像块的大小为更大, 例如, 32 x 32 , 而子块的大小为 4 x 4 , 则该目标图像块 包括三层, 可以按照与上述相同的方法继续进行递归操作 , 为当目标图像块 的所有子块获取运动信息。

可选地, 该根据目标图像块的大小、 该目标图像块包括的目标图像子块 的大小和用于指示第一目标图像子块在该目标 图像块中的位置的第二指示 信息, 确定第二目标图像子块, 包括:

根据以下任一公式, 确定该第二目标图像子块,

Idx 2 + {idx, %N/(N/2))x2 + (l- Idx, %N /(N / 4)%2))χ N /4 ; Idx 2 + ((l - ldx x %N/(N/2))x2 + {ldx x %N / (N / 4) %2)) xN/4; W¾ =/^/NxN + ((l-/ x 1 N/(N/2))x2 + (l-/^ N/(N/4) 2))xN/4; 其中, 表示用于指示该第二目标图像子块在该目标图 像块中的位置 的第三指示信息, /^表示该第二指示信息, N是根据该目标图像块的大小 和该目标图像子块的大小确定的。

其中, 表示用于指示该第二目标图像子块在该目标图 像块中的位置 的第三索引信息, /^表示该第二索引信息, %表示模运算或取余操作, N表 示该目标图像块包括的子块的数量。

具体地说, 根据上述各公式可以根据当前正在处理的子块 的索引, 确定 当前处理的层次内的第二目标图像子块,其中 Ν与当前正在处理的层次相对 应, 并且, Ν是根据目标图像块的大小和子块的大小确定 , 例如, 如果目 标图像块的大小为 16x 16, 子块的大小为 4x4, 则如上所述该目标图像块 包括两层, 在处理第一层时, Ν为该层中各处理单元(第一处理单元) 包括 的子块数量, 这里为 4。 在处理第二层时, Ν为该层中各处理单元(第二处 理单元) 包括的子块数量, 这里为 16。

以上, 列举了当上述 "规定子块" 为所述处理单元的左上角子块时, 所 使用的公式。 但本发明并不限定与此, 还可以根据 "规定子块" 所述处理单 元中的位置, 对上述公式进行变更。

可选地, 该根据该第二目标图像子块的运动信息, 确定该第一目标图像 子块的第一参考信息, 包括:

如果该第二目标图像子块的运动信息为空, 则确定该第一参考信息为零 运动信息。

具体地说, 如果经上述处理后, 不能为该子块填充运动信息, 则使用零 运动信息作为该子块的运动信息。 在本发明实施例中, 可以按照以下方法构 造零运动信息。 例如, 在预测编码图像帧 (P帧) 中, 零运动信息的预测方 向为单向预测, 参考图像索引为 0, 运动矢量(0, 0 )。 在双向预测编码图像 帧 (B帧) 中, 零运动信息的预测方向为双向预测, 两个参考图像索引均为 0, 两个运动矢量均为 (0, 0 )。

需要说明的是, 当目标图像块包括多个处理层次, 上述使用零运动信息 作为该子块的运动信息的方法, 可以在对最后一个层次进行处理后进行, 也 可以在对其他任一层次进行处理后进行, 本发明并未特别限定。 应理解, 以 上列举的获取子块的运动信息的方法仅为本发 明的示例性说明,本发明并不 限定于此, 例如, 在本发明是示例中, 还可以如上所述, 根据所述基本层图 像(对应图像块) 的编码模式确定该对应子块是否包含有运动信 息。 例如, 如果基本层图像使用帧内预测编码模式, 则可以确定该对应子块不包含运动 信息 (即, 第一基本层图像子块的运动信息为空)。 如果确定目标图像块的 所有子块中只有一个子块(具体地说, 是其对应子块)具有运动信息, 则可 以将该子块的运动信息作为其他子块的运动信 息。

由此, 通过上述方法, 可以确定第一目标图像子块的第一参考信息。 在 S130中, 在通过上述方法 1获取第一目标图像块(基本层中对应的 子块不包括运动信息) 的第一参考信息。

可选地, 该对该目标图像块进行编码, 包括:

根据该第一参考信息, 对该第一目标图像子块进行运动补偿处理。

具体地说, 还可以根据第一目标图像子块的参考信息(具 体地说是运动 信息), 对该第一目标图像子块进行编码(具体地说, 是运动补偿处理)。 具 体地说, 可以根据如上所述为该第一目标图像子块获取 或填充的运动信息, 对该第一目标图像子块进行独立的运动补偿处 理。

在本发明实施例中, 还可以获取第三目标图像块(基本层中对应的 子块 包括运动信息)的运动信息, 获取该第三目标图像块的运动信息的方法可以 与现有技术相同, 这里省略其说明。

从而, 在对目标图像块的所有子块进行运动补偿处理 后, 获取目标图像 块的预测信号后,可以对目标图像块进行预测 编码,从而计算出率失真代价。 可以计算出目标图像块的失真率代价后, 如果该失真率代价最小, 则可以确 定一个指示标识(第一指示信息), 以指示解码端, 通过上述方法 1和方法 2 获取第一目标图像块的参考信息, 并获取第三目标图像块(基本层中对应的 子块包括运动信息) 的运动信息。 并对该第一指示信息进行熵编码。 可选地, 该根据该参考信息, 对该第一目标图像子块进行编码, 包括: 对该第一指示信息进行熵编码, 以使该第一指示信息在该目标码流中与 跳过模式标志位或融合 MERGE模式标志位信息相邻。

具体地说, 在本发明实施例中, 在目标码流中, 可以将第一指示信息配 置在与跳过模式标志位信息相邻的位置。 具体地说,

例如, 可以将第一指示信息置于跳过模式标志位信息 之前作为目标图像 块在目标码流中的第一个信息,还可以将第一 指示信息置于跳过模式标志位 信息之后作为目标图像块在目标码流中的第二 个信息。上述跳过模式可以是 与现有技术相同的模式,其确定方法与配置位 置可以与现有技术相同,这里, 为了避免赘述, 省略其说明。

再例如, 可以将第一指示信息置于与 MERGE模式标志位信息相邻的位 置。 具体的, 可以将第一指示信息置于 MERGE模式标志位信息之前, 还可 以将第一指示信息置于 MERGE模式标志位信息之后。所述 MERGE可以是 与现有技术相同的模式,其确定方法与配置位 置可以与现有技术相同,这里, 为了避免赘述, 省略其说明。

在本发明实施例中, 该第一指示信息可以是一个二进制标志位。 因此, 在对第一指示信息进行熵编码时, 无需对第一指示信息进行二值化处理。

其后, 可以选择用于对二值化的第一指示信息进行熵 编码时使用的上下 文, 可选地, 该根据该参考信息, 对该第一目标图像子块进行编码, 包括: 根据该增强层图像中位于预设位置的参考图像 块是否使用参考信息进 行编码, 确定上下文;

根据该上下文, 对该第一指示信息进行熵编码。

具体地说。 如以下表 1所示, 该上下文可以包含 0、 1、 2三个上下文。 本实施例根据左边和上方的图像块是否使用基 本层模式来确定使用哪一个 上下文。 在本实施例中, 例如, 可以根据目标图像块左边和上方的图像块是 否使用其各自的第一指示信息, 确定使用哪一种上下文, 例如, 如果目标图 像块左边和上方的图像块都不使用第一指示信 息, 那么选择索引为 0的上下 文模型, 如果目标图像块左边和上方的图像块有一个使 用第一指示信息, 那 么选择索引为 1的上下文模型,如果目标图像块左边和上方 图像块都使用 第一指示信息, 那么选择索引为 2的上下文。 表 1 0 1 2 帧内编码片 未定义(或未使用) CNU CNU

( I slice ) ( CNU, Context Not Used ) 预测编码片 197 185 201

P slice 双向预测编码片 197 185 201

B slice

其后, 可以根据如上所述选择的上下文对该第一指示 信息进行二进制算 术编码, 并更新所使用的上下文模型。 在本发明实施例中, 该过程可以与现 有技术相同, 这里为了避免赘述, 省略其说明。

在本发明实施例中, 可以根据所获得的参考信息, 对各第一目标图像子 块进行编码, 进而完成对目标图像块的编码, 并将生成的目标图像块的信息 以及上述熵编码后的第一指示信息加入码流( 目标码流)。

这里,需要说明的是,在该目标码流中,可以 包括编码后的目标图像(包 括基本层图像和增强层图像)信息,并且,该 处理过程可以与现有技术相同, 这里, 为了避免赘述, 省略其说明。

在解码端, 可以从码流中获取目标图像信息, 并确定目标图像(具体地 说, 是目标图像块), 对获取的第一指示信息 (熵编码后的信息)进行熵解 同或相似, 这里省略其说明。

可以根据选择的上下文从码流中解析得到表示 第一指示信息的二进制 符号字串 (bin string )。 其中, 该二进制算术解码与编码端的二进制算术编 码相对应。

在本发明实施例中, 可以规定, 例如, 当第一指示信息为 1时, 则解码 端需要使用与编码端相同的方法获取第一目标 图像子块的第一参考信息, 则 解码端需要使用与编码端相同的方法获取第一 目标图像子块的第一参考信 息。

应理解, 以上列举的第一指示信息的指示方法仅为示例 性说明, 本发明 并不限定于此。 需要说明的是, 在本发明实施例中, 在使用方法 1获取第一目标图像子 块的参考信息时, 可以根据第一目标图像子块的参考信息(具体 地说是运动 信息), 对该第一目标图像子块进行解码(具体地说, 是运动补偿处理)。 具 体地说, 可以根据如上所述为该第一目标图像子块填充 的运动信息, 对该第 一目标图像子块进行独立的运动补偿处理。

可选地, 该对该目标图像块进行编码包括:

对位于该目标图像子块之间的边界附近的像素 进行去块效应滤波处理。 具体地说,还可以对目标图像块的各子块间的 边界附近像素进行滤波处 理。

根据本发明实施例的用于图像处理的方法,对 于增强层图像的目标图像 块中不能从基本层图像包括的对应子块获得运 动信息的第一目标图像子块, 通过根据该第一目标图像子块的位置确定第二 目标图像子块, 并根据该第二 目标图像子块的运动信息, 确定针对该第一目标图像子块的第一参考信息 , 并根据该第一参考信息进行编码, 能够提高该第一目标图像子块的编码性 能。

图 3示出了从解码端角度描述的根据本发明实施 的用于图像处理的方 法 200的示意性流程图。 如图 2所示, 该方法 200包括:

S210, 从目标码流中, 获取第一指示信息;

S220 , 当与目标图像块的第一目标图像子块相对应的 第一基本层图像子 块的运动信息为空时, 基于该第一指示信息, 根据该目标图像块的大小、 该 目标图像块包括的每个目标图像子块的大小和 用于指示第一目标图像子块 在该目标图像块中的位置的第二指示信息, 确定第二目标图像子块;

S230, 根据该第二目标图像子块的运动信息, 确定用于对该第一目标图 像子块进行解码的第一参考信息, 其中, 该第一基本层图像子块是位于基本 层图像中的图像块, 该目标图像块位于增强层图像中, 该的基本层图像与该 增强层图像相对应,且该第一基本图像块子块 在该基本层图像中的空间位置 与该第一目标图像子块在该增强层图像中的空 间位置相对应;

S230, 对该目标码流进行解码, 以获取该目标图像块。

具体地说, 在 S210, 解码端可以从码流中获取目标图像信息, 并确定 目标图像(具体地说, 是目标图像块), 并获取的第一指示信息 (熵编码后 的信息)。 可选地, 该从目标码流中, 获取第一指示信息, 包括:

从目标码流中, 获取第一指示信息, 其中, 该第一指示信息在该目标码 流中与跳过模式标志位或融合 MERGE模式标志位信息相邻。

具体地说, 在本发明实施例中, 在目标码流中, 可以将第一指示信息配 置在与跳过模式标志位信息相邻的位置。 具体地说,

例如, 可以将第一指示信息置于跳过模式标志位信息 之前作为目标图像 块在目标码流中的第一个信息,还可以将第一 指示信息置于跳过模式标志位 信息之后作为目标图像块在目标码流中的第二 个信息。上述跳过模式可以是 与现有技术相同的模式,其确定方法与配置位 置可以与现有技术相同,这里, 为了避免赘述, 省略其说明。

再例如, 可以将第一指示信息置于与 MERGE模式标志位信息相邻的位 置。 具体的, 可以将第一指示信息置于 MERGE模式标志位信息之前, 还可 以将第一指示信息置于 MERGE模式标志位信息之后。该 MERGE可以是与 现有技术相同的模式, 其确定方法与配置位置可以与现有技术相同, 这里, 为了避免赘述, 省略其说明。

其后, 解码端可以对获取的第一指示信息进行熵解码 。

在本发明实施例中, 该第一指示信息可以是一个二进制标志位。 因此, 在对第一指示信息进行熵解码时, 无需使第一指示信息二值化。

其后, 可以选择用于对二值化的第一指示信息进行熵 编码时使用的上下 文, 可选地, 该从目标码流中, 获取第一指示信息, 包括:

根据该增强层图像中位于预设位置的参考图像 块是否使用参考信息进 行解码, 确定上下文;

根据该上下文, 进行熵解码, 以确定该第一指示信息。

具体地说。 如以上表 1所示, 该上下文可以包含 0、 1、 2三个上下文。 本实施例根据左边和上方的图像块是否使用基 本层模式来确定使用哪一个 上下文。 在本实施例中, 例如, 可以根据目标图像块左边和上方的图像块是 否使用其各自的第一指示信息, 确定使用哪一种上下文, 例如, 如果目标图 像块左边和上方的图像块都不使用第一指示信 息, 那么选择索引为 0的上下 文模型, 如果目标图像块左边和上方的图像块有一个使 用第一指示信息, 那 么选择索引为 1的上下文模型,如果目标图像块左边和上方 图像块都使用 第一指示信息, 那么选择索引为 2的上下文。 其后, 可以根据如上该选择的上下文对该第一指示信 息进行二进制算术 解码, 并更新所使用的上下文模型。 在本发明实施例中, 该过程可以与现有 技术相同, 这里为了避免赘述, 省略其说明。

在本发明实施例中, 可以规定, 例如, 当第一指示信息为 1时, 则解码 端需要使用与编码端相同的方法获取第一目标 图像子块的第一参考信息, 则 解码端需要使用与编码端相同的方法获取第一 目标图像子块的第一参考信 息。

应理解, 以上列举的第一指示信息的指示方法仅为示例 性说明, 本发明 并不限定于此。

因此, 解码端可以根据该第一指示信息, 确定是否需要获取第一目标图 像子块的第一参考信息, 下面, 对编码端需要获取第一目标图像子块的第一 参考信息的情况进行说明。

在对图像进行分层编码, 例如, 在空间可伸缩编码时, 可以将图像进行 将分辨率处理得到低分辨率图像, 作为对比将原图像称作高分辨率图像, 编 码器分别对该低分辨率图像以及该高分辨率图 像进行编码。 为方便描述, 本 文中将质量高的待编码图像称作增强层图像, 将对应的质量低的待编码图像 (例如该低分辨率图像)称作基本层图像。

在本发明实施例中, 目标图像是使用分层编码技术进行处理的图像 , 基 本层是指分层编码中的质量(包括帧速率、 空间分辨率、 时间分辨率、 信噪 比强度或质量等级等参数)较低的层, 增强层是指分层编码中的质量(包括 帧速率、 空间分辨率、 时间分辨率、 信噪比强度或质量等级等参数)较高的 层。 需要说明的是, 在本发明实施例中, 在本发明实施例中, 对于一个给定 的增强层, 与其相对应的基本层可以为质量低于该增强层 的任一层, 例如, 如果当前存在五层, 编码质量依次提高 (即, 第一层质量最低, 第五层质量 最高), 如果增强层为第四层, 则基本层可以是第一层, 也可以是第二层、 也可以是第三层、 也可以是第四层。 同理, 对于一个给定的基本层, 与其相 对应的增强层可以为质量低于该基本层的任一 层。

增强层图像为当前处理的增强层中的图像,基 本层图像为基本层中与增 强层图像在同一时刻的图像。

综上该, 在本发明实施例中, 该基本层图像的质量低于该增强层图像的 质量。 目标图像块为该增强层图像中正在处理的图像 块。

基本层图像块为基本层图像中与该目标图像块 在空间位置上存在对应 关系的图像块。

在本发明实施例中,基本层中的图像块与增强 层中的图像块的对应关系 可以根据基本层图像与增强层图像之间的分辨 率比例关系计算得到。 例如, 在包括 X方向和 y方向的系统内,如果增强层图像在 X方向与 y方向的分辨 率分别 本层图像的 2倍,则对于增强层中左上角的像素坐标为(2x , 2y ) 且大小为(2m ) X ( 2n )的图像块, 其基本层图像中的对应块可以是左上角 的像素坐标为 (X , y )且大小为 m x n的图像块。

在本发明实施例中, 后述子块是指目标图像块的子块(增强层内的 图像 块), 后述对应子块是指该子块的在基本层中对应的 图像块。

在本发明实施例中, 运动信息可以包括预测方向、 参考图像索引或运动 矢量中的一个或多个, 其中, 预测方向可分为单向和双向预测, 单向预测又 可以分为前向预测与后向预测, 前向预测指使用前向参考图像列表, 即列表 ( list ) 0中的参考图像产生预测信号, 后向预测指使用后向参考图像列表, 即 list 1中的参考图像产生预测信号, 双向预测指同时使用 list 0和 list 1中 的参考图像产生预测信号;对于单向预测,需 要一个参考图像索引指示在 list 0或 list l中所选择的参考图像, 对于双向预测, 需要两个参考图像索引, 分 别指示在 list 0与 list 1中所选择的参考图像; 每一个运动矢量包括水平方向 分量 X和竖直方向分量 y , 可记作(X , y ) , 对于单向预测, 需要一个运动矢 量指示预测信号在所选择的 list 0或 list 1参考图像中的位移,对于双向预测, 需要两个运动矢量,分别指示前向预测信号与 后向预测信号在所选择的 list O 参考图像与 list 1参考图像中的位移。

在本发明实施例中, 目标图像块可以看作由至少两个子块(即, 目标图 像子块)构成的, 其中, 该子块的大小可以根据预设值确定, 为了便于说明, 以下, 以子块大小为 4 x 4为例进行说明。 例如, 如果目标图像块的大小为 16 16, 则可以确定该目标图像块包括 16个子块(大小为 4 x 4 )。 从而, 在 本发明实施例中, 可以确定该目标图像块中的每一个子块(第一 目标图像子 块)在基本层中的对应子块(第一基本层图像 子块), 并确定该对应子块的 运动信息。

在本发明实施例中, 可以根据子块(第一目标图像子块) 中的某一像素 点的坐标(记作: " (E x , E y ) " ), 确定该像素点在基本层图像中对应位置的坐 标(记作: " ( 并将包含所属对应的位置坐标的基本层中的图 像块 作为所述对应子块(第一基本层图像子块)。 在本发明实施例中, 可以按照 以下公式 1至公式 10计算得到 (β χ , ) :

从而, 可以确定与该第一目标图像子块相对应的第一 基本层图像子块, 并且, 在该第一基本层图像子块包括运动信息的情况 下, 可以直接使用该运 动信息中的预测方向和参考图像索引作为该子 块(第一目标图像子块)的预 测方向与参考图象索引。可以根据以下式 7至式 10,对该第一基本层图像子 块的运动矢量 (βΜ^, βΜ^ )进行缩放,并将缩放后的运动矢量作为该子 (第 一目标图像子块) 的运动矢量 (EMV x , EMV y )。

这里, 需要说明的是, 如果基本层图像与增强层图像的分辨率相同, 则 无需进行上述的缩放操作, 而可以直接使用对应子块的运动信息作为子块 的 运动信息。

通过以上方法, 可以确定目标图像块中能从基本层图像包括的 对应子块 获得运动信息的子块。

从而, 对于能够从基本层图像包括的对应子块获得运 动信息的子块, 可 以将其对应子块的运动信息

可选地, 在本发明实施例中, 该方法还包括:

根据所述基本层图像的编码模式,确定与第一 目标图像子块相对应的第 一基本层图像子块是否包括运动信息。

具体地说,在本发明实施例中,可以根据所述 基本层图像(对应图像块) 的编码模式确定该对应子块是否包含有运动信 息。 例如, 如果基本层图像使 用帧内预测编码模式, 则可以确定该对应子块不包含运动信息(即, 第一基 本层图像子块的运动信息为空)。

从而, 在该对应子块包括运动信息时, 可以按如上该过程确定该对应子 块并获取其运动信息,在该对应子块不包括运 动信息时,可以跳过以上流程。

对于不能从基本层图像包括的对应子块获得运 动信息的子块(即, 第一 目标图像子块), S220, 可以通过以下方法 2, 确定第二目标图像子块, 并 S230, 根据该第二目标图像子块的运动信息, 获取第一参考信息。

方法 2

可以为该目标图像子块填充运动信息,从而可 以以该填充的运动信息作 为参考信息。

下面, 详细说明本发明实施例中, 填充运动信息的方法。

具体地说, 不失一般性, 例如, 如果目标图像块的大小为 16 x 16 , 子块 的大小为 4 x 4 ,在本发明实施例中,子块的索引分配方法可 与现有技术相 同, 这里, 省略其说明, 图 2所示了子块的划分与索引。

在本发明实施例中, 可以根据目标图像块的大小和子块的大小, 确定处 理层次, 并按处理层次逐层递推处理。 例如, 在本发明实施例中, 可以规定 最底层的层次(记作, 第一层) 中的每个处理单元(记作, 第一处理单元) 包括四个子块, 第一层的上一层次(记作第二层) 的每个处理单元(记作, 第二处理单元) 包括四个第一处理单元, 以此类推, 为了避免赘述, 省略递 推说明。 从而, 作为示例而非限定, 在图 2所示的目标图像块中, 可以包括 两个层次, 第一层中, 子块 0~子块 3构成了第一处理单元 0 , 子块 4~子块 7 构成了第一处理单元 1 , 子块 8~子块 11构成了第一处理单元 2 , 子块 12~子 块 15构成了第一处理单元 3。 第二层中, 第一处理单元 0~第一处理单元 3 构成了第二处理单元 0。应理解, 以上列举的层次划分方法仅为示例性说明, 本发明并不限定于此。

在本发明实施例中, 对于每一个第一处理单元, 可以按照子块的索引号 (例如, 从小到大)依次判定各子块的运动信息是否为 空, 如果该子块的运 动信息为空, 则可以基于该第一处理单元内与其相邻的子块 (第二目标图像 子块的一例)的运动信息确定其运动信息。 例如, 如果索引为 0的子块(即, 子块 0 , 属于第一处理单元 0 ) 的运动信息为空, 可以获取属于同一个处理 单元(第一处理单元 0 ) 内其他子块的运动信息, 并将该运动信息作为该子 块 0的运动信息。 获取顺序可以为, 例如, 首先获取索引为 1的子块(子块 1 , 即, 第二目标图像子块的一例, 在水平方向上与子块 0相邻) 的运动信 息, 如果子块 1的运动信息为空, 则可以再获取索引为 2 (子块 2 , 即, 第 二目标图像子块的另一例,在竖直方向上与子 块 0相邻)的子块的运动信息, 如果子块 2的运动信息为空, 则可以再获取索引为 3 (子块 3 , 即, 第二目 标图像子块的再一例, 在对角线方向上与子块 0相邻) 的子块的运动信息。 同理, 对于各运动信息为空的子块, 均可以通过以上方法对其运动信息进行 填充。 应理解, 以上列举的对运动信息为空的子块的运动信息 填充方法仅为 示例性说明, 本发明并不限定于此, 例如, 对于上述获取顺序, 也可以先获 取竖直方向上的规定子块(这里, 为相邻子块)的运动信息, 再获取水平方 向上的规定子块(这里, 为相邻子块)的运动信息, 再获取对角线方向上的 规定子块(这里, 为相邻子块)的运动信息。 即, 该获取顺序可以任意变更。

从而, 经上述在第一层内进行的处理, 对各第一处理单元内的各子块进 行上述处理后, 只要该第一处理单元内的四个子块中有至少一 个子块的运动 信息不为空, 就可以为该第一处理单元内所有运动信息为空 的子块填充(或 者说, 获得)运动信息。

需要说明的是, 对于已根据上述方法填充了运动信息的子块, 在后续处 理中需要使用该子块的运动信息时, 可以直接使用为该子块填充的运动信 息。 即, 第二目标图像子块的运动信息可以是指该第二 目标图像子块的基本 层对应子块的运动信息,也可以是根据本发明 实施例的填充运动信息的方法 为该第二目标图像子块填充的 (来自其他增强层子块的)运动信息。

因此, 当确定某一个子块(例如, 子块 0 ) 的对应子块不包括运动信息 时, 可以从第一层中与该子块 0处于同一第一处理单元(例如, 第一处理单 元 0 ) 的其他子块(例如, 子块 1~子块 3 )获取运动信息。 当与该子块(例 如, 子块 0 )处于同一第一处理单元(例如, 第一处理单元 0 ) 的其他子块 (第一层内的规定子块, 例如, 子块 1~子块 3 )的运动信息为空, 则可以获 取第二处理单元内的规定第一处理单元(例如 ,第一处理单元 1~第一处理单 元 3 ) 中规定子块(第二目标图像子块的另一例) 的运动信息, 并将该运动 信息作为该子块(例如, 子块 0 ) 的运动信息。

即, 如果一个第一处理单元(例如, 第一处理单元 0 ) 内的所有子块的 对应子块均为空, 则可以获取第二处理单元内的其他第一处理单 元(例如, 第一处理单元 1~第一处理单元 3 ) 内的规定子块(为了便于说明, 在本发明 以各第一处理单元左上角的子块为例进行说明 )的运动信息, 并将该运动信 息作为该第一处理单元(第一处理单元 0 ) 内各子块的运动信息。 获取顺序 可以为, 例如, 首先获取索引为 1的第一处理单元(第一处理单元 1 , 其在 水平方向上与第一处理单元 0相邻) 的左上角的子块(子块 4, 即, 第二目 标图像子块的一例)的运动信息, 如果子块 4的运动信息为空, 则可以认为 该第一处理单元 1内其他子块的运动信息也为空, 从而可以再获取索引为 2 的第一处理单元(第一处理单元 2,其在竖直方向上与第一处理单元 0相邻) 的左上角的子块(子块 8, 即, 第二目标图像子块的另一例) 的运动信息, 如果子块 8的运动信息为空, 则可以认为该第一处理单元 2内其他子块的运 动信息也为空,从而可以再获取索引为 3的第一处理单元(第一处理单元 3, 其在对角线方向上与第一处理单元 0相邻) 的左上角的子块(子块 12, 即, 第二目标图像子块的再一例)的运动信息。 同理, 对于各运动信息为空的第 一处理单元, 均可以通过以上方法对其运动信息进行填充。 应理解, 以上列 举的对运动信息为空的子块的运动信息填充方 法仅为示例性说明, 本发明并 不限定于此, 例如, 对于上述获取顺序, 也可以先获取竖直方向上的规定第 一处理单元(这里, 为相邻第一处理单元)的规定子块的运动信息 , 再获取 水平方向上的规定第一处理单元(这里, 为相邻第一处理单元)的规定子块 的运动信息, 再获取对角线方向上的规定第一处理单元(这 里, 为相邻第一 处理单元) 的规定子块的运动信息。 即, 该获取顺序可以任意变更。 并且, 作为上述 "规定子块" 并不限定于第一处理单元左上角的子块, 也可以是同 一第一处理单元内任意位置的子块。

需要说明的是, 由于上述列举的目标图像块的大小为 16x 16,子块的大 小为 4x 4, 因此该目标图像块仅包括两层, 上述递归过程结束。但是目标图 像块的大小为更大, 例如, 32x 32, 而子块的大小为 4x4, 则该目标图像块 包括三层, 可以按照与上述相同的方法继续进行递归操作 , 为当目标图像块 的所有子块获取运动信息。

可选地, 该根据目标图像块的大小、 该目标图像块包括的目标图像子块 的大小和用于指示第一目标图像子块在该目标 图像块中的位置的第二指示 信息, 确定第二目标图像子块, 包括:

根据以下任一公式, 确定该第二目标图像子块,

Idx 2 + {idx, %N/(N/2))x2 + (l- Idx, %N /(N / 4)%2))χ N /4 ; Idx 2 + ((l - ldx x %N/(N/2))x2 + (ldx x %N / (N / 4) %2)) xN/4; W¾ =/^/NxN + ((l-/ 1 %N/(N/2))x2 + (l-/^%N/(N/4)%2))xN/4; 其中, 表示用于指示该第二目标图像子块在该目标图 像块中的位置 的第三指示信息, / 表示该第二指示信息, N是根据该目标图像块的大小 和该目标图像子块的大小确定的。

其中, 表示用于指示该第二目标图像子块在该目标图 像块中的位置 的第三索引信息, 表示该第二索引信息, %表示模运算或取余操作, N表 示该目标图像块包括的子块的数量。 具体地说, 根据上述各公式可以根据当前正在处理的子块 的索引, 确定 当前处理的层次内的第二目标图像子块,其中 N与当前正在处理的层次相对 应, 并且, N是根据目标图像块的大小和子块的大小确定 , 例如, 如果目 标图像块的大小为 16 x 16, 子块的大小为 4 x 4, 则如上所述该目标图像块 包括两层, 在处理第一层时, N为该层中各处理单元(第一处理单元) 包括 的子块数量, 这里为 4。 在处理第二层时, N为该层中各处理单元(第二处 理单元) 包括的子块数量, 这里为 16。

以上, 列举了当上述 "规定子块" 为所述处理单元的左上角子块时, 所 使用的公式。 但本发明并不限定与此, 还可以根据 "规定子块" 所述处理单 元中的位置, 对上述公式进行变更。

可选地, 该根据该第二目标图像子块的运动信息, 确定该第一目标图像 子块的第一参考信息, 包括:

如果该第二目标图像子块的运动信息为空, 则确定该第一参考信息为零 运动信息。

具体地说, 如果经上述处理后, 不能为该子块填充运动信息, 则使用零 运动信息作为该子块的运动信息。 在本发明实施例中, 可以按照以下方法构 造零运动信息。 例如, 在预测编码图像帧 (P帧) 中, 零运动信息的预测方 向为单向预测, 参考图像索引为 0, 运动矢量(0, 0 )。 在双向预测编码图像 帧 (B帧) 中, 零运动信息的预测方向为双向预测, 两个参考图像索引均为 0, 两个运动矢量均为 (0, 0 )。

需要说明的是, 当目标图像块包括多个处理层次, 上述使用零运动信息 作为该子块的运动信息的方法, 可以在对最后一个层次进行处理后进行, 也 可以在对其他任一层次进行处理后进行, 本发明并未特别限定。 应理解, 以 上列举的获取子块的运动信息的方法仅为本发 明的示例性说明,本发明并不 限定于此, 例如, 在本发明是示例中, 还可以如上所述, 根据所述基本层图 像(对应图像块) 的编码模式确定该对应子块是否包含有运动信 息。 例如, 如果基本层图像使用帧内预测编码模式, 则可以确定该对应子块不包含运动 信息 (即, 第一基本层图像子块的运动信息为空)。 如果确定目标图像块的 所有子块中只有一个子块(具体地说, 是其对应子块)具有运动信息, 则可 以将该子块的运动信息作为其他子块的运动信 息。

由此, 通过上述方法, 可以确定第一目标图像子块的第一参考信息。 在 S240, 可以根据获取的第一参考信息, 对该第一目标子块进行解码, 例如, 可以根据第一目标图像子块的第一参考信息( 具体地说是运动信息 ), 对该第一目标图像子块进行解码(具体地说, 是运动补偿处理)。 具体地说, 可以根据如上所述为该第一目标图像子块填充 的运动信息,对该第一目标图 像子块进行运动补偿处理。

在本发明实施例中, 对于目标图像块中的第三目标图像子块(基本 层中 的对应子块包括运动信息), 可以通过与现有技术相同的方法, 获取其运动 信息, 并对其进行解码, 该过程可以与现有技术相同, 这里, 为了避免赘述, 省略其说明。

可选地, 该根据该参考信息, 对该目标图像块进行解码, 包括: 对位于该目标图像子块之间的边界附近的像素 进行去块效应滤波处理。 根据本发明实施例的用于图像处理的方法,对 于增强层图像的目标图像 块中不能从基本层图像包括的对应子块获得运 动信息的第一目标图像子块, 通过根据该第一目标图像子块的位置确定第二 目标图像子块, 并根据该第二 目标图像子块的运动信息确定针对该第一目标 图像子块的参考信息, 并根据 该参考信息进行编码, 能够提高该第一目标图像子块的编码性能。

上文中, 结合图 1至图 3 , 详细描述了根据本发明实施例的用于图像处 理的方法, 下面, 将结合图 4至图 5 , 详细描述根据本发明实施例的用于图 像处理的装置。

图 4示出了根据本发明实施例的用于图像处理的 置 300 的示意性框 图。 如图 4所示, 该装置 300包括:

获取单元 310, 用于当确定与目标图像块的第一目标图像子块 相对应的 第一基本层图像子块的运动信息为空时, 根据该目标图像块的大小、 该目标 图像块包括的每个目标图像子块的大小和用于 指示第一目标图像子块在该 目标图像块中的位置的第二指示信息, 确定第二目标图像子块;

用于根据该第二目标图像子块的运动信息,确 定用于对该第一目标图像 子块进行编码的第一参考信息, 其中, 该第一基本层图像子块是位于基本层 图像中的图像块, 该目标图像块位于增强层图像中, 该的基本层图像与该增 强层图像相对应,且该第一基本图像块子块在 该基本层图像中的空间位置与 该第一目标图像子块在该增强层图像中的空间 位置相对应;

编码单元 320, 对该目标图像块进行编码, 以生成目标码流以及包含于 该目标码流中的第一指示信息。

可选地, 该获取单元 310具体用于根据以下任一公式, 确定该第二目标 图像子块,

Idx 2 / 2)) χ 2 + (1 - Idx l %N /(N/4) %2)) xN/4; Idx 2 (N/2))x2 + (ldx x %N / (N / 4) %2)) xN/4;

W¾ =/^/NxN + ((l-/ x 1 N/(N/2))x2 + (l-/^ N/(N/4) 2))xN/4; 其中, 表示用于指示该第二目标图像子块在该目标图 像块中的位置 的第三指示信息, / 表示该第二指示信息, N是根据该目标图像块的大小 和该目标图像子块的大小确定的。

可选地, 该获取单元 310具体用于如果该第二目标图像子块的运动信 息 为空, 则确定该第一参考信息为零运动信息。

可选地, 该编码单元 320具体用于根据该第一参考信息, 对该第一目标 图像子块进行运动补偿处理。

可选地, 该编码单元 320还用于对位于该目标图像子块之间的边界附 近 的像素进行去块效应滤波处理。

可选地, 该编码单元 320具体用于对该第一指示信息进行熵编码, 以使 该第一指示信息在该目标码流中与跳过模式标 志位或融合 MERGE模式标志 位信息相邻。

可选地, 该编码单元 320具体用于根据该增强层图像中位于预设位置 的 参考图像块是否使用参考信息进行编码, 确定上下文;

用于根据该上下文, 对该第一指示信息进行熵编码。

根据本发明实施例的用于图像处理的装置 300可对应于本发明实施例的 方法中的编码端, 并且, 该图像处理的装置 300中的各单元即模块和上述其 他操作和 /或功能分别为了实现图 1中的方法 100的相应流程, 为了筒洁,在 此不再赘述。

根据本发明实施例的用于图像处理的装置,对 于增强层图像的目标图像 块中不能从基本层图像包括的对应子块获得运 动信息的第一目标图像子块, 通过根据该第一目标图像子块的位置确定第二 目标图像子块, 并根据该第二 目标图像子块的运动信息, 确定针对该第一目标图像子块的参考信息, 并根 据该参考信息进行编码, 能够提高该第一目标图像子块的编码性能。

图 5 示出了根据本发明实施例的用于图像处理的装 置 400 的示意性框 图。 如图 5所示, 该装置 400包括:

解码单元 410, 用于从目标码流中, 获取第一指示信息;

获取单元 420 , 用于当与目标图像块的第一目标图像子块相对 应的第一 基本层图像子块的运动信息为空时, 基于该解码单元获取的该第一指示信 息, 根据该目标图像块的大小、 该目标图像块包括的每个目标图像子块的大 小和用于指示第一目标图像子块在该目标图像 块中的位置的第二指示信息, 确定第二目标图像子块;

用于根据该第二目标图像子块的运动信息,确 定用于对该第一目标图像 子块进行解码的第一参考信息, 其中, 该第一基本层图像子块是位于基本层 图像中的图像块, 该目标图像块位于增强层图像中, 该的基本层图像与该增 强层图像相对应,且该第一基本图像块子块在 该基本层图像中的空间位置与 该第一目标图像子块在该增强层图像中的空间 位置相对应;

该解码单元 410还用于对该目标码流进行解码, 以获取该目标图像块。 可选地, 该获取单元 420具体用于根据以下任一公式, 确定该第二目标 图像子块,

Idx 2 / 2)) χ 2 + (1 - Idx l %N /(N/4) %2)) xN/4; Idx 2 (N/2))x2 + (ldx x %N / (N / 4) %2)) xN/4; W¾ =/^/NxN + ((l-/ x 1 N/(N/2))x2 + (l-/^ N/(N/4) 2))xN/4; 其中, 表示用于指示该第二目标图像子块在该目标图 像块中的位置 的第三指示信息, /^表示该第二指示信息, N是根据该目标图像块的大小 和该目标图像子块的大小确定的。

可选地, 该获取单元 420具体用于如果该第二目标图像子块的运动信 息 为空, 则确定该第一参考信息为零运动信息。

可选地, 该解码单元 410具体用于根据该第一参考信息, 对该第一目标 图像子块进行运动补偿处理。

可选地, 该解码单元 410还用于对位于该目标图像子块之间的边界附 近 的像素进行去块效应滤波处理。

可选地, 该解码单元 410具体用于从目标码流中, 获取第一指示信息, 其中, 该第一指示信息在该目标码流中与跳过模式标 志位或融合 MERGE模 式标志位信息相邻。

可选地, 该解码单元 410具体用于根据该增强层图像中位于预设位置 的 参考图像块是否使用参考信息进行解码, 确定上下文;

用于根据该上下文, 进行熵解码, 以确定该第一指示信息。

根据本发明实施例的用于图像处理的装置 400可对应于本发明实施例的 方法中解码端, 并且, 该用于图像处理的装置 400中的各单元即模块和上述 其他操作和 /或功能分别为了实现图 3中的方法 200的相应流程, 为了筒洁, 在此不再赘述。

根据本发明实施例的用于图像处理的装置,对 于增强层图像的目标图像 块中不能从基本层图像包括的对应子块获得运 动信息的第一目标图像子块, 通过根据该第一目标图像子块的位置确定第二 目标图像子块, 并根据该第二 目标图像子块的运动信息, 确定针对该第一目标图像子块的参考信息, 并根 据该参考信息进行编码, 能够提高该第一目标图像子块的编码性能。

上文中, 结合图 1至图 5 , 详细描述了根据本发明实施例的用于图像处 理的方法和装置, 下面将结合图 6和图 7, 详细描述根据本发明实施例的用 于图像处理的编码器和解码器。

图 6示出了根据本发明实施例的用于图像处理的 码器 500的示意性框 图。 如图 6所示, 该编码器 500可以包括:

总线 510;

与该总线相连的处理器 520;

与该总线相连的存储器 530;

其中,该处理器 520通过该总线 510,调用该存储器 530中存储的程序, 以用于当确定与目标图像块的第一目标图像子 块相对应的第一基本层图像 子块的运动信息为空时, 根据该目标图像块的大小、 该目标图像块包括的每 个目标图像子块的大小和用于指示第一目标图 像子块在该目标图像块中的 位置的第二指示信息, 确定第二目标图像子块;

用于根据该第二目标图像子块的运动信息,确 定用于对该第一目标图像 子块进行编码的第一参考信息, 其中, 该第一基本层图像子块是位于基本层 图像中的图像块, 该目标图像块位于增强层图像中, 该的基本层图像与该增 强层图像相对应,且该第一基本图像块子块在 该基本层图像中的空间位置与 该第一目标图像子块在该增强层图像中的空间 位置相对应;

用于对该目标图像块进行编码, 以生成目标码流以及包含于该目标码流 中的第一指示信息。 可选地, 该处理器 520具体用于根据以下任一公式, 确定该第二目标图 像子块,

Idx 2 + idx, %N/(N/2))x2 + (l- Idx l %N /(N / 4)%2))χ N /4 ;

Idx 2 + ((l - ldx x %N/(N/2))x2 + (ldx x %N / (N / 4) %2)) xN/4; W¾ =/^/NxN + ((l-/ x 1 N/(N/2))x2 + (l-/^ N/(N/4) 2))xN/4; 其中, 表示用于指示该第二目标图像子块在该目标图 像块中的位置 的第三指示信息, / 表示该第二指示信息, N是根据该目标图像块的大小 和该目标图像子块的大小确定的。

可选地,该处理器 520具体用于如果该第二目标图像子块的运动信 息为 空, 则确定该第一参考信息为零运动信息。

可选地, 该处理器 520具体用于根据该第一参考信息, 对该第一目标图 像子块进行运动补偿处理。

可选地,该处理器 520具体用于对位于该目标图像子块之间的边界 附近 的像素进行去块效应滤波处理。

可选地, 该处理器 520具体用于对该第一指示信息进行熵编码, 以使该 第一指示信息在该目标码流中与跳过模式标志 位或融合 MERGE模式标志位 信息相邻。

可选地,该处理器 520具体用于根据该增强层图像中位于预设位置 的参 考图像块是否使用参考信息进行编码, 确定上下文;

用于根据该上下文, 对该第一指示信息进行熵编码。

根据本发明实施例的用于图像处理的编码器 500可对应于本发明实施例 的方法中编码端, 并且, 该用于图像处理的编码器 500中的各单元即模块和 上述其他操作和 /或功能分别为了实现图 1中的方法 100的相应流程,为了筒 洁, 在此不再赘述。

根据本发明实施例的用于图像处理的编码器, 对于增强层图像的目标图 像块中不能从基本层图像包括的对应子块获得 运动信息的第一目标图像子 块, 通过根据该第一目标图像子块的位置确定第二 目标图像子块, 并根据该 第二目标图像子块的运动信息, 确定针对该第一目标图像子块的参考信息, 并根据该参考信息进行编码, 能够提高该第一目标图像子块的编码性能。

图 7示出了根据本发明实施例的用于图像处理的 码器 600的示意性框 图。 如图 7所示, 该解码器 600可以包括: 总线 610;

与该总线相连的处理器 620;

与该总线相连的存储器 630;

其中,该处理器 620通过该总线 610,调用该存储器 630中存储的程序, 以用于从目标码流中, 获取第一指示信息;

用于当与目标图像块的第一目标图像子块相对 应的第一基本层图像子 块的运动信息为空时, 基于该第一指示信息, 根据该目标图像块的大小、 该 目标图像块包括的每个目标图像子块的大小和 用于指示第一目标图像子块 在该目标图像块中的位置的第二指示信息, 确定第二目标图像子块;

用于根据该第二目标图像子块的运动信息,确 定用于对该第一目标图像 子块进行解码的第一参考信息, 其中, 该第一基本层图像子块是位于基本层 图像中的图像块, 该目标图像块位于增强层图像中, 该的基本层图像与该增 强层图像相对应,且该第一基本图像块子块在 该基本层图像中的空间位置与 该第一目标图像子块在该增强层图像中的空间 位置相对应;

用于对该目标码流进行解码, 以获取该目标图像块。

可选地, 该处理器 620具体用于根据以下任一公式, 确定该第二目标图 像子块,

Idx 2 + {idx, %N/(N/2))x2 + (l- Idx, %N /(N / 4)%2))χ N /4 ; Idx 2 + ((l - ldx x %N/(N/2))x2 + {ldx x %N / (N / 4) %2)) xN/4; W¾ =/^/NxN + ((l-/ x 1 N/(N/2))x2 + (l-/^ N/(N/4) 2))xN/4; 其中, 表示用于指示该第二目标图像子块在该目标图 像块中的位置 的第三指示信息, / 表示该第二指示信息, N是根据该目标图像块的大小 和该目标图像子块的大小确定的。

可选地,该处理器 620具体用于如果该第二目标图像子块的运动信 息为 空, 则确定该第一参考信息为零运动信息。

可选地, 该处理器 620具体用于根据该第一参考信息, 对该第一目标图 像子块进行运动补偿处理。

可选地,该处理器 620具体用于对位于该目标图像子块之间的边界 附近 的像素进行去块效应滤波处理。

可选地, 该处理器 620具体用于从目标码流中, 获取第一指示信息, 其 中, 该第一指示信息在该目标码流中与跳过模式标 志位或融合 MERGE模式 标志位信息相邻。

可选地,该处理器 620具体用于根据该增强层图像中位于预设位置 的参 考图像块是否使用参考信息进行解码, 确定上下文;

用于根据该上下文, 进行熵解码, 以确定该第一指示信息。

根据本发明实施例的用于图像处理的解码器 600可对应于本发明实施例 的方法中解码端, 并且, 该用于图像处理的解码器 600中的各单元即模块和 上述其他操作和 /或功能分别为了实现图 5中的方法 200的相应流程,为了筒 洁, 在此不再赘述。

根据本发明实施例的用于图像处理的解码器, 对于增强层图像的目标图 像块中不能从基本层图像包括的对应子块获得 运动信息的第一目标图像子 块, 通过根据该第一目标图像子块的位置确定第二 目标图像子块, 并根据该 第二目标图像子块的运动信息, 确定针对该第一目标图像子块的参考信息, 并根据该参考信息进行编码, 能够提高该第一目标图像子块的编码性能。

图 8示出了从编码端角度描述的根据本发明实施 的用于图像处理的方 法 700的示意性流程图。 如图 8所示, 该方法 700包括:

S710, 当确定与目标图像块的第一目标图像子块相对 应的第一基本层图 像子块的运动信息为空时, 根据该第一基本层图像子块的重建像素, 确定用 于对该第一目标图像子块进行编码的第二参考 信息, 其中, 该第一基本层图 像子块是位于基本层图像中的图像块, 该目标图像块位于增强层图像中, 该 的基本层图像与该增强层图像相对应,且该第 一基本图像块子块在该基本层 图像中的空间位置与该第一目标图像子块在该 增强层图像中的空间位置相 对应;

S720, 对该目标图像块进行编码, 以生成目标码流以及包含于该目标码 流中的第四指示信息。

具体地说, 在对图像进行分层编码, 例如, 在空间可伸缩编码时, 可以 将图像进行将分辨率处理得到低分辨率图像, 作为对比将原图像称作高分辨 率图像, 编码器分别对该低分辨率图像以及该高分辨率 图像进行编码处理。 为方便描述, 本文中将质量高的待编码图像称作增强层图像 , 将对应的质量 低的待编码图像(例如所述低分辨率图像)称 作基本层图像。

在本发明实施例中, 目标图像是使用分层编码技术进行处理的图像 , 基 本层是指分层编码中的质量(包括帧速率、 空间分辨率、 时间分辨率、 信噪 比强度或质量等级等参数)较低的层, 增强层是指分层编码中的质量(包括 帧速率、 空间分辨率、 时间分辨率、 信噪比强度或质量等级等参数)较高的 层。 需要说明的是, 在本发明实施例中, 在本发明实施例中, 对于一个给定 的增强层, 与其相对应的基本层可以为质量低于该增强层 的任一层, 例如, 如果当前存在五层, 编码质量依次提高 (即, 第一层质量最低, 第五层质量 最高), 如果增强层为第四层, 则基本层可以是第一层, 也可以是第二层、 也可以是第三层、 也可以是第四层。 同理, 对于一个给定的基本层, 与其相 对应的增强层可以为质量低于该基本层的任一 层。

增强层图像为当前处理的增强层中的图像,基 本层图像为基本层中与增 强层图像在同一时刻的图像。

综上所述, 在本发明实施例中, 该基本层图像的质量低于该增强层图像 的质量。

目标图像块为该增强层图像中正在处理的图像 块。

基本层图像块为基本层图像中与该目标图像块 在空间位置上存在对应 关系的图像块。

在本发明实施例中,基本层中的图像块与增强 层中的图像块的对应关系 可以根据基本层图像与增强层图像之间的分辨 率比例关系计算得到。 例如, 在包括 X方向和 y方向的系统内,如果增强层图像在 X方向与 y方向的分辨 率分别 本层图像的 2倍,则对于增强层中左上角的像素坐标为(2x , 2y ) 且大小为(2m ) X ( 2n )的图像块, 其基本层图像中的对应块可以是左上角 的像素坐标为 (X , y )且大小为 m x n的图像块。

在本发明实施例中, 后述子块是指目标图像块的子块(增强层内的 图像 块), 后述对应子块是指该子块的在基本层中对应的 图像块。

在本发明实施例中, 运动信息可以包括预测方向、 参考图像索引或运动 矢量中的一个或多个, 其中, 预测方向可分为单向和双向预测, 单向预测又 可以分为前向预测与后向预测, 前向预测指使用前向参考图像列表, 即列表 ( list ) 0中的参考图像产生预测信号, 后向预测指使用后向参考图像列表, 即 list 1中的参考图像产生预测信号, 双向预测指同时使用 list 0和 list 1中 的参考图像产生预测信号;对于单向预测,需 要一个参考图像索引指示在 list 0或 list l中所选择的参考图像, 对于双向预测, 需要两个参考图像索引, 分 别指示在 list 0与 list 1中所选择的参考图像; 每一个运动矢量包括水平方向 分量 x和竖直方向分量 y, 可记作(X, y), 对于单向预测, 需要一个运动矢 量指示预测信号在所选择的 list 0或 list 1参考图像中的位移,对于双向预测, 需要两个运动矢量,分别指示前向预测信号与 后向预测信号在所选择的 listO 参考图像与 list 1参考图像中的位移。

在本发明实施例中, 目标图像块可以看作由至少两个子块(即, 目标图 像子块)构成的, 其中, 该子块的大小可以根据预设值确定, 为了便于说明, 以下, 以子块大小为 4x4为例进行说明。 例如, 如果目标图像块的大小为 16x 16, 则可以确定该目标图像块包括 16个子块(大小为 4x4)。 从而, 在 本发明实施例中,可以确定该目标图像块中的 每一个子块在基本层中的对应 子块(属于该对应图像块), 并确定该对应子块的运动信息。

在本发明实施例中, 可以根据子块中的某一像素点的坐标 (记作: u{E x ,E y ) n ), 确定该像素点在基本层图像中对应位置的坐标 (记作: u(B x ,B y y ), 并将包含所属对应的位置坐标的基本层中的图 像块作为所述对 应子块。 在本发明实施例中, 可以按照以上式 1至式 10, 对该第一基本层图 像子块的运动矢量 (βΜ^,βΜν^进行缩放, 并将缩放后的运动矢量作为该子 块(第一目标图像子块) 的运动矢量 (EMV x ,EMV y )。

这里, 需要说明的是, 如果基本层图像与增强层图像的分辨率相同, 则 无需进行上述的缩放操作, 而可以直接使用对应子块的运动信息作为子块 的 运动信息。

通过以上方法, 可以确定目标图像块中能从基本层图像包括的 对应子块 获得运动信息的子块。

从而, 对于能够从基本层图像包括的对应子块获得运 动信息的子块, 可 以将其对应子块的运动信息

可选地, 在本发明实施例中, 该方法还包括:

根据所述基本层图像的编码模式,确定与第一 目标图像子块相对应的第 一基本层图像子块是否包括运动信息。

具体地说,在本发明实施例中,可以根据所述 基本层图像(对应图像块) 的编码模式确定该对应子块是否包含有运动信 息。 例如, 如果基本层图像使 用帧内预测编码模式, 则可以确定该对应子块不包含运动信息(即, 第一基 本层图像子块的运动信息为空)。

从而, 在该对应子块包括运动信息时, 可以按如上所述过程确定该对应 子块并获取其运动信息, 在该对应子块不包括运动信息时, 可以跳过以上流 程。

对于不能从基本层图像包括的对应子块获得运 动信息的子块(即, 第一 目标图像子块), 可以通过以下方法 3 , 获取其第二参考信息。

方法 3

具体地说, 可以获取基本层图像中与该第一目标图像子块 相对应的子块 的重建像素, 并对该重建像素进行上采样处理, 生成该第一目标图像子块的 预测信号作为参考信息。

可选地, 该根据该参考信息, 对该目标图像块进行编码处理, 包括: 根据该参考信息, 对该第一目标图像子块进行运动补偿处理。

具体地说, 可以根据第一目标图像子块的参考信息(具体 地说, 是该预 测信号), 对该第一目标图像子块进行编码处理(具体地 说, 是预测编码处 理)。 具体地说, 重建像素进行适当上采样后作为当前子块的预 测信号。 在 获取到当前块的预测信号之后, 就可以对当前块进行预测编码, 从而计算出 率失真代价。

可选地, 该根据该参考信息, 对该目标图像块进行编码处理, 包括: 对位于该目标图像子块之间的边界附近的像素 进行去块效应滤波处理。 在 S230中, 在通过上述方法 3获取第一目标图像块(基本层中对应的 子块不包括运动信息)的第二参考信息, 并获取第三目标图像块(基本层中 对应的子块包括运动信息)的运动信息, 获取该第三目标图像块的运动信息 的方法可以与现有技术相同, 这里省略其说明, 从而, 可以计算出目标图像 块的失真率代价后, 如果该失真率代价最小, 则可以确定一个指示标识(第 四指示信息), 以指示解码端, 通过上述方法 1和方法 2获取第一目标图像 块的参考信息,并获取第三目标图像块(基本 层中对应的子块包括运动信息) 的运动信息。 并对该第四指示信息进行熵编码处理。

可选地, 该根据该参考信息, 对该第一目标图像子块进行编码处理, 包 括:

对该第一指示信息进行熵编码处理, 以使该第一指示信息在该目标码流 中与跳过模式标志位或融合 MERGE模式标志位信息相邻。

具体地说, 在本发明实施例中, 在目标码流中, 可以将第一指示信息配 置在与跳过模式标志位信息相邻的位置。 具体地说, 例如, 可以将第一指示信息置于跳过模式标志位信息 之前作为目标图像 块在目标码流中的第一个信息,还可以将第一 指示信息置于跳过模式标志位 信息之后作为目标图像块在目标码流中的第二 个信息。上述跳过模式可以是 与现有技术相同的模式,其确定方法与配置位 置可以与现有技术相同,这里, 为了避免赘述, 省略其说明。

再例如, 可以将第一指示信息置于与 MERGE模式标志位信息相邻的位 置。 具体的, 可以将第一指示信息置于 MERGE模式标志位信息之前, 还可 以将第一指示信息置于 MERGE模式标志位信息之后。所述 MERGE可以是 与现有技术相同的模式,其确定方法与配置位 置可以与现有技术相同,这里, 为了避免赘述, 省略其说明。

在本发明实施例中, 该第一指示信息可以是一个二进制标志位。 因此, 在对第一指示信息进行熵编码时, 无需对第一指示信息进行二值化处理。

其后, 可以选择用于对二值化的第一指示信息进行熵 编码处理时使用的 上下文,可选地,该根据该参考信息,对该第 一目标图像子块进行编码处理, 包括:

根据该增强层图像中位于预设位置的参考图像 块是否使用参考信息进 行编码处理, 确定上下文;

根据该上下文, 对该第一指示信息进行熵编码处理。

具体地说。 如以上表 1所示, 该上下文可以包含 0、 1、 2三个上下文。 本实施例根据左边和上方的图像块是否使用基 本层模式来确定使用哪一个 上下文。 在本实施例中, 例如, 可以根据目标图像块左边和上方的图像块是 否使用其各自的第一指示信息, 确定使用哪一种上下文, 例如, 如果目标图 像块左边和上方的图像块都不使用第一指示信 息, 那么选择索引为 0的上下 文模型, 如果目标图像块左边和上方的图像块有一个使 用第一指示信息, 那 么选择索引为 1的上下文模型,如果目标图像块左边和上方 图像块都使用 第一指示信息, 那么选择索引为 2的上下文。

其后, 可以根据如上所述选择的上下文对该第一指示 信息进行二进制算 术编码, 并更新所使用的上下文模型。 在本发明实施例中, 该过程可以与现 有技术相同, 这里为了避免赘述, 省略其说明。

在本发明实施例中, 可以根据所获得的参考信息, 对各第一目标图像子 块进行编码处理, 进而完成对目标图像块的编码处理, 并将生成的目标图像 块的信息以及上述熵编码处理后的第一指示信 息加入码流(目标码流)。 这里, 需要说明的是, 在该目标码流中, 可以包括编码处理后的目标图 像(包括基本层图像和增强层图像)信息, 并且, 该处理过程可以与现有技 术相同, 这里, 为了避免赘述, 省略其说明。

在本发明实施例中, 可以规定, 例如, 当第四指示信息为 1时, 则解码 端需要使用与编码端相同的方法获取第一目标 图像子块的第二参考信息, 则 解码端需要使用与编码端相同的方法获取第一 目标图像子块的第二参考信 息。

应理解, 以上列举的第四指示信息的指示方法仅为示例 性说明, 本发明 并不限定于此。

因此, 解码端可以根据该第四指示信息, 确定是否需要获取第一目标图 像子块的第二参考信息, 下面, 对编码端需要获取第一目标图像子块的第二 参考信息的情况进行说明。

在解码端, 可以从码流中获取目标图像信息, 并确定目标图像(具体地 说, 是目标图像块), 对获取的第四指示信息 (熵编码处理后的信息)进行 熵解码处理, 该处理过程中, 上下文选择与上下文更新的过程与上述编码端 的处理相同或相似, 这里省略其说明。

可以根据选择的上下文从码流中解析得到表示 第四指示信息的二进制 符号字串 (bin string )。 其中, 该二进制算术解码处理与编码端的二进制算 术编码处理相对应。

需要说明的是, 在本发明实施例中, 在使用方法 3获取第一目标图像子 块的第二参考信息时,可以获取基本层图像中 与该第一目标图像子块相对应 的子块的重建像素, 并对该重建像素进行上采样处理, 生成该第一目标图像 子块的预测信号作为参考信息。 可以根据第一目标图像子块的参考信息(具 体地说, 是该预测信号), 对该第一目标图像子块进行编码处理(具体地 说, 是预测编码处理)。 具体地说, 重建像素上采样后作为当前子块的预测信号。 在获取到当前块的预测信号之后,就可以对当 前块进行运动补偿处理,并且, 还可以叠加另外解码得到的残差信号, 以获取重建信号。

并且, 还可以对目标图像块的各子块间的边界附近像 素进行滤波处理。 根据本发明实施例的用于图像处理的方法,对 于增强层图像的目标图像 块中不能从基本层图像包括的对应子块获得运 动信息的第一目标图像子块, 通过根据该第一目标图像子块的位置确定第二 目标图像子块, 并根据在空间 位置上与该第一目标图像子块相对应的第一基 本层图像子块的重建像素,确 定针对该第一目标图像子块的参考信息, 并根据该参考信息进行编码处理, 能够提高该第一目标图像子块的编码性能。

图 9示出了从解码端角度描述的根据本发明实施 的用于图像处理的方 法 800的示意性流程图。 如图 9所示, 该方法 800包括:

S210, 从目标码流中, 获取第四指示信息;

S220 , 当确定与目标图像块的第一目标图像子块相对 应的第一基本层图 像子块的运动信息为空时, 基于该第四指示信息, 根据该第一基本层图像子 块的重建像素, 确定用于对该第一目标图像子块进行编码的第 二参考信息, 其中, 该第一基本层图像子块是位于基本层图像中的 图像块, 该目标图像块 位于增强层图像中, 该的基本层图像与该增强层图像相对应, 且该第一基本 图像块子块在该基本层图像中的空间位置与该 第一目标图像子块在该增强 层图像中的空间位置相对应;

S230, 对该目标码流进行解码, 以获取该目标图像块。

具体地说, 在 S210, 解码端可以从码流中获取目标图像信息, 并确定 目标图像(具体地说, 是目标图像块), 并获取的第一指示信息 (熵编码处 理后的信息)。

可选地, 该从目标码流中, 获取第一指示信息, 包括:

从目标码流中, 获取第一指示信息, 其中, 该第一指示信息在该目标码 流中与跳过模式标志位或融合 MERGE模式标志位信息相邻。

具体地说, 在本发明实施例中, 在目标码流中, 可以将第一指示信息配 置在与跳过模式标志位信息相邻的位置。 具体地说,

例如, 可以将第一指示信息置于跳过模式标志位信息 之前作为目标图像 块在目标码流中的第一个信息,还可以将第一 指示信息置于跳过模式标志位 信息之后作为目标图像块在目标码流中的第二 个信息。上述跳过模式可以是 与现有技术相同的模式,其确定方法与配置位 置可以与现有技术相同,这里, 为了避免赘述, 省略其说明。

再例如, 可以将第一指示信息置于与 MERGE模式标志位信息相邻的位 置。 具体的, 可以将第一指示信息置于 MERGE模式标志位信息之前, 还可 以将第一指示信息置于 MERGE模式标志位信息之后。该 MERGE可以是与 现有技术相同的模式, 其确定方法与配置位置可以与现有技术相同, 这里, 为了避免赘述, 省略其说明。

其后, 解码端可以对获取的第一指示信息进行熵解码 处理。

在本发明实施例中, 该第一指示信息可以是一个二进制标志位。 因此, 在对第一指示信息进行熵解码时, 无需使第一指示信息二值化。

其后, 可以选择用于对二值化的第一指示信息进行熵 编码处理时使用的 上下文, 可选地, 该从目标码流中, 获取第一指示信息, 包括:

根据该增强层图像中位于预设位置的参考图像 块是否使用参考信息进 行解码处理, 确定上下文;

根据该上下文, 进行熵解码处理, 以确定该第一指示信息。

具体地说。 如以上表 1所示, 该上下文可以包含 0、 1、 2三个上下文。 本实施例根据左边和上方的图像块是否使用基 本层模式来确定使用哪一个 上下文。 在本实施例中, 例如, 可以根据目标图像块左边和上方的图像块是 否使用其各自的第一指示信息, 确定使用哪一种上下文, 例如, 如果目标图 像块左边和上方的图像块都不使用第一指示信 息, 那么选择索引为 0的上下 文模型, 如果目标图像块左边和上方的图像块有一个使 用第一指示信息, 那 么选择索引为 1的上下文模型,如果目标图像块左边和上方 图像块都使用 第一指示信息, 那么选择索引为 2的上下文。

其后, 可以根据如上该选择的上下文对该第一指示信 息进行二进制算术 解码, 并更新所使用的上下文模型。 在本发明实施例中, 该过程可以与现有 技术相同, 这里为了避免赘述, 省略其说明。

在本发明实施例中, 可以规定, 例如, 当第一指示信息为 1时, 则解码 端需要使用与编码端相同的方法获取第一目标 图像子块的第一参考信息, 则 解码端需要使用与编码端相同的方法获取第一 目标图像子块的第一参考信 息。

应理解, 以上列举的第一指示信息的指示方法仅为示例 性说明, 本发明 并不限定于此。

因此, 解码端可以根据该第一指示信息, 确定是否需要获取第一目标图 像子块的第一参考信息, 下面, 对编码端需要获取第一目标图像子块的第一 参考信息的情况进行说明。

在本发明实施例中, 在对图像进行分层编码, 例如, 在空间可伸缩编码 时, 可以将图像进行将分辨率处理得到低分辨率图 像, 作为对比将原图像称 作高分辨率图像, 编码器分别对该低分辨率图像以及该高分辨率 图像进行编 码处理。 为方便描述, 本文中将质量高的待编码图像称作增强层图像 , 将对 应的质量低的待编码图像(例如所述低分辨率 图像)称作基本层图像。

在本发明实施例中, 目标图像是使用分层编码技术进行处理的图像 , 基 本层是指分层编码中的质量(包括帧速率、 空间分辨率、 时间分辨率、 信噪 比强度或质量等级等参数)较低的层, 增强层是指分层编码中的质量(包括 帧速率、 空间分辨率、 时间分辨率、 信噪比强度或质量等级等参数)较高的 层。 需要说明的是, 在本发明实施例中, 在本发明实施例中, 对于一个给定 的增强层, 与其相对应的基本层可以为质量低于该增强层 的任一层, 例如, 如果当前存在五层, 编码质量依次提高 (即, 第一层质量最低, 第五层质量 最高), 如果增强层为第四层, 则基本层可以是第一层, 也可以是第二层、 也可以是第三层、 也可以是第四层。 同理, 对于一个给定的基本层, 与其相 对应的增强层可以为质量低于该基本层的任一 层。

增强层图像为当前处理的增强层中的图像,基 本层图像为基本层中与增 强层图像在同一时刻的图像。

综上所述, 在本发明实施例中, 该基本层图像的质量低于该增强层图像 的质量。

目标图像块为该增强层图像中正在处理的图像 块。

基本层图像块为基本层图像中与该目标图像块 在空间位置上存在对应 关系的图像块。

在本发明实施例中,基本层中的图像块与增强 层中的图像块的对应关系 可以根据基本层图像与增强层图像之间的分辨 率比例关系计算得到。 例如, 在包括 X方向和 y方向的系统内,如果增强层图像在 X方向与 y方向的分辨 率分别 本层图像的 2倍,则对于增强层中左上角的像素坐标为(2x , 2y ) 且大小为(2m ) X ( 2n )的图像块, 其基本层图像中的对应块可以是左上角 的像素坐标为 (X , y )且大小为 m x n的图像块。

在本发明实施例中, 后述子块是指目标图像块的子块(增强层内的 图像 块), 后述对应子块是指该子块的在基本层中对应的 图像块。

在本发明实施例中, 运动信息可以包括预测方向、 参考图像索引或运动 矢量中的一个或多个, 其中, 预测方向可分为单向和双向预测, 单向预测又 可以分为前向预测与后向预测, 前向预测指使用前向参考图像列表, 即列表

( list ) 0中的参考图像产生预测信号, 后向预测指使用后向参考图像列表, 即 list 1中的参考图像产生预测信号, 双向预测指同时使用 list 0和 list 1中 的参考图像产生预测信号;对于单向预测,需 要一个参考图像索引指示在 list 0或 list l中所选择的参考图像, 对于双向预测, 需要两个参考图像索引, 分 别指示在 list 0与 list 1中所选择的参考图像; 每一个运动矢量包括水平方向 分量 X和竖直方向分量 y , 可记作(X , y ) , 对于单向预测, 需要一个运动矢 量指示预测信号在所选择的 list 0或 list 1参考图像中的位移,对于双向预测, 需要两个运动矢量,分别指示前向预测信号与 后向预测信号在所选择的 list O 参考图像与 list 1参考图像中的位移。

在本发明实施例中, 目标图像块可以看作由至少两个子块(即, 目标图 像子块)构成的, 其中, 该子块的大小可以根据预设值确定, 为了便于说明, 以下, 以子块大小为 4 x 4为例进行说明。 例如, 如果目标图像块的大小为 16 x 16 , 则可以确定该目标图像块包括 16个子块(大小为 4 x 4 )。 从而, 在 本发明实施例中, 可以确定该目标图像块中的每一个子块(第一 目标图像子 块)在基本层中的对应子块(第一基本层图像 子块), 并确定该对应子块的 运动信息。

在本发明实施例中, 可以根据子块(第一目标图像子块) 中的某一像素 点的坐标(记作: " (E x , E y ) " ), 确定该像素点在基本层图像中对应位置的坐 标(记作: " ( 并将包含所属对应的位置坐标的基本层中的图 像块 作为所述对应子块(第一基本层图像子块)。 在本发明实施例中, 可以按照 以下公式 1至公式 10计算得到第一目标图像子块的运动矢量 (EMV x , EMV y )。

这里, 需要说明的是, 如果基本层图像与增强层图像的分辨率相同, 则 无需进行上述的缩放操作, 而可以直接使用对应子块的运动信息作为子块 的 运动信息。

通过以上方法, 可以确定目标图像块中能从基本层图像包括的 对应子块 获得运动信息的子块。

从而, 对于能够从基本层图像包括的对应子块获得运 动信息的子块, 可 以将其对应子块的运动信息

可选地, 在本发明实施例中, 该方法还包括:

根据所述基本层图像的编码模式,确定与第一 目标图像子块相对应的第 一基本层图像子块是否包括运动信息。

具体地说,在本发明实施例中,可以根据所述 基本层图像(对应图像块) 的编码模式确定该对应子块是否包含有运动信 息。 例如, 如果基本层图像使 用帧内预测编码模式, 则可以确定该对应子块不包含运动信息(即, 第一基 本层图像子块的运动信息为空)。

从而, 在该对应子块包括运动信息时, 可以按如上所述过程确定该对应 子块并获取其运动信息, 在该对应子块不包括运动信息时, 可以通过以下方 方法 4, 获取该第一目标图像子块的第二参考信息。

方法 4

具体地说, 可以获取基本层图像中与该第一目标图像子块 相对应的子块 的重建像素, 并对该重建像素进行上采样处理, 生成该第一目标图像子块的 预测信号作为参考信息。

可选地, 该根据该参考信息, 对该目标图像块进行解码处理, 包括: 根据该参考信息, 对该第一目标图像子块进行运动补偿处理。

在 S230, 可以根据获取的参考信息, 对该第一目标子块进行解码处理, 在该参考信息是通过方法 3获取的情况下, 可以根据第一目标图像子块的参 考信息 (具体地说是运动信息), 对该第一目标图像子块进行解码处理(具 体地说, 是运动补偿处理)。 具体地说, 可以根据如上所述为该第一目标图 像子块填充的运动信息, 对该第一目标图像子块进行运动补偿处理。

在该参考信息是通过方法 4获取的情况下, 可以获取基本层图像中与该 第一目标图像子块相对应的子块的重建像素, 并对该重建像素进行上采样处 理, 生成该第一目标图像子块的预测信号作为参考 信息。 可以根据第一目标 图像子块的参考信息 (具体地说, 是该预测信号), 对该第一目标图像子块 进行编码处理(具体地说, 是预测编码处理)。 具体地说, 重建像素上采样 后作为当前子块的预测信号。 在获取到当前块的预测信号之后, 就可以对当 前块进行运动补偿处理, 并且, 还可以叠加另外解码得到的残差信号, 以获 取重建信号。

在本发明实施例中, 对于目标图像块中的第三目标图像子块(基本 层中 的对应子块包括运动信息), 可以通过与现有技术相同的方法, 获取其运动 信息, 并对其进行解码处理, 该过程可以与现有技术相同, 这里, 为了避免 赘述, 省略其说明。 可选地, 该根据该参考信息, 对该目标图像块进行解码处理, 包括: 对位于该目标图像子块之间的边界附近的像素 进行去块效应滤波处理。 根据本发明实施例的用于图像处理的方法,对 于增强层图像的目标图像 块中不能从基本层图像包括的对应子块获得运 动信息的第一目标图像子块, 通过根据该第一目标图像子块的位置确定第二 目标图像子块, 并根据在空间 位置上与该第一目标图像子块相对应的第一基 本层图像子块的重建像素,确 定针对该第一目标图像子块的参考信息, 并根据该参考信息进行编码处理, 能够提高该第一目标图像子块的编码性能。

上文中, 结合图 8至图 9, 详细描述了根据本发明实施例的用于图像处 理的方法, 下面, 将结合图 10至图 11 , 详细描述根据本发明实施例的用于 图像处理的装置。

图 10示出了根据本发明实施例的用于图像处理的 置 900的示意性框 图。 如图 10所示, 该装置 900包括:

获取单元 910, 用于当确定与目标图像块的第一目标图像子块 相对应的 第一基本层图像子块的运动信息为空时,根据 该第一基本层图像子块的重建 像素, 确定用于对该第一目标图像子块进行编码的第 二参考信息, 其中, 该 第一基本层图像子块是位于基本层图像中的图 像块, 该目标图像块位于增强 层图像中, 该的基本层图像与该增强层图像相对应, 且该第一基本图像块子 块在该基本层图像中的空间位置与该第一目标 图像子块在该增强层图像中 的空间位置相对应;

编码单元 920, 用于对该目标图像块进行编码, 以生成目标码流以及包 含于该目标码流中的第四指示信息。

可选地, 该编码单元 920具体用于对位于该目标图像子块之间的边界 附 近的像素进行去块效应滤波处理。

可选地, 该编码单元 920具体用于对该第四指示信息进行熵编码, 以使 该第四指示信息在该目标码流中与跳过模式标 志位或融合 MERGE模式标志 位信息相邻。

可选地, 该编码单元 920具体用于根据该增强层图像中位于预设位置 的 参考图像块是否使用参考信息进行编码, 确定上下文;

用于根据该上下文, 对该第四指示信息进行熵编码。

根据本发明实施例的用于图像处理的装置 900可对应于本发明实施例的 方法中的编码端, 并且, 该图像处理的装置 900中的各单元即模块和上述其 他操作和 /或功能分别为了实现图 8中的方法 700的相应流程, 为了筒洁,在 此不再赘述。

根据本发明实施例的用于图像处理的装置,对 于增强层图像的目标图像 块中不能从基本层图像包括的对应子块获得运 动信息的第一目标图像子块, 通过根据该第一目标图像子块的位置确定第二 目标图像子块, 并根据在空间 位置上与该第一目标图像子块相对应的第一基 本层图像子块的重建像素,确 定针对该第一目标图像子块的参考信息, 并根据该参考信息进行编码处理, 能够提高该第一目标图像子块的编码性能。

图 11示出了根据本发明实施例的用于图像处理的 置 1000的示意性框 图。 如图 11所示, 该装置 1000包括:

解码单元 1010, 用于从目标码流中, 获取第四指示信息;

获取单元 1020 ,用于当确定与目标图像块的第一目标图像子 相对应的 第一基本层图像子块的运动信息为空时,基于 该解码单元获取的第四指示信 息, 根据该第一基本层图像子块的重建像素, 确定用于对该第一目标图像子 块进行编码的第二参考信息, 其中, 该第一基本层图像子块是位于基本层图 像中的图像块, 该目标图像块位于增强层图像中, 该的基本层图像与该增强 层图像相对应,且该第一基本图像块子块在该 基本层图像中的空间位置与该 第一目标图像子块在该增强层图像中的空间位 置相对应;

该编码单元 1010还用于对该目标码流进行解码, 以获取该目标图像块。 可选地, 该解码单元 1010具体用于对位于该目标图像子块之间的边 附近的像素进行去块效应滤波处理。

可选地, 该解码单元 1010具体用于从目标码流中, 获取第四指示信息, 其中, 该第四指示信息在该目标码流中与跳过模式标 志位或融合 MERGE模 式标志位信息相邻。

可选地, 该解码单元 1010具体用于根据该增强层图像中位于预设位 的参考图像块是否使用参考信息进行解码, 确定上下文;

用于根据该上下文, 进行熵解码, 以确定该第四指示信息。

根据本发明实施例的用于图像处理的装置 1000可对应于本发明实施例 的方法中解码端, 并且, 该用于图像处理的装置 1000 中的各单元即模块和 上述其他操作和 /或功能分别为了实现图 9中的方法 800的相应流程,为了筒 洁, 在此不再赘述。

根据本发明实施例的用于图像处理的装置,对 于增强层图像的目标图像 块中不能从基本层图像包括的对应子块获得运 动信息的第一目标图像子块, 通过根据该第一目标图像子块的位置确定第二 目标图像子块, 并根据在空间 位置上与该第一目标图像子块相对应的第一基 本层图像子块的重建像素,确 定针对该第一目标图像子块的参考信息, 并根据该参考信息进行编码处理, 能够提高该第一目标图像子块的编码性能。

上文中, 结合图 8至图 11 ,详细描述了根据本发明实施例的用于图像处 理的方法和装置, 下面将结合图 12和图 13 , 详细描述根据本发明实施例的 用于图像处理的编码器和解码器。

图 12示出了根据本发明实施例的用于图像处理的 码器 1100的示意性 框图。 如图 12所示, 该编码器 1100可以包括:

总线 1110;

与该总线相连的处理器 1120;

与该总线相连的存储器 1130;

其中, 该处理器 1120通过该总线 1110, 调用该存储器 1130中存储的程 序, 以用于当确定与目标图像块的第一目标图像子 块相对应的第一基本层图 像子块的运动信息为空时, 根据该第一基本层图像子块的重建像素, 确定用 于对该第一目标图像子块进行编码的第二参考 信息, 其中, 该第一基本层图 像子块是位于基本层图像中的图像块, 该目标图像块位于增强层图像中, 该 的基本层图像与该增强层图像相对应,且该第 一基本图像块子块在该基本层 图像中的空间位置与该第一目标图像子块在该 增强层图像中的空间位置相 对应;

对该目标图像块进行编码, 以生成目标码流以及包含于该目标码流中的 第四指示信息。

可选地, 该处理器 1120具体用于对位于该目标图像子块之间的边 附 近的像素进行去块效应滤波处理。

可选地, 该处理器 1120具体用于对该第四指示信息进行熵编码, 以使 该第四指示信息在该目标码流中与跳过模式标 志位或融合 MERGE模式标志 位信息相邻。

可选地, 该处理器 1120具体用于根据该增强层图像中位于预设位 的 参考图像块是否使用参考信息进行编码, 确定上下文;

用于根据该上下文, 对该第四指示信息进行熵编码。

根据本发明实施例的用于图像处理的编码器 1100可对应于本发明实施 例的方法中编码端, 并且, 该用于图像处理的编码器 1100 中的各单元即模 块和上述其他操作和 /或功能分别为了实现图 8中的方法 700的相应流程,为 了筒洁, 在此不再赘述。

根据本发明实施例的用于图像处理的编码器, 对于增强层图像的目标图 像块中不能从基本层图像包括的对应子块获得 运动信息的第一目标图像子 块, 通过根据该第一目标图像子块的位置确定第二 目标图像子块, 并根据在 空间位置上与该第一目标图像子块相对应的第 一基本层图像子块的重建像 素, 确定针对该第一目标图像子块的参考信息, 并根据该参考信息进行编码 处理, 能够提高该第一目标图像子块的编码性能。

图 13示出了根据本发明实施例的用于图像处理的 码器 1200的示意性 框图。 如图 7所示, 该解码器 1200可以包括:

总线 1210;

与该总线相连的处理器 1220;

与该总线相连的存储器 1230;

其中,该处理器 1220通过该总线 1210,调用该存储器 1230中存储的程 序, 以用于从目标码流中, 获取第四指示信息;

用于当确定与目标图像块的第一目标图像子块 相对应的第一基本层图 像子块的运动信息为空时, 基于该第四指示信息, 根据该第一基本层图像子 块的重建像素, 确定用于对该第一目标图像子块进行编码的第 二参考信息, 其中, 该第一基本层图像子块是位于基本层图像中的 图像块, 该目标图像块 位于增强层图像中, 该的基本层图像与该增强层图像相对应, 且该第一基本 图像块子块在该基本层图像中的空间位置与该 第一目标图像子块在该增强 层图像中的空间位置相对应;

用于对该目标码流进行解码, 以获取该目标图像块。

可选地, 该处理器 1220具体用于对位于该目标图像子块之间的边 附 近的像素进行去块效应滤波处理。

可选地, 该处理器 1220具体用于从目标码流中, 获取第四指示信息, 其中, 该第四指示信息在该目标码流中与跳过模式标 志位或融合 MERGE模 式标志位信息相邻。

可选地, 该处理器 1220具体用于根据该增强层图像中位于预设位 的 参考图像块是否使用参考信息进行解码, 确定上下文;

用于根据该上下文, 进行熵解码, 以确定该第四指示信息。

根据本发明实施例的用于图像处理的解码器 1200可对应于本发明实施 例的方法中解码端, 并且, 该用于图像处理的解码器 1200 中的各单元即模 块和上述其他操作和 /或功能分别为了实现图 9中的方法 800的相应流程,为 了筒洁, 在此不再赘述。

根据本发明实施例的用于图像处理的解码器, 对于增强层图像的目标图 像块中不能从基本层图像包括的对应子块获得 运动信息的第一目标图像子 块, 通过根据该第一目标图像子块的位置确定第二 目标图像子块, 并根据在 空间位置上与该第一目标图像子块相对应的第 一基本层图像子块的重建像 素, 确定针对该第一目标图像子块的参考信息, 并根据该参考信息进行编码 处理, 能够提高该第一目标图像子块的编码性能。

需要说明的是, 为了使编码端与解码端获取的参考信息一致, 所以要求 编码端与解码端使用的获取参考信息的方法一 致, 即, 如果编码端使用方法 1获取参考信息(第一参考信息 ),则解码端要使用方法 2 (与方法 1相对应) 获取参考信息 (第一参考信息)。 换言之, 可以根据所描述的编码端处理方 法对应的确定解码端处理方法, 或者根据所描述的解码端处理方法对应的确 定编码端处理方法。

应理解, 本文中术语 "和 /或", 仅仅是一种描述关联对象的关联关系, 表示可以存在三种关系, 例如, A和 /或 B , 可以表示: 单独存在 A, 同时存 在 A和 B , 单独存在 B这三种情况。 另外, 本文中字符 "/" , 一般表示前后 关联对象是一种 "或" 的关系。

应理解, 在本发明的各种实施例中, 上述各过程的序号的大小并不意味 着执行顺序的先后, 各过程的执行顺序应以其功能和内在逻辑确定 , 而不应 对本发明实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到, 结合本文中所公开的实施例描述的各 示例的单元及算法步骤, 能够以电子硬件、 或者计算机软件和电子硬件的结 合来实现。 这些功能究竟以硬件还是软件方式来执行, 取决于技术方案的特 定应用和设计约束条件。 专业技术人员可以对每个特定的应用来使用不 同方 法来实现所描述的功能 , 但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到, 为描述的方便和筒洁, 上述描 述的系统、 装置和单元的具体工作过程, 可以参考前述方法实施例中的对应 过程, 在此不再赘述。

在本申请所提供的几个实施例中, 应该理解到, 所揭露的系统、 装置和 方法, 可以通过其它的方式实现。 例如, 以上所描述的装置实施例仅仅是示 意性的, 例如, 所述单元的划分, 仅仅为一种逻辑功能划分, 实际实现时可 以有另外的划分方式, 例如多个单元或组件可以结合或者可以集成到 另一个 系统, 或一些特征可以忽略, 或不执行。 另一点, 所显示或讨论的相互之间 的耦合或直接耦合或通信连接可以是通过一些 接口, 装置或单元的间接耦合 或通信连接, 可以是电性, 机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可 以不是物理上分开的,作 为单元显示的部件可以是或者也可以不是物理 单元, 即可以位于一个地方, 或者也可以分布到多个网络单元上。可以根据 实际的需要选择其中的部分或 者全部单元来实现本实施例方案的目的。

另外, 在本发明各个实施例中的各功能单元可以集成 在一个处理单元 中, 也可以是各个单元单独物理存在, 也可以两个或两个以上单元集成在一 个单元中。

所述功能如果以软件功能单元的形式实现并作 为独立的产品销售或使 用时, 可以存储在一个计算机可读取存储介质中。 基于这样的理解, 本发明 的技术方案本质上或者说对现有技术做出贡献 的部分或者该技术方案的部 分可以以软件产品的形式体现出来,该计算机 软件产品存储在一个存储介质 中, 包括若干指令用以使得一台计算机设备(可以 是个人计算机, 服务器, 或者网络设备等)执行本发明各个实施例所述 方法的全部或部分步骤。 而前 述的存储介质包括: U盘、移动硬盘、只读存储器( ROM , Read-Only Memory )、 随机存取存储器(RAM, Random Access Memory ), 磁碟或者光盘等各种可 以存储程序代码的介质。

以上所述, 仅为本发明的具体实施方式, 但本发明的保护范围并不局限 于此, 任何熟悉本技术领域的技术人员在本发明揭露 的技术范围内, 可轻易 想到变化或替换, 都应涵盖在本发明的保护范围之内。 因此, 本发明的保护 范围应以所述权利要求的保护范围为准。