201210482830.3、 发明名称为"一种透镜畸变校正方法和装置"的� ��国专利申请 的优先权， 其全部内容通过引用结合在本申请中。 技术领域

本发明涉及图像传感器捕捉图像时产生的透镜 畸变（ lens distortion)误差， 更具体地涉及一种对数字图像的透镜畸变进行 校正的方法和装置。 背景技术

透镜畸变是影响图像传感器产生数字图像的质 量的最重要的因素之一，需 要对畸变的图像进行校正。

现有的校正数字图像中透镜畸变的方法最常用 的是采用以下两种方法将 数字图像一次性校正到位：

一种方法是使用在线行緩沖区实现透镜畸变一 次性校正。该方法在从透镜 上获取图像数据的同时进行水平方向和垂直方 向上的透镜畸变的校正。一次性 校正需要大量的行緩沖区来存储畸变线条 (distorted lines)的坐标数据， 这种行 緩沖区是小的暂存存储单元， 用于存储图像数据的行或行的一部分。取决于 透 镜，在产生校正后的图像的新坐标之前， 需要大量的行緩沖区来存储相邻行的 数据。最大畸变程度为多少，就需要多少行緩 沖区，例如，最大畸变程度为 20%, 对于分辨率为 720 * 1280的图像来说， 则需要 20% * 720/2=72个行緩沖区。 行 緩沖区往往就是片上系统存储器，如此多的行 緩沖区会导致成本太高， 这在产 品实现中是难以接受的。

另一种方法是使用离线 DDR(DDR SDRAM,双倍速率同步动态随机存储 器， 以下筒称" DDR")实现透镜畸变一次性校正。 该方法将从透镜上获取图像 数据存入片外的 DDR^再同时进行水平方向和垂直方向的透镜畸� �的校正。 DDR接收一帧或两帧数据形成的数据块，通过将 图像中的像素点的位置进行搬 移来实现校正。校正后的图像的像素点的 DDR写入地址是连续的，为了保证校 正后的像素点的 DDR写入地址连续， 则校正前原图像的像素点的 DDR读出地 址不能满足连续性，导致对应像素点的 DDR不能按读地址进行连续读，只能是 非连续地址的跳读， 而 DDR读操作时需要一个刷新周期， 不能连续读， 导致 DDR读出效率低， 这在产品实现中是难以接受的。

虽然对应像素点的 DDR读地址不连续，但可以按连续读出包括对应 像素点 在内的其它无用像素点数据来保证读地址连续 ， 一次性读出的块大小等于"连 续长度 *连续个数"， 连续长度是指一个刷新周期内的连续读， 可读取的像素点 之和， 遇到一个畸变， 则连续读停止， 连续长度可以为水平方向的横向长度， 连续个数是指系统允许的 DDR—次性读出的块内重新启动连续读的次数,� �续 长度可以为垂直方向的竖向列长，这里的连续 长度和连续个数均由径向畸变程 度决定， 但"连续长度 *连续个数"又受限于产品实现性能， 在径向畸变程度较 大时， 其决定的"连续长度 *连续个数"会超出产品实现性能极限， 从而不能保 证读地址连续。

以上校正方法成本过高且效率低， 因此， 需要一种低成本且校正效率高的 透镜畸变校正方法和装置。 发明内容

本发明实施例提供一种透镜畸变校正方法和装 置，可以低成本地实现透镜 畸变校正。

本发明第一方面提供一种透镜畸变校正方法， 可包括以下步骤： 对从透镜上获取的图像数据进行水平方向的校 正；

将进行所述水平方向的校正后的所述图像数据 写入动态存储器； 对所述动态存储器中的图像数据进行垂直方向 的校正。 在第一种可能的实施方式中，所述对从透镜上 获取的图像数据进行水平方 向的校正包括：

逐行扫描所述透镜上的图像， 得到所述图像数据；

对所述图像数据逐行进行所述水平方向的校正 。 在第二种可能的实施方式中，所述对从透镜上 获取的图像数据进行水平方 向的校正包括：

逐行扫描所述透镜上的图像， 得到所述图像数据；

将至少一行所述图像数据写入行緩沖区；

对所述行緩沖区中的至少一行所述图像数据进 行所述水平方向的校正。 结合第一方面或第一方面的第一种可能的实施 方式或第一方面的第二种 可能的实施方式，在第三种可能的实施方式中 ， 所述对所述动态存储器中的图 像数据进行垂直方向的校正包括：

所述动态存储器进行至少一次连续读取垂直方 向上的所述图像数据； 所述动态存储器对所述至少一次连续读取的图 像数据进行校正。

结合第一方面或第一方面的第一种可能的实施 方式或第一方面的第二种 可能的实施方式，在第四种可能的实施方式中 ， 所述对所述动态存储器中的图 像数据进行垂直方向的校正包括：

对所述动态存储器中的图像数据进行 90°旋转；

对所述旋转后的图像数据进行垂直方向的校正 。

结合第一方面的第四种可能的实施方式，在第 五种可能的实施方式中， 所 述对所述旋转后的图像数据进行垂直方向的校 正包括：

所述动态存储器进行至少一次连续读取所述进 行水平方向的校正后的图 像数据；

所述动态存储器对所述至少一次连续读取的所 述图像数据进行校正。 结合第一方面的第五种可能的实施方式，在第 六种可能的实施方式中， 所 述动态存储器一次连续读取的图像数据的长度 最大为读取的 DDR块数据中进 行所述水平方向的校正后的图像数据的行长。 本发明第二方面提供一种透镜畸变校正装置， 可包括：

第一校正单元， 用于对从透镜上获取的图像数据进行水平方向 的校正； 第一写入单元，用于将进行所述水平方向的校 正后的所述图像数据写入动 态存储器；

第二校正单元， 用于对所述动态存储器中的图像数据进行垂直 方向的校 正。

在第一种可能的实施方式中， 所述第一校正单元包括：

第一获取单元， 用于逐行扫描所述透镜上的图像， 得到所述图像数据； 第三校正单元， 用于对所述图像数据逐行进行所述水平方向的 校正。 在第二种可能的实施方式中， 所述第一校正单元包括：

第二获取单元， 用于逐行扫描所述透镜上的图像， 得到所述图像数据； 第二写入单元， 用于将至少一行所述图像数据写入行緩沖区；

第四校正单元，用于对所述行緩沖区中的至少 一行所述图像数据进行所述 水平方向的校正。

结合第二方面或第二方面的第一种可能的实施 方式或第二方面的第二种 可能的实施方式， 在第三种可能的实施方式中， 所述第二校正单元包括： 第一读取单元，用于所述动态存储器进行至少 一次连续读取垂直方向上的 所述图像数据；

第五校正单元，用于所述动态存储器对所述至 少一次连续读取的图像数据 进行校正。

结合第二方面或第二方面的第一种可能的实施 方式或第二方面的第二种 可能的实施方式， 在第四种可能的实施方式中， 所述第二校正单元包括： 旋转单元， 用于对所述动态存储器中的图像数据进行 90。旋转； 第六校正单元， 用于对所述旋转后的图像数据进行垂直方向的 校正。 结合第二方面的第四种可能的实施方式，在第 五种可能的实施方式中， 所 述第六校正单元包括：

第二读取单元，用于所述动态存储器进行至少 一次连续读取所述进行水平 方向的校正后的图像数据；

第七校正单元，用于所述动态存储器对所述至 少一次连续读取的所述图像 数据进行校正。

结合第二方面的第五种可能的实施方式，在第 六种可能的实施方式中， 所 述动态存储器一次连续读取的图像数据的长度 最大为读取的 DDR块数据中进 行所述水平方向的校正后的图像数据的行长 。

由上可见，在本发明的一些可行的实施方式中 ，按照水平方向和垂直方向 分两步进行透镜畸变校正， 低成本地实现了透镜畸变校正。 附图说明

为了更清楚地说明本发明实施例或现有技术中 的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作筒单 地介绍，显而易见地， 下面描述 中的附图仅仅是本发明的一些实施例，对于本 领域普通技术人员来讲，在不付 出创造性劳动的前提下， 还可以根据这些附图获得其他的附图。

图 1A-B为原始的图像和畸变的图像的示意图；

图 2为本发明透镜畸变校正方法的第一实施例的� �法流程图；

图 3 为本发明透镜畸变校正方法的第一实施例中水 平方向校正的一种实 现方式的方法流程图；

图 4 为本发明透镜畸变校正方法的第一实施例中水 平方向校正的又一种 实现方式的方法流程图；

图 5 为本发明透镜畸变校正方法的第一实施例中垂 直方向校正的一种实 现方式的方法流程图；

图 6为本发明透镜畸变校正方法的第二实施例的� �法流程图；

图 7 为本发明透镜畸变校正方法的第二实施例中对 旋转后的图像数据进 行垂直方向校正的一种实现方式的方法流程图 ；

图 8为本发明透镜畸变校正装置的第一实施例的� �构示意图；

图 9为本发明透镜畸变校正装置的第二实施例的� �构示意图。 具体实施方式

下面将结合本发明实施例中的附图，对本发明 实施例中的技术方案进行清 楚、 完整地描述， 显然， 所描述的实施例仅仅是本发明一部分实施例， 而不是 全部的实施例。基于本发明中的实施例， 本领域普通技术人员在没有作出创造 性劳动前提下所获得的所有其他实施例， 都属于本发明保护的范围。

透镜畸变是当成像物体没有位于透镜的光轴位 置上时所产生的光学像差。 其结果是在数字图像坐标和物体的坐标之间产 生偏差。在各种类型的透镜畸变 中，沿径向线偏离数字图像之光学中心的径向 畸变是最常见和最严重的类型之

发生径向畸变的数字图像向图像的中心弯曲 或者向外弯曲， 如图 1A-B所 示。 在图 1A中， 畸变的图像 105看上去呈现球形或桶形， 图像往偏离中心的方 向弯曲， 因为图像的放大倍数随着与光学中心的距离的 增大而降低。这种类型 的径向畸变就是通常所说的"桶形"畸变。 图 1B所示的畸变图像 115则具有相反 的效果， 图像往偏离中心的方向弯曲， 因为图像的放大倍数随着与光学中心的 距离的增加而增加。 这种类型的畸变就是通常所说的"枕形"畸变， 其形状就像 中间被挤压着。 另一种类型的径向畸变是胡子畸变 (moustache distortion),这是 一个桶形畸变 (在图像的中心)和枕形畸变（图像边沿）的混� ��。

上述三种径向畸变可以引起数字图像的重大错 误， 必须予以纠正。

图 2为本发明透镜畸变校正方法的第一实施例的� �法流程图。 如图 2所示， 该透镜畸变校正方法包括以下步骤：

步骤 S101 , 对从透镜上获取的图像数据进行水平方向的校 正。

在本实施例中，从光学透镜上获取图像数据， 对获取的图像数据进行水平 方向的校正， 作为一种实现方式， 如图 3所示， 步骤 S101可包括以下步骤： 步骤 S201 , 逐行扫描透镜上的图像， 得到图像数据。

步骤 S202 , 对图像数据逐行进行水平方向的校正。

由于是每扫描一行则校正一行， 所以无需行緩沖区。

作为另一种实现方式， 如图 4所示， 步骤 S101也可包括以下步骤： 步骤 S301 , 逐行扫描透镜上的图像， 得到图像数据。

步骤 S302, 将至少一行图像数据写入行緩沖区。 步骤 S303, 对行緩沖区中的至少一行图像数据进行水平方 向的校正。 由于仅进行水平方向的校正， 则所需的行緩沖区极少，仅为少数多行中的 每一行的水平方向的畸变数据的和。

采用步骤 S101的方法进行图像数据水平方向的校正， 不需要或者仅需极 少的行緩沖区， 这样极大地降低了校正的成本。

步骤 S102, 将进行水平方向的校正后的图像数据写入动态 存储器。

在本实施例中，步骤 S102可以单独实现，也可以在步骤 S101完成的同时 实现， 该动态存储器可以为 DDR, 步骤 S102即将进行水平方向的校正后的图 像数据写入 DDR变成 DDR块数据。

步骤 S103, 对动态存储器中的图像数据进行垂直方向的校 正。

在本实施例中，对动态存储器中的图像数据进 行垂直方向的校正，作为一 种实施方式， 如图 5所示， 步骤 S103包括以下步骤：

步骤 S401 , 动态存储器进行至少一次连续读取垂直方向上 的图像数据； 步骤 S402, 动态存储器对至少一次连续读取的图像数据进 行校正。

在该实施方式中， 动态存储器如 DDR仅需对其中存储的图像数据进行垂 直方向的校正， DDR进行至少一次连续读取 DDR块中垂直方向上的图像数据， 然后对至少一次连续读取的图像数据进行校正 。由于已经对图像数据进行水平 方向的校正， 则 DDR块数据中水平方向的像素点是连续的， 连续长度可按产 品实现的最大性能去选择， 而垂直方向校正的竖向列长由畸变程度决定， 即畸 变程度决定了连续的个数。 同时， 目前的图像传感器在形成图像数据时一般运 行旋转算法， 运行旋转算法则需占用 DDR带宽， 此时， 关闭旋转算法可释放 一些 DDR带宽， 最终降低了产品实现的成本。

根据本发明提供的透镜畸变校正方法的第一实 施例，按照水平方向和垂直 方向分两步进行透镜畸变校正， 低成本地实现了透镜畸变校正。

图 6为本发明透镜畸变校正方法的第二实施例的� �法流程图。 如图 6所示， 该透镜畸变校正方法包括以下步骤：

步骤 S501 , 对从透镜上获取的图像数据进行水平方向的校 正。

步骤 S502 , 将进行水平方向的校正后的图像数据写入动态 存储器。 步骤 S501和步骤 S502与前述第一实施例中的步骤 S101和步骤 S102分别相 同， 在此不再赘述。 在本实施例中， 动态存储器为 DDR。

步骤 S503 , 对动态存储器中的图像数据进行 90°旋转。

在本实施例中， 打开系统中的旋转算法，读出动态存储器中的 图像数据进 行 90°旋转， 并重新写入动态存储器中。

步骤 S504, 对旋转后的图像数据进行垂直方向的校正。

作为一种实施方式， 如图 7所示， 步骤 S504可包括以下步骤：

步骤 S601 , 动态存储器进行至少一次连续读取进行水平方 向的校正后的 图像数据；

步骤 S602, 动态存储器对至少一次连续读取的图像数据进 行校正。

在该实施方式中， 完成 90。旋转后， 对旋转后的图像数据进行垂直方向的 校正， 此时， 原竖向列数据变成了横向行数据， 原横向行数据变成了竖向列数 据，在旋转算法之后再进行图像数据垂直方向 （这里的垂直方向指最前端原始 图像的垂直方向） DDR校正时， 等同于对旋转算法后的 DDR块数据在横向行 方向上按地址连续进行连续读写操作即可，动 态存储器连续读取的图像数据的 长度最大为读取的 DDR块数据中进行所述水平方向的校正后的图像 数据的行 长， 而连续的个数可以根据需要较为自由的选择。

根据本发明提供的透镜畸变校正方法的第二实 施例，按照水平方向和垂直 方向分两步走并与旋转算法相结合进行透镜畸 变校正，水平方向上校正减少了 行緩沖区的需求，垂直方向上校正整体上提高 了动态存储器的读写效率， 最终 低成本地实现了透镜畸变校正， 同时， 可以独立地实现透镜畸变的水平校正功 能和垂直校正功能， 增加了用户的体验点。

图 8为本发明透镜畸变校正装置的第一实施例的� �构示意图。 如图 8所示， 该透镜畸变校正装置包括：

第一校正单元 1001 , 用于对从透镜上获取的图像数据进行水平方向 的校 正。

在本实施例中， 作为一种实现方式， 第一校正单元 1001可以包括： 第一获取单元， 用于逐行扫描所述透镜上的图像， 得到图像数据。

第三校正单元， 用于对图像数据逐行进行水平方向的校正。

由于是每扫描一行则校正一行， 所以无需行緩沖区。

作为另一种实现方式， 第一校正单元 1001可以包括：

第二获取单元， 用于逐行扫描所述透镜上的图像， 得到图像数据。

第二写入单元， 用于将至少一行图像数据写入行緩沖区。

第四校正单元，用于对行緩沖区中的至少一行 图像数据进行水平方向的校 正。

由于仅进行水平方向的校正， 则所需的行緩沖区极少，仅为少数多行中的 每一行的水平方向的畸变数据的和。

采用第一校正单元 1001进行图像数据水平方向的校正， 不需要或者仅需 极少的行緩沖区， 这样极大地降低了校正的成本。

第一写入单元 1002, 用于将进行水平方向的校正后的图像数据写入 动态 存储器。

在本实施例中， 写入单元 1002可以单独实现将进行水平方向的校正后的 图像数据写入动态存储器中，也可以在对捕获 的图像数据进行水平方向的校正 的同时实现， 该动态存储器可以为 DDR。

第二校正单元 1003, 用于对动态存储器中的图像数据进行垂直方向 的校 正。

在本实施例中， 作为一种实施方式， 第二校正单元 1003可以包括： 第一读取单元，用于动态存储器进行至少一次 连续读取垂直方向上的图像 数据。

第五校正单元， 用于动态存储器对至少一次连续读取的图像数 据进行校 正。

在该实施方式中， 动态存储器如 DDR仅需对其中存储的图像数据进行垂 直方向的校正， DDR进行至少一次连续读取 DDR块中垂直方向上的图像数据， 然后对至少一次连续读取的图像数据进行校正 。由于已经对图像数据进行水平 方向的校正， 则 DDR块数据中水平方向的像素点是连续的， 连续长度可按产 品实现的最大性能去选择， 而垂直方向校正的竖向列长由畸变程度决定， 即畸 变程度决定了连续的个数。 同时， 目前的图像传感器在形成图像数据时一般运 行旋转算法， 运行旋转算法则需占用 DDR带宽， 此时， 关闭旋转算法可释放 一些 DDR带宽， 最终降低了产品实现的成本。

根据本发明提供的透镜畸变校正装置的第一实 施例，按照水平方向和垂直 方向分两步进行透镜畸变校正， 低成本地实现了透镜畸变校正。

图 9为本发明透镜畸变校正装置的第二实施例的� �构示意图。如图 9所示， 该透镜畸变校正装置包括：

第一校正单元 2001 , 用于对从透镜上获取的图像数据进行水平方向 的校 正。

第一写入单元 2002, 用于将进行水平方向的校正后的图像数据写入 动态 存储器。

在本实施例中，第一校正单元 2001和写入单元 2002分别与前述第一实施 例中的第一校正单元 1001和写入单元 1002相同， 在此不再赞述。

旋转单元 2003, 用于对动态存储器中的图像数据进行 90。旋转。

在本实施例中， 打开系统中的旋转算法，读出动态存储器中的 图像数据进 行 90°旋转， 并重新写入动态存储器中。

第六校正单元 2004, 用于对旋转后的图像数据进行垂直方向的校正 。 作为一种实施方式， 第六校正单元 2004可以包括：

第二读取单元，用于动态存储器进行至少一次 连续读取进行水平方向的校 正后的图像数据。

第七校正单元， 用于动态存储器对至少一次连续读取的图像数 据进行校 正。

在该实施方式中， 完成 90。旋转后， 对旋转后的图像数据进行垂直方向的 校正， 此时， 原竖向列数据变成了横向行数据， 原横向行数据变成了竖向列数 据，在旋转算法之后再进行图像数据垂直方向 （这里的垂直方向指最前端原始 图像的垂直方向） DDR校正时， 等同于对旋转算法后的 DDR块数据在横向行 方向上按地址连续进行连续读写操作即可，动 态存储器连续读取的图像数据的 长度最大为读取的 DDR块数据中进行所述水平方向的校正后的图像 数据的行 长， 而连续的个数可以根据需要较为自由的选择。 根据本发明提供的透镜畸变校正装置的第二实 施例，按照水平方向和垂直 方向分两步走并与旋转算法相结合进行透镜畸 变校正，水平方向上校正减少了 行緩沖区的需求，垂直方向上校正整体上提高 了动态存储器的读写效率， 最终 低成本地实现了透镜畸变校正， 同时， 可以独立地实现透镜畸变的水平校正功 能和垂直校正功能， 增加了用户的体验点。

所属领域的技术人员可以清楚地了解到， 为描述的方便和筒洁， 上述描述 的设备和模块的具体工作过程， 可以参考前述方法实施例中的对应过程描述， 在此不再赘述。

在本申请所提供的几个实施例中， 应该理解到， 所揭露的设备和方法， 可 以通过其它的方式实现。 例如， 以上所描述的装置实施例仅仅是示意性的， 例 如， 所述模块的划分， 仅仅为一种逻辑功能划分， 实际实现时可以有另外的划 分方式， 例如多个模块或组件可以结合或者可以集成到 另一个设备中， 或一些 特征可以忽略， 或不执行。 另一点， 所显示或讨论的相互之间的耦合或直接耦 合或通信连接可以是通过一些通信接口， 装置或模块的间接耦合或通信连接， 可以是电性， 机^^或其它的形式。

所述作为分离部件说明的模块可以是或者也可 以不是物理上分开的，作为 模块显示的部件可以是或者也可以不是物理单 元。可以根据实际的需要选择其 中的部分或者全部， 模块来实现本实施例方案的目的。

另外， 在本发明各个实施例中的各功能模块可以集成 在一个处理模块中， 也可以是各个模块单独物理存在，也可以两个 或两个以上模块集成在一个模块 中。

最后应说明的是： 以上各实施例仅用以说明本发明的技术方案， 而非对其 限制； 尽管参照前述各实施例对本发明进行了详细的 说明， 本领域的普通技术 人员应当理解： 其依然可以对前述各实施例所记载的技术方案 进行修改， 或者 对其中部分或者全部技术特征进行等同替换； 而这些修改或者替换， 并不使相 应技术方案的本质脱离本发明各实施例技术方 案的范围。