| JP2009035214 | VEHICLE BEHAVIOR CONTROL APPARATUS AND ITS METHOD |
| JP2001273597 | CONTROLLER FOR VEHICLE |
| WO/2009/037029 | METHOD FOR CONTROLLING A DRIVER ASSISTANCE SYSTEM |
杨承继 (中国北京市海淀区学院路7号10层1002C室, Beijing 8, 100088, CN)
北京世纪高通科技有限公司 (中国北京市海淀区学院路7号10层1002C室, Beijing 8, 100088, CN)
YANG, Chengji (Room 1002C, 10th FloorNo.7 Xue Yuan Road, Haidian District, Beijing 8, 100088, CN)
| 权 利 要 求 书 1、 一种确定车道偏离的方法， 其特征在于， 所述方法包括： 对车道图像进行边缘检测， 得到车道图像中各像素点的梯度大小和梯度方 向: 根据所述各像素点的梯度大小和梯度方向确定车道边界的梯度方向； 利用所述各像素点的梯度大小、 梯度方向和所述车道边界的梯度方向用直 线拟合所述车道边界， 得到车道边界直线； 2、 根据权利要求 1所述的方法， 其特征在于， 所述对车道图像进行边缘检 测， 得到车道图像中各像素点的梯度大 d、和梯度方向包括： 利用 Sobel算子对所述车道图像进行边缘检测，得到车道图像中各像素点的 梯度大小和梯度方向。 3、 根据权利要求 1所述的方法， 其特征在于， 所述根据所述各像素点的梯 度大小和梯度方向确定车道边界的梯度方向包括： 以所述梯度方向为自变量、 所述梯度大小为函数值构造边缘分布函数； 将边缘分布函数的局部极大函数值所对应的梯度方向作为所述车道边界的 梯度方向。 4、 根据权利要求 1所述的方法， 其特征在于， 所述利用所述各像素点的梯 车道边界直线包括： 利用所述车道图像中各像素点的梯度大小、 梯度方向和所述车道边界的梯 度方向去除所述车道图像中的干扰像素点， 得到车道边界图像； 根据所述车道边界图像中的像素点 , 釆用最小二乘拟合方法用直线拟合所 述车道边界， 得到车道边界直线。 5、 根据权利要求 4所述的方法， 其特征在于， 根据如下公式， 利用所述各像素点的梯度大小、 梯度方向和所述车道边界 的梯度方向去除所述车道图像中的干扰像素点， 得到车道边界图像: V/(x,_y) |, \ θ(χ,γ) - α \< Τ 0 其它 其中， g ( x,y )为车道边界图像， |VI(x,y)|为像素点 I ( x,y ) 的梯度大小， ^ (x,y) 为像素点 I ( x,y ) 的梯度方向， T为阔值； 根据所述车道边界图像中的非零像素点， 釆用最小二乘拟合方法用直线拟 合所述车道边界， 得到如下所示的车道边界直线： γ = χ \Άη β + b , 其中， 为车道边界直线的倾斜角， b为常数。 6、 根据权利要求 1所述的方法， 其特征在于， 所述根据所述车道边界直线 的倾斜角确定是否发生车道偏离具体包括： 所述车道边界直线包括车道左边界直线和车道右边界直线， 当所述车道左 边界直线的倾斜角和车道右边界直线的倾斜角之和的绝对值大于警告阔值时可 判定发生车道偏离， 否则， 判定未发生车道偏离。 7、 一种确定车道偏离的装置， 其特征在于， 所述装置包括： 检测单元， 用于对车道图像进行边缘检测， 得到车道图像中各像素点的梯 度大小和梯度方向； 车道方向确定单元， 用于根据所述各像素点的梯度大小和梯度方向确定车 道边界的梯度方向； 车道边界拟合单元， 用于利用所述各像素点的梯度大小、 梯度方向和所述 车道边界的梯度方向用直线拟合所述车道边界， 得到车道边界直线； 离。 8、 根据权利要求 7所述的装置， 其特征在于， 所述检测单元， 具体用于利 用 Sobel算子对所述车道图像进行边缘检测，得到车道图像中各像素点的梯度大 小和梯度方向。 9、 根据权利要求 7所述的装置， 其特征在于， 所述车道方向确定单元， 具 体用于以所述梯度方向为自变量、 所述梯度大小为函数值构造边缘分布函数； 将边缘分布函数的局部极大函数值所对应的梯度方向作为所述车道边界的梯度 方向。 10、 根据权利要求 7 所述的装置， 其特征在于， 所述车道边界拟合单元， 具体用于利用所述各像素点的梯度大小、 梯度方向和所述车道边界的梯度方向 去除所述车道图像中的干扰像素点， 得到车道边界图像； 根据所述车道边界图 像中的像素点， 釆用最小二乘拟合方法用直线拟合所述车道边界， 得到车道边 界直线。 11、 根据权利要求 7 所述的装置， 其特征在于， 所述偏离确定单元， 具体 用于当车道左边界直线的倾斜角和车道右边界直线的倾斜角之和的绝对值大于 警告阔值时， 确定发生车道偏离， 否则， 判定未发生车道偏离， 其中， 所述车 道边界直线包括车道左边界直线和车道右边界直线。 12、 一种车道偏离警告系统， 其特征在于， 所述系统包括摄像装置、 确定 车道偏离的装置和警告装置， 所述摄像装置， 用于拍摄车道图像， 并将所述车道图像传送至所述确定车 道偏离的装置； 所述确定车道偏离的装置， 用于对所述车道图像进行边缘检测， 得到车道 图像中各像素点的梯度大小和梯度方向； 根据所述各像素点的梯度大小和梯度 方向确定车道边界的梯度方向； 利用所述各像素点的梯度大小、 梯度方向和所 述车道边界直线的倾斜角决策是否发生车道偏离， 并将决策结果通知所述警告 装置， 所述警告装置， 用于当所述决策结果为发生车道偏离时， 作出警告。 |
本发明涉及智能车辆领域技术， 尤其涉及一种车道偏离决策方法、 装置 和系统。 背景技术
在公路交通事故中， 有相当一部分事故是由于驾驶员非故意地转动 方向 盘发生车道偏离而导致的交通事故。 因此发展车道偏离警告系统对减少此类 事故的发生、 挽救人民的生命和财产损失意义重大。
现有技术提供了一种车道偏离警告系统。 在该系统中利用图像传感器来 感知车辆前方车道的几何结构参数， 利用速度传感器和角度传感器来来感知 车辆的速度和方向盘转角。 随后利用相应算法用车道的几何结构参数和车 辆 状态参数来估计车道偏离时间 （Time to Lane Crossing , TLC)。 当 TLC小于预 先设定的阔值时， 系统向驾驶员发出警告， 以避免发生车道偏离。
在实现本发明的过程中， 发明人发现现有技术中至少存在如下问题： 现有技术的车道偏离警告系统在确定是否发生 车道偏离时， 除了需要摄 像机外， 还需要额外设置多种传感器， 如速度传感器、 角度传感器等， 导致 成本过高； 且由于需要对车道的几何结构参数进行估计， 必需获得准确的摄 像机标定结果， 而在实际的摄像机标定操作中， 往往存在误差， 从而无法准 确判定车道的偏离。 发明内容
为解决现有技术中存在的问题， 本发明的实施例提供一种确定车道偏离 的方法、 装置和系统。 为达到上述目的， 本发明的实施例釆用如下技术方案：
本发明实施例提供了一种确定车道偏离的方法 ， 所述方法包括： 对车道图像进行边缘检测， 得到车道图像中各像素点的梯度大小和梯度 方向；
根据所述各像素点的梯度大小和梯度方向确定 车道边界的梯度方向； 利用所述各像素点的梯度大小、 梯度方向和所述车道边界的梯度方向用 直线拟合所述车道边界， 得到车道边界直线； 本发明实施例还提供了一种确定车道偏离的装 置， 所述装置包括： 检测单元， 用于对车道图像进行边缘检测， 得到车道图像中各像素点的 梯度大小和梯度方向；
车道方向确定单元， 用于根据所述各像素点的梯度大小和梯度方向 确定 车道边界的梯度方向；
车道边界拟合单元， 用于利用所述各像素点的梯度大小、 梯度方向和所
偏离。
本发明实施例还提供了一种车道偏离警告系统 ， 所述系统包括摄像装置、 确定车道偏离的装置和警告装置，
所述摄像装置， 用于拍摄车道图像， 并将所述车道图像传送至所述确定 车道偏离的装置；
所述确定车道偏离的装置， 用于对所述车道图像进行边缘检测， 得到车 道图像中各像素点的梯度大小和梯度方向； 根据所述各像素点的梯度大小和 梯度方向确定车道边界的梯度方向； 利用所述各像素点的梯度大小、 梯度方 根据所述车道边界直线的倾斜角决策是否发生 车道偏离， 并将决策结果通知 所述警告装置，
所述警告装置， 用于当所述决策结果为发生车道偏离时， 作出警告。 本发明实施例的技术方案， 检测得到车道图像中各像素点的梯度大小和 梯度方向， 从而确定车道边界的梯度方向， 并用直线拟合车道边界， 根据得 到的车道边界直线确定是否发生车道偏离。 本发明实施例的技术方案， 基于 一种机器视觉的处理方法， 能够在仅利用图像信息的情况下， 准确确定是否 发生车道偏离， 且不需要额外设置多种传感器， 也不需要摄像机的标定结果， 节约了系统的成本。 附图说明
为了更清楚地说明本发明的技术方案， 下面将对实施例描述中所需要使 用的附图作一简单地介绍。
图 1为本发明实施例一提供的确定车道偏离的方 流程图；
图 2为本发明实施例二提供的确定车道偏离的原 示意图；
图 3为本发明实施例三提供的确定车道偏离的装 结构示意图； 图 4为本发明实施例四提供的车道偏离警告系统 意图；
图 5为本发明实施例四的车道偏离警告系统中的 像装置的顶部透视图； 图 6为本发明实施例四的车道偏离警告系统中的 像装置的侧视图。 具体实施方式
为使本发明的目的、 技术方案、 及优点更加清楚明白， 下面结合附图并 举实施例， 对本发明提供的技术方案进一步详细描述。
本发明实施例一提供了一种确定车道偏离的方 法， 如图 1 所示， 所述方 法包括：
步骤 S1 : 对车道图像进行边缘检测， 得到车道图像中各像素点的梯度大 小和梯度方向；
步骤 S2: 根据所述各像素点的梯度大小和梯度方向确定 车道边界的梯度 方向；
步骤 S3: 利用所述各像素点的梯度大小、 梯度方向和所述车道边界的梯 度方向用直线拟合所述车道边界， 得到车道边界直线； 进一步的， 在步骤 S4之后， 还包括： 步骤 S5: 当确定发生车道偏离时， 作出警告。 若在步骤 S4中， 确定未发生车道偏离， 则继续步骤 S1至 S4; 在 步骤 S5中作出警告之后， 也继续步骤 S1至 S4, 持续监测并确定是否出现车 道偏离， 当发生车道偏离时向驾驶员作出警告， 从而确保车辆的正常驾驶。
本发明实施例的技术方案， 检测得到车道图像中各像素点的梯度大小和 梯度方向， 从而确定车道边界的梯度方向， 并用直线拟合车道边界， 根据得 到的车道边界直线确定是否发生车道偏离。 本发明实施例的技术方案， 基于 一种机器视觉的处理方法， 能够在仅利用图像信息的情况下， 准确确定是否 发生车道偏离， 且不需要额外设置多种传感器， 也不需要摄像机的标定结果， 节约了系统的成本。
下面对本发明实施例二提供的确定车道偏离的 方法进行详细说明。 主要 包括如下步骤：
步骤 1 : 对车道图像进行边缘检测， 得到车道图像中各像素点的梯度大 小和梯度方向。
首先， 利用摄像机拍摄得到车道图像， 摄像机可以位于车辆挡风玻璃后， 摄像机光轴向下倾斜，摄像机的偏航角和滚动 角是 0。通过对拍摄得到的车道 图像进行梯度计算， 以对该车道图像进行边缘检测， 得到车道图像中各像素 点的梯度大 d、和梯度方向。
本发明实施例中釆用 Sobel 算子作为卷积模板对车道图像进行图像梯度 计算， 得到一幅梯度大小图像和一幅梯度方向图像。 其中， 一种计算图像梯 度的 3 x3的 Sobel算子， 可以具有如下的形式： s x 和 分别是计算 x和;方向梯度大小的卷积模板。 对任一像素 /(X, y)来 说， 当计算出的 X方向和 <方向的梯度大小分别为 和 (^时，则该像素点的梯 度大小为 I VI(x, y) |= ^G X 2 + G] , 梯度方向为^ , = arctan(Gy /GJ。 在计算梯度方 向时， 为了避免三角函数的计算， 可预先设置一个查找表用于存储数值与角 度的对应关系， 从而通过该查找表直接获得梯度方向。
由上述计算， 车道图像中所有像素点的梯度大小组成一幅梯 度大小图像， 所有像素点的梯度方向组成一幅梯度方向图像 。
步骤 2:根据所述各像素点的梯度大小和梯度方向确 车道边界的梯度方 向。
首先， 计算边缘分布函数。 为了确定车道边界的方位， 定义并计算边缘 分布函数， 如以所述梯度方向为自变量、 所述梯度大小为函数值构造边缘分 布函数。 该边缘分布函数可以表示为梯度大小相对于梯 度方向的直方图。 本 发明实施例在建立该边缘分布函数时， 边缘方向的釆样间隔为 2。， 釆样范围 为 [-90,90。]。
示例性的， 将梯度方向作为边缘分布函数的自变量， 该自变量表示为^ 则边缘分布函数的函数值为梯度方向 0下满足 I θ - θ(χ, γ) \< 1的所有像素点的梯 度大小的和。
车道边界包括车道左边界和车道右边界。 由于车道边界是车道图像中主 要的直线状目标， 因此车道的左右边界将会导致边缘分布函数的 函数值产生 两个局部极大函数值。设这两个局部极大函数 值所对应的角度分别为 a L 和 a R , 则这两个角度分别是车道左右边界的梯度方向 ， 为车道左边界的梯度方向， " β 为车道右边界的梯度方向。 即将边缘分布函数的局部极大函数值所对应的 梯度方向作为所述车道边界直线的梯度方向。 利用上述梯度方向"和^ , 确 定了车道左右边界在车道图像中的大致方向。
步骤 3 : 用直线拟合车道左右边界， 得到车道左右边界直线；
利用上述各像素点的梯度大小、 梯度方向和上述车道边界的梯度方向用 直线拟合所述车道边界， 得到车道边界直线， 具体包括： 利用车道图像中各 像素点的梯度大小、 梯度方向和车道边界的梯度方向去除车道图像 中的干扰 像素点， 得到车道边界图像 g (X, ； 利用车道边界图像中的像素点， 釆用最 小二乘拟合方法用直线拟合车道边界， 得到车道边界直线。
进一步的， 利用下面的公式分别得到左车道边界图像 (Χ， 和右车道边 界图像 (x, _y) , 以用于利用直线拟合车道图像中车道左右边界 。 ω
其中， 阔值 = 2° , «代表 或者 g (x, _y)表示车道边界图像。 根据上 述公式（1 )利用"计算 (χ, ， 利用 计算 (X, 。
通过上述公式（ 1 )利用车道左右边界的梯度方向 和 β 去除了车道图像 中的干扰点， 利用得到的新图像 (χ, 和 (X, 中的点用直线拟合车道左右 边界。
由于计算车道左右边界直线的过程相同， 下面以计算车道左边界直线为 例进行说明。 本发明实施例用最小二乘拟合方法对图像 (χ， 中的非零点进 行拟合， 则车道左边界直线可表示为如下方程：
通过图像 (X, y)中的非零点进行拟合， 进而得到车道左边界直线的倾斜 角 A和常数 。
对车道右边界直线， 釆用同样的方法， 基于图像 (X, 中的非零点用最 小二乘法拟合得到如下所示的车道右边界直线 的方程：
y = x tan /& R + d R
其中， 为车道右边界直线的倾斜角， 为常数。 如图 2所示， A和 A分别为车道左右边界直线与 x方向的夹角， 当确定 正方向后， A和 A的符号相反。
步骤 4: 车道偏离决策 在车辆前部且倾斜向下， 滚动角为零时， 车辆在车道中心行驶时车道左右边 界在图像中应该是对称的， 即存在 A +A =o。 例如， 当逆时针方向为正方向 时， Α为正值， A为负值， 则车辆向车道左方偏离时， A和 都增大， 车辆 向车道右方偏离， A和 A都减小。在发生车道偏离的这两种情况下， 的值都从零偏离。 令 Δ =\ β Ε + β κ \ , 此时本发明的确定车道偏离的决策方法 可以表述为：
当 Δ 〉7;时， 确定发生车道偏离， 系统向驾驶员发出警告； 其中， 在本 发明实施例中， = 15。。
为了减少噪声的影响， 计算若干帧车道图像所对应的 和 ， 如计算当 前时刻前连续 4帧车道图像所对应的 和 ，对得到的多个 和多个 分别 求取平均值， 将该 的平均值和 的平均值作为当前时刻的 和 并根据 该当前时刻的 fi L 和 A判定是否发生车道偏离。
由于在摄像机安装在车辆前部且倾斜向下， 偏航角与滚动角为零时， 车 辆正常驾驶时车道图像中左右两车道边界的方 向应该是对称的。 本发明利用 边缘分布函数得到车道左右两边界在车道图像 中的大概方向， 随后利用该方 向值去除边缘图像中的干扰点而得到新的图像 。 利用直线分别拟合这个新的 图像中的点， 得到车道左右边界的直线方程。 根据该直线倾斜角的关系来确 定是否发生车道偏离。
本发明实施例克服了传统的车道偏离警告算法 需要较多的传感器输出的 缺点， 并且本发明实施例不需要对摄像机进行标定。
由上所述， 本发明实施例的技术方案， 检测得到车道图像中各像素点的 梯度大小和梯度方向， 从而确定车道边界的梯度方向， 并用直线拟合车道边 界， 根据得到的车道边界直线确定是否发生车道偏 离。 本发明实施例的技术 方案， 基于一种机器视觉的处理方法， 能够在仅利用图像信息的情况下， 准 确确定是否发生车道偏离， 且不需要额外设置多种传感器， 也不需要摄像机 的标定结果， 节约了系统的成本。
本发明实施例三还提供了一种确定车道偏离的 装置， 如图 3 所示， 所述 装置包括：
检测单元 31 , 用于对车道图像进行边缘检测， 得到车道图像中各像素点 的梯度大小和梯度方向；
车道方向确定单元 32, 用于根据所述各像素点的梯度大小和梯度方向 确 定车道边界的梯度方向；
车道边界拟合单元 33 , 用于利用所述各像素点的梯度大小、 梯度方向和
道偏离。
进一步的， 所述检测单元 31 , 具体用于利用 Sobel算子对所述车道图像 进行边缘检测， 得到车道图像中各像素点的梯度大小和梯度方 向。
进一步的， 所述车道方向确定单元 32, 具体用于以所述梯度方向为自变 量、 所述梯度大小为函数值构造边缘分布函数；
将边缘分布函数的局部极大函数值所对应的梯 度方向作为所述车道边界直 线的梯度方向。
进一步的， 所述车道边界拟合单元 33 , 具体用于利用所述各像素点的梯 度大小、 梯度方向和所述车道边界的梯度方向去除所述 车道图像中的干扰像 素点， 得到车道边界图像； 根据所述车道边界图像中的像素点， 釆用最小二 乘拟合方法用直线拟合所述车道边界， 得到车道边界直线。
其中， 上述车道边界拟合单元 33 , 具体用于根据如下公式利用所述各像 素点的梯度大小、 梯度方向和所述车道边界的梯度方向去除所述 车道图像中 的干扰像素点， 得到车道边界图像： g (x ^ = { 0 其它
其中， 阔值 = 2° , «代表 或者 β , g (x,_y)表示车道边界图像； 以及， 根据所述车道边界图像中的非零像素点， 釆用最小二乘拟合方法用直线拟合 所述车道边界， 得到如下所示的车道边界直线：
γ = + b , 其中， 为车道边界直线的倾斜角， b为常数。
上述偏离确定单元 34 , 具体用于当车道左边界直线的倾斜角和车道右 边 界直线的倾斜角之和的绝对值大于警告阔值时 ， 确定发生车道偏离， 否则， 判定未发生车道偏离， 其中， 所述车道边界直线包括车道左边界直线和车道 右边界直线。
本发明装置实施例中各功能模块和单元的具体 工作方式参见本发明方法 实施例。 本发明装置实施例中各功能模块和单元可以单 独实现， 也可以集成 在一个或多个单元中实现。 例如， 上述确定车道偏离的装置可以由微处理器 实现。
由上所述， 本发明实施例的技术方案， 检测得到车道图像中各像素点的 梯度大小和梯度方向， 从而确定车道边界的梯度方向， 并用直线拟合车道边 界， 根据得到的车道边界直线确定是否发生车道偏 离。 本发明实施例的技术 方案， 基于一种机器视觉的处理方法， 能够在仅利用图像信息的情况下， 准 确确定是否发生车道偏离， 且不需要额外设置多种传感器， 也不需要摄像机 的标定结果， 节约了系统的成本。
本发明实施例四提供了一种车道偏离警告系统 ， 如图 4 所示， 所述系统 包括摄像装置、 确定车道偏离的装置和警告装置，
所述摄像装置， 用于拍摄车道图像， 并将所述车道图像传送至所述确定 车道偏离的装置； 所述确定车道偏离的装置， 用于对所述车道图像进行边缘检测， 得到车 道图像中各像素点的梯度大小和梯度方向； 根据所述各像素点的梯度大小和 梯度方向确定车道边界的梯度方向； 利用所述各像素点的梯度大小、 梯度方 根据所述车道边界直线的倾斜角决策是否发生 车道偏离， 并将决策结果通知 所述警告装置，
所述警告装置， 用于当所述决策结果为发生车道偏离时， 作出警告。 为保证车辆正常驾驶时， 车道图像中车道左右边界的方向是对称的， 且 能够拍摄到理想的车道图像， 参见图 5 , 将上述摄像装置（如摄像机）设置在 车辆前部且倾斜向下， 如倾斜设置在车辆前部的轴向方向上。 参见图 6 , 将摄 像机设置于车辆的挡风玻璃后， 摄像机的光轴向下倾斜与水平方向具有倾斜 角 。 摄像机的偏航角和滚动角为 0。
上述确定车道偏离的装置的具体工作方式参见 本发明方法实施例， 当确 定车道偏离的装置做出决策结果为发生车道偏 离时， 上述警告装置作出警告， 例如， 该警告装置发出提示声， 如蜂鸣声、 音乐， 或进行振动， 还可同时伴 有字幕显示等， 从而提醒驾驶员车道发生偏移。
由上所述， 本发明实施例的技术方案， 检测得到车道图像中各像素点的 梯度大小和梯度方向， 从而确定车道边界的梯度方向， 并用直线拟合车道边 界， 根据得到的车道边界直线确定是否发生车道偏 离。 本发明实施例的技术 方案， 基于一种机器视觉的处理方法， 能够在仅利用图像信息的情况下， 准 确确定是否发生车道偏离， 且不需要额外设置多种传感器， 也不需要摄像机 的标定结果， 节约了系统的成本。
应该理解， 本发明不限于所公开的具体实施方式。 对于本技术领域的普 通技术人员来说， 凡在不脱离本发明原理的前提下， 所作的任何修改、 等同 替换、 改进等， 均应包含在本发明的保护范围之内。