本申请要求在 2019年 2月 28日提交中国专利局、 申请号为 201910152568.8、 申请名称为“车门解锁方法及装置、 系 统、 车、 电子设备和存储介质”的中国专利申请的优先 权， 其全部内容通过引用结合在本申请中。 技术领域

本公开涉及车辆技术领域， 尤其涉及一种车门解锁方法及装置、 系统、 车、 电子设备和存储介质。 背景技术

目前， 用户需要携带车钥匙用于车门解锁。 携带车钥匙存在不便捷的问题。 另外， 车钥匙存在损坏、 失效或丢失 的风险。 发明内容

本公开提出了一种车门解锁技术方案。

根据本公开的一方面， 提供了一种车门解锁方法， 包括：

经设置于车的至少一距离传感器获取所述车外 的目标对象和所述车之间的距离；

响应于所述距离满足预定条件， 唤醒并控制设置于所述车的图像采集模组采集 所述目标对象的第一图像； 基于所述第一图像进行人脸识别；

响应于人脸识别成功， 向所述车的至少一车门锁发送车门解锁指令。

根据本公开的另一方面， 提供了一种车门解锁装置， 包括：

获取模块， 用于经设置于车的至少一距离传感器获取所述 车外的目标对象和所述车之间的距离；

唤醒与控制模块， 用于响应于所述距离满足预定条件， 唤醒并控制设置于所述车的图像采集模组采集 所述目标对 象的第一图像；

人脸识别模块， 用于基于所述第一图像进行人脸识别；

发送模块， 用于响应于人脸识别成功， 向所述车的至少一车门锁发送车门解锁指令。

根据本公开的另一方面， 提供了一种车载人脸解锁系统， 包括： 存储器、 人脸识别系统、 图像采集模组和人体接 近监测系统； 所述人脸识别系统分别与所述存储器、 所述图像采集模组和所述人体接近监测系统连 接； 所述人体接近 监测系统包括若距离满足预定条件时唤醒所述 人脸识别系统的微处理器和与所述微处理器连 接的至少一距离传感器； 所述人脸识别系统还设置有用于与车门域控制 器连接的通信接口， 若人脸识别成功则基于所述通信接口向所述车 门域 控制器发送用于解锁车门的控制信息。

根据本公开的另一方面， 提供了一种车， 所述车包括上述车载人脸解锁系统， 所述车载人脸解锁系统与所述车的 车门域控制器连接。

根据本公开的另一方面， 提供了一种电子设备， 包括：

处理器；

用于存储处理器可执行指令的存储器；

其中， 所述处理器被配置为： 执行上述车门解锁方法。

根据本公开的另一方面， 提供了一种计算机可读存储介质， 其上存储有计算机程序指令， 所述计算机程序指令被 处理器执行时实现上述车门解锁方法。

根据本公开的另一方面， 提供了一种计算机程序， 所述计算机程序包括计算机可读代码， 当所述计算机可读代码 在电子设备中运行时， 所述电子设备中的处理器执行用于实现上述车 门解锁方法。

在本公开实施例中， 经设置于车的至少一距离传感器获取所述车外 的目标对象和所述车之间的距离， 响应于所述 距离满足预定条件， 唤醒并控制设置于所述车的图像采集模组采集 所述目标对象的第一图像， 基于所述第一图像进行 人脸识别， 并响应于人脸识别成功， 向所述车的至少一车门锁发送车门解锁指令， 由此能够在保障车门解锁的安全性 的前提下提高车门解锁的便捷性。

应当理解的是， 以上的一般描述和后文的细节描述仅是示例性 和解释性的， 而非限制本公开。

根据下面参考附图对示例性实施例的详细说明 ， 本公开的其它特征及方面将变得清楚。 附图说明

此处的附图被并入说明书中并构成本说明书的 一部分， 这些附图示出了符合本公开的实施例， 并与说明书一起用 于说明本公开的技术方案。

图 1示出根据本公开实施例的车门解锁方法的流� �图。

图 2示出车的 B柱的示意图。

图 3示出根据本公开实施例的车门解锁方法中车� �解锁装置的安装高度与可识别的身高范围的� �意图。

图 4示出根据本公开实施例的车门解锁方法中超� �波距离传感器的水平方向探测角和超声波距� �传感器的探测半 径的不意图。

图 5a示出根据本公开实施例的车门解锁方法中图� ��传感器和深度传感器的示意图。

图 5b示出根据本公开实施例的车门解锁方法中图� ��传感器和深度传感器的另一示意图。

图 6示出根据本公开实施例的活体检测方法的一� �示例的示意图。

图 7示出根据本公开实施例的活体检测方法中基� �第一图像和第二深度图，确定第一图像中的� �标对象的活体检测 结果的一个示例的示意图。

图 8示出根据本公开实施例的车门解锁方法中的� �度预测神经网络的示意图。

图 9示出根据本公开实施例的车门解锁方法中的� �联度检测神经网络的示意图。

图 10示出根据本公开实施例的车门解锁方法中深� ��图更新的一示例性的示意图。

图 11示出根据本公开实施例的车门解锁方法中周� ��像素的示意图。

图 12示出根据本公开实施例的车门解锁方法中周� ��像素的另一示意图。

图 13示出根据本公开实施例的车门解锁装置的框� ��。

图 14示出根据本公开实施例的车载人脸解锁系统� ��框图。

图 15示出根据本公开实施例的车载人脸解锁系统� ��示意图。

图 16示出根据本公开实施例的车的示意图。

图 17是根据一示例性实施例示出的一种电子设备 800的框图。 具体实施方式

以下将参考附图详细说明本公开的各种示例性 实施例、 特征和方面。 附图中相同的附图标记表示功能相同或相似 的元件。 尽管在附图中示出了实施例的各种方面， 但是除非特别指出， 不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、 实施例或说明性”。 这里作为“示例性”所说明的任何实施例不必 解释为 优于或好于其它实施例。

本文中术语“和 /或”， 仅仅是一种描述关联对象的关联关系， 表示可以存在三种关系， 例如， A和 /或 B， 可以表 示： 单独存在 A, 同时存在 A和 B , 单独存在 B这三种情况。 另外， 本文中术语“至少一种”表示多种中的任意一 种或多 种中的至少两种的任意组合， 例如， 包括 A、 B、 C中的至少一种， 可以表示包括从 A、 B和 C构成的集合中选择的任意 一个或多个元素。

另外， 为了更好地说明本公开， 在下文的具体实施方式中给出了众多的具体细 节。 本领域技术人员应当理解， 没 有某些具体细节， 本公开同样可以实施。 在一些实例中， 对于本领域技术人员熟知的方法、 手段、 元件和电路未作详 细描述， 以便于凸显本公开的主旨。

图 1示出根据本公开实施例的车门解锁方法的流� �图。该车门解锁方法的执行主体可以是车门� �锁装置。例如， 该 车门解锁装置可以安装在以下至少一个位置上 ： 在车的 B柱、 至少一个车门、 至少一个后视镜。 图 2示出车的 B柱的示 意图。例如，车门解锁装置可以安装在 B柱上离地 130cm至 160cm处，车门解锁装置的水平识别距离可以为 30cm至 100cm, 在此不作限定。 图 3示出根据本公开实施例的车门解锁方法中车� �解锁装置的安装高度与可识别的身高范围的� �意图。 在图 3所示的示例中， 车门解锁装置的安装高度为 160cm, 可识别的身高范围为 140cm至 190cm。

在一种可能的实现方式中， 该车门解锁方法可以通过处理器调用存储器中 存储的计算机可读指令的方式来实现。 如图 1所示， 该车门解锁方法包括步骤 S11至步骤 S14。

在步骤 S11中， 经设置于车的至少一距离传感器获取车外的目 标对象和车之间的距离。 在一种可能的实现方式中， 至少一距离传感器包括： 蓝牙距离传感器； 经设置于车的至少一距离传感器获取车外 的目标对象和车之间的距离， 包括： 建立外部设备和蓝牙距离传感器的蓝牙配对连 接； 响应于蓝牙配对连接成功， 经 蓝牙距离传感器获取带有外部设备的目标对象 和车之间的第一距离。

在该实现方式中， 外部设备可以是任何具有蓝牙功能的移动设备 ， 例如， 外部设备可以是手机、 可穿戴设备或者 电子钥匙等。 其中， 可穿戴设备可以为智能手环或者智能眼镜等。

在一个示例中， 在至少一距离传感器包括蓝牙距离传感器的情 况下， 可以采用 RSSI （Received Signal Strength Indication, 接收的信号强度指示） 来测算带有外部设备的目标对象和车之间的第 一距离， 其中， 蓝牙测距的距离范围 为 1至 100m。 例如， 可以采用式 1确定带有外部设备的目标对象和车之间的第� �距离，

P = A - \0n - \g r 式 1 , 其中， 尸表示当前 RSSI, 表示主从机 （蓝牙距离传感器与外部设备） 距离为 lm时的 RSSI, «表示传播因子， 传播因子与温度、 湿度等环境相关， r表示带有外部设备的目标对象与蓝牙距离传� �器之间的第一距离。

在一个示例中， 《随着环境的变化而变化。在不同的环境中进 行测距之前， 需要根据环境因素（例如温度和湿度） 调整 通过根据环境因素调整 能够提高不同环境中蓝牙测距的准确性。

在一个示例中， 需要根据不同的外部设备进行校准。 通过根据不同的外部设备校准 Z , 能够提高针对不同的 外部设备进行蓝牙测距的准确性。

在一个示例中， 可以多次获取蓝牙距离传感器感测到的第一距 离， 并根据多次获取的第一距离的平均值判断是否 满足预定条件， 从而能够减小单次测距的误差。

在该实现方式中， 通过建立外部设备和蓝牙距离传感器的蓝牙配 对连接， 由此能够通过蓝牙增加一层认证， 从而 能够提高车门解锁的安全性。

在另一种可能的实现方式中， 至少一距离传感器包括： 超声波距离传感器； 经设置于车的至少一距离传感器获取 车外的目标对象和车之间的距离,包括:经设置� ��车的室外部的超声波距离传感器获取目标对� ��和车之间的第二距离。

在一个示例中，超声波测距的测量范围可以为 0.1至 10m,测量精度可以为 lcm。超声波测距的公式可以表示为式 3 :

L= T _u 式 3 , 其中， L表示第二距离， C表示超声波在空气中的传播速度， T _u 等于超声波的发射时间与接收时间的时间 差的 1/2。 在步骤 S12中， 响应于距离满足预定条件， 唤醒并控制设置于车的图像采集模组采集目标 对象的第一图像。 在一种可能的实现方式中， 预定条件包括以下至少之一： 距离小于预定的距离阈值； 距离小于预定的距离阈值的 持续时间达到预定的时间阈值； 持续时间获得的距离表示目标对象接近车。

在一个示例中， 预定条件为距离小于预定的距离阈值。 例如， 若蓝牙距离传感器多次感测到的第一距离的平 均值 小于距离阈值， 则判定满足预定条件。 例如， 距离阈值为 5 m。

在另一个示例中， 预定条件为距离小于预定的距离阈值的持续时 间达到预定的时间阈值。 例如， 在获取超声波距 离传感器感测到的第二距离的情况下， 若第二距离小于距离阈值的持续时间达到时间 阈值， 则判定满足预定条件。

在一种可能的实现方式中， 至少一距离传感器包括： 蓝牙距离传感器和超声波距离传感器； 经设置于车的至少一 距离传感器获取车外的目标对象和车之间的距 离， 包括： 建立外部设备和蓝牙距离传感器的蓝牙配对连 接； 响应于蓝 牙配对连接成功， 经蓝牙距离传感器获取带有外部设备的目标对 象和车之间的第一距离； 经超声波距离传感器获取目 标对象和车之间的第二距离； 响应于距离满足预定条件， 唤醒并控制设置于车的图像采集模组采集目标 对象的第一图 像，包括：响应于第一距离和第二距离满足预 定条件，唤醒并控制设置于车的图像采集模组 采集目标对象的第一图像。

在该实现方式中， 能够通过蓝牙距离传感器与超声波距离传感器 配合来提高车门解锁的安全性。

在一种可能的实现方式中， 预定条件包括第一预定条件和第二预定条件； 第一预定条件包括以下至少之一： 第一 距离小于预定的第一距离阈值； 第一距离小于预定的第一距离阈值的持续时间 达到预定的时间阈值； 持续时间获得的 第一距离表示目标对象接近车； 第二预定条件包括： 第二距离小于预定的第二距离阈值， 第二距离小于预定的第二距 离阈值的持续时间达到预定的时间阈值； 第二距离阈值小于第一距离阈值。

在一种可能的实现方式中， 响应于第一距离和第二距离满足预定条件， 唤醒并控制设置于车的图像采集模组采集 目标对象的第一图像， 包括： 响应于第一距离满足第一预定条件， 唤醒设置于车的人脸识别系统； 响应于第二距离满 足第二预定条件， 经唤醒的人脸识别系统控制图像采集模组采集 目标对象的第一图像。 人脸识别系统的唤醒过程通常需要一些时间， 例如需要 4至 5秒，这会使人脸识别触发和处理较慢，影响� �户体验。 在上述实现方式中， 通过结合蓝牙距离传感器和超声波距离传感器 ， 在蓝牙距离传感器获取的第一距离满足第一预 定 条件时， 唤醒人脸识别系统， 使人脸识别系统提前处于可工作状态， 由此在超声波距离传感器获取的第二距离满足 第 二预定条件时能够通过人脸识别系统快速进行 人脸图像处理， 由此能够提高人脸识别效率， 改善用户体验。

在一种可能的实现方式中， 距离传感器为超声波距离传感器， 预定的距离阈值根据计算得到的距离阈值基准 值和 预定的距离阈值偏移值确定， 距离阈值基准值表示车外的对象与车之间的距 离阈值的基准值， 距离阈值偏移值表示车 外的对象与车之间的距离阈值的偏移值。

在一个示例中， 距离偏移值可以根据人站立时所占用的距离确 定。 例如， 距离偏移值在初始化时设置为默认值。 例如， 默认值为 10cm。

在一种可能的实现方式中， 预定的距离阈值等于距离阈值基准值与预定的 距离阈值偏移值的差值。 例如， 距离阈 值基准值为 ZT , 距离阈值偏移值为 则预定的距离阈值可以采用式 4确定，

D = D'-D _W 5^4 需要说明的是， 尽管以预定的距离阈值等于距离阈值基准值与 距离阈值偏移值的差值作为示例介绍了预定的 距离 阈值根据距离阈值基准值和距离阈值偏移值确 定的方式如上， 但本领域技术人员能够理解， 本公开应不限于此。 本领 域技术人员可以根据实际应用场景需求和 /或个人喜好灵活设置预定的距离阈值根据距� �阈值基准值和距离阈值偏移 值确定的具体实现方式。 例如， 预定的距离阈值可以等于距离阈值基准值与距 离阈值偏移值之和。 又如， 可以确定距 离阈值偏移值与第五预设系数的乘积， 并可以将距离阈值基准值与该乘积的差值确定 为预定的距离阈值。

在一个示例中， 距离阈值基准值取车辆熄火后的距离平均值与 车门解锁的最大距离中的最小值， 其中， 车辆熄火 后的距离平均值表示车辆熄火后的指定时间段 内车外的对象与车之间的距离的平均值。 例如， 车辆熄火后的指定时间 段为车辆熄火后的 N秒， 则车辆熄火后的指定时间段内距离传感器感测 到的距离的平均值为 其中， D{t) 表示从距离传感器中获取的 ^时刻的距离值。例如，车门解锁的最大距离� � D _a ,则距离阈值基准值可以采用式 5确定，

即， 距离阈值基准值取车辆熄火后的距离平均值 tr 与车门解锁的最大距离 中的最小值。

N

在另一示例中， 距离阈值基准值等于车辆熄火后的距离平均值 。 在该示例中， 可以不考虑车门解锁的最大距离， 仅由车辆熄火后的距离平均值确定距离阈值基 准值。

在另一个示例中，距离阈值基准值等于车门解 锁的最大距离。在该示例中，可以不考虑车辆 熄火后的距离平均值， 仅由车门解锁的最大距离确定距离阈值基准值 。

在一种可能的实现方式中， 距离阈值基准值周期性更新。 例如， 距离阈值基准值的更新周期可以为 5分钟， 6卩， 可 以每 5分钟更新一次距离阈值基准值。 通过周期性更新距离阈值基准值， 能够适应不同的环境。

在另一种可能的实现方式中， 在确定了距离阈值基准值之后， 可以不对距离阈值基准值进行更新。

在另一种可能的实现方式中， 预定的距离阈值可以设置为默认值。

在一种可能的实现方式中， 距离传感器为超声波距离传感器， 预定的时间阈值根据计算得到的时间阈值基准 值和 时间阈值偏移值确定， 其中， 时间阈值基准值表示车外的对象与车之间的距 离小于预定的距离阈值的时间阈值的基准 值， 时间阈值偏移值表示车外的对象与车之间的距 离小于预定的距离阈值的时间阈值的偏移值。

在一些实施例中， 时间阈值偏移值可以通过实验确定。 在一个示例中， 时间阈值偏移值可以默认为时间阈值基准 值的 1/2。 需要说明的是， 本领域技术人员可以根据实际应用场景需求和 /或个人喜好灵活设置时间阈值偏移值， 在此 不作限定。

在另一种可能是实现方式中， 预定的时间阈值可以设置为默认值。

在一种可能的实现方式中， 预定的时间阈值等于时间阈值基准值与时间阈 值偏移值之和。 例如， 时间阈值基准值 为 7；， 时间阈值偏移值为 7；， 则预定的时间阈值可以采用式 6确定，

T = T _S + T _W 式 6。 需要说明的是， 尽管以预定的时间阈值等于时间阈值基准值与 时间阈值偏移值之和作为示例介绍了预定的时 间阈 值根据时间阈值基准值和时间阈值偏移值确定 的方式如上， 但本领域技术人员能够理解， 本公开应不限于此。 本领域 技术人员可以根据实际应用场景需求和 /或个人喜好灵活设置预定的时间阈值根据时� �阈值基准值和时间阈值偏移值 确定的具体实现方式。 例如， 预定的时间阈值可以等于时间阈值基准值与时 间阈值偏移值的差值。 又如， 可以确定时 间阈值偏移值与第六预设系数的乘积， 并可以将时间阈值基准值与该乘积之和确定为 预定的时间阈值。

在一种可能的实现方式中， 时间阈值基准值根据超声波距离传感器的水平 方向探测角、 超声波距离传感器的探测 半径、 对象尺寸和对象速度中的一项或多项确定。

图 4示出根据本公开实施例的车门解锁方法中超� �波距离传感器的水平方向探测角和超声波距� �传感器的探测半 径的示意图。 例如， 时间阈值基准值根据超声波距离传感器的水平 方向探测角、 超声波距离传感器的探测半径、 至少 一种类别的对象尺寸和至少一种类别的对象速 度确定。 超声波距离传感器的探测半径可以为超声波距 离传感器的水平 方向探测半径。 超声波距离传感器的探测半径可以等于车门解 锁的最大距离， 例如， 可以等于 lm。

在其他示例中， 时间阈值基准值可以设置为默认值， 或者， 时间阈值基准值可以根据其他参数确定， 在此不作限 定。

在一种可能的实现方式中， 该方法还包括： 根据不同类别的对象尺寸、 不同类别的对象速度、 超声波距离传感器 的水平方向探测角和超声波距离传感器的探测 半径， 确定不同类别的对象对应的备选基准值； 从不同类别的对象对应 的备选基准值中确定时间阈值基准值。

例如， 类别可以包括行人类别、 自行车类别和摩托车类别等。 对象尺寸可以为对象的宽度， 例如， 行人类别的对 象尺寸可以为行人的宽度的经验值， 自行车类别的对象尺寸可以为自行车的宽度的 经验值等。 对象速度可以为对象的 速度的经验值， 例如， 行人类别的对象速度可以为行人的步行速度的 经验值。

在一个示例中， 根据不同类别的对象尺寸、 不同类别的对象速度、 超声波距离传感器的水平方向探测角和超声波 距离传感器的探测半径， 确定不同类别的对象对应的备选基准值， 包括： 采用式 2确定类别7_的对象对应的备选基准值

T 其中， 《表示距离传感器的水平方向探测角， i?表示距离传感器的探测半径， ＜表示类别7_的对象尺寸， V,表 示类别 Z_的对象速度。

需要说明的是， 尽管以式 2为例介绍了根据不同类别的对象尺寸、 不同类别的对象速度、 超声波距离传感器的水平 方向探测角和超声波距离传感器的探测半径， 确定不同类别的对象对应的备选基准值的方式 如上， 但本领域技术人员 能够理解， 本公开应不限于此。 例如， 本领域技术人员可以调整式 2以满足实际应用场景需求。

在一种可能的实现方式中， 从不同类别的对象对应的备选基准值中确定时 间阈值基准值， 包括： 将不同类别的对 象对应的备选基准值中的最大值确定为时间阈 值基准值。

在其他示例中， 可以将不同类别的对象对应的备选基准值的平 均值确定为时间阈值基准值， 或者， 可以从不同类 别的对象对应的备选基准值随机选取一个作为 时间阈值基准值， 在此不作限定。

在一些实施例中， 为了不影响体验， 预定的时间阈值设置为小于 1秒。 在一个示例， 可以通过减小超声波距离传感 器的水平方向探测角来减小行人、 自行车等通过带来的干扰。 在本公开实施例中， 预定的时间阈值可以不需要根据环境动态更新 。

在本公开实施例中， 距离传感器可以长时间保持低功耗 （＜5mA） 运行。

在步骤 S13中， 基于第一图像进行人脸识别。

在一种可能的实现方式中， 人脸识别包括： 活体检测和人脸认证； 基于第一图像进行人脸识别， 包括： 经图像采 集模组中的图像传感器采集第一图像， 并基于第一图像和预注册的人脸特征进行人脸 认证； 经图像采集模组中的深度 传感器采集第一图像对应的第一深度图， 并基于第一图像和第一深度图进行活体检测。

在本公开实施例中， 第一图像包含目标对象。 其中， 目标对象可以为人脸或者人体的至少一部分， 本公开实施例 对此不做限定。

其中， 第一图像可以为静态图像或者为视频帧图像。 例如， 第一图像可以为从视频序列中选取的图像， 其中， 可 以通过多种方式从视频序列中选取图像。 在一个具体例子中， 第一图像为从视频序列中选取的满足预设质量 条件的图 像， 该预设质量条件可以包括下列中的一种或任意 组合： 是否包含目标对象、 目标对象是否位于图像的中心区域、 目 标对象是否完整地包含在图像中、 目标对象在图像中所占比例、 目标对象的状态 （例如人脸角度）、 图像清晰度、 图像 曝光度， 等等， 本公开实施例对此不做限定。

在一个示例中， 可以先进行活体检测再进行人脸认证。 例如， 若目标对象的活体检测结果为目标对象为活体 ， 则 触发人脸认证流程； 若目标对象的活体检测结果为目标对象为假体 ， 则不触发人脸认证流程。

在另一个示例中， 可以先进行人脸认证再进行活体检测。 例如， 若人脸认证通过， 则触发活体检测流程； 若人脸 认证不通过， 则不触发活体检测流程。

在另一个示例中， 可以同时进行活体检测和人脸认证。

在该实现方式中， 活体检测用于验证目标对象是否是活体， 例如可以用于验证目标对象是否是人体。 人脸认证用 于提取采集的图像中的人脸特征， 将采集的图像中的人脸特征与预注册的人脸特 征进行比对， 判断是否属于同一个人 的人脸特征， 例如可以判断采集的图像中的人脸特征是否属 于车主的人脸特征。

在本公开实施例中， 深度传感器表示用于采集深度信息的传感器。 本公开实施例不对深度传感器的工作原理和工 作波段进行限定。

在本公开实施例中， 图像采集模组的图像传感器和深度传感器可以 分开设置， 也可以一起设置。 例如， 图像采集 模组的图像传感器和深度传感器分开设置可以 为， 图像传感器采用 RGB Red, 红； Green, 绿； Blue, 蓝） 传感器或红 外传感器， 深度传感器采用双目红外传感器或者 TOF（Time of Flight, 飞行时间） 传感器； 图像采集模组的图像传感 器和深度传感器一起设置可以为， 图像采集模组采用 RGBD （ Red, 红； Green, 绿； Blue, 蓝； Deep, 深度） 传感器 实现图像传感器和深度传感器的功能。

作为一个示例， 图像传感器为 RGB （传感器。 若图像传感器为 RGB传感器， 则图像传感器采集到的图像为 RGB图 像。

作为另一个示例， 图像传感器为红外传感器。 若图像传感器为红外传感器， 则图像传感器采集到的图像为红外图 像。 其中， 红外图像可以为带光斑的红外图像， 也可以为不带光斑的红外图像。

在其他示例中， 图像传感器可以为其他类型的传感器， 本公开实施例对此不做限定。

可选地，车门解锁装置可以通过多种方式获取 第一图像。例如，在一些实施例中，车门解锁 装置上设置有摄像头， 车门解锁装置通过摄像头进行静态图像或视频 流采集， 得到第一图像， 本公开实施例对此不做限定。

作为一个示例， 深度传感器为三维传感器。 例如， 深度传感器为双目红外传感器、 飞行时间 TOF传感器或者结构 光传感器， 其中， 双目红外传感器包括两个红外摄像头。 结构光传感器可以为编码结构光传感器或者散 斑结构光传感 器。 通过深度传感器获取目标对象的深度图， 可以获得高精度的深度图。 本公开实施例利用包含目标对象的深度图进 行活体检测， 能够充分挖掘目标对象的深度信息， 从而能够提高活体检测的准确性。 例如， 当目标对象为人脸时， 本 公开实施例利用包含人脸的深度图进行活体检 测， 能够充分挖掘人脸数据的深度信息， 从而能够提高活体人脸检测的 准确性。

在一个示例中， TOF传感器采用基于红外波段的 TOF模组。 在该示例中， 通过采用基于红外波段的 TOF模组， 能 够降低外界光线对深度图拍摄造成的影响。

在本公开实施例中， 第一深度图和第一图像相对应。 例如， 第一深度图和第一图像分别为深度传感器和图 像传感 器针对同一场景采集到的， 或者， 第一深度图和第一图像为深度传感器和图像传 感器在同一时刻针对同一目标区域采 集到的， 但本公开实施例对此不做限定。

图 5a示出根据本公开实施例的车门解锁方法中图� ��传感器和深度传感器的示意图。 在图 5a所示的示例中， 图像传 感器为 RGB传感器，图像传感器的摄像头为 RGB摄像头，深度传感器为双目红外传感器,深� �传感器包括两个红外 OR） 摄像头， 双目红外传感器的两个红外摄像头设置在图像 传感器的 RGB摄像头的两侧。 其中， 两个红外摄像头基于双目 视差原理采集深度信息。

在一个示例中， 图像采集模组还包括至少一个补光灯， 该至少一个补光灯设置在双目红外传感器的红 外摄像头和 图像传感器的摄像头之间，该至少一个补光灯 包括用于图像传感器的补光灯和用于深度传感 器的补光灯中的至少一种。 例如， 若图像传感器为 RGB传感器， 则用于图像传感器的补光灯可以为白光灯； 若图像传感器为红外传感器， 则用于 图像传感器的补光灯可以为红外灯； 若深度传感器为双目红外传感器， 则用于深度传感器的补光灯可以为红外灯。 在 图 5a所示的示例中， 在双目红外传感器的红外摄像头和图像传感器 的摄像头之间设置红外灯。 例如， 红外灯可以采用 940nm的红外线。

在一个示例中， 补光灯可以处于常开模式。 在该示例中， 在图像采集模组的摄像头处于工作状态时， 补光灯处于 开启状态。

在另一个示例中， 可以在光线不足时开启补光灯。 例如， 可以通过环境光传感器获取环境光强度， 并在环境光强 度低于光强阈值时判定光线不足， 并开启补光灯。

图 5b示出根据本公开实施例的车门解锁方法中图� ��传感器和深度传感器的另一示意图。 在图 5b所示的示例中， 图 像传感器为 RGB传感器， 图像传感器的摄像头为 RGB摄像头， 深度传感器为 TOF传感器。

在一个示例中， 图像采集模组还包括激光器， 激光器设置在深度传感器的摄像头和图像传感 器的摄像头之间。 例 如，激光器设置在 TOF传感器的摄像头和 RGB传感器的摄像头之间。例如，激光器可以为 VCSEL Vertical Cavity Surface Emitting Laser, 垂直腔面发射激光器）， TOF传感器可以基于 VCSEL发出的激光采集深度图。

在本公开实施例中， 深度传感器用于采集深度图， 图像传感器用于采集二维图像。 需要说明的是， 尽管以 RGB传 感器和红外传感器为例对图像传感器进行了说 明， 并以双目红外传感器、 TOF传感器和结构光传感器为例对深度传感 器进行了说明， 但本领域技术人员能够理解， 本公开实施例应不限于此。 本领域技术人员可以根据实际应用需求选择 图像传感器和深度传感器的类型， 只要分别能够实现对二维图像和深度图的采集 即可。

在步骤 S14中， 响应于人脸识别成功， 向车的至少一车门锁发送车门解锁指令。

在一个示例中， 车门解锁装置的 SoC可以向车门域控制器发送车门解锁指令， 以控制车门进行解锁。

本公开实施例中的车门可以包括人进出的车门 （例如左前门、 右前门、 左后门、 右后门）， 也可以包括车的后备箱 门等。相应地， 所述至少一车门锁可以包括左前门锁、右前门 锁、左后门锁、右后门锁和后备箱门锁等中的 至少之一。

在一种可能的实现方式中， 所述人脸识别还包括权限认证； 所述基第一图像进行人脸识别， 包括： 基于第一图像 获取所述目标对象的开门权限信息； 基于所述目标对象的开门权限信息进行权限认 证。 根据该实现方式， 可以为不同 的用户设置不同的开门权限信息， 从而能够提高车的安全性。

作为该实现方式的一个示例， 所述目标对象的开门权限信息包括以下一项或 多项： 所述目标对象具有开门权限的 车门的信息、 所述目标对象具有开门权限的时间、 所述目标对象对应的开门权限次数。

例如， 所述目标对象具有开门权限的车门的信息可以 为所有车门或者部分车门。 例如， 车主或者车主的家人、 朋 友具有开门权限的车门可以是所有车门， 快递员或者物业工作人员具有开门权限的车门 可以是后备箱门。 其中， 车主 可以为其他人员设置具有开门权限的车门的信 息。 又如， 在网约车的场景中， 乘客具有开门权限的车门可以是非驾驶 舱的车门和后备箱门。

例如， 目标对象具有开门权限的时间可以是所有时间 ， 或者可以是预设时间段。 例如， 车主或者车主的家人具有 开门权限的时间可以是所有时间。 车主可以为其他人员设置具有开门权限的时间 。 例如， 在车主的朋友向车主借车的 应用场景中， 车主可以为朋友设置具有开门权限的时间为两 天。 又如， 在快递员联系车主后， 车主可以为快递员设置 具有开门权限的时间为 2019年 9月 29日 13 :00-14:00。 又如， 在租车的场景中， 若顾客租车 3天， 则租车行工作人员可以 为该顾客设置具有开门权限的时间为 3天。又如， 在网约车的场景中， 乘客具有开门权限的时间可以是出行订单的服 务 期间。

例如， 目标对象对应的开门权限次数可以是不限次数 或者有限次数。 例如， 车主或者车主的家人、 朋友对应的开 门权限次数可以是不限次数。 又如， 快递员对应的开门权限次数可以是有限次数， 例如 1次。 在一种可能的实现方式中， 基于第一图像和第一深度图进行活体检测， 包括： 基于第一图像， 更新第一深度图， 得到第二深度图； 基于第一图像和第二深度图， 确定目标对象的活体检测结果。

具体地， 基于第一图像， 更新第一深度图中一个或多个像素的深度值， 得到第二深度图。

在一些实施例中， 基于第一图像， 对第一深度图中的深度失效像素的深度值进行 更新， 得到第二深度图。

其中， 深度图中的深度失效像素可以指深度图中包括 的深度值无效的像素， 即深度值不准确或与实际情况明显不 符的像素。 深度失效像素的个数可以为一个或多个。 通过更新深度图中的至少一个深度失效像素的 深度值， 使得深度 失效像素的深度值更为准确， 有助于提高活体检测的准确率。

在一些实施例中，第一深度图为带缺失值的深 度图，通过基于第一图像修复第一深度图，得 到第二深度图，其中， 可选地， 对第一深度图的修复包括对缺失值的像素的深 度值的确定或补充， 但本公开实施例不限于此。

在本公开实施例中， 可以通过多种方式更新或修复第一深度图。 在一些实施例中， 直接利用第一图像进行活体检 测， 例如直接利用第一图像更新第一深度图。 在另一些实施例中， 对第一图像进行预处理， 并基于预处理后的第一图 像进行活体检测。 例如， 从第一图像中获取目标对象的图像， 并基于目标对象的图像， 更新第一深度图。

可以通过多种方式从第一图像中截取目标对象 的图像。 作为一个示例， 对第一图像进行目标检测， 得到目标对象 的位置信息， 例如目标对象的限定框 (bounding box) 的位置信息， 并基于目标对象的位置信息从第一图像中截取 目 标对象的图像。 例如， 从第一图像中截取目标对象的限定框所在区域 的图像作为目标对象的图像， 再例如， 将目标对 象的限定框放大一定倍数并从第一图像中截取 放大后的限定框所在区域的图像作为目标对象 的图像。作为另一个示例， 获取第一图像中目标对象的关键点信息， 并基于目标对象的关键点信息， 从第一图像中获取目标对象的图像。

可选地， 对第一图像进行目标检测， 得到目标对象所在区域的位置信息； 对目标对象所在区域的图像进行关键点 检测， 得到第一图像中目标对象的关键点信息。

可选地， 目标对象的关键点信息可以包括目标对象的多 个关键点的位置信息。 若目标对象为人脸， 则目标对象的 关键点可以包括眼睛关键点、 眉毛关键点、 鼻子关键点、 嘴巴关键点和人脸轮廓关键点等中的一项或多 项。 其中， 眼 睛关键点可以包括眼睛轮廓关键点、 眼角关键点和瞳孔关键点等中的一项或多项。

在一个示例中， 基于目标对象的关键点信息， 确定目标对象的轮廓， 并根据目标对象的轮廓， 从第一图像中截取 目标对象的图像。与通过目标检测得到的目标 对象的位置信息相比，通过关键点信息得到的 目标对象的位置更为准确， 从而有利于提高后续活体检测的准确率。

可选地， 可以基于第一图像中目标对象的关键点， 确定第一图像中目标对象的轮廓， 并将第一图像中目标对象的 轮廓所在区域的图像或放大一定倍数后得到的 区域的图像确定为目标对象的图像。 例如， 可以将第一图像中基于目标 对象的关键点确定的椭圆形区域确定为目标对 象的图像， 或者可以将第一图像中基于目标对象的关键点 确定的椭圆形 区域的最小外接矩形区域确定为目标对象的图 像， 但本公开实施例对此不作限定。

这样， 通过从第一图像中获取目标对象的图像， 基于目标对象的图像进行活体检测， 能够降低第一图像中的背景 信息对活体检测产生的干扰。

在本公开实施例中， 可以对获取到的原始深度图进行更新处理， 或者， 在一些实施例中， 从第一深度图中获取目 标对象的深度图， 并基于第一图像， 更新目标对象的深度图， 得到第二深度图。

作为一个示例， 获取第一图像中目标对象的位置信息， 并基于目标对象的位置信息， 从第一深度图中获取目标对 象的深度图。其中，可选地，可以预先对第一 深度图和第一图像进行配准或对齐处理，但本 公开实施例对此不做限定。

这样，通过从第一深度图中获取目标对象的深 度图，并基于第一图像，更新目标对象的深度 图，得到第二深度图， 由此能够降低第一深度图中的背景信息对活体 检测产生的干扰。

在一些实施例中， 在获取第一图像和第一图像对应的第一深度图 之后， 根据图像传感器的参数以及深度传感器的 参数， 对齐第一图像和第一深度图。

作为一个示例， 可以对第一深度图进行转换处理， 以使得转换处理后的第一深度图和第一图像对 齐。 例如， 可以 根据深度传感器的参数和图像传感器的参数， 确定第一转换矩阵，并根据第一转换矩阵，对 第一深度图进行转换处理。 相应地， 可以基于第一图像的至少一部分， 对转换处理后的第一深度图的至少一部分进行 更新， 得到第二深度图。 例 如， 基于第一图像， 对转换处理后的第一深度图进行更新， 得到第二深度图。 再例如， 基于从第一图像中截取的目标 对象的图像， 对从第一深度图中截取的目标对象的深度图进 行更新， 得到第二深度图， 等等。

作为另一个示例， 可以对第一图像进行转换处理， 以使得转换处理后的第一图像与第一深度图对 齐。 例如， 可以 根据深度传感器的参数和图像传感器的参数， 确定第二转换矩阵， 并根据第二转换矩阵， 对第一图像进行转换处理。 相应地， 可以基于转换处理后的第一图像的至少一部分 ， 对第一深度图的至少一部分进行更新， 得到第二深度图。

可选地， 深度传感器的参数可以包括深度传感器的内参 数和 /或外参数， 图像传感器的参数可以包括图像传感器的 内参数和 /或外参数。 通过对齐第一深度图和第一图像， 能够使第一深度图和第一图像中相应的部分在 两个图像中的位 置相同。

在上文的例子中， 第一图像为原始图像 （例如 RGB或红外图像）， 而在另一些实施例中， 第一图像也可以指从原 始图像中截取的目标对象的图像， 类似地， 第一深度图也可以指从原始深度图中截取的目 标对象的深度图， 本公开实 施例对此不做限定。

图 6示出根据本公开实施例的活体检测方法的一� �示例的示意图。 在图 6示出的例子中， 第一图像为 RGB图像且目 标对象为人脸， 将 RGB图像和第一深度图进行对齐校正处理， 并将处理后的图像输入到人脸关键点模型中进 行处理, 得到 RGB人脸图 （目标对象的图像） 和深度人脸图 （目标对象的深度图）， 并基于 RGB人脸图对深度人脸图进行更新 或修复。 这样， 能够降低后续的数据处理量， 提高活体检测效率和准确率。

在本公开实施例中， 目标对象的活体检测结果可以为目标对象为活 体或者目标对象为假体。

在一些实施例中， 将第一图像和第二深度图输入到活体检测神经 网络进行处理， 得到第一图像中的目标对象的活 体检测结果。 或者， 通过其他活体检测算法对第一图像和第二深度 图进行处理， 得到活体检测结果。

在一些实施例中， 对第一图像进行特征提取处理， 得到第一特征信息； 对第二深度图进行特征提取处理， 得到第 二特征信息； 基于第一特征信息和第二特征信息， 确定第一图像中的目标对象的活体检测结果。

其中， 可选地， 特征提取处理可以通过神经网络或其他机器学 习算法实现， 提取到的特征信息的类型可选地可以 通过对样本的学习得到， 本公开实施例对此不做限定。

在某些特定场景 （如室外强光场景） 下， 获取到的深度图 （例如深度传感器采集到的深度图） 可能会出现部分面 积失效的情况。此外， 正常光照下， 由于眼镜反光、黑色头发或者黑色眼镜边框等 因素也会随机引起深度图局部失效。 而某些特殊的纸质能够使得打印出的人脸照片 产生类似的深度图大面积失效或者局部失效的 效果。 另外， 通过遮挡深 度传感器的主动光源也可以使得深度图部分失 效， 同时假体在图像传感器的成像正常。 因此， 在一些深度图的部分或 全部失效的情况下， 利用深度图区分活体和假体会造成误差。 因此， 在本公开实施例中， 通过对第一深度图进行修复 或更新， 并利用修复或更新后的深度图进行活体检测， 有利于提高活体检测的准确率。

图 7示出根据本公开实施例的活体检测方法中基� �第一图像和第二深度图，确定第一图像中的� �标对象的活体检测 结果的一个示例的示意图。

在该示例中， 将第一图像和第二深度图输入到活体检测网络 中进行活体检测处理， 得到活体检测结果。

如图 7所示， 该活体检测网络包括两个分支， 即第一子网络和第二子网络， 其中， 第一子网络用于对第一图像进行 特征提取处理， 得到第一特征信息， 第二子网络用于对第二深度图进行特征提取处 理， 得到第二特征信息。

在一个可选示例中， 第一子网络可以包括卷积层、 下采样层和全连接层。

例如， 第一子网络可以包括一级卷积层、 一级下采样层和一级全连接层。 其中， 该级卷积层可以包括一个或多个 卷积层， 该级下采样层可以包括一个或多个下采样层， 该级全连接层可以包括一个或多个全连接层。

又如， 第一子网络可以包括多级卷积层、 多级下采样层和一级全连接层。 其中， 每级卷积层可以包括一个或多个 卷积层， 每级下采样层可以包括一个或多个下采样层， 该级全连接层可以包括一个或多个全连接层。 其中， 第 i级卷积 层后级联第 i级下采样层， 第 i级下采样层后级联第 i+1级卷积层， 第 n级下采样层后级联全连接层， 其中， i和 n均为正整 数， 13 1, n表示深度预测神经网络中卷积层和下采样层� �级数。

或者， 第一子网络可以包括卷积层、 下采样层、 归一化层和全连接层。

例如， 第一子网络可以包括一级卷积层、 一个归一化层、 一级下采样层和一级全连接层。 其中， 该级卷积层可以 包括一个或多个卷积层， 该级下采样层可以包括一个或多个下采样层， 该级全连接层可以包括一个或多个全连接层。

又如， 第一子网络可以包括多级卷积层、 多个归一化层和多级下采样层和一级全连接层 。 其中， 每级卷积层可以 包括一个或多个卷积层， 每级下采样层可以包括一个或多个下采样层， 该级全连接层可以包括一个或多个全连接层。 其中，第 i级卷积层后级联第 i个归一化层，第 i个归一化层后级联第 i级下采样层，第 i级下采样层后级联第 i+1级卷积层， 第 n级下采样层后级联全连接层， 其中， i和 n均为正整数， 13 1, n表示第一子网络中卷积层、 下采样层的级数和归一 化层的个数。 作为一个示例， 对第一图像进行卷积处理， 得到第一卷积结果； 对第一卷积结果进行下采样处理， 得到第一下采 样结果； 基于第一下采样结果， 得到第一特征信息。

例如， 可以通过一级卷积层和一级下采样层对第一图 像进行卷积处理和下采样处理。 其中， 其中， 该级卷积层可 以包括一个或多个卷积层， 该级下采样层可以包括一个或多个下采样层。

又如， 可以通过多级卷积层和多级下采样层对第一图 像进行卷积处理和下采样处理。 其中， 每级卷积层可以包括 一个或多个卷积层， 每级下采样层可以包括一个或多个下采样层。

例如， 对第一卷积结果进行下采样处理， 得到第一下采样结果， 可以包括： 对第一卷积结果进行归一化处理， 得 到第一归一化结果； 对第一归一化结果进行下采样处理， 得到第一下采样结果。

例如，可以将第一下采样结果输入全连接层， 通过全连接层对第一下采样结果进行融合处理 ，得到第一特征信息。 可选地， 第二子网络和第一子网络具有相同的网络结构 ， 但具有不同的参数。 或者， 第二子网络具有与第一子网 络不同的网络结构， 本公开实施例对此不做限定。

如图 7所示， 活体检测网络还包括第三子网络，用于对第一 子网络得到的第一特征信息和第二子网络得到 的第二特 征信息进行处理， 得到第一图像中的目标对象的活体检测结果。 可选地， 第三子网络可以包括全连接层和输出层。 例 如， 输出层采用 softmax函数， 若输出层的输出为 1， 则表示目标对象为活体， 若输出层的输出为 0, 则表示目标对象为 假体， 但本公开实施例对第三子网络的具体实现不做 限定。

作为一个示例， 对第一特征信息和第二特征信息进行融合处理 ， 得到第三特征信息； 基于第三特征信息， 确定第 一图像中的目标对象的活体检测结果。

例如， 通过全连接层对第一特征信息和第二特征信息 进行融合处理， 得到第三特征信息。

在一些实施例中，基于第三特征信息，得到第 一图像中的目标对象为活体的概率，并根据目 标对象为活体的概率， 确定目标对象的活体检测结果。

例如， 若目标对象为活体的概率大于第二阈值， 则确定目标对象的活体检测结果为目标对象为 活体。 再例如， 若 目标对象为活体的概率小于或等于第二阈值， 则确定目标对象的活体检测结果为假体。

在另一些实施例中， 基于第三特征信息， 得到目标对象为假体的概率， 并根据目标对象为假体的概率， 确定目标 对象的活体检测结果。 例如， 若目标对象为假体的概率大于第三阈值， 则确定目标对象的活体检测结果为目标对象为 假体。 再例如， 若目标对象为假体的概率小于或等于第三阈值 ， 则确定目标对象的活体检测结果为活体。

在一个例子中， 可以将第三特征信息输入 Softmax层中，通过 Softmax层得到目标对象为活体或假体的概率。� �如， Softmax层的输出包括两个神经元， 其中， 一个神经元代表目标对象为活体的概率， 另一个神经元代表目标对象为假体 的概率， 但本公开实施例不限于此。

在本公开实施例中， 通过获取第一图像和第一图像对应的第一深度 图， 基于第一图像， 更新第一深度图， 得到第 二深度图， 基于第一图像和第二深度图， 确定第一图像中的目标对象的活体检测结果， 由此能够完善深度图， 从而提 高活体检测的准确性。

在一种可能的实现方式中， 基于第一图像， 更新第一深度图， 得到第二深度图， 包括： 基于第一图像， 确定第一 图像中多个像素的深度预测值和关联信息， 其中， 该多个像素的关联信息指示该多个像素之间的 关联度； 基于该多个 像素的深度预测值和关联信息， 更新第一深度图， 得到第二深度图。

具体地， 基于第一图像确定第一图像中多个像素的深度 预测值， 并基于多个像素的深度预测值对第一深度图进 行 修复完善。

具体地， 通过对第一图像进行处理， 得到第一图像中多个像素的深度预测值。 例如， 将第一图像输入到深度预测 深度网络中进行处理， 得到多个像素的深度预测结果， 例如， 得到第一图像对应的深度预测图， 但本公开实施例对此 不做限定。

在一些实施例中， 基于第一图像和第一深度图， 确定第一图像中多个像素的深度预测值。

作为一个示例， 将第一图像和第一深度图输入到深度预测神经 网络进行处理， 得到第一图像中多个像素的深度预 测值。 或者， 通过其他方式对第一图像和第一深度图进行处 理， 得到多个像素的深度预测值， 本公开实施例对此不做 限定。

图 8示出根据本公开实施例的车门解锁方法中的� �度预测神经网络的示意图。 如图 8所示， 可以将第一图像和第一 深度图输入到深度预测神经网络进行处理， 得到初始深度估计图。 基于初始深度估计图， 可以确定第一图像中多个像 素的深度预测值。 例如， 初始深度估计图的像素值为第一图像中的相应 像素的深度预测值。

深度预测神经网络可以通过多种网络结构实现 。 在一个示例中， 深度预测神经网络包括编码部分和解码部分。 其 中， 可选地， 编码部分可以包括卷积层和下采样层， 解码部分包括反卷积层和 /或上采样层。 此外， 编码部分和 /或解 码部分还可以包括归一化层， 本公开实施例对编码部分和解码部分的具体实 现不做限定。 在编码部分， 随着网络层数 的增加， 特征图的分辨率逐渐降低， 特征图的数量逐渐增多， 从而能够获取丰富的语义特征和图像空间特征 ； 在解码 部分， 特征图的分辨率逐渐增大， 解码部分最终输出的特征图的分辨率与第一深 度图的分辨率相同。

在一些实施例中， 对第一图像和第一深度图进行融合处理， 得到融合结果， 并基于融合结果， 确定第一图像中多 个像素的深度预测值。

在一个示例中， 可以对第一图像和第一深度图进行连接 （concat）, 得到融合结果。

在一个示例中， 对融合结果进行卷积处理， 得到第二卷积结果； 基于第二卷积结果进行下采样处理， 得到第一编 码结果； 基于第一编码结果， 确定第一图像中多个像素的深度预测值。

例如， 可以通过卷积层对融合结果进行卷积处理， 得到第二卷积结果。

例如， 对第二卷积结果进行归一化处理， 得到第二归一化结果； 对第二归一化结果进行下采样处理， 得到第一编 码结果。 在这里， 可以通过归一化层对第二卷积结果进行归一化 处理， 得到第二归一化结果； 通过下采样层对第二归 一化结果进行下采样处理， 得到第一编码结果。 或者， 可以通过下采样层对第二卷积结果进行下采样 处理， 得到第一 编码结果。

例如， 对第一编码结果进行反卷积处理， 得到第一反卷积结果； 对第一反卷积结果进行归一化处理， 得到深度预 测值。 在这里， 可以通过反卷积层对第一编码结果进行反卷积 处理， 得到第一反卷积结果； 通过归一化层对第一反卷 积结果进行归一化处理， 得到深度预测值。 或者， 可以通过反卷积层对第一编码结果进行反卷积 处理， 得到深度预测 值。

例如， 对第一编码结果进行上采样处理， 得到第一上采样结果； 对第一上采样结果进行归一化处理， 得到深度预 测值。 在这里， 可以通过上采样层对第一编码结果进行上采样 处理， 得到第一上采样结果； 通过归一化层对第一上采 样结果进行归一化处理， 得到深度预测值。 或者， 可以通过上采样层对第一编码结果进行上采样 处理， 得到深度预测 值。

此外， 通过对第一图像进行处理， 得到第一图像中多个像素的关联信息。 其中， 第一图像中多个像素的关联信息 可以包括第一图像的多个像素中每个像素与其 周围像素之间的关联度。 其中， 像素的周围像素可以包括像素的至少一 个相邻像素， 或者包括与该像素间隔不超过一定数值的多个 像素。 例如， 如图 11所示， 像素 5的周围像素包括与其相邻 的像素 1、像素 2、像素 3、像素 4、像素 6、像素 7、像素 8和像素 9, 相应地， 第一图像中多个像素的关联信息包括像素 1、 像素 2、 像素 3、 像素 4、 像素 6、 像素 7、 像素 8和像素 9与像素 5之间的关联度。 作为一个示例， 第一像素与第二像素之 间的关联度可以利用第一像素与第二像素的相 关性来度量， 其中， 本公开实施例可以采用相关技术确定像素之间 的相 关性， 在此不再赘述。

在本公开实施例中， 可以通过多种方式确定多个像素的关联信息。 在一些实施例中， 将第一图像输入到关联度检 测神经网络进行处理， 得到第一图像中多个像素的关联信息。 例如， 得到第一图像对应的关联特征图。 或者， 也可以 通过其他算法得到多个像素的关联信息， 本公开实施例对此不做限定。

图 9示出根据本公开实施例的车门解锁方法中的� �联度检测神经网络的示意图。 如图 9所示， 将第一图像输入到关 联度检测神经网络进行处理，得到多张关联特 征图。基于多张关联特征图，可以确定第一图 像中多个像素的关联信息。 例如， 某一像素的周围像素指的是与该像素的距离等 于 0的像素， 6卩， 该像素的周围像素指的是与该像素相邻的像素 ， 则关联度检测神经网络可以输出 8张关联特征图。例如，在第一张关联特征图� �，像素 P _y 的像素值=第一图像中像素 Pum 与像素 间的关联度， 其中， Py表示第 i行第 j列的像素； 在第二张关联特征图中， 像素 P _y 的像素值=第一图像中像素 Pug与像素 Py之间的关联度；在第三张关联特征图中，像� �� Py的像素值=第一图像中像素 P _M #与像素 Py之间的关联度； 在第四张关联特征图中， 像素 Py的像素值=第一图像中像素 P _iH 与像素 Pi 间的关联度； 在第五张关联特征图中， 像素 Py的像素值=第一图像中像素 P _U+1 与像素 间的关联度； 在第六张关联特征图中， 像素 Py的像素值=第一图像中像素 P _{i+l H} 与像素 Py之间的关联度;在第七张关联特征图中,像素 Py的像素值=第一图像中像素 P _i+g 与像素 Pi _j 之间的关联度； 在第八张关联特征图中， 像素 Py的像素值=第一图像中像素 P _{i+l j+1} 与像素 Pyi间的关联度。

关联度检测神经网络可以通过多种网络结构实 现。 作为一个示例， 关联度检测神经网络可以包括编码部分和解码 部分。 其中， 编码部分可以包括卷积层和下采样层， 解码部分可以包括反卷积层和 /或上采样层。 编码部分还可以包括 归一化层， 解码部分也可以包括归一化层。 在编码部分， 特征图的分辨率逐渐降低， 特征图的数量逐渐增多， 从而获 取丰富的语义特征和图像空间特征； 在解码部分， 特征图的分辨率逐渐增大， 解码部分最终输出的特征图的分辨率与 第一图像的分辨率相同。 在本公开实施例中， 关联信息可以为图像， 也可以为其他数据形式， 例如矩阵等。

作为一个示例， 将第一图像输入到关联度检测神经网络进行处 理， 得到第一图像中多个像素的关联信息， 可以包 括： 对第一图像进行卷积处理， 得到第三卷积结果； 基于第三卷积结果进行下采样处理， 得到第二编码结果； 基于第 二编码结果， 得到第一图像中多个像素的关联信息。

在一个示例中， 可以通过卷积层对第一图像进行卷积处理， 得到第三卷积结果。

在一个示例中， 基于第三卷积结果进行下采样处理， 得到第二编码结果， 可以包括： 对第三卷积结果进行归一化 处理， 得到第三归一化结果； 对第三归一化结果进行下采样处理， 得到第二编码结果。 在该示例中， 可以通过归一化 层对第三卷积结果进行归一化处理， 得到第三归一化结果； 通过下采样层对第三归一化结果进行下采样处 理， 得到第 二编码结果。 或者， 可以通过下采样层对第三卷积结果进行下采样 处理， 得到第二编码结果。

在一个示例中， 基于第二编码结果， 确定关联信息， 可以包括： 对第二编码结果进行反卷积处理， 得到第二反卷 积结果； 对第二反卷积结果进行归一化处理， 得到关联信息。 在该示例中， 可以通过反卷积层对第二编码结果进行反 卷积处理， 得到第二反卷积结果； 通过归一化层对第二反卷积结果进行归一化处 理， 得到关联信息。 或者， 可以通过 反卷积层对第二编码结果进行反卷积处理， 得到关联信息。

在一个示例中， 基于第二编码结果， 确定关联信息， 可以包括： 对第二编码结果进行上采样处理， 得到第二上采 样结果； 对第二上采样结果进行归一化处理， 得到关联信息。 在示例中， 可以通过上采样层对第二编码结果进行上采 样处理， 得到第二上采样结果； 通过归一化层对第二上采样结果进行归一化处 理， 得到关联信息。 或者， 可以通过上 采样层对第二编码结果进行上采样处理， 得到关联信息。

当前的 TOF、 结构光等 3D传感器， 在室外容易受到阳光的影响， 导致深度图有大面积的空洞缺失， 从而影响 3D活 体检测算法的性能。本公开实施例提出的基于 深度图自完善的 3D活体检测算法， 通过对 3D传感器检测到的深度图的完 善修复， 提高了 3D活体检测算法的性能。

在一些实施例中， 在得到多个像素的深度预测值和关联信息之后 ， 基于多个像素的深度预测值和关联信息， 对第 一深度图进行更新处理， 得到第二深度图。 图 10示出根据本公开实施例的车门解锁方法中深� ��图更新的一示例性的示 意图。 在图 10所示的例子中， 第一深度图为带缺失值的深度图， 得到的多个像素的深度预测值和关联信息分别 为初始 深度估计图和关联特征图， 此时， 将带缺失值的深度图、 初始深度估计图和关联特征图输入到深度图更 新模块 （例如 深度更新神经网络） 中进行处理， 得到最终深度图， 即第二深度图。

在一些实施例中， 从该多个像素的深度预测值中获取深度失效像 素的深度预测值以及深度失效像素的多个周围 像 素的深度预测值； 从该多个像素的关联信息中获取深度失效像素 与深度失效像素的多个周围像素之间的关联度 ； 基于 深度失效像素的深度预测值、 深度失效像素的多个周围像素的深度预测值、 以及深度失效像素与深度失效像素的周围 像素之间的关联度， 确定深度失效像素的更新后的深度值。

在本公开实施例中， 可以通过多种方式确定深度图中的深度失效像 素。 作为一个示例， 将第一深度图中深度值等 于 0的像素确定为深度失效像素， 或将第一深度图中不具有深度值的像素确定为 深度失效像素。

在该示例中， 对于带缺失值的第一深度图中有值的部分 （即深度值不为 0）, 我们认为其深度值是正确可信的， 对 这部分不进行更新， 保留原始的深度值。 而对第一深度图中深度值为 0的像素的深度值进行更新。

作为另一个示例，深度传感器可以将深度失效 像素的深度值设置为一个或多个预设数值或预 设范围。在示例中， 可以将第一深度图中深度值等于预设数值或者 属于预设范围的像素确定为深度失效像素。

本公开实施例也可以基于其他统计方式确定第 一深度图中的深度失效像素， 本公开实施例对此不做限定。

在该实现方式中，可以将第一图像中与深度失 效像素位置相同的像素的深度值确定为深度失 效像素的深度预测值， 类似地， 可以将第一图像中与深度失效像素的周围像素 位置相同的像素的深度值确定为深度失效像素 的周围像素的深 度预测值。

作为一个示例， 深度失效像素的周围像素与深度失效像素之间 的距离小于或等于第一阈值。

图 11示出根据本公开实施例的车门解锁方法中周� ��像素的示意图。 例如， 第一阈值为 0, 则只将邻居像素作为周围 像素。 例如， 像素 5的邻居像素包括像素 1、 像素 2、 像素 3、 像素 4、 像素 6、 像素 7、 像素 8和像素 9， 则只将像素 1、 像 素 2、 像素 3、 像素 4、 像素 6、 像素 7、 像素 8和像素 9作为像素 5的周围像素。

图 12示出根据本公开实施例的车门解锁方法中周� ��像素的另一示意图。 例如， 第一阈值为 1 , 则除了将邻居像素作 为周围像素， 还将邻居像素的邻居像素作为周围像素。 即， 除了将像素 1、 像素 2、 像素 3、 像素 4、 像素 6、 像素 7、 像 素 8和像素 9作为像素 5的周围像素， 还将像素 10至像素 25作为像素 5的周围像素。

作为一个示例， 基于深度失效像素的周围像素的深度预测值以 及深度失效像素与深度失效像素的多个周围像 素之 间的关联度， 确定深度失效像素的深度关联值； 基于深度失效像素的深度预测值以及深度关联 值， 确定深度失效像素 的更新后的深度值。

作为另一个示例， 基于深度失效像素的周围像素的深度预测值以 及深度失效像素与该周围像素之间的关联度， 确 定该周围像素对于深度失效像素的有效深度值 ； 基于深度失效像素的各个周围像素对于深度失 效像素的有效深度值， 以及深度失效像素的深度预测值， 确定深度失效像素的更新后的深度值。 例如， 可以将深度失效像素的某一周围像素 的深度预测值与该周围像素对应的关联度的乘 积， 确定为该周围像素对于深度失效像素的有效深 度值， 其中， 该周围 像素对应的关联度指的是该周围像素与深度失 效像素之间的关联度。 例如， 可以确定深度失效像素的各个周围像素对 于深度失效像素的有效深度值之和与第一预设 系数的乘积， 得到第一乘积； 确定深度失效像素的深度预测值与第二预 设系数的乘积，得到第二乘积；将第一乘积与 第二乘积之和确定为深度失效像素的更新后的 深度值。在一些实施例中， 第一预设系数与第二预设系数之和为 1。

在一个示例中， 将深度失效像素与每个周围像素之间的关联度 作为每个周围像素的权重， 对深度失效像素的多个 周围像素的深度预测值进行加权求和处理， 得到深度失效像素的深度关联值。 例如， 像素 5为深度失效像素， 则深度失 效像素 5 深度失效像素 5的更新后的深度值可以采用式 7确定，

在另一个示例中， 确定深度失效像素的多个周围像素中每个周围 像素与深度失效像素之间的关联度和每个周围 像 素的深度预测值的乘积； 将乘积的最大值确定为深度失效像素的深度关 联值。

在一个示例中， 将深度失效像素的深度预测值与深度关联值之 和确定为深度失效像素的更新后的深度值。 在另一个示例中， 确定深度失效像素的深度预测值与第三预设系 数的乘积， 得到第三乘积； 确定深度关联值与第 四预设系数的乘积， 得到第四乘积； 将第三乘积与第四乘积之和确定为深度失效像 素的更新后的深度值。 在一些实施 例中， 第三预设系数与第四预设系数之和为 1。

在一些实施例中， 非深度失效像素在第二深度图中的深度值等于 该非深度失效像素在第一深度图中的深度值。 在另一些实施例中， 也可以对非深度失效像素的深度值进行更新， 以得到更准确的第二深度图， 从而能够进一步 提高活体检测的准确性。

在本公开实施例中， 经设置于车的至少一距离传感器获取车外的目 标对象和车之间的距离， 响应于距离满足预定 条件， 唤醒并控制设置于车的图像采集模组采集目标 对象的第一图像， 基于第一图像进行人脸识别， 并响应于人脸识 别成功，向车的至少一车门锁发送车门解锁指 令，由此能够在保障车门解锁的安全性的前提 下提高车门解锁的便捷性。 采用本公开实施例， 在车主接近车辆时， 无需刻意做动作（如触摸按钮或做手势）， 就能够自动触发活体检测与人脸认 证流程， 并在车主活体检测和人脸认证通过后自动打开 车门。

在一种可能的实现方式中， 在基于第一图像进行人脸识别之后， 该方法还包括： 响应于人脸识别失败， 激活设置 于车的密码解锁模块以启动密码解锁流程。

在该实现方式中， 密码解锁是人脸识别解锁的备选方案。 人脸识别失败的原因可以包括活体检测结果为 目标对象 为假体、 人脸认证失败、 图像采集失败 （例如摄像头故障） 和识别次数超过预定次数等中的至少一项。 当目标对象不 通过人脸识别时， 启动密码解锁流程。 例如， 可以通过 B柱上的触摸屏获取用户输入的密码。 在一个示例中， 在连续 输入 M次错误的密码后， 密码解锁将失效， 例如， M等于 5。

在一种可能的实现方式中， 该方法还包括以下一项或两项： 根据图像采集模组采集的车主的人脸图像进行 车主注 册； 根据车主的终端设备采集的车主的人脸图像进 行远程注册， 并将注册信息发送到车上， 其中， 注册信息包括车主 的人脸图像。

在一个示例中， 根据图像采集模组采集的车主的人脸图像进行 车主注册， 包括： 在检测到触摸屏上的注册按钮被 点击时， 请求用户输入密码， 在密码验证通过后， 启动图像采集模组中的 RGB摄像头获取用户的人脸图像， 并根据获 取的人脸图像进行注册， 提取该人脸图像中的人脸特征作为预注册的人 脸特征， 以在后续人脸认证时基于该预注册的 人脸特征进行人脸比对。

在一个示例中， 根据车主的终端设备采集的车主的人脸图像进 行远程注册， 并将注册信息发送到车上， 其中， 注 册信息包括车主的人脸图像。在该示例中，车 主可以通过手机 App（ Application,应用）向 TSP（ Telematics Service Provider, 汽车远程服务提供商） 云端发送注册请求， 其中， 注册请求可以携带车主的人脸图像； TSP云端将注册请求发送给车 门解锁装置的车载 T-Box（Telematics Box, 远程信息处理器）， 车载 T-Box根据注册请求激活人脸识别功能， 并将注册 请求中携带的人脸图像中的人脸特征作为预注 册的人脸特征， 以在后续人脸认证时基于该预注册的人脸特征 进行人脸 比对。

可以理解， 本公开提及的上述各个方法实施例， 在不违背原理逻辑的情况下， 均可以彼此相互结合形成结合后的 实施例， 限于篇幅， 本公开不再赘述。

本领域技术人员可以理解， 在具体实施方式的上述方法中， 各步骤的撰写顺序并不意味着严格的执行顺序 而对实 施过程构成任何限定， 各步骤的具体执行顺序应当以其功能和可能的 内在逻辑确定。

此外， 本公开还提供了车门解锁装置、 电子设备、 计算机可读存储介质、 程序， 上述均可用来实现本公开提供的 任一种车门解锁方法， 相应技术方案和描述和参见方法部分的相应记 载， 不再赘述。

图 13示出根据本公开实施例的车门解锁装置的框� ��。 该装置包括： 获取模块 21 , 用于经设置于车的至少一距离传 感器获取车外的目标对象和车之间的距离； 唤醒与控制模块 22, 用于响应于距离满足预定条件， 唤醒并控制设置于车 的图像采集模组采集目标对象的第一图像； 人脸识别模块 23 , 用于基于第一图像进行人脸识别； 发送模块 24, 用于响 应于人脸识别成功， 向车的至少一车门锁发送车门解锁指令。

在本公开实施例中， 经设置于车的至少一距离传感器获取车外的目 标对象和车之间的距离， 响应于距离满足预定 条件， 唤醒并控制设置于车的图像采集模组采集目标 对象的第一图像， 基于第一图像进行人脸识别， 并响应于人脸识 别成功，向车的至少一车门锁发送车门解锁指 令，由此能够在保障车门解锁的安全性的前提 下提高车门解锁的便捷性。

在一种可能的实现方式中， 预定条件包括以下至少之一： 距离小于预定的距离阈值； 距离小于预定的距离阈值的 持续时间达到预定的时间阈值； 持续时间获得的距离表示目标对象接近车。

在一种可能的实现方式中， 至少一距离传感器包括： 蓝牙距离传感器； 获取模块 21用于： 建立外部设备和蓝牙距 离传感器的蓝牙配对连接； 响应于蓝牙配对连接成功， 经蓝牙距离传感器获取带有外部设备的目标对 象和车之间的第 一距离。

在该实现方式中， 外部设备可以是任何具有蓝牙功能的移动设备 ， 例如， 外部设备可以是手机、 可穿戴设备或者 电子钥匙等。 其中， 可穿戴设备可以为智能手环或者智能眼镜等。

在该实现方式中， 通过建立外部设备和蓝牙距离传感器的蓝牙配 对连接， 由此能够通过蓝牙增加一层认证， 从而 能够提高车门解锁的安全性。

在一种可能的实现方式中， 至少一距离传感器包括： 超声波距离传感器； 获取模块 21用于： 经设置于车的室外部 的超声波距离传感器获取目标对象和车之间的 第二距离。

在一种可能的实现方式中， 至少一距离传感器包括： 蓝牙距离传感器和超声波距离传感器； 获取模块 21用于： 建 立外部设备和蓝牙距离传感器的蓝牙配对连接 ； 响应于蓝牙配对连接成功， 经蓝牙距离传感器获取带有外部设备的目 标对象和车之间的第一距离； 经超声波距离传感器获取目标对象和车之间的 第二距离； 唤醒与控制模块 22用于： 响应 于第一距离和第二距离满足预定条件， 唤醒并控制设置于车的图像采集模组采集目标 对象的第一图像。

在该实现方式中， 能够通过蓝牙距离传感器与超声波距离传感器 配合来提高车门解锁的安全性。

在一种可能的实现方式中， 预定条件包括第一预定条件和第二预定条件； 第一预定条件包括以下至少之一： 第一 距离小于预定的第一距离阈值； 第一距离小于预定的第一距离阈值的持续时间 达到预定的时间阈值； 持续时间获得的 第一距离表示目标对象接近车； 第二预定条件包括： 第二距离小于预定的第二距离阈值， 第二距离小于预定的第二距 离阈值的持续时间达到预定的时间阈值； 第二距离阈值小于第一距离阈值。

在一种可能的实现方式中， 唤醒与控制模块 22包括： 唤醒子模块， 用于响应于第一距离满足第一预定条件， 唤醒 设置于车的人脸识别系统； 控制子模块， 用于响应于第二距离满足第二预定条件， 经唤醒的人脸识别系统控制图像采 集模组采集目标对象的第一图像。

人脸识别系统的唤醒过程通常需要一些时间， 例如需要 4至 5秒，这会使人脸识别触发和处理较慢，影响� �户体验。 在上述实现方式中， 通过结合蓝牙距离传感器和超声波距离传感器 ， 在蓝牙距离传感器获取的第一距离满足第一预 定 条件时， 唤醒人脸识别系统， 使人脸识别系统提前处于可工作状态， 由此在超声波距离传感器获取的第二距离满足 第 二预定条件时能够通过人脸识别系统快速进行 人脸图像处理， 由此能够提高人脸识别效率， 改善用户体验。

在一种可能的实现方式中， 距离传感器为超声波距离传感器， 预定的距离阈值根据计算得到的距离阈值基准 值和 预定的距离阈值偏移值确定， 距离阈值基准值表示车外的对象与车之间的距 离阈值的基准值， 距离阈值偏移值表示车 外的对象与车之间的距离阈值的偏移值。

在一种可能的实现方式中， 预定的距离阈值等于距离阈值基准值与预定的 距离阈值偏移值的差值。

在一种可能的实现方式中,距离阈值基准值取� �辆熄火后的距离平均值与车门解锁的最大距� �中的最小值,其中， 车辆熄火后的距离平均值表示车辆熄火后的指 定时间段内车外的对象与车之间的距离的平均 值。

在一种可能的实现方式中，距离阈值基准值周 期性更新。通过周期性更新距离阈值基准值， 能够适应不同的环境。 在一种可能的实现方式中， 距离传感器为超声波距离传感器， 预定的时间阈值根据计算得到的时间阈值基准 值和 时间阈值偏移值确定， 其中， 时间阈值基准值表示车外的对象与车之间的距 离小于预定的距离阈值的时间阈值的基准 值， 时间阈值偏移值表示车外的对象与车之间的距 离小于预定的距离阈值的时间阈值的偏移值。

在一种可能的实现方式中， 预定的时间阈值等于时间阈值基准值与时间阈 值偏移值之和。

在一种可能的实现方式中， 时间阈值基准值根据超声波距离传感器的水平 方向探测角、 超声波距离传感器的探测 半径、 对象尺寸和对象速度中的一项或多项确定。

在一种可能的实现方式中， 装置还包括： 第一确定模块， 用于根据不同类别的对象尺寸、 不同类别的对象速度、 超声波距离传感器的水平方向探测角和超声波 距离传感器的探测半径， 确定不同类别的对象对应的备选基准值； 第二 确定模块， 用于从不同类别的对象对应的备选基准值中确 定时间阈值基准值。

在一种可能的实现方式中， 第二确定模块用于： 将不同类别的对象对应的备选基准值中的最大 值确定为时间阈 值基准值。

在一些实施例中， 为了不影响体验， 预定的时间阈值设置为小于 1秒。 在一个示例， 可以通过减小超声波距离传感 器的水平方向探测角来减小行人、 自行车等通过带来的干扰。

在一种可能的实现方式中， 人脸识别包括： 活体检测和人脸认证； 人脸识别模块 23包括： 人脸认证模块， 用于经 图像采集模组中的图像传感器采集第一图像， 并基于第一图像和预注册的人脸特征进行人脸 认证； 活体检测模块， 用 于经图像采集模组中的深度传感器采集第一图 像对应的第一深度图， 并基于第一图像和第一深度图进行活体检测。

在该实现方式中， 活体检测用于验证目标对象是否是活体， 例如可以用于验证目标对象是否是人体。 人脸认证用 于提取采集的图像中的人脸特征， 将采集的图像中的人脸特征与预注册的人脸特 征进行比对， 判断是否属于同一个人 的人脸特征， 例如可以判断采集的图像中的人脸特征是否属 于车主的人脸特征。

在一种可能的实现方式中， 活体检测模块包括： 更新子模块， 用于基于第一图像， 更新第一深度图， 得到第二深 度图； 确定子模块， 用于基于第一图像和第二深度图， 确定目标对象的活体检测结果。

在一种可能的实现方式中， 图像传感器包括 RGB图像传感器或者红外传感器； 深度传感器包括双目红外传感器或 者飞行时间 TOF传感器。 其中， 双目红外传感器包括两个红外摄像头。 结构光传感器可以为编码结构光传感器或者散 斑结构光传感器。 通过深度传感器获取目标对象的深度图， 可以获得高精度的深度图。 本公开实施例利用包含目标对 象的深度图进行活体检测， 能够充分挖掘目标对象的深度信息， 从而能够提高活体检测的准确性。 例如， 当目标对象 为人脸时， 本公开实施例利用包含人脸的深度图进行活体 检测， 能够充分挖掘人脸数据的深度信息， 从而能够提高活 体人脸检测的准确性。

在一种可能的实现方式中， TOF传感器采用基于红外波段的 TOF模组。 通过采用基于红外波段的 TOF模组， 能够 降低外界光线对深度图拍摄造成的影响。 在一种可能的实现方式中，更新子模块用于： 基于第一图像，对第一深度图中的深度失效像 素的深度值进行更新， 得到第二深度图。

其中， 深度图中的深度失效像素可以指深度图中包括 的深度值无效的像素， 即深度值不准确或与实际情况明显不 符的像素。 深度失效像素的个数可以为一个或多个。 通过更新深度图中的至少一个深度失效像素的 深度值， 使得深度 失效像素的深度值更为准确， 有助于提高活体检测的准确率。

在一种可能的实现方式中，更新子模块用于： 基于第一图像，确定第一图像中多个像素的深 度预测值和关联信息， 其中， 多个像素的关联信息指示多个像素之间的关联 度； 基于多个像素的深度预测值和关联信息， 更新第一深度图， 得到第二深度图。

在一种可能的实现方式中， 更新子模块用于： 确定第一深度图中的深度失效像素； 从多个像素的深度预测值中获 取深度失效像素的深度预测值以及深度失效像 素的多个周围像素的深度预测值； 从多个像素的关联信息中获取深度失 效像素与深度失效像素的多个周围像素之间的 关联度； 基于深度失效像素的深度预测值、 深度失效像素的多个周围像 素的深度预测值、以及深度失效像素与深度失 效像素的周围像素之间的关联度，确定深度失 效像素的更新后的深度值。

在一种可能的实现方式中， 更新子模块用于： 基于深度失效像素的周围像素的深度预测值以 及深度失效像素与深 度失效像素的多个周围像素之间的关联度， 确定深度失效像素的深度关联值； 基于深度失效像素的深度预测值以及深 度关联值， 确定深度失效像素的更新后的深度值。

在一种可能的实现方式中， 更新子模块用于： 将深度失效像素与每个周围像素之间的关联度 作为每个周围像素的 权重， 对深度失效像素的多个周围像素的深度预测值 进行加权求和处理， 得到深度失效像素的深度关联值。

在一种可能的实现方式中， 更新子模块用于： 基于第一图像和第一深度图， 确定第一图像中多个像素的深度预测 值。

在一种可能的实现方式中， 更新子模块用于： 将第一图像和第一深度图输入到深度预测神经 网络进行处理， 得到 第一图像中多个像素的深度预测值。

在一种可能的实现方式中， 更新子模块用于： 对第一图像和第一深度图进行融合处理， 得到融合结果； 基于融合 结果， 确定第一图像中多个像素的深度预测值。

在一种可能的实现方式中， 更新子模块用于： 将第一图像输入到关联度检测神经网络进行处 理， 得到第一图像中 多个像素的关联信息。

在一种可能的实现方式中， 更新子模块用于： 从第一图像中获取目标对象的图像； 基于目标对象的图像， 更新第 一深度图。

在一种可能的实现方式中， 更新子模块用于： 获取第一图像中目标对象的关键点信息； 基于目标对象的关键点信 息， 从第一图像中获取目标对象的图像。

在一个示例中， 基于目标对象的关键点信息， 确定目标对象的轮廓， 并根据目标对象的轮廓， 从第一图像中截取 目标对象的图像。与通过目标检测得到的目标 对象的位置信息相比，通过关键点信息得到的 目标对象的位置更为准确， 从而有利于提高后续活体检测的准确率。

这样， 通过从第一图像中获取目标对象的图像， 基于目标对象的图像进行活体检测， 能够降低第一图像中的背景 信息对活体检测产生的干扰。

在一种可能的实现方式中， 更新子模块用于： 对第一图像进行目标检测， 得到目标对象所在区域； 对目标对象所 在区域的图像进行关键点检测， 得到第一图像中目标对象的关键点信息。

在一种可能的实现方式中， 更新子模块用于： 从第一深度图中获取目标对象的深度图； 基于第一图像， 更新目标 对象的深度图， 得到第二深度图。

这样，通过从第一深度图中获取目标对象的深 度图，并基于第一图像，更新目标对象的深度 图，得到第二深度图， 由此能够降低第一深度图中的背景信息对活体 检测产生的干扰。

在某些特定场景 （如室外强光场景） 下， 获取到的深度图 （例如深度传感器采集到的深度图） 可能会出现部分面 积失效的情况。此外， 正常光照下， 由于眼镜反光、黑色头发或者黑色眼镜边框等 因素也会随机引起深度图局部失效。 而某些特殊的纸质能够使得打印出的人脸照片 产生类似的深度图大面积失效或者局部失效的 效果。 另外， 通过遮挡深 度传感器的主动光源也可以使得深度图部分失 效， 同时假体在图像传感器的成像正常。 因此， 在一些深度图的部分或 全部失效的情况下， 利用深度图区分活体和假体会造成误差。 因此， 在本公开实施例中， 通过对第一深度图进行修复 或更新， 并利用修复或更新后的深度图进行活体检测， 有利于提高活体检测的准确率。

在一种可能的实现方式中， 确定子模块用于： 将第一图像和第二深度图输入到活体检测神经 网络进行处理， 得到 目标对象的活体检测结果。

在一种可能的实现方式中， 确定子模块用于： 对第一图像进行特征提取处理， 得到第一特征信息； 对第二深度图 进行特征提取处理， 得到第二特征信息； 基于第一特征信息和第二特征信息， 确定目标对象的活体检测结果。

其中， 可选地， 特征提取处理可以通过神经网络或其他机器学 习算法实现， 提取到的特征信息的类型可选地可以 通过对样本的学习得到， 本公开实施例对此不做限定。

在一种可能的实现方式中，确定子模块用于： 对第一特征信息和第二特征信息进行融合处理 ，得到第三特征信息； 基于第三特征信息， 确定目标对象的活体检测结果。

在一种可能的实现方式中， 确定子模块用于： 基于第三特征信息， 得到目标对象为活体的概率； 根据目标对象为 活体的概率， 确定目标对象的活体检测结果。

在本公开实施例中， 经设置于车的至少一距离传感器获取车外的目 标对象和车之间的距离， 响应于距离满足预定 条件， 唤醒并控制设置于车的图像采集模组采集目标 对象的第一图像， 基于第一图像进行人脸识别， 并响应于人脸识 别成功，向车的至少一车门锁发送车门解锁指 令，由此能够在保障车门解锁的安全性的前提 下提高车门解锁的便捷性。 采用本公开实施例， 在车主接近车辆时， 无需刻意做动作（如触摸按钮或做手势）， 就能够自动触发活体检测与人脸认 证流程， 并在车主活体检测和人脸认证通过后自动打开 车门。

在一种可能的实现方式中， 装置还包括： 激活与启动模块， 用于响应于人脸识别失败， 激活设置于车的密码解锁 模块以启动密码解锁流程。

在该实现方式中， 密码解锁是人脸识别解锁的备选方案。 人脸识别失败的原因可以包括活体检测结果为 目标对象 为假体、 人脸认证失败、 图像采集失败 （例如摄像头故障） 和识别次数超过预定次数等中的至少一项。 当目标对象不 通过人脸识别时， 启动密码解锁流程。 例如， 可以通过 B柱上的触摸屏获取用户输入的密码。

在一种可能的实现方式中， 装置还包括注册模块， 注册模块用于以下一项或两项： 根据图像采集模组采集的车主 的人脸图像进行车主注册； 根据车主的终端设备采集的车主的人脸图像进 行远程注册， 并将注册信息发送到车上， 其 中， 注册信息包括车主的人脸图像。

通过该实现方式， 能够在后续人脸认证时基于该预注册的人脸特 征进行人脸比对。

在一些实施例中， 本公开实施例提供的装置具有的功能或包含的 模块可以用于执行上文方法实施例描述的方法 , 其具体实现可以参照上文方法实施例的描述， 为了简洁， 这里不再赘述。

图 14示出根据本公开实施例的车载人脸解锁系统� ��框图。 如图 14所示， 该车载人脸解锁系统包括： 存储器 31、 人 脸识别系统 32、 图像采集模组 33和人体接近监测系统 34; 人脸识别系统 32分别与存储器 31、 图像采集模组 33和人体接 近监测系统 34连接； 人体接近监测系统 34包括若距离满足预定条件时唤醒人脸识别系� ��的微处理器 341和与微处理器 341连接的至少一距离传感器 342; 人脸识别系统 32还设置有用于与车门域控制器连接的通信接� ��， 若人脸识别成功则 基于通信接口向车门域控制器发送用于解锁车 门的控制信息。

在一个示例中， 存储器 31可以包括闪存 （Flash） 和 DDR3 （Double Date Rate 3 , 第三代双倍数据率） 内存中的至 少一项。

在一个示例中， 人脸识别系统 32可以采用 SoC（System on Chip, 系统级芯片） 实现。

在一个示例中，人脸识别系统 32通过 CAN（Controller Area Network,控制器局域网络）总线与车门域控制器� ��接。 在一种可能的实现方式中， 至少一距离传感器 342包括以下至少之一： 蓝牙距离传感器、 超声波距离传感器。 在一个示例中， 超声波距离传感器通过串行 （Serial） 总线与微处理器 341连接。

在一种可能的实现方式中， 图像采集模组 33包括图像传感器和深度传感器。

在一个示例中， 图像传感器包括 RGB传感器和红外传感器中的至少一项。

在一个示例中， 深度传感器包括双目红外传感器和飞行时间 TOF传感器中的至少一项。

在一种可能的实现方式中， 深度传感器包括双目红外传感器， 双目红外传感器的两个红外摄像头设置在图像 传感 器的摄像头的两侧。 例如， 在图 5a所示的示例中， 图像传感器为 RGB传感器， 图像传感器的摄像头为 RGB摄像头， 深 度传感器为双目红外传感器， 深度传感器包括两个 IR （红外） 摄像头， 双目红外传感器的两个红外摄像头设置在图像 传感器的 RGB摄像头的两侧。 在一个示例中， 图像采集模组 33还包括至少一个补光灯， 该至少一个补光灯设置在双目红外传感器的红 外摄像头 和图像传感器的摄像头之间， 该至少一个补光灯包括用于图像传感器的补光 灯和用于深度传感器的补光灯中的至少一 种。 例如， 若图像传感器为 RGB传感器， 则用于图像传感器的补光灯可以为白光灯； 若图像传感器为红外传感器， 则 用于图像传感器的补光灯可以为红外灯;若深� �传感器为双目红外传感器，则用于深度传感� �的补光灯可以为红外灯。 在图 5a所示的示例中， 在双目红外传感器的红外摄像头和图像传感器 的摄像头之间设置红外灯。 例如， 红外灯可以采 用 940nm的红外线。

在一个示例中， 补光灯可以处于常开模式。 在该示例中， 在图像采集模组的摄像头处于工作状态时， 补光灯处于 开启状态。

在另一个示例中， 可以在光线不足时开启补光灯。 例如， 可以通过环境光传感器获取环境光强度， 并在环境光强 度低于光强阈值时判定光线不足， 并开启补光灯。

在一种可能的实现方式中， 图像采集模组 33还包括激光器， 激光器设置在深度传感器的摄像头和图像传感 器的摄 像头之间。 例如， 在图 5b所示的示例中， 图像传感器为 RGB传感器， 图像传感器的摄像头为 RGB摄像头， 深度传感器 为 TOF传感器， 激光器设置在 TOF传感器的摄像头和 RGB传感器的摄像头之间。 例如， 激光器可以为 VCSEL, TOF传 感器可以基于 VCSEL发出的激光采集深度图。

在一个示例中， 深度传感器通过 LVDS (Low-Voltage Differential Signaling, 低电压差分信号) 接口与人脸识别系 统 32连接。

在一种可能的实现方式中， 车载人脸解锁系统还包括： 用于解锁车门的密码解锁模块 35 , 密码解锁模块 35与人脸 识别系统 32连接。

在一种可能的实现方式中， 密码解锁模块 35包括触控屏和键盘中的一项或两项。

在一个示例中， 触摸屏通过 FPD-Link (Flat Panel Display Link, 平板显示器链路) 与人脸识别系统 32连接。 在一种可能的实现方式中， 车载人脸解锁系统还包括： 电池模组 36 , 电池模组 36分别与微处理器 341和人脸识别系 统 32连接。

在一种可能的实现方式中， 存储器 31、 人脸识别系统 32、 人体接近监测系统 34和电池模组 36可以搭建在 ECU

(Electronic Control Unit, 电子控制单元) 上。

图 15示出根据本公开实施例的车载人脸解锁系统� ��示意图。 在图 15所示的示例中， 存储器 31、 人脸识别系统 32、 人体接近监测系统 34和电池模组 (Power Management) 36搭建在 ECU上， 人脸识别系统 32采用 SoC实现， 存储器 31包 括闪存 (Flash) 和 DDR3内存， 至少一距离传感器 342包括蓝牙 (Bluetooth) 距离传感器和超声波 (Ultrasonic) 距离传 感器， 图像采集模组 33包括深度传感器 ( 3D Camera) , 深度传感器通过 LVDS接口与人脸识别系统 32连接， 密码解锁 模块 35包括触控屏 (Touch Screen) , 触摸屏通过 FPD-Link与人脸识别系统 32连接， 人脸识别系统 32通过 CAN总线与车 门域控制器连接。

图 16示出根据本公开实施例的车的示意图。 如图 16所示， 车包括车载人脸解锁系统 41 , 车载人脸解锁系统 41与车 的车门域控制器 42连接。

在一种可能的实现方式中， 图像采集模组设置在车的室外部。

在一种可能的实现方式中， 图像采集模组设置在以下至少一个位置上： 车的 B柱、 至少一个车门、 至少一个后视 镜。

在一种可能的实现方式中， 人脸识别系统设置在车内， 人脸识别系统经 CAN总线与车门域控制器连接。

在一种可能的实现方式中， 至少一距离传感器包括蓝牙距离传感器， 蓝牙距离传感器设置在车内。

在一种可能的实现方式中， 至少一距离传感器包括超声波距离传感器， 超声波距离传感器设置在车的室外部。 本公开实施例还提出一种计算机可读存储介质 ， 其上存储有计算机程序指令， 所述计算机程序指令被处理器执行 时实现上述方法。 计算机可读存储介质可以是非易失性计算机可 读存储介质或者易失性计算机可读存储介质。

本公开实施例还提出一种计算机程序， 所述计算机程序包括计算机可读代码， 当所述计算机可读代码在电子设备 中运行时， 所述电子设备中的处理器执行用于实现上述车 门解锁方法。

本公开实施例还提出一种电子设备， 包括： 处理器； 用于存储处理器可执行指令的存储器； 其中， 所述处理器被 配置为上述方法。

电子设备可以被提供为终端、 服务器或其它形态的设备 图 17是根据一示例性实施例示出的一种电子设备 800的框图。 例如， 电子设备 800可以是车门解锁装置等终端。 参照图 17, 电子设备 800可以包括以下一个或多个组件：处理组件 802,存储器 804, 电源组件 806,多媒体组件 808, 音频组件 810, 输入 /输出 （I/ O） 的接口 812, 传感器组件 814, 以及通信组件 816。

处理组件 802通常控制电子设备 800的整体操作， 诸如与显示， 电话呼叫， 数据通信， 相机操作和记录操作相关联 的操作。 处理组件 802可以包括一个或多个处理器 820来执行指令， 以完成上述的方法的全部或部分步骤。 此外， 处理 组件 802可以包括一个或多个模块,便于处理组件 802和其他组件之间的交互。例如，处理组件 802可以包括多媒体模块， 以方便多媒体组件 808和处理组件 802之间的交互。

存储器 804被配置为存储各种类型的数据以支持在电子 设备 800的操作。 这些数据的示例包括用于在电子设备 800 上操作的任何应用程序或方法的指令， 联系人数据， 电话簿数据， 消息， 图片， 视频等。 存储器 804可以由任何类型的 易失性或非易失性存储设备或者它们的组合实 现， 如静态随机存取存储器 （SRAM）, 电可擦除可编程只读存储器 （EEPROM）, 可擦除可编程只读存储器（EPROM）， 可编程只读存储器 （PROM）， 只读存储器（ROM）， 磁存储器， 快闪存储器， 磁盘或光盘。

电源组件 806为电子设备 800的各种组件提供电力。 电源组件 806可以包括电源管理系统， 一个或多个电源， 及其他 与为电子设备 800生成、 管理和分配电力相关联的组件。

多媒体组件 808包括在所述电子设备 800和用户之间的提供一个输出接口的屏幕。 在一些实施例中， 屏幕可以包括 液晶显示器 （LCD） 和触摸面板 （TP）。 如果屏幕包括触摸面板， 屏幕可以被实现为触摸屏， 以接收来自用户的输入 信号。 触摸面板包括一个或多个触摸传感器以感测触 摸、 滑动和触摸面板上的手势。 所述触摸传感器可以不仅感测触 摸或滑动动作的边界， 而且还检测与所述触摸或滑动操作相关的持续 时间和压力。 在一些实施例中， 多媒体组件 808 包括一个前置摄像头和 /或后置摄像头。 当电子设备 800处于操作模式， 如拍摄模式或视频模式时， 前置摄像头和 /或后 置摄像头可以接收外部的多媒体数据。 每个前置摄像头和后置摄像头可以是一个固定 的光学透镜系统或具有焦距和光 学变焦能力。

音频组件 810被配置为输出和 /或输入音频信号。 例如， 音频组件 810包括一个麦克风 （MIC）, 当电子设备 800处于 操作模式， 如呼叫模式、 记录模式和语音识别模式时， 麦克风被配置为接收外部音频信号。 所接收的音频信号可以被 进一步存储在存储器 804或经由通信组件 816发送。在一些实施例中， 音频组件 810还包括一个扬声器， 用于输出音频信 号。

1/ 0接口 812为处理组件 802和外围接口模块之间提供接口， 上述外围接口模块可以是键盘， 点击轮， 按钮等。 这 些按钮可包括但不限于： 主页按钮、 音量按钮、 启动按钮和锁定按钮。

传感器组件 814包括一个或多个传感器， 用于为电子设备 800提供各个方面的状态评估。例如， 传感器组件 814可以 检测到电子设备 800的打开 /关闭状态， 组件的相对定位， 例如所述组件为电子设备 800的显示器和小键盘， 传感器组件 814还可以检测电子设备 800或电子设备 800—个组件的位置改变， 用户与电子设备 800接触的存在或不存在， 电子设备 800方位或加速 /减速和电子设备 800的温度变化。 传感器组件 814可以包括接近传感器， 被配置用来在没有任何的物理 接触时检测附近物体的存在。 传感器组件 814还可以包括光传感器， 如 CMOS或 CCD图像传感器， 用于在成像应用中使 用。 在一些实施例中， 该传感器组件 814还可以包括加速度传感器， 陀螺仪传感器， 磁传感器， 压力传感器或温度传感 器。

通信组件 816被配置为便于电子设备 800和其他设备之间有线或无线方式的通信。电 子设备 800可以接入基于通信标 准的无线网络， 如 WiFi, 2G、 3G、 4G或 5G, 或它们的组合。 在一个示例性实施例中， 通信组件 816经由广播信道接收 来自外部广播管理系统的广播信号或广播相关 信息。在一个示例性实施例中，所述通信组件 816还包括近场通信（NFC） 模块， 以促进短程通信。例如，在 NFC模块可基于射频识别（RFID）技术，红外数� �协会（IrDA）技术，超宽带（UWB） 技术， 蓝牙 （BT） 技术和其他技术来实现。

在示例性实施例中， 电子设备 800可以被一个或多个应用专用集成电路 （ASIC）、 数字信号处理器 （DSP）、 数字 信号处理设备（DSPD）、 可编程逻辑器件（PLD）、 现场可编程门阵列（FPGA）、 控制器、 微控制器、 微处理器或其他 电子元件实现， 用于执行上述方法。

在示例性实施例中， 还提供了一种非易失性计算机可读存储介质， 例如包括计算机程序指令的存储器 804, 上述计 算机程序指令可由电子设备 800的处理器 820执行以完成上述方法。

本公开可以是系统、 方法和 /或计算机程序产品。 计算机程序产品可以包括计算机可读存储介质 ， 其上载有用于使 处理器实现本公开的各个方面的计算机可读程 序指令。

计算机可读存储介质可以是可以保持和存储由 指令执行设备使用的指令的有形设备。 计算机可读存储介质例如可 以是一一但不限于一一电存储设备、 磁存储设备、 光存储设备、 电磁存储设备、 半导体存储设备或者上述的任意合适 的组合。计算机可读存储介质的更具体的例子 （非穷举的列表）包括：便携式计算机盘、硬 盘、随机存取存储器（RAM）、 只读存储器 （ROM）、 可擦式可编程只读存储器 （EPROM或闪存）、 静态随机存取存储器 （SRAM）、 便携式压缩盘只 读存储器 （CD-ROM）、 数字多功能盘 （DVD）、 记忆棒、 软盘、 机械编码设备、 例如其上存储有指令的打孔卡或凹槽 内凸起结构、 以及上述的任意合适的组合。 这里所使用的计算机可读存储介质不被解释为 瞬时信号本身， 诸如无线电 波或者其他自由传播的电磁波、 通过波导或其他传输媒介传播的电磁波（例如 ， 通过光纤电缆的光脉冲）、 或者通过电 线传输的电信号。

这里所描述的计算机可读程序指令可以从计算 机可读存储介质下载到各个计算 /处理设备， 或者通过网络、 例如因 特网、 局域网、 广域网和 /或无线网下载到外部计算机或外部存储设备� � 网络可以包括铜传输电缆、 光纤传输、 无线传 输、 路由器、 防火墙、 交换机、 网关计算机和 /或边缘服务器。 每个计算 /处理设备中的网络适配卡或者网络接口从网 络接收计算机可读程序指令， 并转发该计算机可读程序指令， 以供存储在各个计算 /处理设备中的计算机可读存储介质 中。

用于执行本公开操作的计算机程序指令可以是 汇编指令、 指令集架构 （ISA） 指令、 机器指令、 机器相关指令、 微代码、 固件指令、 状态设置数据、 或者以一种或多种编程语言的任意组合编写的 源代码或目标代码， 所述编程语言 包括面向对象的编程语言一诸如 Smalltalk、 C++等， 以及常规的过程式编程语言一诸如“C”语言� �类似的编程语言。 计 算机可读程序指令可以完全地在用户计算机上 执行、 部分地在用户计算机上执行、 作为一个独立的软件包执行、 部分 在用户计算机上部分在远程计算机上执行、 或者完全在远程计算机或服务器上执行。 在涉及远程计算机的情形中， 远 程计算机可以通过任意种类的网络一包括局域 网（LAN）或广域网（WAN）—连接到用户计算机 ， 或者， 可以连接到外部 计算机（例如利用因特网服务提供商来通过因 特网连接）。在一些实施例中， 通过利用计算机可读程序指令的状态信息 来个性化定制电子电路， 例如可编程逻辑电路、 现场可编程门阵列 OTGA） 或可编程逻辑阵列 （PLA）, 该电子电路 可以执行计算机可读程序指令， 从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置（系 统）和计算机程序产品的流程图和 /或框图描述了本公开的各个方面。 应当理解， 流程图和 /或框图的每个方框以及流程图和 /或框图中各方框的组合， 都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算 机、 专用计算机或其它可编程数据处理装置的处理 器， 从而生产出 一种机器， 使得这些指令在通过计算机或其它可编程数据 处理装置的处理器执行时， 产生了实现流程图和 /或框图中的 一个或多个方框中规定的功能 /动作的装置。 也可以把这些计算机可读程序指令存储在计算 机可读存储介质中， 这些指 令使得计算机、 可编程数据处理装置和 /或其他设备以特定方式工作， 从而， 存储有指令的计算机可读介质则包括一个 制造品， 其包括实现流程图和 /或框图中的一个或多个方框中规定的功能 /动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、 其它可编程数据处理装置、 或其它设备上， 使得在计算机、 其它可 编程数据处理装置或其它设备上执行一系列操 作步骤， 以产生计算机实现的过程， 从而使得在计算机、 其它可编程数 据处理装置、 或其它设备上执行的指令实现流程图和 /或框图中的一个或多个方框中规定的功能 /动作。

附图中的流程图和框图显示了根据本公开的多 个实施例的系统、 方法和计算机程序产品的可能实现的体系架构 、 功能和操作。 在这点上， 流程图或框图中的每个方框可以代表一个模块 、 程序段或指令的一部分， 所述模块、 程序段 或指令的一部分包含一个或多个用于实现规定 的逻辑功能的可执行指令。 在有些作为替换的实现中， 方框中所标注的 功能也可以以不同于附图中所标注的顺序发生 。 例如， 两个连续的方框实际上可以基本并行地执行， 它们有时也可以 按相反的顺序执行， 这依所涉及的功能而定。 也要注意的是， 框图和 /或流程图中的每个方框、 以及框图和 /或流程图 中的方框的组合， 可以用执行规定的功能或动作的专用的基于硬 件的系统来实现， 或者可以用专用硬件与计算机指令 的组合来实现。

以上已经描述了本公开的各实施例， 上述说明是示例性的， 并非穷尽性的， 并且也不限于所披露的各实施例。 在 不偏离所说明的各实施例的范围和精神的情况 下， 对于本技术领域的普通技术人员来说许多修改 和变更都是显而易见 的。 本文中所用术语的选择， 旨在最好地解释各实施例的原理、 实际应用或对市场中的技术的技术改进， 或者使本技 术领域的其它普通技术人员能理解本文披露的 各实施例。