Sistema de detección de la posición de las manos de un conductor.

Campo de la técnica al que pertenece la invención

Sistemas de ayuda a la conducción, en especial aquellos dedicados a aumentar la seguridad del conductor y de otros vehículos.

Estado de la técnica

La distracción en los conductores está presente en un 30% de los accidentes de tráfico y es responsable en la actualidad de un gran número de fatalidades. El estudio de las distracciones de los conductores es un problema muy complejo debido a la gran cantidad de factores que pueden influir en él. Dentro de todos ellos probablemente uno de los más importantes está relacionado con el comportamiento del conductor. Tres son los elementos que intervienen en un accidente de tráfico: el vehículo, la carretera y el conductor. De estos, el comportamiento del conductor es el ha tenido menor atención en el pasado. Las carreteras han mejorado mucho en los últimos tiempos: nuevos tipos de asfaltos, con superiores características técnicas, mejora en la señalización vial o diseños del trazado más apropiados para la conducción son algunas de las mejoras que se han desarrollado en este campo. Los fabricantes de vehículos también han aumentado las medidas de seguridad, tanto activas como pasivas, creando nuevos sistemas electrónicos o mecánicos que hacen que el comportamiento del vehículo sea más seguro.

En los últimos años, el estudio del conductor se ha centrado sobre todo en la detección de somnolencia, empleándose una amplia gama de técnicas. Medidas fisiológicas basadas en los electro-encefalogramas (EEG) [A. Kircher, M. Uddman, J. Sandin, Vehicle control and drowsiness, Tech. Rep. VTI- 922A, Swedish National Road and Transpon Research Institute, 2002.] son las que proporcionan los mejores datos para la detección de esta situación. El principal problema es que son muy intrusivas para el sujeto que está conduciendo.

Un sistema menos intrusivo es la detección de los ojos del conductor. La mayoría de los sistemas de este tipo consideran una o dos cámaras para seguir la cabeza y los ojos del sujeto [ V. Matsumoto, A. Zelinsky, An algorithm for real-time stereo visión implementation of head pose and gaze direction measurements, Procs. IEEE 4th Int. Conf. Face and Gesture Recognition, 2000, pp. 499-505.] o [ T. D'Orazio, M. Leo, C. Guaragnella, A. Distante, A visual approach for driver inattention detection, Pattern Recognit. 40 (8) (2007) 2341-2355.], por citar alguno. Algunas empresas comercializan sistemas para su instalación en vehículos [Smart Eye AB, Image capturing device with reflex reduction, Patent, EP 1349487B1].

HOJA DE REEMPLAZO (Regla 26) Otra alternativa es la monitorización de la posición lateral del vehículo, en el interior de su carril, y el tiempo de cruce de un carril a otro, como elementos que se tienen en cuenta para evaluar la atención de conducción del vehículo [ Volvo Car Corp. o A.G. Daimler]. Estas técnicas no son invasivas, y muestran resultados fiables.

La presente invención propone una alternativa a estos sistemas basada en el seguimiento de las manos del conductor del vehículo. Es por ello que el problema técnico que resuelve esta invención es el desarrollo de un sistema de alerta del comportamiento de un conductor basado en la detección y seguimiento de las manos de un conductor, que no sea intrusivo, que trabaje en tiempo real y tenga un coste computacional muy bajo.

Descripción detallada de la invención

La invención consiste en un nuevo procedimiento para la detección de la posición de las manos de un conductor y del dispositivo físico que realiza este procedimiento.

La figura 1 muestra las principales etapas de este procedimiento. El primer paso es detectar la posición de las áreas de interés a estudiar, esto es aquellas donde se buscarán las manos para conocer su localización: el freno de mano, el cambio de marchas y el volante (101 ), para ello hay tres posibles formas de hacerlo: a) Con una foto inicial, se dibujan las zonas de interés y se obtienen las coordenadas del volante, freno de mano y cambio. b) Usar las primeras imágenes para hacer seguimiento de las manos e ir almacenando las trayectorias. Los puntos donde más veces están las manos son los puntos de interés. El número de imágenes puede ser variable, dependiendo de las circunstancias de conducción, pero un rango entre 15.000 y 40.000 imágenes sería suficiente -este equivale a un tiempo de conducción entre 15 y 30 minutos-. Este mecanismo tiene la ventaja adicional de poder detectar otras áreas de interés, como pueden ser la radio, el GPS o el teléfono móvil a través del movimiento frecuente de las manos en estos dispositivos. El sistema va aprendiendo a partir de los movimientos del conductor. c) Una combinación de las dos anteriores: comenzar con una estimación inicial basada en una fotografía y luego confirmar estas posiciones a partir del seguimiento de las manos.

Una vez definidas las áreas de interés donde el sistema buscará las manos, el procedimiento detecta las zonas de sombra que hay en ellas y las superpone sobre la imagen del volante, cambio y freno de

HOJA DE REEMPLAZO (Regla 26) mano. A este procedimiento le llamaremos Umbral de Detección Global (GTD). Como resultado se obtienen las áreas de oclusión, ver la figura 3.

Si el número de oclusiones es mayor de dos, que es el número deseable, para cada una de ellas se obtiene el área asociada a su imagen digital, que se llamará "candidato" (103). En este paso se eliminan los errores producidos por los brillos en el volante o las manos. Para calcular la posición final de las manos, que llamaremos "puntos finales", se eliminan aquellos que son menores que un determinado valor fijado (104). El área de los candidatos se mide por su número de pixeles, siendo entre 15 y 30 el valor umbral para descartarlos, dependiendo de las circunstancias. Un valor típico son 20 pixeles.

Si la distancia entre candidatos adyacentes es menor que un determinado valor, los dos candidatos se unen (105). Esta distancia también se mide en pixeles y está en torno a los 10 pixeles. Si después de este proceso únicamente queda un candidato este se considera un "punto final" (106).

Si quedan dos puntos es necesario determinar si corresponden a una sola mano o a dos. La figura 2 muestra el procedimiento que se sigue en este caso. Se calcula el centro de una hipotética elipse que contenga, dentro de sí, las dos oclusiones (303). Por otra parte, se calcula otra elipse cuyo eje mayor es la distancia entre los centros de las dos oclusiones anteriores (304). Si el porcentaje del área de los candidatos dentro de la nueva elipse es mayor del 50% entonces los dos candidatos representan la misma mano (305). Por ejemplo, este es el caso de una mano y un brazo "separados" por un reloj de pulsera. Si el valor es menor del umbral entonces cada candidato representa una mano (307), este es el caso de que las dos manos están en diferentes partes del volante. Un caso particular es cuando no se detectan las dos manos en el volante (106, 306), en ese caso se busca en otras áreas de interés, como pueden ser el cambio de marchas o el freno de mano (306).

Un método alternativo de detección de las manos, al que llamamos Umbral de Detección Local (LTD), propone un nuevo mecanismo para digitalizar el volante y realizar las búsquedas de potenciales candidatos.

El volante se divide en cuatro áreas de interés (204) donde se realizarán las búsquedas de las manos de manera independiente, en cada una de estas nuevas áreas. Para cada una se define un valor umbral de nivel de gris (blanco sobre el negro del volante) que se utilizara para decidir que oclusiones se convertirán finalmente en "puntos finales" (205). Este valor será del 50%.

Se buscan oclusiones en cada uno de los cuadrantes, con sus respectivos umbrales, y se seleccionan los candidatos (206). Como último paso se localizan las manos (207), de la misma manera que se ha hecho en el procedimiento anterior. Igualmente, en aquellas ocasiones donde hay

HOJA DE REEMPLAZO (Regla 26) que evaluar si dos oclusiones corresponden a una sola mano o a dos se utiliza el procedimiento descrito en la figura 2.

Para mejorar los dos mecanismos anteriores (GTD y LTD), una vez detectadas las manos, se realiza su seguimiento utilizando el procedimiento llamado Camshift [Bradski, GR.: Computer visión face tracking for use in a perceptual user interface. Intel Technology Journal, 2nd Quarter, 1998]. Este es un procedimiento bien conocido en este campo de la técnica, por lo que no se describe en esta solicitud de patente. Si alguna de las manos se pierde durante el proceso de seguimiento se vuelven a utilizar uno de los mecanismos anteriores para detectarla de nuevo.

Junto con el dato de las posiciones de las manos el sistema almacena una serie de parámetros de funcionamiento del vehículo. Esta información proviene de la centralita electrónica del vehículo, a través de su bus-CAN y provee de información tal como: estado de las luces del vehículo, posición del volante, accionamiento del pedal de freno, revoluciones del motor, velocidad del vehículo, posición del acelerador, marcha engranada, distancia de seguridad, etc.

El almacenamiento simultaneo de la posición de las manos y estos datos del vehículo serán de gran ayuda para el desarrollo de aplicaciones basadas en este procedimiento y dispositivo. Adicionalmente se puede registrar el sonido del interior de la cabina a través de un micrófono que puede estar situado dentro de la propia cabina. Igualmente es posible registrar, a través de una cámara de vídeo, las imágenes exteriores del automóvil -por ejemplo lo que ve el conductor- en integrarlo con el resto de información. La aplicación de este procedimiento requiere de un módulo de captación de imágenes y sonido y una unidad de procesamiento de la información, tanto de la imagen y sonido como de los datos de funcionamiento del vehículo.

El sistema de captación de imágenes está compuesto por una serie de lámparas/iluminadores y difusores que trabajan en el espectro infrarrojo, que para esta aplicación se sitúa en el rango entre 840 y 860 nm., y un sistema de cámaras y filtros sensibles a estas longitudes de onda.

El sistema puede tener dos o tres iluminadores. Uno de ellos está enfocado a la mano izquierda y los restantes están colocados encima del volante, con la cámara situada entre ellos. Los iluminadores emiten una luz infrarroja continua, en torno a 850 nm de longitud de onda, de forma que no sea visible por el ojo humano, y no es intrusiva para el conductor. La cámara CCD captura solo la parte infrarroja por la acción de un filtro que elimina todo el espectro visible y únicamente deja pasar estas longitudes de onda.

HOJA DE REEMPLAZO (Regla 26) El dispositivo electrónico que recogerá las señales y las procesará de acuerdo con el procedimiento descrito anteriormente puede ser desarrollado en diferentes tipo de plataformas, desde una FPGA o un PIC's hasta un circuito integrado diseñado a la medida de esta aplicación (ASIC). Su instalación final puede ser una tarjeta conectada a un ordenador personal, un módulo independiente o su integración total dentro de la electrónica del automóvil.

A partir de este procedimiento y dispositivo se pueden desarrollar diferentes tipos de aplicaciones. La primera de ellas es la prevención de un posible accidente debido a una distracción. El patrón del movimiento de las manos puede indicar una falta de concentración del conductor. El dispositivo electrónico, a partir de los datos de las posiciones de las manos, generará una alerta al conductor cuando se den estas circunstancias -avisando del potencial peligro-, pudiendo hace recomendaciones tales como: tomar un descanso, parar definitivamente o continuar con una conducción más prudente, por ejemplo.

Otra posible aplicación puede ser el desarrollo de un sistema para reproducir las causas de un accidente, para ello es necesario determinar cuál era el estado del vehículo antes del accidente, el Bus_CAN del vehículo proporciona una gran cantidad de variables físicas del funcionamiento del motor/vehículo. Segundo, el sistema puede adquirir información sobre las condiciones, internas y externas, de la conducción a través de imágenes tomadas desde "el punto de vista del conductor". Es posible incluir el sonido interno de la cabina, a partir de un micrófono instalado para este fin. Junto a estos datos se almacenará la posición de las manos en cada instante. Toda esta información es registrada en la memoria del dispositivo electrónico. Cuando se detecta un accidente, a partir de disparo del airbag, el sistema deja de tomar datos y "cierra" el acceso a la memoria, para que esta contenga toda la información anterior al incidente. Esto garantizar la integridad de la información.

Otra posible aplicación puede ser la formación o el adiestramiento de conductores a partir del comportamiento o las pautas de conducción de un conductor experto. A partir de un dispositivo físico como el que se describe en esta solicitud, se puede monitorizar el comportamiento de del conductor experto ante situaciones difíciles de conducción, bien a través de un simulador que emule estas condiciones, o en un entorno real controlado, como puede ser un circuito automovilístico. Estas respuestas ante situaciones críticas servirán de base para el entrenamiento de conductores menos experimentados.

El dispositivo físico que realiza este procedimiento consta de al menos: un iluminador, que trabaja en el rango de frecuencias del infrarrojo (alrededor de 850 nm.); una cámara digital que graba los movimientos de las manos capaz de registrar imágenes en este espectro de frecuencia -para lo cual hace uso de uso filtros específicos; opcionalmente una cámara digital que graba la carretera; opcionalmente un micrófono que registra el sonido interior de la cabina; y una unidad electrónica, CENTRALITA a partir de ahora, que almacena esta información y realiza el procedimiento. Todos

HOJA DE REEMPLAZO (Regla 26) estos dispositivos pueden estar conectados físicamente a la CENTRALITA, bien con conexiones cableadas desde cada uno de ellos, bien a través de un bus de datos. Es posible también unirlos a través de un sistema inalámbrico, tipo bluetooth o WiFi o cualquiera otro que provea de esta funcionalidad. La CENTRALITA que realiza el procedimiento lleva también una conexión de entrada para recibir los datos del vehículo a través de su Bus-CAN.

Esta CENTRALITA puede ser construida de diferentes formas y en distintas plataformas ya que la tecnología actual permite una gran variedad de posibilidades. Consta, al menos, de una memoria o grupo de memorias para almacenar los datos y ejecutar las operaciones intermedias de cálculo. Estas pueden ser independientes o estar integradas en otra parte de la circuitería electrónica de la CENTRALITA. También consta de una unidad para procesar las instrucciones asociadas a cada paso del procedimiento que puede ser implementada en una FPGA, un PIC, un procesador específico o cualquier otro dispositivo que provea de esta funcionalidad. Este circuito electrónico dispondrá también de una serie de entradas y salidas, que puedes ser cableadas o inalámbricas, para recibir la información y proveer de señales de salida.

Descripción de las figuras

En las figuras 1 y 2 se muestra, de forma simplificada, el flujo de datos de los procedimientos para la detección de las manos descritos anteriormente.

La figura 3 es una secuencia de fotos que permite entender mejor el procedimiento de detección de las manos en el volante.

La figura 4 muestra una realización particular de este dispositivo.

Descripción detallada de las realizaciones particulares

Una realización particular de esta invención se muestra en la figura 4. Esta consta de una CENTRALITA (4), para su construcción se ha elegido una arquitectura basada en un procesador ARM (XScale-PXA270) a 624Mhz con un sistema operativo Linux, kernel 2.6.16 (9). El dispositivo cuenta con cuatro puertos USB que permiten la conexión de un adaptador de red inalámbrico y/o un transmisor/receptor Bluetooth (1 1 ). Además dispone de un convertidor serie/USB que permite la recepción de los datos del vehículo provenientes del Bus-CAN (10). Es de mencionar que en esta información está incluida la señal de disparo del airbag, que se usará como indicativo de que ha habido un accidente. Para el almacenamiento de la información el dispositivo incluye un grupo de memorias de estado sólido (SSD) con 50Mb de capacidad (5, 6, 7, 8).

Utilizando esta CENTRALITA se han realizado dos ejemplos, variando el sistema de iluminación, el escenario de conducción y la resolución de la cámara dígita.

HOJA DE REEMPLAZO (Regla 26) Ejemplo 1 .

En el primer ejemplo se han instalado tres iluminadores/lámparas infrarrojas en el interior de la cabina de conducción de un camión, encima de la cabeza del conductor. Estas lámpara emiten un haz infrarrojo continuo con una longitud de onda de 850 nm de forma que no es visible por el ojo humano. La primera de ellas enfoca a la mano izquierda del volante. Las otras dos lámparas están enfocando el área del volante. Ninguna de ellas lleva incorporado un difusor de luz. Entre las dos últimas lámparas se sitúa la cámara que obtendrá las imágenes, a partir de las cuales se calculará la posición de las manos. Esta es una cámara digital que dispone de un sensor CCD, siglas en inglés de Dispositivo de Carga Acoplada, con una resolución de 5 Mpixeis, capaz de captar 14 imágenes por segundo (f/s) a máxima resolución. Esta cámara graba una media de 25.5 f/s imágenes de tamaño 352x288, 12.4 f/s a 640x480 y 5.7 f/s a 1027x768. En este caso la cámara graba con un tamaño de imagen de 640x480.

El procedimiento a usar para detectar la posición de las manos es el que hemos denominado anteriormente Umbral de Detección Global. Para la obtención de los resultados se simulará un escenario interurbano, por donde circulará el vehículo mientras en sistema detecta la posición de las manos.

En estas condiciones el sistema tiene un grado de acierto del 98%, con tiempos de computación promedio de 23 ms por cada imagen (trame).

Ejemplo 2.

En este ejemplo la disposición y tipo de lámparas son iguales a los del ejemplo anterior pero ahora se les ha colocado un difusor blanco a los dos iluminadores situados sobre el volante. La cámara de video, igualmente, grabará en las mismas condiciones de tamaños de imagen que en el ejemplo anterior.

En este caso el procedimiento de detección de las manos será el Umbral de Detección Local (LTD), y se simulará un recorrido urbano para el vehículo.

En estas condiciones el grado de acierto es de un 88%, ligeramente inferior al del ejemplo 1 . Con este método de detección los tiempos de proceso disminuyen considerablemente, situándose 7 ms por imagen.

HOJA DE REEMPLAZO (Regla 26) Aunque este segundo procedimiento debería ser más preciso que el anterior, la disminución en el número de aciertos es atribuible a la utilización de un recorrido urbano, donde el conductor mueve las manos en muchas más ocasiones debido al trazado del escenario: mayor número de curvas, señales de tráfico, aumento de circulación, etc.

HOJA DE REEMPLAZO (Regla 26)