DESCRIPCIÓN

OBJETO DE LA INVENCIÓN

Es objeto de la presente invención, tal y como el título de la invención establece, tanto un procedimiento como un dispositivo para medición en tiempo real a partir de las capturas tomadas por un dispositivo especialmente diseñado para llevar a cabo dicho procedimiento.

El procedimiento como el dispositivo se pueden complementar con los medios necesarios para generar mediciones y modelos 3D.

También es objeto de la invención la generación de modelos 3D empleando las mediciones anteriores.

Caracteriza a la presente invención el hecho de emplear dos cámaras sobre un dispositivo inteligente de manera que, en combinación con técnicas fotogramétricas, permite obtener mediciones (distancias entre dos puntos, superficies ocupadas por una poligonal definida por una serie de puntos o volúmenes) con una gran precisión que es inversamente proporcional con la distancia entre el punto a medir y el dispositivo de medición, y que además son calculadas en tiempo real.

La captura se complementa a través del uso de un sensor de profundidad, que es un sensor activo formado por un proyector IR-infrarrojo cercano-, una cámara receptor IR y una cámara RGB para aportar color a la captura.

Por lo tanto, la presente invención se circunscribe dentro del ámbito de las técnicas fotogramétricas, así como de los dispositivos de medición. ANTECEDENTES DE LA INVENCIÓN

En el estado de la técnica se conoce la fotogrametría que es una técnica para determinar las propiedades geométricas de los objetos y las situaciones espaciales a partir de imágenes fotográficas. Puede ser de corto, medio o largo alcance.

Por lo que resulta que el concepto de fotogrametría es: "medir sobre imágenes". Si trabajamos con una imagen podemos obtener información en primera instancia de la geometría del objeto, es decir, información bidimensional. Si trabajamos con dos imágenes, en la zona común a éstas (zona de solape), podremos tener visión estereoscópica; o dicho de otro modo, información tridimensional.

Básicamente, es una técnica de medición de coordenadas 3D que utiliza fotografías u otros sistemas de percepción remota junto con puntos de referencia topográficos sobre el terreno, como medio fundamental para la medición. En fotogrametría las cámaras se calibran una sola vez para todas las distancias a las que éstas vayan a ser utilizadas, sin embargo esta falta de ajuste de calibración o corrección de las medidas en función de la distancia a la que estemos realizando la fotografía es fuente de imprecisiones, según se ha observado en la investigación previa a la actual solicitud.

Por lo tanto, es objeto de la presente invención desarrollar un método y el dispositivo asociado que emplea dicho método que supere los inconvenientes derivados de la falta de precisión en las técnicas fotogramétricas estereoscópicas con distancia entre cámaras pequeñas, desarrollando un método como el que a continuación se describe y queda recogido en su esencialidad en la reivindicación primera.

DESCRIPCIÓN DE LA INVENCIÓN Es objeto de la presente invención un método de medición en tiempo real basado en el empleo de dos cámaras y técnicas fotogramétricas bien integrados en un dispositivo tal como una Tablet o en asociación con u otro tipo de dispositivo informático portátil y, en especial, su interacción con otros sensores como RGBD (que proporcionan datos de colores con datos de profundidad para cada pixel Red Green Blue Depth), IMU (unidad de medición inercial) o GPS (Global Positioning System).

Con el procedimiento descrito se consigue una mayor precisión en las medidas realizadas, y permite la obtención de mediciones en tiempo real de forma complementaria, para distintos escenarios como interiores, exteriores, objetos pequeños, grandes, zonas homogéneas o heterogéneas.

Respecto al sensor de profundidad o RGBD, se trata de sistemas de medición y generación de mapas de profundidad -o mapas de disparidad-. Con una sola captura, se puede conocer la profundidad y posicionamiento del objeto colocado delante del sensor. Al tratarse de un emisor de infrarrojo cercano, no funciona con la luz directa del sol, relegando su uso para interiores o bien, para días nublados o cuando el sol no sea directo.

Este producto, se utiliza como complemento de la fotogrametría en nuestra invención. La fotogrametría funciona en zonas con texturas heterogéneas y el sensor de profundidad, al ser un sensor activo, funciona también con texturas homogéneas. Por tanto, de la combinación de ambos sensores, se produce un producto que captura en interiores y en exteriores, complementándose ambos sensores.

Unos de los componentes que pueden utilizarse con el dispositivo aquí definido, es el GPS-GNSS. Éste instrumento está conformado por dos componentes básicos: una placa electrónica y una antena. Ambos interconectados por un cable. También es necesaria una pantalla para visualizar y gestionar los datos, o bien, como en este caso, conectarlo a un dispositivo informático que lo gestiona e integra con los demás componentes. El GPS genera, a través de la recepción de señales de satélites, una coordenada X, Y, Z de su posición que, junto con otras técnicas, pueden mejorar su precisión hasta 2cm en posición absoluta. Los sensores interaccionan entre sí, gracias al dispositivo informático y su software. Las cámaras y el GPS deben dispararse en paralelo, para poder asignar coordenadas a dichas cámaras en el momento de la toma. La sucesión de fotografías provoca que, si éstas imágenes tienen suficiente recubrimiento entre ellas, el sistema de coordenadas se mantenga entre las distintas tomas.

El proceso de medición en tiempo real comprende las etapas de:

- Orientación Externa de las dos cámaras realizando tomas fotográficas a dianas de posición conocida dispuestas a diferentes distancias, obteniendo datos de la orientación precisa de cada cámara a diferentes distancias, en particular:

o las coordenadas de los centros de proyección (X _c , Ye, Zc) de cada cámara

o Los ángulos (ω, φ,χ) de cada cámara respecto de los ejes de referencia (X. Y, Z)

o Almacenar los datos obtenidos de posición de los centros de proyección (X _c , Ye, Z _c ) y ángulos (ω, φ, χ) de cada cámara para cada posición calibrada - Realización de la medición de un punto calculándose la distancia del centro del proyección medio (media aritmética de las coordenadas de los centros de proyección de las dos cámaras) al punto a medir, utilizando los datos de la orientación de cada cámara, es decir, los datos de coordenadas de los centros de proyección (X _c , Ye, Z _c ) de cada cámara y los ángulos (ω, φ, χ) de cada cámara respecto de los ejes de referencia (X.

Y, Z) correspondientes a la distancia de orientación más lejana que se posea.

Según sea el valor de la distancia calculada, se recalcula dicha distancia con los datos de la orientación correspondientes a la distancia más próxima a la distancia calculada. El dispositivo empleado para llevar a cabo dicho procedimiento será un tablet o sistema informático similar que, además, y contará con un sensor de profundidad RGBD, que permitirá crear modelos en 3D. El RGBD, como sensor activo, también captura nube de puntos del entorno, pero el alcance del sensor RGBD no es mayor de 6 metros de distancia. Por ello, se calibra la posición del RGBD y de la estereocámara (a la vez calibrada una respecto a la otra) a través de capturar con la estereocámara y el sensor RGBD un patrón plano de calibración por el procedimiento fotogramétrico de Orientación Externa (OE) y habiendo previamente calibrado la deformación de cada sensor (Calibración de parámetros intrínsecos), se conocen la posición en el espacio del sensor RGBD y de la estereocámara en un mismo sistema de referencia.

Por tanto, de la captura de puntos con el sistema fotogramétrico de estereocámara y con el sensor RGBD, se obtienen ambos resultados en el mismo sistema de referencia, pudiendo complementarse ambos sistemas para según qué trabajos, precisiones y resoluciones, ya que ambos sistemas tienen distintas características de captura. El empleo del sensor de profundidad podrá ser utilizado de manera individual, o bien solamente técnicas fotogramétricas, o bien la combinación de ambos medios para la obtención de los modelos 3D antes mencionados.

También, y de forma complementaria, el dispositivo podrá contar con un sensor de posicionamiento GPS-GNSS, que servirá para poder georeferenciar cualquier punto medido asignándoles unas coordenadas absolutas en tres dimensiones.

En caso de utilizar adicionalmente un GPS, el GPS se situará en una placa electrónica dentro de la Tablet y contendrá una antena que sobresaldrá del sistema hacia el exterior, a través de la carcasa. El GPS recoge información, que transforma en coordenadas y que, a su vez, geolocaliza al sistema que nos ocupa. Para que esta asignación de coordenadas pueda realizarse con precisión, se realiza una nueva calibración del posicionamiento de la antena (que es el lugar donde recoge y asigna las coordenadas, el GPS, con respecto al resto del sistema, concretamente, respecto al posicionamiento de las cámaras y el RGBD). Para realizar esta calibración, se debe de localizar con gran precisión el posicionamiento de los centros de proyección de cada cámara y del sensor RGBD y la base de la antena GPS en un mismo sistema de coordenadas. Para ello, se utiliza un escáner o métodos fotogramétricos externos, que ofrezcan la posición en el espacio de los cuatro puntos definidos anteriormente.

Una vez se conoce la posición de estos cuatro puntos, ya se obtiene, por tanto, los incrementos de coordenadas que tiene la base de la antena del GPS, respecto a los otros componentes, o lo que es lo mismo, se obtiene la posición relativa de la base de la antena GPS respecto a los demás sensores.

En la captura de datos, la coordenada GPS capturadas, pasa a ser asignadas a las cámaras y al sensor RGBD (considerando su posición relativa calibrada previamente). Por tanto, si el sistema se encuentra en el exterior y existen satélites y condiciones favorables para el funcionamiento del GPS, todas las medidas realizadas con la estereocámara y el sensor RGBD pueden ser georreferenciadas automáticamente.

Adicionalmente, el dispositivo podrá contar con un sensor inercial IMU (Inertial Measurement Unit). El IMU asiste a las cámaras y al RGBD en determinadas situaciones, a orientarse. Las cámaras y el RGBD utilizan un método de autoposicionamiento (Visual Slam (Simultaneous Localization And Mapping)) similar a la orientación fotogramétrica. Pero, en ocasiones, por un giro brusco, o porque las texturas de las zonas capturadas son extremadamente homogéneas, por ejemplo, una pared blanca, utilizamos el IMU para asistir en la reorientación a algoritmo de autoposicionamiento. Uno de los valores principales de la invención, es la interacción entre los elementos que la componen y su método procedimental. Más concretamente, la interacción entre los diversos elementos del sistema: dos cámaras, sensor de profundidad (sensor activo RGBD), GPS, IMU (sistema inercial). De la interacción entre estos componentes, se obtiene un resultado global de captura y medición 3d a múltiples alcances y resoluciones, además de conocer la trayectoria seguida y la coordenada 3D del propio sistema en cada momento y en coordenadas topográficas en un sistema de referencia absoluto.

A lo largo de la descripción y de las reivindicaciones la palabra "comprende" y sus variantes no pretenden excluir otras características técnicas, aditivos, componentes o pasos. Para los expertos en la materia, otros objetos, ventajas y características de la invención se desprenderán en parte de la descripción y en parte de la práctica de la invención.

EXPLICACION DE LAS FIGURAS

Para complementar la descripción que se está realizando y con objeto de ayudar a una mejor comprensión de las características de la invención, de acuerdo con un ejemplo preferente de realización práctica de la misma, se acompaña como parte integrante de dicha descripción, un juego de dibujos en donde con carácter ilustrativo y no limitativo, se ha representado lo siguiente. En la figura 1 , podemos observar una representación esquemática de un dispositivo inteligente para medición en tiempo real que tiene integrados los medios para la medición en tiempo real.

En la figura 2 se muestra una representación de un dispositivo conectable con una Tablet o dispositivo inteligente.

REALIZACIÓN PREFERENTE DE LA INVENCIÓN.

A la vista de las figuras se describe seguidamente un modo de realización preferente de la invención propuesta.

En la figura 1 podemos observar un dispositivo inteligente (1 ) en el que se ha representado la cara anterior y posterior, siendo en la cara posterior donde aparece integrados todos los medios necesarios.

El dispositivo inteligente puede ser un tablet o similar, sobre el que están dibujados tres ejes fijos (X, Y, Z) que va a servir como eje de referencia. El dispositivo inteligente (1 ) comprende al menos dos cámaras (2) y (3) dispuestas de manera lo más separadas entre sí, quedando unidas por una línea imaginaria o línea base (4), contando cada una de las cámaras (2) y (3) con su respectivo eje óptico (2.1 ) y (3.1 ). Dado que la línea base (4) es muy corta, la elipse de error formada en la formación del punto 3D en el espacio, al intersectar los rayos de ambas cámaras, es muy grande para distancias mayores de 2-3m. Por tanto, para minimizar dicho error en la medición en tiempo real, se requiere de un procedimiento que se expone a continuación:

El proceso de medición en tiempo real comprende las etapas de:

- Orientación Externa de las cámaras (2) y (3)realizando tomas fotográficas a dianas de posición conocida dispuestas a diferentes distancias, preferentemente cada 0,5m hasta un alcance estimado de unos 15 metros, para ello se procede a calcular la posición de las cámaras a las diferentes distancias a las que se encuentran las dianas, procediendo a calcular mediante formulación fotogramétrica de la condición de coplanariedad: o las coordenadas de los centros de proyección (X _c , Ye, Zc) de cada cámara

o Los ángulos (ω, φ,χ) de cada cámara respecto de los ejes de referencia (X. Y, Z)

De esta manera se tiene los datos de orientación y posicionamiento para cada distancia.

o Almacenar los datos obtenidos de posición de los centros de proyección (X _c , Ye, Z _c ) y ángulos (ω, φ, χ) de cada cámara para cada posición calibrada

- Definir un punto sobre el dispositivo Tablet o dispositivo inteligente, a partir, por ejemplo, de la pantalla táctil, de la zona en la que se quiere realizar una medida empleando los valores de los centros de proyección(X _c , Ye, Zc) y ángulos (ω, φ, χ) de cada cámara correspondientes a la distancia más lejana que hay sido obtenida, calculándose la distancia del centro del proyección medio (media aritmética de las coordenadas de los centros de proyección de las dos cámaras)

- Comparación del valor de la distancia obtenida (máxima distancia) con las diferentes medidas las que se ha realizada la orientación externa. Y empleando los datos de los centros de proyección (X _c , Ye, Z _c ) y ángulos

(ω, φ, χ) de cada cámara correspondientes a la distancia más próxima al valor de la distancia obtenida,

- recalcular la posición del punto seleccionado con los nuevos valores de los centros de proyección (X _c , Ye, Z _c ) y ángulos (ω, φ,χ).

- Repetir la operación sobre otros puntos de la zona de la que se quiere saber la medida. En función de los puntos obtenidos se podrá calcular la distancia entre dos puntos, la superficie ocupada por el polígono que une los puntos marcados o calcular un volumen u operaciones similares.

De esta manera se consigue mediante fotogrametría conocer en tiempo real la distancia entre dos puntos, o la superficie encerrada por la línea poligonal definida por una serie de puntos o el volumen ocupado a distintas distancias y con una precisión mayor que la obtenida por metodologías tradicionales.

Adicionalmente, el dispositivo inteligente (1 ) puede estar provisto con un sensor de profundidad (RGBD) (9), que es un sensor activo que comprende: - Un emisor o proyector de luz infrarroja (5)

- Una cámara RGB (6)

- Un receptor o cámara de luz infrarroja (7) encargada de recepcionar el haz emitido por el emisor El sensor de profundidad (9) es de especial aplicación en superficies de texturas y colores homogéneos, donde la fotogrametría no es capaz de realizar modelos 3D de precisión. El dispositivo puede quedar integrado en una Tablet o dispositivo inteligente (1 ), tal y como se muestra en la figura 1 , o bien puede ser un dispositivo que conectable a una Tablet u otro dispositivo inteligente (Tablet, PC, portátil), tal y como se muestra en la figura 2, donde la conexión se realiza por medio de un conector USB (10).

Gracias a la presencia del sensor de profundidad y a la posibilidad de emplear métodos fotogramétricos es posible utilizar solamente el sensor de profundidad, o la fotogrametría o bien ambos de forma combinada. Para ello ambos sistemas de coordenadas deben de hacerse complementarios, a través de una calibración externa de ambos sensores.

Además, y de forma complementaria es posible dotar al dispositivo de medición con un GPS-GNSS integrado lo que permite georeferenciar todas las mediciones, asignando coordenadas absolutas en tres dimensiones.

Descrita suficientemente la naturaleza de la presente invención, así como la manera de ponerla en práctica, se hace constar que, dentro de su esencialidad, podrá ser llevada a la práctica en otras formas de realización que difieran en detalle de la indicada a título de ejemplo, y a las cuales alcanzará igualmente la protección que se recaba, siempre que no altere, cambie o modifique su principio fundamental.