OBJETO DE LA INVENCIÓN

El procedimiento objeto de la presente invención pertenece al campo de la medicina, y se refiere específicamente al concepto de paciente virtual 4D (cuatro dimensiones). Este concepto, así como el procedimiento de la invención, incluye la dig italización tridimensional de la cabeza de un paciente, de la región intraoral maxilar y mandibular, y de sus huesos, así como la integración del movimiento facial para simular el resultado estético y funcional final antes de que se le haya realizado un tratamiento, que podría incluir cirugías, tratamientos ortodónticos y/o prostodónticos.

ANTECEDENTES DE LA INVENCIÓN

Actualmente, las rehabilitaciones orales implican un diagnóstico y una planificación de tratamiento integrales. La incorporación de referencias faciales asegura la integración de la rehabilitación protésica final con el rostro del paciente. Además, la visualización del resultado del tratamiento obtenido mediante la simulación tridimensional (3D) realizada antes del tratamiento mejora la comunicación con el paciente y entre los clínicos y los técnicos de laboratorio, aumentando la predictibilidad del resultado final.

Las referencias faciales pueden ser integradas en la cara del paciente usando fotografías 2D en diferentes posiciones o una reconstrucción facial 3D. Existen varias metodologías de escaneo facial en 3D, como la fotogrametría, la estereofotogrametría, el escaneo con rayo láser, el escaneo con luz estructurada y el escaneo dual con luz estructurada con sensores infrarrojos. La fotogrametría y la estereofotogrametría son métodos pasivos, mientras que las tecnologías de escaneo por rayo láser y escaneo con luz estructurada emplean sensores activos en 3D, donde los patrones de luz se proyectan en el tejido blando de la cara del paciente para ser capturados por una cámara de alta resolución o cámaras que utilizan una triangulación activa.

Los métodos activos y pasivos han demostrado ser precisos para obtener reconstrucciones faciales tridimensionales para su aplicación en la odontología. Un digitalizador facial genera un formato de archivo digital específico como los archivos de lenguaje de teselado estándar (STL), teselado con caras poligonales (OBJ) o triángulo de Stanford (PLY). Un archivo STL describe sólo la geometría de la superficie, mientras que los archivos OBJ y PLY incorporan información sobre la geometría, el color y la textura de la superficie, siendo estos últimos los archivos óptimos para las reconstrucciones faciales.

La alineación de los dientes del paciente en la cara debe hacerse con un dispositivo de posicionamiento extraoral conocido como scanbody, que se trata de un dispositivo utilizado como aditamento de transferencia, diseñado para establecer virtualmente la posición tridimensional de los maxilares, su orientación y su relación con estructuras anatómicas adyacentes. Sin embargo, los protocolos digitales actuales y los programas CAD disponibles sólo permiten importar imágenes 3D estáticas del rostro del paciente.

Este enfoque tiene varias limitaciones como:

- no se tiene en cuenta la dinámica facial y labial del paciente, lo que es crucial cuando se requieren tratamientos dentales, maxilofaciales o de medicina estética facial,

- la posición de la sonrisa digitalizada en 3D que se obtiene no es real, ya que el paciente necesita mantener esa posición durante los procedimientos de escaneo facial, y

- se necesitan varios escaneos faciales en 3D (posición normal, posición de reposo, posición de la sonrisa y posición del cuerpo del escáner) para virtualizar un paciente estático en 3D, lo que requiere mucho tiempo e implica una mala alineación entre las mallas.

Además, se ha propuesto utilizar un flujo de trabajo para estimar los movimientos faciales, pero se requieren varios escaneos faciales con diferentes expresiones faciales para integrar todos ellos en un software de ingeniería inversa. Este enfoque supone una novedad, pero no resuelve las limitaciones mencionadas.

Por otra parte, es conocido del estado de la técnica el documento US2004015327A1 , que describe un procedimiento consistente en escanear la cara y/o dientes de un paciente usando una combinación de métodos (imagen, rayos C, MRI, etc.), y combinar los datos obtenidos (automáticamente, manualmente o de manera semiautomática), para producir un modelo de la cara y/o dientes del paciente, que posteriormente pueden ser mostrados.

También es conocido el documento US2011304629A1 , consistente en la animación de un modelo 3D, que puede ser un avatar o un modelo real, en base a las expresiones faciales mostradas en un video de un usuario. Es decir, se centra en la detección de expresiones faciales y su paso a un modelo 3D.

DESCRIPCIÓN DE LA INVENCIÓN

El objeto de la presente invención, un procedimiento para generación de una cabeza y dentadura virtuales en cuatro dimensiones de un paciente, permite resolver las limitaciones de los procedimientos empleados hasta la fecha, que denominaremos modelos estáticos, y que se basan en realizar tres escaneados faciales del usuario: 1 ) escaneado facial en sonrisa, 2) escaneado facial en reposo, 3) escaneado facial con marcadores que permitan alinear el resto de escaneados faciales entre sí en la misma posición y que además permitan introducir los maxilares superior e inferior en su posición correcta. Esta superposición de diferentes mallas 3D, utilizada en los modelos estáticos, con diferentes expresiones faciales del paciente, dan lugar a una imprecisión en la alineación y por tanto un acúmulo de errores en el proceso. Además, la sonrisa captada por el escáner facial es una sonrisa que el paciente ha de mantener unos 15-20 segundos, no siendo por tanto real.

Por otra parte, aún partiendo de un modelo 3D de la cabeza del paciente y de un modelo 3D de su dentadura, lograr una correcta alineación de la dentadura con la cabeza para obtener un modelo 3D completo no es tan simple como transferir el movimiento observado en un video 2D sobre las características de la cara (labio, ojos, mentón, cejas) al modelo final 3D y estimar así la posición de los dientes.

En la tabla de la figura 4 se detalla el movimiento de los dientes y de otros elementos faciales de un paciente en posición neutra, hablando y pronunciando letras, o girando la cabeza.

Como se puede comprobar, no hay una regla directa entre los movimientos de los labios y/o mandíbula y el de los dientes. Mientras el maxilar no se mueve más que con las rotaciones de la cabeza, los dientes inferiores se pueden mover de forma muy distinta con respecto a los labios y/o el mentón. Así cabe recordar que la detección de las características faciales estándar en los procedimientos conocidos en el estado de la técnica no incluye la posición de los dientes, ya que estos en muchas ocasiones no se ven, al estar ocluidos parcialmente o totalmente por los labios.

Por lo tanto, no se puede transferir el movimiento del video 2D usando estas técnicas al movimiento de los dientes en 3D. Es necesario incorporar nuevas soluciones técnicas, que usen toda la cara para determinar la posición de los dientes en función de la expresión actual realizada por el individuo. Todos estos problemas se resuelven con el procedimiento objeto de la presente invención, que permite una reconstrucción completa de la cabeza de un usuario, tanto extraoral como su dentadura, generando un modelo en tres dimensiones completamente parametrizado, que después se podrá emplear en tratamientos dentales, maxilofaciales o de medicina estética facial. Además, permite animar dicho modelo, de manera que el paciente pueda ver su apariencia, antes y después, mientras lleva a cabo expresiones faciales reales.

Frente a los modelos estáticos, en el procedimiento objeto de invención solo se requiere de la realización de uno o dos escaneados faciales. En el caso de que se realicen dos escaneados faciales, uno de ellos será un escaneado en posición de serio del paciente con labios juntos y dientes en oclusión. En el caso de que se realice un único escaneado, este será un escaneado facial del paciente en posición de serio. En este último caso, es necesario registrar adicionalmente con un escáner intraoral la nariz y un posicionador en boca, generándose un archivo del conjunto nariz-posicionador, que posteriormente se superpone por alineación de mallas a la nariz y puente nasal del escaneado facial.

Luego, se graba un video, que podrá ser grabado o en directo, del paciente manteniendo una conversación y/o actuando de forma espontánea, mostrando por ejemplo su sonrisa y otras expresiones faciales, de forma natural. Para ello se transfieren movimientos faciales del video a la malla 3D creada tras los escaneados, permitiendo que ésta se mueva como si se tratase del paciente. Este protocolo permite obtener un paciente virtual dinámico, frente a las posiciones faciales estáticas y poco reales de los modelos estáticos.

Concretamente, el procedimiento comprende dos fases diferenciadas. La primera fase se realiza generalmente fuera de línea, y consiste en la preparación de los datos. Esta parte sólo tendría que realizarse una vez para cada paciente (por ejemplo, durante la primera visita del paciente). Estos datos se utilizan para la segunda fase, que puede realizarse en línea si se desea y puede repetirse tantas veces como se desee dados los diferentes vídeos de entrada (o imágenes en vivo) del paciente.

En la primera fase se preparan todos los datos necesarios para crear una réplica virtual 3D estática de la fisonomía del paciente, incluyendo su cabeza en una primera etapa y su dentadura en una segunda etapa. El modelo de la cabeza debe ser tan parecido al de la cabeza real como sea posible. La dentadura puede ser su dentadura actual (que necesita ser restaurada por alguna razón) o una dentadura completamente nueva diseñada desde cero (por ejemplo, los pacientes que han perdido sus dientes y necesitan una nueva dentadura).

Por lo tanto, en una primera etapa se genera un modelo virtual en 3D de la cabeza del paciente a partir de los datos obtenidos de un escaneo facial. El escaneo puede haber sido realizado con cualquier método conocido, incluyendo, pero no limitado a:

- un software de costura 3D para crear un modelo 3D a partir de varias fotos del paciente desde diferentes ángulos,

- un software de cosido en 3D que combina fotografías con información de profundidad proporcionada por una cámara de profundidad,

- un escáner 3D adecuado y su software asociado.

Por lo general, se utiliza un único modelo 3D de la cabeza, pero el procedimiento también puede aplicarse cuando se dispone de más modelos (por ejemplo, modelos 3D separados que representen las diferentes expresiones faciales del paciente para captar mejor cómo sonríe, etc.).

En una segunda etapa, se obtiene un modelo 3D de los dientes, pudiendo ser estos los dientes actuales del paciente o una recreación de sus dientes después de ser sometido a un tratamiento. El modelo incluye tanto los dientes superiores como los inferiores, así como información sobre su relación oclusal. Este modelo puede representar información de color (textura), al igual que el modelo de cabeza en 3D. La información necesaria para construir el modelo se puede haber obtenido de varias maneras:

- escáner intraoral, o

- a través de impresiones convencionales con materiales de impresión reversibles o irreversibles y que posteriormente se digitalizan con un escáner de laboratorio o un escáner intraoral.

Una vez creados ambos modelos, en una tercera etapa, se fusionan, anclando la posición de la dentadura 3D dentro de la boca en la cabeza 3D. Esta posición inicial se utilizará como línea de base o posición de descanso y es la obtenida durante una expresión neutra del paciente, cuando se mira directamente frente a la cámara.

La fusión de ambos modelos puede realizarse tanto de forma manual como automática:

- Manualmente: utilizando un software de manipulación de mallas 3D para integrar manualmente ambas mallas de manera que los dientes estén en su posición natural.

- Automáticamente: usando la información de un dispositivo de posicionamiento de dientes (scanbody) usado durante los procedimientos de escaneo facial en 3D. Los dientes se registran en este dispositivo utilizando un material de impresión de polivinilo- siloxano. El paciente es digitalizado facialmente con este dispositivo colocado en la boca y en posiciones normales, de reposo y de sonrisa sin el cuerpo de escaneo. Luego, el dispositivo es digitalizado con un escáner de laboratorio o un escáner intraoral y finalmente todos estos archivos son importados en programas específicos de diseño clínico asistido (CAD) para alinear todas las mallas 3D obtenidas a través de puntos comunes para realizar la planificación digital sobre los dientes del paciente. Adicionalmente, en esta primera fase, el procedimiento puede comprender una etapa de determinación de la posición del modelo de la dentadura 3D con respecto al modelo de la cabeza 3D. Esta determinación de movimiento relativo se realiza a partir de una base de datos formada por fotos en 2D de personas realizando movimientos con la boca (hablando, sonriendo, etc.) y su correspondiente modelo 3D que incluye los dientes.

Por lo tanto, el objetico es ampliar el movimiento de un modelo 3D completo estándar con la información de cómo se ha movido el modelo de los dientes 3D respecto al modelo de la cabeza 3D en cada caso. Es decir, se necesita para cada foto en 2D su correspondiente modelo 3D que incluya la dentadura completa (modelo de los dientes 3D) en su posición correcta.

Dicha posición puede ser estimada por un experto que coloca los dientes manualmente mediante un software de animación 3D o, alternativamente, la estimación puede realizarse, a partir de la mencionada base de datos, mediante un método basado en Deep Learning (red neuronal artificial) que aprende a estimar el movimiento del modelo de los dientes 3D a partir de una imagen 2D de la cara. Una vez entrenado, el modelo puede ser usado en tiempo real para, a parir de una foto de una cara en 2D, estimar la posición de los dientes en 3D.

A continuación, comienza la segunda fase del procedimiento, en la que se simula el aspecto de la nueva dentadura del paciente (independientemente de que la reconstrucción realizada sea completa o parcial) y al mismo tiempo se captan los movimientos naturales reales como las expresiones faciales (sonreír, fruncir el ceño, etc.), el habla y los movimientos de la cabeza.

Los datos de entrada son los modelos 3D de la cabeza y la dentadura creados en la primera fase, junto con unas imágenes de video en 2D del paciente. Las imágenes 2D del paciente pueden grabarse con una cámara de vídeo estándar o un teléfono móvil, por ejemplo, y puede ser tanto grabado previamente (un vídeo) como en tiempo real. El paciente se pondrá de cara a la cámara y representará libremente cualquier acción que desee (expresiones faciales, habla, movimientos de la cabeza, etc.). Estos movimientos se reflejarán entonces en un nuevo vídeo simulado (o en tiempo real) para que el paciente pueda ver cómo cada uno de sus movimientos se traduce de nuevo al modelo de cabeza y dentadura, viendo cómo será la reconstrucción de los dientes. Para ello, la segunda fase comprende una serie de etapas.

En una primera etapa, se obtiene una animación del modelo 3D de la cabeza, basado en el las imágenes 2D de entrada. Dado un video de entrada (o material en tiempo real), compuesto de cuadros individuales (imágenes en color 2D de la cara del paciente), en esta etapa se "anima" la malla de la cabeza 3D en consecuencia. El resultado es un modelo 3D animado que ¡mita el movimiento visto en la imagen 2D, tanto en la posición general de la cabeza como en la fisonomía facial.

A continuación, en una segunda etapa, se realiza el posicionamiento del modelo 3D de los dientes en el modelo animado. Para ello, una vez que el modelo 3D de la cabeza ha sido animado para reflejar la acción representada en la imagen 2D del paciente, el modelo de dientes 3D debe moverse en consecuencia, teniendo en cuenta el movimiento de la cara del paciente.

La determinación de cuánto movimiento sufre el modelo 3D de los dientes con respecto al de la cabeza se realiza preferentemente aplicando la red neuronal obtenida en la primera fase, resultando en una estimación de la posición de los dientes en 3D.

Finalmente, el procedimiento puede comprender una etapa de pintura 2D, adición de texturas y creación de un resultado final realista. Para ello, una vez que los modelos 3D de la cabeza y los dientes están en su lugar, se realiza una representación final de la escena 3D y se proyecta de nuevo en 2D. La proyección se realiza de tal manera que el modelo final tiene un tamaño y una posición similares a los que se ven en el vídeo 2D de entrada, para hacer la simulación más realista y estéticamente plausible en comparación con la entrada.

El procedimiento de la presente invención podría ser utilizado por cualquier odontólogo, ó médico c para virtualizar dinámicamente a sus pacientes y utilizarlo como herramienta de planificación y marketing. No obstante, los profesionales que más se beneficiarían serían los protésicos dentales, ya que podrían tener en el ordenador al usuario virtualizado y con la dinámica facial integrada permitiendo individualizar las rehabilitaciones orales a cada paciente teniendo en cuenta su mímica facial y dinámica mandibular. También puede ser útil en otros ámbitos médicos como operaciones estéticas, y por otro tipo de reconstrucciones faciales no directamente relacionadas con la odontología.

Por lo tanto, el procedimiento de la invención presenta las siguientes ventajas:

- ahorro de tiempo comparado con los protocolos actuales,

- tecnología fácil de utilizar e implementar (“user-friendly”),

- transferencia del movimiento facial real del paciente a mallas 3D faciales estáticas, y disminución de errores de alineación entre mallas.

DESCRIPCIÓN DE LOS DIBUJOS

Para complementar la descripción que se está realizando y con objeto de ayudar a una mejor comprensión de las características de la invención, de acuerdo con un ejemplo preferente de realización práctica de la misma, se acompaña como parte integrante de dicha descripción, un juego de dibujos en donde con carácter ilustrativo y no limitativo, se ha representado lo siguiente:

Figura 1 .- Muestra un diagrama de flujo de la primera fase del procedimiento, la preparación de datos. Figura 2.- Muestra un diagrama de flujo de la segunda fase del procedimiento, la animación de los modelos 3D de cabeza y dentadura.

Figura 3.- Muestra un diagrama de flujo de las etapas de animación del modelo 3D a partir del video 2D del paciente.

Figura 4.- Muestra un diagrama de flujo del procedimiento completo.

Figura 5.- Muestra una tabla con el movimiento de distintas facciones del paciente para distintos gestos.

REALIZACIÓN PREFERENTE DE LA INVENCIÓN

Se describe a continuación, con ayuda de las figuras 1 a 5, una realización preferente del procedimiento para generación de una cabeza y una dentadura virtuales en cuatro dimensiones.

El procedimiento tiene dos fases diferenciadas. La primera, se muestra en la figura 1 , y la segunda en la figura 2. La primera fase se realiza fuera de línea, una única vez por cada paciente, y consiste en la preparación de los datos. El resultado de la primera fase es un modelo 3D de la cabeza (2) del paciente, así como un modelo 3D de su dentadura (4). Estos modelos (2, 4) se utilizan para la segunda fase del procedimiento, que se realiza en línea y puede repetirse tantas veces como se desee.

Dentro de la primera fase, el procedimiento comprende una primera etapa, en la que se genera el modelo virtual 3D de la cabeza (2) del paciente, a partir de unas fotografías o un escáner 3D de la cabeza del paciente, tal y como se muestra en la figura 1 .

El modelo 3D de la cabeza (2) es una malla triangular estándar 3D (vértices 3D, caras y normales). El modelo de la cabeza (2) también comprende información de color (textura). Para obtener este modelo, se utilizan unos datos obtenidos a partir de un escaneo facial del paciente.

Por lo general, se utiliza un único modelo 3D de la cabeza (2), pero el procedimiento también puede aplicarse cuando se dispone de más modelos (por ejemplo, tener modelos 3D separados que representen las diferentes expresiones faciales del paciente para captar mejor cómo sonríe, etc.).

En una segunda etapa de la primera fase, se obtiene un modelo 3D de los dientes (4) del paciente que se usarán para la reconstrucción. De nuevo, este modelo (4) es una malla triangular regular compuesta de posiciones de vértices 3D, caras y normales. El modelo 3D de los dientes incluye los dientes superiores e inferiores como dos mallas separadas y su información de relación oclusal. Este modelo puede representar información de color (textura), al igual que el modelo de cabeza en 3D.

El modelo se obtiene a partir de unos datos de la disposición de los dientes (3), que por su parte puede haber obtenido utilizando un escáner intraoral o a través de impresiones convencionales con materiales de impresión reversibles o irreversibles y que posteriormente se digitalizan con un escáner de laboratorio o un escáner intraoral.

Posteriormente, sobre el modelo 3D de la dentadura (4) se utilizan programas específicos de CAD para realizar procedimientos de encerado digital, movimientos ortodónticos o planificar cirugías para cada paciente. Este flujo de trabajo se realiza en todos los casos en que el paciente necesita algún tratamiento dental en el área estética o cuando hay que realizar una rehabilitación oral.

Una vez creados ambos modelos (2, 4), en una tercera etapa se fusionan juntos, anclando la posición de la malla del modelo 3D de la dentadura (4) dentro de la boca en la malla del modelo 3D de la cabeza (2). Esta posición inicial se utilizará como línea de base o posición de descanso durante una expresión neutra, cuando se mira directamente frente a la cámara.

Adicionalmente, en una cuarta etapa de la primera fase, que se muestra en detalle en la figura 4, el procedimiento comprende una etapa de determinación de la posición del modelo 3D de la dentadura (4) con respecto al modelo 3D de la cabeza (2). Esta determinación de movimiento relativo se realiza a partir de una base de datos formada por fotos en 2D de personas realizando movimientos con la boca (hablando, sonriendo, etc.) y su correspondiente modelo 3D que incluye los dientes. En esta etapa se puede utilizar un modelo genérico de cara y dientes, no es necesario que sea un modelo específico de cada paciente.

Por lo tanto, el objetico es ampliar el movimiento de un modelo 3D completo estándar con la información de cómo se ha movido el modelo 3D de los dientes (4) respecto al modelo de 3D la cabeza (2) en cada caso. Es decir, se necesita para cada foto en 2D su correspondiente modelo 3D que incluya la dentadura completa (modelo de los dientes 3D) en su posición correcta.

En una realización, dicha posición puede ser estimada por un experto que coloca los dientes manualmente mediante un software de animación 3D. Alternativamente, la estimación puede realizarse, a partir de la mencionada base de datos, mediante un método basado en Deep Learning (red neuronal artificial) que aprende a estimar el movimiento del modelo de los dientes 3D a partir de una imagen 2D de la cara. Una vez entrenado, el modelo puede ser usado en tiempo real para, a parir de una foto de una cara en 2D, estimar la posición de los dientes en 3D.

Preferentemente, la red neuronal artificial utiliza una red convolucional de regresión, cuya entrada es una tupia formada por la imagen 2D de la cara y la imagen 2D de la persona en reposo, y cuya salida es un vector de números reales de doce dimensiones. Dicho vector codifica el movimiento realizado por cada parte de la dentadura (6D para el maxilar superior y 6D para la mandíbula inferior), del siguiente modo: la translación X, Y, Z más Is tres ángulos de rotación X, Y, Z.

En la segunda fase del procedimiento, que se muestra en la figura 2, se simula el aspecto de la nueva dentadura del paciente (independientemente de que la reconstrucción realizada sea completa o parcial) y al mismo tiempo se captan los movimientos naturales reales como las expresiones faciales (sonreír, fruncir el ceño, etc.), el habla y los movimientos de la cabeza.

Los datos de entrada son los modelos 3D de la cabeza y la dentadura (2, 4) creados en la primera fase, y unas imágenes 2D (5) del paciente. Las imágenes 2D (5) puedes haberse obtenido con una cámara de vídeo estándar o un teléfono móvil, y puede ser tanto grabado previamente (un vídeo) como en tiempo real. Pueden recoger cualquier acción que haya decidido realizar el paciente (expresiones faciales, habla, movimientos de la cabeza, etc.).

En esta segunda fase del procedimiento, los movimientos que realiza el paciente en las imágenes 2D (5) se reflejan en un nuevo vídeo de simulación (8) (o en tiempo real) para que el paciente pueda ver cómo cada uno de sus movimientos se traduce de nuevo a un modelo 3D completo (7), viendo cómo será la reconstrucción de los dientes. Para lograr esto, la segunda fase comprende una seria de etapas.

La primera etapa, consiste en la animación del modelo 3D de la cabeza (2) utilizando las imágenes 2D (5). Dado el video 2D (5) (o material en tiempo real), compuesto de cuadros individuales (imágenes en color 2D de la cara del paciente), en esta etapa se "anima" la malla del modelo de la cabeza 3D (2) en consecuencia. La figura 3 muestra un esquema del método propuesto.

Las entradas son el video 2D (5) y el modelo 3D de la cabeza (2). La salida es un modelo 3D animado (6) que ¡mita el movimiento visto en el video 2D (5), tanto en la posición general de la cabeza como en la fisonomía facial Esto se realiza a través de dos pasos separados, que se detallan en la figura 3. Primero, usando técnicas de reconocimiento facial, se estima la posición y el movimiento en el video 2D (5), y se transfieren esos movimientos a un modelo genérico (9) de cabeza 3D. Se pueden utilizar varios enfoques para lograr esto. Por ejemplo, un método de estimación de puntos de referencia faciales puede producir movimientos faciales en 2D o directamente en 3D y éstos pueden utilizarse para animar un modelo, o un enfoque más directo puede utilizarse para aprender directamente las relaciones entre las imágenes 2D y los modelos 3D, a través de enfoques de aprendizaje en profundidad.

Segundo, se transfiere el movimiento del modelo genérico (9) al modelo 3D de cabeza (2) específico del paciente. Esto se logra a través de álgebra 3D y técnicas de triangulación.

Una vez que el modelo 3D de la cabeza (2) ha sido animado para reflejar la acción representada en las imágenes 2D (5) en cuestión, el modelo de dientes 3D (4) debe moverse en consecuencia, teniendo en cuenta el movimiento de la mandíbula y el maxilar de los labios.

La determinación de cuánto movimiento sufre el modelo 3D de los dientes (4) con respecto al modelo 3D de la cabeza (2) se realiza preferentemente aplicando la red neuronal obtenida en la primera fase, resultando en una estimación de la posición de los dientes en 3D.

Por último, tal y como se muestra en la figura 2, una vez que los modelos 3D de la cabeza y los dientes (2, 4) están en su lugar, se realiza una representación final de un modelo 3D completo (7) y se proyecta de nuevo en 2D, obteniéndose un video de simulación (8). La proyección se realiza de tal manera que el video de simulación (8) final tiene un tamaño y una posición similares a los que se ven en el vídeo 2D (5) del paciente, para hacer la simulación más realista y estéticamente plausible en comparación con la entrada.