Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
GENERATING A MATERIAL PROPERTY MAP OF A COMPUTER MODEL OF A MATERIAL BASED ON A SET OF MICRO-SCALE IMAGES
Document Type and Number:
WIPO Patent Application WO/2021/234190
Kind Code:
A1
Abstract:
In various embodiments, a framework is provided for transferring of any kind micro-scale properties (geometry, optical properties, resolution of material parameters, etc.) of a material to larger images of the same material. The framework includes a machine learning model capable of learning to perform this transfer from a set of micro-scale images of one or more patches of the material and micro-scale properties of the material. The machine learning framework transfers the micro-scale properties to images of the same material, regardless of the size, resolution, illumination or geometry.

Inventors:
GARCÉS ELENA (ES)
RODRÍGUEZ-PARDO CARLOS (ES)
Application Number:
PCT/ES2020/070336
Publication Date:
November 25, 2021
Filing Date:
May 22, 2020
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
DESILICO S L (ES)
SEDDI INC (US)
International Classes:
G06T11/00
Foreign References:
US20190347526A12019-11-14
ES2019000016W2019-02-22
US8386015B22013-02-26
Other References:
GILJOO NAM ET AL: "Simultaneous acquisition of microscale reflectance and normals", ACM TRANSACTIONS ON GRAPHICS, ACM, NY, US, vol. 35, no. 6, 11 November 2016 (2016-11-11), pages 1 - 11, XP058306319, ISSN: 0730-0301, DOI: 10.1145/2980179.2980220
GAO DUAN GAO-D17@MAILS TSINGHUA EDU CN ET AL: "Deep inverse rendering for high-resolution SVBRDF estimation from an arbitrary number of images", ACM TRANSACTIONS ON GRAPHICS, ACM, NY, US, vol. 38, no. 4, 12 July 2019 (2019-07-12), pages 1 - 15, XP058452157, ISSN: 0730-0301, DOI: 10.1145/3306346.3323042
GIUSEPPE CLAUDIO GUARNERA ET AL: "BxDF material acquisition, representation, and rendering for VR and design", 20191117; 20191117 - 20191120, 17 November 2019 (2019-11-17), pages 1 - 21, XP058444214, ISBN: 978-1-4503-6941-1, DOI: 10.1145/3355047.3362092
PAUL DEBEVECTIM HAWKINSCHRIS TCHOUHAARM-PIETER DUIKERWESTLEY SAROKINMARK SAGAR: "Acquiring the reflectance field of a human face", PROCEEDINGS OF THE 27TH ANNUAL CONFERENCE ON COMPUTER GRAPHICS AND INTERACTIVE TECHNIQUES, 2000, pages 145 - 156, XP058374771, DOI: 10.1145/344779.344855
VALENTIN DESCHAINTREMIIKA AITTALAFRÉDO DURANDGEORGE DRETTAKISADRIEN BOUSSEAU: "Computer Graphics Forum", vol. 35, 2016, WILEY ONLINE LIBRARY, article "Deepprop: Extracting deep features from a single image for edit propagation", pages: 189 - 201
DUAN GAOXIAO LIYUE DONGPIETER PEERSKUN XUXIN TONG: "Deep inverse rendering for high-resolution SVBRDF estimation from an arbitrary number of images", ACM TRANSACTIONS ON GRAPHICS (TOG, vol. 38, no. 4, 2019, pages 1 - 15, XP058439534, DOI: 10.1145/3306346.3323042
PHILLIP ISOLAJUN-YAN ZHUTINGHUI ZHOUALEXEI A EFROS: "Image-to-image translation with conditional adversarial networks", PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISIÓN AND PATTERN RECOGNITION, 2017, pages 1125 - 1134, XP055708434, DOI: 10.1109/CVPR.2017.632
DIEDERIK P KINGMAJIMMY BA: "Adam: A method for stochastic optimization", ARXIV PREPRINT ARXIV: 1412.6980, 2014
HSIN-YING LEEHUNG-YU TSENGJIA-BIN HUANGMANEESH SINGHMING-HSUAN YANG: "Diverse image-to-image translation via disentangled representations", PROCEEDINGS OF THE EUROPEAN CONFERENCE ON COMPUTER VISIÓN (ECCV, 2018, pages 35 - 51
JIANXIN LINYINGCE XIATAO QINZHIBO CHENTIE-YAN LIU: "Conditional image-to-image translation", PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 2018, pages 5524 - 5532, XP033473466, DOI: 10.1109/CVPR.2018.00579
MIN NIJIANJUN LEIRUNMIN CONGKAIFU ZHENGBO PENGXIAOTING FAN: "Color-guided depth map super resolution using convolutional neural network", IEEE ACCESS, vol. 5, 2017, pages 26666 - 26672, XP011674801, DOI: 10.1109/ACCESS.2017.2773141
ADAM PASZKESAM GROSSFRANCISCO MASSAADAM LERERJAMES BRADBURYGREGORY CHANANTREVOR KILLEENZEMING LINNATALIA GIMELSHEINLUCA ANTIGA ET : "PyTorch: An Imperative Style, High-Performance Deep Learning Library", ARXIV PREPRINT ARXIV: 1912.01703, 1912
GERNOT RIEGLERDAVID FERSTLMATTHIAS RÜTHERHORST BISCHOF.: "A deep primal- dual network for guided depth super-resolution", ARXIV PREPRINT ARXIV: 1607.08569, 2016
MEI WANGWEIHONG DENG: "Deep visual domain adaptation: A survey", NEURO-COMPUTING, vol. 312, 2018, pages 135 - 153, XP085425776, DOI: 10.1016/j.neucom.2018.05.083
WOODHAM, R.J.: "Photometric method for determining surface orientation from multiple images", OPTICAL ENGINEERING, vol. 19, no. 1, 1980, pages 139 - 144, XP008079323
Attorney, Agent or Firm:
CARVAJAL Y URQUIJO, Isabel et al. (ES)
Download PDF:
Claims:
REIVINDICACIONES

Lo que se reivindica es:

1. Un método para generar un mapa de propiedades de material de un modelo de computadora de un material para aplicaciones de computación visual, donde el método comprende: entrenar un módulo de aprendizaje automático con un conjunto de imágenes a microescala de una subsección de una muestra de material capturada bajo una pluralidad de condiciones de iluminación diferentes y con un conjunto de uno o más parámetros de microescala del material, donde el entrenamiento genera un mapeo entre un conjunto de características de imagen en el conjunto de imágenes a microescala y un conjunto de parámetros a nivel micro del material; recibir como entrada una o más imágenes a escala de renderizado del material; procesar la una o más imágenes a escala de renderizado del material con el módulo de aprendizaje automático para aplicar uno o más parámetros de micro nivel a al menos una de las imágenes a escala de renderizado del material ; generar uno o más parámetros de micro nivel de al menos una imagen de escala de renderizado del material para generar un mapa de propiedades del material; en donde la microescala a la que se capturan las imágenes de microescala corresponde a una escala con una resolución más alta que la escala de renderizado en la que se capturan una o más imágenes de escala de renderizado.

2. El método de la reivindicación 1, que comprende además capturar el conjunto de imágenes a microescala con un sistema de captura de imágenes a microescala que comprende una pluralidad de fuentes de luz controlables.

3. El método de la reivindicación 2, en el que el sistema de captura de imágenes a microescala incluye filtros polarizadores para la pluralidad de fuentes de luz controlables.

4. El método de la reivindicación 2, en el que el sistema de captura de imágenes a microescala comprende además una cámara de visión por computadora para capturar el conjunto de imágenes a microescala.

5. El método de la reivindicación 4, en el que el sistema de captura de imágenes en microescala comprende además un filtro polarizador para la cámara de visión por computadora para capturar imágenes en microescala del conjunto de imágenes en microescala con polarizaciones ortogonales.

6. El método de la reivindicación 1, en el que un mapa de propiedades de material a microescala comprende el conjunto de uno o más parámetros de microescala del material y el conjunto de imágenes de microescala de la subsección de la muestra de material y además en el que el módulo de aprendizaje automático está entrenado con el mapa de propiedades de material a microescala.

7. El método de la reivindicación 1, que comprende además calcular el conjunto de uno o más parámetros de microescala del material.

8. El método de la reivindicación 1, en el que el uno o más parámetros de microescala comprenden al menos uno de: parámetros de fibras sueltas, torsión de fibra, mapas de normales, etiquetado de hilos de urdimbre / trama, segmentación de hilos o parámetros del modelo SVBRDF

9. El método de la reivindicación 1 que comprende además: aumentar el conjunto de imágenes en microescala procesando el conjunto de imágenes en microescala para derivar un conjunto aumentado de imágenes en microescala, donde el conjunto aumentado de imágenes en microescala incluye características de imagen adicionales diferentes del conjunto de características de imagen; y en donde el entrenamiento del módulo de aprendizaje automático se realiza con el conjunto aumentado de imágenes a microescala.

10. El método de la reivindicación 1 que comprende además: aumentar el conjunto de uno o más parámetros de microescala del material procesando el conjunto de parámetros de microescala del material para derivar un conjunto aumentado de parámetros de microescala del material, donde el conjunto aumentado de uno o más parámetros de microescala del material incluye parámetros de microescala adicionales diferentes del conjunto de uno o más parámetros de microescala del material; y en donde el entrenamiento del módulo de aprendizaje automático se realiza con el conjunto aumentado de un conjunto de parámetros de microescala del material.

11. El método de la reivindicación 1, en el que el módulo de aprendizaje automático comprende una red neuronal convolucional.

12. El método de la reivindicación 11, en el que la red neuronal convolucional comprende un codificador y un decodificador.

13. El método de la reivindicación 1, en el que la resolución de la escala que corresponde a la microescala a la que se capturan las imágenes a microescala de 30 mieras o menos por píxel.

14. El método de la reivindicación 1, en el que las imágenes a escala de renderizado del material se toman de la misma muestra de material que las imágenes a microescala

15. Un método para generar un mapa de propiedades de material de un modelo informático de una tela para aplicaciones de modelado informático, comprendiendo el método: entrenar un módulo de aprendizaje automático con un conjunto de imágenes a microescala de una subsección de una muestra de la tela capturada bajo una pluralidad de condiciones de iluminación diferentes y con un conjunto de uno o más parámetros de microescala de la tela, donde el entrenamiento genera un mapeo entre un conjunto de características de imagen en el conjunto de imágenes de microescala y un conjunto de parámetros de micro nivel del tejido; recibir como entrada una o más imágenes a escala de renderizado de la muestra de la tela; procesar la una o más imágenes a escala de renderizado de la muestra de la tela con el módulo de aprendizaje automático para aplicar uno o más parámetros de micro nivel a al menos una de las imágenes a escala de renderizado de la muestra de la tela; generar uno o más parámetros de micro nivel de al menos una imagen de escala de renderizado de la muestra de la tela para generar un mapa de propiedades de la tela para su uso por un motor de renderizado; en donde la microescala a la que se capturan las imágenes de microescala corresponde a una escala con una resolución más alta que la escala de renderizado en la que se capturan una o más imágenes de escala de renderizado.

16. El método de la reivindicación 15, en el que la tela es de algodón, lino, lana, poliéster, o seda.

17. El método de la reivindicación 15, en el que el conjunto de uno o más parámetros de microescala del tejido comprende al menos uno de los parámetros de fibras sueltas, torsión de fibra, mapas de normales, etiquetado de hilos de urdimbre / trama, segmentación de hilos o SVBRDF.

18. El método de la reivindicación 15, en el que las imágenes a escala de renderizado del tejido se toman de la misma muestra de tejido que las imágenes a microescala.

19. Un sistema para generar un mapa de propiedades de material de un modelo de computadora de un material para aplicaciones de modelado informático, el sistema comprendiendo: un procesador de datos configurado para ejecutar instrucciones informáticas; y almacenamiento de datos para almacenar instrucciones informáticas, las instrucciones informáticas, cuando son ejecutadas por el procesador de datos causando que el sistema: entrene un módulo de aprendizaje automático con un conjunto de imágenes a microescala de una subsección de una muestra de material capturada bajo una pluralidad de condiciones de iluminación diferentes y con un conjunto de uno o más parámetros de microescala del material, donde el entrenamiento genera un mapeo entre un conjunto de características de imagen en el conjunto de imágenes a microescala y un conjunto de parámetros a nivel micro del material; reciba como entrada una o más imágenes a escala de renderizado del material; procese la una o más imágenes a escala de renderizado del material con el módulo de aprendizaje automático para aplicar uno o más parámetros de micro nivel a al menos una de las imágenes a escala de renderizado del material ; genere uno o más parámetros de micro nivel de al menos una imagen de escala de renderizado del material para generar un mapa de propiedades del material; en donde la microescala a la que se capturan las imágenes de microescala corresponde a una escala con una resolución más alta que la escala de renderizado en la que se capturan una o más imágenes de escala de renderizado.

20. Un método implementado por ordenador para visualización de imágenes en pantalla de una simulación de uno o más objetos hechos de un material, comprendiendo el método: recibir una pluralidad de fotogramas que comprenden una simulación de uno o más objectos hechos del material, la pluralidad de fotogramas renderizados transformando un modelo del material basado en un mapa de propiedades del material a una representación volumétrica de la simulación de los objetos hechos del material, el mapa de propiedades del material generado en base a: entrenar un módulo de aprendizaje automático con un conjunto de imágenes a microescala de una subsección de una muestra de material capturada bajo una pluralidad de condiciones de iluminación diferentes y con un conjunto de uno o más parámetros de microescala del material, donde el entrenamiento genera un mapeo entre un conjunto de características de imagen en el conjunto de imágenes a microescala y un conjunto de parámetros a nivel micro del material; recibir como entrada una o más imágenes a escala de renderizado del material; procesar la una o más imágenes a escala de renderizado del material con el módulo de aprendizaje automático para aplicar uno o más parámetros de micro nivel a al menos una de las imágenes a escala de renderizado del material ; generar uno o más parámetros de micro nivel de al menos una imagen de escala de renderizado del material para generar el mapa de propiedades del material; en donde la microescala a la que se capturan las imágenes de microescala corresponde a una escala con una resolución más alta que la escala de renderizado en la que se capturan una o más imágenes de escala de renderizado.

Description:
GENERACIÓN DE MAPAS DE PROPIEDADES DE MATERIAL DE MACROESCALA A PARTIR DE IMÁGENES Y PROPIEDADES DE

MICROESCALA

ANTECEDENTES

Esta revelación se relaciona generalmente con sistemas de modelado por computadoras y, más específicamente, con un sistema y método para la captura y modelado de imágenes de microescala de propiedades visuales de materiales para usar en gráficos por computadora y otras aplicaciones.

En aplicaciones de gráficos por computadora, el modelado preciso y que se asemeja a la realidad de materiales, tales como tejidos, ropa y otros artículos hechos de fibras, ha sido un objetivo permanente y un componente clave para animaciones realistas en videojuegos, películas y otras aplicaciones de modelado por computadoras. Por ejemplo, materiales como tejidos se modelaban típicamente como láminas bidimensionales de composición muy delgada. Los modelos de simulación de materiales diferentes se centraban, generalmente, en la apariencia de la superficie o superficies del modelo de lámina bidimensional. No obstante, estos modelos carecían de detalle y realismo, en particular, al examinar más de cerca o en escenas u otras estampas donde el material se exhibía cerca del espectador. Por ejemplo, en aplicaciones de compra por Internet basada en personajes digitales, un personaje digital modela artículos de ropa para un consumidor que intenta tomar una decisión de compra. En tales aplicaciones, el detalle y la apariencia realista de la ropa es fundamental. Un suéter de hilo de lana grueso no se puede representar exactamente en la superficie de una lámina bidimensional. Con el reconocimiento de estos defectos, más recientemente, se han desarrollado nuevos métodos para el modelado tridimensional más realista de materiales, como ropa o tejidos.

No obstante, estos nuevos métodos de modelado requieren información detallada sobre las características del material que se modelará. Para obtener esta información, se necesitan sistemas de captura óptica para extraer con exactitud las propiedades geométricas y ópticas de materiales que permiten modelar la apariencia de estos materiales en cualquier entorno de iluminación. Pero muchos materiales del mundo real presentan características que solo se pueden medir a cierta escala. Tal es el caso de muchos fenómenos ópticos que ocurren en materiales con una capa superficial, donde los detalles a microescala que no pueden medirse usando cámaras estándar contribuyen significativamente a la apariencia general del material. Capturar esos detalles que suceden a una microescala tiene varias aplicaciones técnicas y científicas, como la estimación de parámetros de superficie o la edición de material digital.

La mayoría de los dispositivos existentes están destinados a capturar materiales superficiales genéricos a una escala milimétrica, generalmente enfocados a extraer las normales de la superficie y su reflectancia, la última en forma de una función de distribución de reflectancia bidireccional (BRDF) que puede variar espacialmente (SV- BRDF). Por ejemplo, una forma común de capturar detalles a escala micro de materiales es a través de dispositivos de captura óptica, que toman fotografías en condiciones controladas para medir diferentes fenómenos del material. Para esto, las cámaras digitales se utilizan para capturar imágenes de múltiples direcciones de visualización e iluminación que cubren el hemisferio centrado en la superficie normal del material o desde una única vista fija pero utilizando múltiples luminarias. Estos enfoques se pueden usar para obtener SV-BRDF o las funciones de distribución de reflectancia bidireccional (BTF). Otros enfoques, como el descrito en PCT / ES2019 /

000016 titulado “Sistema de captura de imágenes de microescala”, permiten alcanzar resoluciones muy finas a nivel de fibra y son capaces de extraer propiedades geométricas y ópticas para su uso en contextos de renderizado realistas, por ejemplo en el caso de telas realistas u otros materiales. Otros enfoques para capturar las características del material para el modelado por computadora incluyen sistemas para, por ejemplo, derivar modelos volumétricos de tejidos que emplean tomografía computarizada (TC) de rayos X o sistemas ópticos basados en microscopio para capturar los parámetros del material.

Estos sistemas de microescala operan en muestras de material a muy pequeña escala con una resolución muy alta para obtener propiedades que solo se pueden determinar en esa microescala. Por ejemplo, el rango de diámetro para las fibras naturales comúnmente encontradas en telas y otros materiales es entre 10 y 50 micrómetros. A modo de ejemplo, las fibras de algodón oscilan entre 16 y 20 micrómetros, las fibras de lino varían entre 12 y 16 micrómetros, las fibras de lana están típicamente entre 10 y 50 micrómetros, y las fibras de seda están entre aproximadamente 10-12 micrómetros. Para capturar las propiedades de los materiales debido a estas microestructuras, se utilizan sistemas ópticos microscópicos digitales. En este sentido, la resolución de estos sistemas ópticos se mide como la distancia más pequeña entre dos puntos en una imagen que aún se puede distinguir en los píxeles de la imagen como dos entidades separadas (R = l / 2NA), donde NA es la apertura numérica de la lente utilizada y l es el tamaño de la longitud de onda de la luz utilizada para capturar la imagen. Por lo tanto, las resoluciones de microescala de los sistemas ópticos capaces de capturar estas propiedades de microescala están en el rango de 1,5 a 2,0 mieras por píxel. Sin embargo, para las aplicaciones de modelado por computadora, los sistemas de renderizado no pueden funcionar con muestras de imágenes a pequeña escala. Los sistemas de renderizado de gráficos requieren una escala de imagen mínima para cualquier material renderizable a fin de aplicar texturas de manera eficiente a los gráficos generados por computadora del material. Por ejemplo, las imágenes a escala renderizable suelen tener una resolución máxima de aproximadamente 17 mieras por píxel. Esta resolución está dada en parte por el hecho de que los humanos típicamente pueden enfocar tan cerca como a unos 100 mm de distancia de sus ojos y a esa distancia, la agudeza máxima promedio de 1 MAR, corresponde al tamaño visible más pequeño de aproximadamente 29 mieras. Por lo tanto, un humano no puede ver la microestructura de los materiales a simple vista. Por lo tanto, en las aplicaciones de gráficos por computadora, como la realidad virtual, los videojuegos u otras aplicaciones de representación en tiempo real, los sistemas de representación no requieren mapas de textura para imágenes con parámetros a niveles de microescala, ya que no son visibles para el ojo humano típico.

Sin embargo, para el examen de muestras de materiales en estas escalas renderizables más grandes, en el rango de pocos milímetros a centímetros, algunos de estos sistemas de microescala son deficientes y todos requieren una cantidad significativa de tiempo para realizar una inspección o captura de los parámetros clave de una muestra de material dada. Hacer ese proceso de captura de parches grandes de un material puede ser costoso y oneroso, ya que puede ser necesario capturar individualmente cada pequeño parche del material.

Los mapas de textura para estas imágenes de muestra del material generalmente son generados por humanos, utilizando en gran medida procesos manuales. Y si bien los sistemas ópticos de microescala actuales pueden derivar parámetros de material que pueden usarse para generar estos mapas de textura de escala renderizables, no existe un enfoque actual para transferir automáticamente las propiedades de los materiales obtenidos a nivel de microescala a los mapas de textura de imágenes del material a escala renderizable. En [Kamen et al. 2013] se propuso un enfoque previo para integrar la información de imágenes tomadas en una microescala con imágenes capturadas en una macroescala para su uso en aplicaciones de imágenes biomédicas. Sin embargo, este enfoque no aprende un mapeo de las imágenes a microescala que pueden usarse para imágenes macro.

Otros métodos que abordan problemas similares a los resueltos por la presente invención incluyen la adaptación del dominio de imagen, la súper resolución guiada, la estimación de parámetros de material y la propagación de edición. Por ejemplo, las redes neuronales convolucionales (CNN) se han utilizado para resolver problemas basados en datos y han demostrado ser particularmente útiles en aplicaciones de visión por computadora, incluida la clasificación, segmentación y generación de imágenes. Un caso de uso particular de las redes neuronales convolucionales es la traducción de imagen a imagen, en la que la imagen de entrada que recibe la red se transforma en una imagen de otro dominio [Isola et al. 2017; Lee et al. 2018; Lin et al. 2018]; ver también [Wang y Deng 2018] Las CNN también han demostrado tener éxito en problemas de superresolución guiada. En ellos, una imagen de alta resolución se usa como guía para realizar una operación de sobremuestreo aprendida a una imagen de baja resolución [Ni et al. 2017; Riegler y col. 2016] Estas configuraciones generalmente están diseñadas para mejorar la calidad de las imágenes tomadas por dispositivos de captura caros (por ejemplo, cámaras de profundidad) utilizando imágenes de mayor resolución tomadas por dispositivos de bajo costo, como una cámara de teléfono inteligente estándar. Además, aprender a estimar los parámetros SVBRDF a partir de un conjunto de datos utilizando CNN ha sido un tema de interés en la literatura. Típicamente, la red neuronal aprende a estimar parámetros SVBRDF a partir de imágenes de un conjunto de datos predefinido, y predice los parámetros para imágenes invisibles. Ver [Deschaintre et al. 2019; Gao y col. 2019] Por último, el uso de la información que solo está disponible en un pequeño parche de una imagen para extrapolar al resto de la imagen se ha estudiado en visión artificial, en particular para problemas de propagación de edición. En ellos, un usuario proporciona trazos de usuario en una parte de la imagen, y un algoritmo debe aprender a propagar esos trazos al resto de la imagen [Endo et al. 2016] Sin embargo, ninguno de estos enfoques proporciona un mapeo aprendido a partir de imágenes a microescala que puede usarse para imágenes macro para transferir parámetros de imagen relevantes.

Por lo tanto, lo que se necesita es un sistema y un método para transferir de forma automática y eficiente los parámetros de imagen óptica a microescala de una muestra de material a mapas de textura de muestras de imágenes renderizables a mayor escala del material que aborde las deficiencias de la técnica anterior.

BREVE RESUMEN

De acuerdo con diversas realizaciones de la presente invención, se proporciona un marco de inteligencia artificial capaz de aprender a transferir detalles a microescala de un material a imágenes nunca vistas y más grandes del mismo material. Este marco único es independiente de la aplicación para la que se puede usar, el tipo de detalles de imagen a microescala que se pueden transferir, el enfoque utilizado para obtener esos detalles, así como la forma en que se muestran las imágenes más grandes del material capturado. A diferencia de los métodos existentes que predicen los valores de parámetros de materiales no vistos utilizando un conjunto de datos de materiales precapturados, los métodos de acuerdo con la presente invención pueden estar basados en principios físicos y toda la extrapolación puede realizarse en función de valores reales del mismo material, haciendo que las predicciones sean más precisas y realistas.

En algunas realizaciones, un método y sistema para generar un mapa de propiedades de material de un modelo de computadora de un material para aplicaciones de computación visual incluye el entrenamiento de un módulo de aprendizaje automático con un conjunto de imágenes a microescala de una subsección de una muestra de material capturada bajo una pluralidad de diferentes condiciones de iluminación y con un conjunto de uno o más parámetros de microescala del material. En estas realizaciones, el entrenamiento puede generar un mapeo entre un conjunto de características de imagen en el conjunto de imágenes a microescala y un conjunto de parámetros a nivel micro del material. Luego se introducen y procesan una o más imágenes a escala de renderizado de la muestra de material con el módulo de aprendizaje automático para aplicar uno o más parámetros de nivel micro a las imágenes a escala de renderizado de la muestra de material. Los parámetros de microescala de la imagen a escala de renderizado de la muestra de material se extraen para generar un mapa de propiedades del material. La microescala a la que se capturan las imágenes a microescala de acuerdo con estas realizaciones corresponde a una escala con una resolución más alta que la escala de representación en la que se capturan una o más imágenes de escala de representación.

En algunas realizaciones, el método puede incluir adicionalmente capturar el conjunto de imágenes a microescala con un sistema de captura de imágenes a microescala con una pluralidad de fuentes de luz controlables. El sistema de captura de imágenes a microescala puede incluir filtros polarizadores para la pluralidad de fuentes de luz controlables y también puede incluir una cámara de visión por computadora para capturar el conjunto de imágenes a microescala. El sistema de captura de imágenes a microescala también puede incluir un filtro polarizador para la cámara de visión por computadora para capturar imágenes a microescala del conjunto de imágenes a microescala con polarizaciones ortogonales.

Según algunas realizaciones, un mapa de propiedades de material a microescala puede incluir el conjunto de parámetros de microescala del material y el conjunto de imágenes de microescala de la subsección de una muestra de material. En estas realizaciones, el módulo de aprendizaje automático está entrenado con el mapa de propiedades de material a microescala.

En algunas realizaciones, el método puede incluir calcular el conjunto de uno o más parámetros de microescala del material. Los parámetros de microescala de los materiales pueden incluir al menos uno de los parámetros de fibras sueltas, torsión de fibra, mapas normales, etiquetado de hilos de urdimbre / trama, segmentación de hilos o parámetros del modelo SVBRDF.

De acuerdo con algunas realizaciones, el método puede incluir adicionalmente aumentar el conjunto de imágenes de microescala procesando el conjunto de imágenes de microescala para derivar un conjunto aumentado de imágenes de microescala. El conjunto aumentado de imágenes de microescala incluye características de imagen adicionales diferentes del conjunto de características de imagen. En estas realizaciones, el entrenamiento del módulo de aprendizaje automático se realiza con el conjunto aumentado de imágenes a microescala. Según algunas realizaciones, el método puede incluir adicionalmente aumentar el conjunto de parámetros de microescala del material procesando el conjunto de parámetros de microescala para derivar un conjunto aumentado de parámetros de microescala. El conjunto aumentado de un conjunto de uno o más parámetros de microescala del material que incluye parámetros de microescala adicionales diferentes del conjunto de uno o más parámetros de microescala del material; y en donde el entrenamiento del módulo de aprendizaje automático se realiza con el conjunto aumentado de un conjunto de parámetros de microescala del material.

Los sistemas y métodos según las realizaciones pueden implementar el módulo de aprendizaje automático con una red neuronal convolucional, que en algunas realizaciones puede incluir un codificador y un decodificador.

Además, según aspectos de algunas realizaciones, la resolución de la escala que corresponde a la microescala a la que se capturan las imágenes a microescala pueden de 30 mieras o menos por píxel.

En algunas realizaciones, el material puede ser una tela, como por ejemplo algodón, lino, lana, poliéster o seda. En estas realizaciones, el conjunto de parámetros de microescala de la tela puede incluir fibras sueltas, torsión de fibra, mapas normales, etiquetado de hilos de urdimbre / trama, segmentación de hilos o parámetros del modelo SVBRDF. BREVE DESCRIPCIÓN DE LAS DISTINTAS VISTAS DE LOS DIBUJOS

FIG. 1 es un diagrama que ilustra un marco de aprendizaje automático para la generación de modelos informáticos de materiales reales según realizaciones.

FIG. 2 es un diagrama de flujo que ilustra un método para transferir parámetros de microescala a una imagen a escala renderizable de una muestra de material de acuerdo con realizaciones.

FIG. 3 es un diagrama de flujo que ilustra un método para transferir parámetros de microescala a una imagen a escala renderizable de una muestra de material de acuerdo con realizaciones.

FIG. 4 es un diagrama de flujo que ilustra un método para transferir parámetros de microescala a una imagen a escala renderizable de una muestra de material usando operaciones de aumento de acuerdo con realizaciones.

FIG. 5 es un diagrama de bloques que ilustra un sistema de adquisición de imágenes microscópicas de acuerdo con realizaciones.

FIG. 6 es un diagrama de flujo que ilustra un método para una transferencia de parámetros a microescala basada en aprendizaje automático de acuerdo con realizaciones.

FIG. 7 es una imagen que ilustra un mapa de albedo calculado y un mapa normal de una tela vaquero de acuerdo con una realización.

FIG. 8 es una imagen que ilustra la optimización de los parámetros SVBRDF para un material de tela vaquera de muestra de acuerdo con las realizaciones.

FIG. 9 es un diagrama de bloques que ilustra una visión general de un proceso de transferencia de textura según las realizaciones.

FIG. 10 es un diagrama de bloques que ilustra una visión general de un proceso de transferencia de segmentación de acuerdo con realizaciones.

Las figuras representan diversas realizaciones de ejemplo de la presente revelación con fines ilustrativos únicamente. Un experto en la materia reconocerá fácilmente en la siguiente discusión que otras realizaciones de ejemplo basadas en estructuras y métodos alternativos pueden implementarse sin apartarse de los principios de esta revelación y que están abarcados dentro del alcance de esta revelación.

DESCRIPCIÓN DETALLADA

Los métodos revelados satisfacen las necesidades anteriores y otras, un medio de almacenamiento no transitorio legible por computadora que almacena código ejecutable y sistemas para la captura óptica de propiedades geométricas y ópticas de materiales para el modelado de materiales en aplicaciones informáticas visuales, incluyendo, por ejemplo, diseño de prendas y modelado virtual, aplicaciones de captura de movimiento, diseño y simulación de biomecánica y ergonomía, educación, negocios, compras de realidad virtual y aumentada, y aplicaciones de entretenimiento, incluyendo animación y gráficos por computadora para películas digitales, juegos interactivos y videos, simulaciones de humanos, animales o personajes, aplicaciones de realidad virtual y aumentada, robótica, visión por computadora, aplicaciones de clasificación y reconocimiento, y similares.

Las Figuras y la siguiente descripción describen ciertas realizaciones a modo de ilustración solamente. Un experto en la materia reconocerá fácilmente a partir de la siguiente descripción que se pueden emplear realizaciones alternativas de las estructuras y métodos ilustrados aquí sin apartarse de los principios descritos aquí. Ahora se hará referencia en detalle a varias realizaciones, cuyos ejemplos se ilustran en las figuras adjuntas.

Muchos materiales del mundo real exhiben regularidades espaciales que pueden explotarse, por lo que solo es necesario capturar la microgeometría de un pequeño conjunto de parches del material para comprender completamente sus propiedades.

Ahora haciendo referencia a la FIG. 1, se ilustra un marco de aprendizaje automático para la generación de modelos informáticos de materiales reales de acuerdo con una realización. El marco 100 puede proporcionar un modelo utilizable por computadora de un material para aplicaciones de gráficos por computadora. Se usa una muestra física del material 101 para medir y determinar cualquiera de sus propiedades que se pueden usar en el modelo de computadora para modelar de manera realista el material con computadoras. Por ejemplo, los detalles a microescala del uso del material para el modelado por computadora para generar mapas de propiedades de los materiales pueden incluir, entre otros: edición de color; mapas de prominencia, desplazamiento, profundidad, normales, tangentes, transmitancia o alfa; detección de punto clave o borde; información de segmentación semántica; parámetros Cook- Torrance o de Disney; y fibras sueltas, por nombrar algunas. Los mapas de propiedades de acuerdo con las realizaciones de esta descripción son similares a los mapas de textura, pero pueden incluir propiedades adicionales del material que los mapas de textura convencionales no incluyen, tales como, por ejemplo, segmentación de hilo, etiqueta de urdimbre / trama de hilo, estructura tejida / de punto, fibras sueltas y torsión de fibra.

En una realización, el marco incluye un dispositivo de captura de microescala 103 con S fuentes de luz para muestrear un pequeño parche 102 de la muestra de material 101. Cabe señalar que se puede utilizar cualquier tipo de dispositivo de captura capaz de proporcionar suficiente detalle de microescala con diferentes condiciones de iluminación. El dispositivo de captura de microescala 103 se usa para capturar un conjunto de imágenes microscópicas C¡ =

{ ¡I j } de un parche 102) del material. En esta realización, cada imagen I[ j está iluminada por una fuente de luz diferente i E S. Con el conjunto de imágenes de microescala 104i, un módulo de cálculo de parámetros 105 calcula a partir de cada parche 102), un conjunto de P parámetros 106j u> p , V p E P. Cada parámetro w R puede ser cualquier tipo de parámetro de micro nivel, desde, por ejemplo, una imagen de un canal (u> p e ¾ 2 ), como en una máscara de segmentación, hasta una imagen de múltiples canales (u> p e ¾ 3 ), como en un albedo de color estándar.

El marco 100 incluye un sistema de aprendizaje automático 120, que recibe como entrada las imágenes capturadas en microescala C¡ 104i y una escala más alta l R 112, que pueden ser capturadas por cualquier tipo de dispositivo de captura apropiado para cada tipo de imagen. En realizaciones del sistema de aprendizaje automático 120, se usa un módulo de entrenamiento de aprendizaje automático 107 para aprender un mapeo M entre C¡ y w 7 de una manera que generaliza a las imágenes l R 112 del mismo material, de cualquier tamaño y tomadas bajo cualquier condición de iluminación . Por ejemplo, en algunas realizaciones, se usa una cámara 111 normal para capturar una o más imágenes de la muestra de material 101 con una sola fuente de luz. Cabe señalar que si un parche j no es lo suficientemente representativo de todos los detalles de microescala de la muestra de material 101, se pueden capturar múltiples parches j = (1, ..., n), para mejorar la calidad del mapeo M. Por ejemplo, los parches 102j en áreas con diferentes colores, texturas o similares, en la muestra de material se pueden crear imágenes para producir las imágenes microscópicas C¡ = { I j } 104i con cualquier número de parches 102) , j = (1, ..., n). Esto crea un conjunto de capturas de microescala C.

En realizaciones del sistema de aprendizaje automático 120, un módulo de aprendizaje automático 108 aplica el mapeo aprendido M para estimar los parámetros 113 W de cualquier imagen 112 I R del material a una escala superior o representable, que incluye, por ejemplo, entre otros parámetros, mapas de normales, especulares y de rugosidad. Según las realizaciones, el modelo M con el mapeo aprendido de un conjunto de capturas 104i de microescala (/E ) puede ajustarse a los parámetros en esa escala representable de acuerdo con las siguientes ecuaciones:

M (I R ) = W [Eq. 1]

En realizaciones del sistema de aprendizaje automático 120, un módulo de aprendizaje automático 108 aplica un mapeo aprendido M a una imagen de entrada I R 112 de un parche grande de un material 101 para generar una estimación de sus parámetros relevantes 113 W. En particular, los enfoques anteriores que aprenden solo de píxeles individuales, sin tener en cuenta la información del vecindario, es probable que fracasen porque los píxeles individuales no contienen suficiente información sobre los detalles de microescala del material 101 para proporcionar estimaciones precisas de los parámetros 106 w. La estimación mediante una sola imagen de muchos parámetros de microescala, como los mapas SVBRDF, es un problema mal planteado, ya que muchas combinaciones diferentes de parámetros pueden producir los mismos resultados. De acuerdo con los aspectos de estas realizaciones, las redes neuronales convoluci onales se utilizan en el módulo de aprendizaje automático 108. Las redes neuronales convolucionales (CNN) han demostrado tener éxito en la clasificación de imágenes, la segmentación y los problemas generativos, en parte debido a su eficacia en la integración de información espacial, gracias a sus campos receptivos más grandes. En particular, las arquitecturas de redes neuronales convolucionales codificador-decodificador han mostrado éxito en los problemas de adaptación de dominio. Este tipo de arquitectura de aprendizaje profundo combina un codificador, que proyecta las imágenes en un espacio latente con un pequeño número de variables, y un decodificador, que transforma ese espacio latente en el dominio deseado. En algunas realizaciones, se agregan conexiones de salto entre capas para aumentar la calidad visual de las salidas al preservar la información local. Por ejemplo, en una realización, la arquitectura U-net se implementa en el módulo de aprendizaje automático 108. Esta arquitectura proporciona una red totalmente convoluci onal capaz de proporcionar resultados a problemas de traducción de imagen a imagen.

De acuerdo con aspectos del módulo de aprendizaje 107 en diversas realizaciones, una serie de imágenes de microescala 104i ( C¡ = del material 101 bajo diferentes condiciones de iluminación permite la asociación de mismo conjunto de parámetros 106j (u>y) con esas imágenes 104i, que comparten correspondencia entre píxeles. Esto crea un conjunto de datos, (C j = con muchas redundancias que se explotan para encontrar el mapeo entre imágenes de un material j y su oy asociado, al entrenar un módulo de aprendizaje automático invariante a iluminación 108. Este módulo proporciona un mapeo M que se generaliza a imágenes nunca vistas 112 (IR) del mismo material a una escala renderizable tomada en cualquier tipo de condiciones de iluminación. De acuerdo con algunas realizaciones, una red neuronal está entrenada para transferir múltiples conjuntos de parámetros de microescala w 7 de un material a parches nunca vistos de tamaño macro o renderizable del mismo material 101, utilizando solo un conjunto de datos compuesto de imágenes 112 de ese mismo material. Según algunos aspectos de diversas realizaciones, el proceso de entrenamiento en el módulo de entrenamiento 107 incluye alimentar una red neuronal M con fragmentos de lotes aleatorios de imágenes de microescala de entrada elegidas aleatoriamente 104i I[ j . Para cada imagen 104i I[ , la red debe estimar el conjunto completo de parámetros 109j ¿Ú P , V p E P. Según las realizaciones, la red neuronal M aprende a minimizar un error global 110 £, que es la suma ponderada de la diferencia L p (por ejemplo, la norma ti) entre los parámetros pronosticados 109j w R y los parámetros verdaderos 106j w R

Según diversas realizaciones, el módulo de aprendizaje automático 108 incluye una red neuronal M que está entrenada con el módulo de entrenamiento 107. En realizaciones, la red neuronal M está diseñada sin añadir aleatoriedad a la salida o la red misma. Algunas arquitecturas de aprendizaje profundo de traducción de imagen a imagen requieren la adición de aleatoriedad porque están diseñadas para resolver problemas de traducción multimodal. Es decir, dada la misma imagen de entrada, la red puede generar múltiples imágenes de salida diferentes. Sin embargo, en algunas realizaciones, la arquitectura de aprendizaje profundo de la red neuronal M está optimizada para una operación unimodal, es decir, cada imagen 104i I[ j se asigna solo a una u>y. Por lo tanto, la adición de aleatoriedad a la salida o la red es innecesaria. Además, mientras que algunas redes neuronales requieren o pueden beneficiarse del uso de redes adversarias para mejorar su función de pérdida, en algunas realizaciones, la función de pérdida utilizada en la red neuronal M es lo suficientemente rica como para resolver el problema de transferencia de parámetros sin la necesidad de agregar redes adversarias. Por lo tanto, mientras que en diferentes realizaciones, la red neuronal M puede depender de la adición de aleatoriedad y / o redes adversarias, en realizaciones más eficientes estas técnicas no son necesarias. Esto es particularmente beneficioso para realizaciones en las que una red neuronal se entrena específicamente para cada material para el que se genera un modelo. En estas realizaciones, la red neuronal M puede implementarse con una arquitectura U-net de tamaño limitado. Por ejemplo, en realizaciones, se usa una red U-net superficial de 4 capas, con un pequeño número de parámetros entrenables. Esto permite un entrenamiento más rápido, así como un uso reducido de la memoria. Esta limitación de tamaño también es beneficiosa en el tiempo de inferencia. Como es una red totalmente convolucional, la red U- net puede recibir entradas de tamaños arbitrarios para algunas aplicaciones.

De acuerdo con una realización de ejemplo de un marco de transferencia de aprendizaje automático, se utiliza un marco de aprendizaje profundo PyTorch. En esta realización, una red neuronal M se entrena usando Adam [Kingma y Ba 2014], con un tamaño de lote de 10, una tasa de aprendizaje de 10 3 y una operación de normalización de lote después de cada capa de activación no lineal. Para fines de normalización de entrada, se calculan la media y la varianza de todos los mapas en u>y, así como una imagen de anclaje en I[ j . Las entradas de la red se estandarizan usando los parámetros de estandarización de la imagen ancla, y las salidas se estandarizan usando sus propios parámetros de estandarización. Usando este enfoque, en esta realización, la red neuronal M recibe entradas estandarizadas y aprende a emitir imágenes de varianza unitaria media 0. Este procedimiento de estandarización hace que la red neuronal M sea invariable a las intensidades de color globales, ya que solo aprende desviaciones con respecto a las intensidades medias precalculadas. Este enfoque puede usarse para mejorar la función de red en el tiempo de inferencia, ya que la imagen de entrada 112 puede no estar calibrada de la misma manera o tener las mismas intensidades de luz que las imágenes presentes en el conjunto de datos de entrenamiento 104i. En esta realización, la red neuronal M puede entrenarse, por ejemplo, para 1000 iteraciones, pero no se crea un conjunto de datos de evaluación o prueba para maximizar los datos utilizados para el entrenamiento. En otras realizaciones, se puede usar un número diferente de iteraciones y se pueden generar conjuntos de datos de evaluación o prueba. En esta realización, cada mapa generalmente se pondera por igual en la función de pérdida: Ai = A¡ V i, j e P. De acuerdo con esta realización, cuando se estiman los parámetros W de una imagen nunca vista I R , se usa la red neuronal M que tenía la L más pequeña en el tiempo de entrenamiento. La imagen nunca vista I R se estandariza utilizando su propia media y varianza, y la salida de la red se desestandariza utilizando los parámetros de estandarización w R . La operación de normalización por lotes no se realiza durante la fase de evaluación. En consecuencia, los mapas estimados de W tendrán aproximadamente la misma media y varianza que sus contrapartes originales w n.

Ahora haciendo referencia a la FIG. 2, se proporciona un método para transferir parámetros de microescala a una imagen a escala renderizable de una muestra de material de acuerdo con realizaciones. Se introduce un conjunto de imágenes a microescala I[ j 201. Se puede usar cualquier enfoque para capturar las imágenes a microescala. Además, también se ingresa un conjunto de parámetros de microescala w 7 del material 202. Se ha de tener en cuenta que estos conjuntos pueden incluir datos para cualquier número de parches de microescala j de la muestra de material. Las entradas se utilizan para entrenar 203 una red neuronal M , por ejemplo, de acuerdo con la ecuación 2. Una o más imágenes de escala renderizable I R son la entrada 204. Una vez que la red neuronal M ha sido entrenada 203, se aplica 205 M(I R )= W a las imágenes I R a escala renderizable para transferir los parámetros de microescala a las imágenes I R a escala renderizable como los parámetros de material W. Entonces, se extraen 206 los parámetros de material W. Por ejemplo, los parámetros de material W se utilizan para generar un mapa de propiedades asociado con la imagen de escala renderizable del material, como por ejemplo, un mapa de textura.

Ahora haciendo referencia a la FIG. 3, se proporciona un método para transferir parámetros de microescala a una imagen a escala renderizable de una muestra de material de acuerdo con realizaciones. Se obtiene un conjunto de imágenes a microescala /L 301. Por ejemplo, se utiliza un sistema basado en cámara a microescala con múltiples fuentes de iluminación para muestrear uno o más parches de una muestra de material. Además, también se ingresa un conjunto de parámetros de microescala w 7 del material 302. Se ha de tener en cuenta que estos conjuntos pueden incluir datos para cualquier número de parches de microescala j de la muestra de material. Las entradas se usan para entrenar 303 una red neuronal M , por ejemplo, de acuerdo con la Ecuación 2. Una o más imágenes de escala renderizable I R son la entrada 304. Una vez que la red neuronal M ha sido entrenada 303, se aplica 305 M(I R )= W a las imágenes I R a escala renderizable para transferir los parámetros de microescala a las imágenes I R a escala renderizable como los parámetros de material W. Entonces se extraen 306 los parámetros de material W. Por ejemplo, los parámetros de material W se utilizan para generar un mapa de propiedades asociado con la imagen a escala renderizable del material. Con referencia de nuevo a la FIG. 1, según otro aspecto del proceso de aprendizaje según algunas realizaciones, el módulo de entrenamiento 107 incluye un proceso de aumento de datos para entrenar las redes neuronales. En estas realizaciones, para proporcionar a la red más datos de entrenamiento que se pueden usar para hacer que la transferencia de parámetros a microescala sea invariable a varias propiedades de la imagen de entrada I R , como por ejemplo, color, iluminación, resolución espacial o similares, se pueden proporcionar operaciones de aumento de datos. Vale la pena señalar que las realizaciones que tienen un conjunto de entrada de imágenes de microescala 104i como múltiples imágenes de color bajo diferentes fuentes de iluminación ya proporcionan un buen rendimiento para generalizar los parámetros de microescala 106j a imágenes nuevas, nunca vistas 112 con diferentes configuraciones de iluminación potencial. Sin embargo, un proceso de aumento de datos puede mejorar aún más la robustez de la transferencia de parámetros a las variaciones en las imágenes de entrada a escala renderizable 112.

Según algunas realizaciones, las operaciones de aumento pueden incluir cualquier forma de aumento de los conjuntos de entrada de imágenes 104i o parámetros 106j usados para entrenamiento. Algunas realizaciones no implementan ningún aumento, algunas realizaciones implementan un subconjunto de operaciones de aumento, mientras que otras realizaciones implementan todas las operaciones de aumento. La selección de las operaciones de aumento para implementar se deja al implementador dependiendo de la aplicación prevista. Por ejemplo, haciendo referencia a la FIG. 4, se proporciona un método para transferir parámetros de microescala a una imagen a escala renderizable de una muestra de material usando operaciones de aumento de acuerdo con algunas realizaciones. Se introduce un conjunto de imágenes a microescala /L 401. Se puede usar cualquier enfoque para capturar las imágenes a microescala. Seguidamente, el conjunto de imágenes de microescala /L se aumenta 401 A a un conjunto de imágenes de microescala aumentada /U (/' = x*i) aplicando una o más operaciones de aumento. Para cada imagen de entrada i, se puede agregar cualquier cantidad de imágenes adicionales x al conjunto aumentado para cada operación de aumento. Además, también se introduce un conjunto de parámetros de microescala w 7 del material 402. El conjunto de parámetros de microescala w 7 también se aumenta 402A a un conjunto de parámetros de microescala aumentada w] aplicando una o más operaciones de aumento. Para cada parámetro u>y, se puede agregar cualquier número de parámetros aumentados w] al conjunto aumentado para cada operación de aumento. El conjunto de imágenes de microescala aumentada /U y el conjunto de parámetros de microescala aumentada w] se usan para entrenar 403 una red neuronal M, por ejemplo, de acuerdo con la Ecuación 2. Se ha de tener en cuenta que estos conjuntos pueden incluir datos para cualquier número de parches de microescala j de la muestra de material. Se introducen una o más imágenes de escala renderizable I R 404. Una vez que la red neuronal M ha sido entrenada 403, se aplica 405 M(I R )= W a las imágenes de escala renderizable I R para transferir los parámetros de microescala a las imágenes de escala renderizable I R como parámetros del material W. Entonces se extraen 506 los parámetros del material W. Por ejemplo, los parámetros del material W se utilizan para generar un mapa de propiedades asociado con la imagen a escala renderizable del material.

Según algunas realizaciones, se puede usar cualquier tipo de operaciones de aumento para aumentar el conjunto de datos de entrada para el entrenamiento. Por ejemplo, una operación de aumento incluye un reescalado aleatorio de las imágenes de entrada 104i. Según una realización, los detalles de microescala que se capturan en el proceso de estimación de parámetros 105 pueden no tener la misma escala en la imagen 112 de la muestra de material

101 para la que se generarán los parámetros 113 W. La razón de esta diferencia no es pertinente para la solución, pero puede deberse a diferencias de perspectiva, desalineaciones o debido a variaciones aleatorias en la muestra de material 101. Para abordar este problema, durante el entrenamiento de la red neuronal M , el módulo de entrenamiento 107 reescala al azar el conjunto de imágenes de entrada 104 I[ j y el conjunto de parámetros 106 w 7 para proporcionar un conjunto aumentado de imágenes de entrada y un conjunto aumentado de parámetros de entrada para entrenar la red neuronal M para hacer que M sea invariante a escala .

Como otro ejemplo, otra operación de aumento puede incluir variaciones de color aleatorias. Incluso si la microestructura del material 101 es relativamente homogénea y puede estimarse usando solo un pequeño parche j, puede que la red neuronal M no pueda estimar esta microestructura para partes del material con colores nunca vistos anteriormente. Esto se puede resolver fácilmente permutando aleatoriamente los canales de color de entrada de las imágenes de entrada 104 /L. El módulo de entrenamiento 107 cambia aleatoriamente los valores de los canales de color en el conjunto de imágenes de entrada 104 I¡ j para proporcionar un conjunto aumentado de imágenes de entrada, por ejemplo, la misma imagen con dos o más variantes agregadas con canals de color permutados al azar, para entrenar la red neuronal M para hacer que M sea invariante al color.

Como otro ejemplo más, las operaciones de aumento pueden incluir el recorte aleatorio de las imágenes de entrada 104. Durante el entrenamiento, el módulo de entrenamiento 107 alimenta la red neuronal M con imágenes pequeñas 104 I[ j de parches seleccionados al azar

102 de la muestra de material 101. Según algunas realizaciones, el módulo de entrenamiento 107 puede recortar aleatoriamente las imágenes de entrada 104 I¡ j para proporcionar un conjunto aumentado de imágenes de entrada, por ejemplo, la misma imagen con dos o más variantes agregadas con secciones recortadas aleatoriamente de la imagen original, para entrenar la red neuronal M para hacer que M sea invariante en tamaño. En las realizaciones, las operaciones de aumento se pueden combinar, por ejemplo, aplicando el conjunto de imágenes de aumento aleatorio de recorte ya aumentado, por ejemplo, conjuntos de imágenes aumentadas aleatoriamente iluminadas, reescaladas y / o coloreadas aleatoriamente. El uso de algunas o todas estas u otras operaciones de aumento en el proceso de entrenamiento proporciona una cantidad considerable de variaciones del mismo material en los datos de entrenamiento de entrada para la red neuronal M, lo que hace que el proceso de transferencia de parámetros sea más robusto y lo más generalizado posible.

Las realizaciones de un marco de transferencia de parámetros a microescala según esta descripción tienen muchas aplicaciones, incluida la estimación de parámetros de renderizado, detalles de microgeometría o máscaras de segmentación de imágenes. A modo de ejemplo, a continuación se proporcionan algunas realizaciones de implementación específicas.

Realización de estimación de mapas de propiedad

En una realización, se proporciona una estimación basada en la función de distribución de reflectancia bidireccional espacialmente variable ("SVBRDF"). De acuerdo con esta realización, se proporciona un método para estimar los parámetros BRDF que varían espacialmente de un material plano a partir de un conjunto de capturas de imagen micro y macroscópicas del material. A diferencia de los métodos existentes que predicen los valores de los parámetros utilizando un conjunto de datos de materiales capturados y una formulación basada en el aprendizaje, los métodos de acuerdo con esta realización se basan en principios físicos y se supervisan utilizando solo los datos capturados y los parámetros estimados para material.

Según estas realizaciones, la información de alta resolución de pequeños parches del material capturado a microescala se combina para alimentar un módulo de aprendizaje automático que puede extrapolar o transferir estos parámetros a un parche más grande del material. Se entrena un modelo de regresión del módulo de aprendizaje automático utilizando un enfoque invariante a escala, que permite que la imagen de parche más grande del material tenga cualquier tamaño, resolución de pixeles, y se pueda capturar con cualquier iluminación o dispositivo. Según las realizaciones, los datos obtenidos de una máquina de captura óptica ilustran el funcionamiento de este marco para SVBRDF definidas por cuatro conjuntos diferentes de parámetros: mapas de albedo, especular, rugosidad y normales. Sin embargo, el uso de cuatro parámetros es meramente ilustrativo, ya que puede usarse cualquier número de parámetros en otras realizaciones.

En una realización, se proporciona una configuración de adquisición que es capaz de capturar geometría y reflectancia a microescala, con un enfoque particular en la captura de SVBRDF. Si bien se puede usar cualquier sistema de captura de acuerdo con esta descripción, en esta realización se proporciona una adquisición microscópica con tres componentes principales como se ilustra en la FIG. 5: un domo de luz LED 501 que puede iluminar el material en diferentes ángulos, una cámara de visión artificial 502 que captura el material con una resolución microscópica y un soporte de muestra de material 503 en el que la muestra física del material se coloca para captura óptica. Además, se coloca una cámara 505 Digital Reflex de lente única ("DSLR") estándar (no se muestra) en la estructura del domo para capturar parches más grandes del material a una resolución espacial más baja, lo que será útil en el método de transferencia de textura de esta realización . Para obtener detalles adicionales sobre este tipo de sistema, consulte PCT / ES2019 / 000016 titulado “Sistema de captura de imágenes de microescala”, incorporado aquí como referencia en su totalidad.

En esta realización, se ilumina una muestra de un material para el que se van a capturar los parámetros SYBRDF utilizando una cúpula de luz en forma de hemisferio que contiene varios LED blancos 506, por ejemplo entre 70 y 100 LED 506, distribuidos uniformemente alrededor de los ángulos de acimut y cénit del material. Para cada LED 506i, se coloca un filtro polarizador lineal en una posición fija, lo que permite la estimación de los parámetros SYBRDF. Además, el domo de luz 501 también contiene tiras de LED (no mostradas) colocadas uniformemente alrededor de las varillas estructurales 507 del domo hemisférico 501, que se utilizan para capturar el material bajo iluminación difúsa. Para capturar detalles de microgeometría de la muestra de material, se utiliza una cámara de visión artificial 502 (por ejemplo, una Genie ™ Nano C4900 disponible de Teledyne DALSA de Waterloo, Ontario, Canadá), que puede capturar imágenes RGB con una resolución de 4912 c 3684 píxeles Además, una lente 508, como por ejemplo una lente Navitar® MVL50M23 disponible de Navitar Industries, LLC, de Rochester, NY, está conectada a la cámara de visión artificial 502. Esta configuración de cámara produce imágenes de 8,9 c 6,7 mm, con una resolución espacial de 1.8 mpi. El foco de la cámara se controla trasladándolo a lo largo del eje Z, utilizando un motor electrónico 509. Delante de la lente, se coloca un polarizador lineal (no mostrado) capaz de girar a cualquier posición deseada. El polarizador permite la separación de los componentes difusos y especulares del material. Al combinar múltiples exposiciones por LED, se obtiene una imagen de alto rango dinámico ("HDR") para cada ángulo de luz y configuración de polarización.

Además, según esta realización, se proporciona una cámara DSLR 505 disponible comercialmente, como por ejemplo una cámara EOS 5DS R, disponible de Canon U.S.A., Inc. de Melville, Nueva York, para capturar parches más grandes del material. Después de realizar una operación de deformación para corregir la perspectiva de la imagen digital, se obtiene una imagen HDR de 4000 c 4000 píxeles, que contiene un parche de 11 c 11 cm del material. Este tamaño de imagen y muestra de material es adecuado para crear mapas de texturas que pueden utilizarse por motores de renderizado en aplicaciones de gráficos por computadora.

De acuerdo con esta realización, la configuración de captura puede obtener geometría de microescala de alta resolución y mediciones de reflectancia a partir de compensaciones que deben considerarse, como la cantidad, el tipo y los costos de los LED, la rentabilidad de las cámaras y lentes, etc. Por medio de algoritmos de visión por computadora, se pueden omitir o eliminar los posibles artefactos que pueden surgir de defectos en el diseño o construcción del dispositivo de captura. Sin embargo, se deben utilizar polarizadores lineales tanto en la cámara como en los LED para obtener una separación precisa, basada en principios físicos, de las diferentes partes de los parámetros SVBRDF que se capturarán.

Ahora haciendo referencia a la FIG. 6, se proporciona un método para una transferencia de parámetros de microescala basada en aprendizaje automático de acuerdo con esta realización. Se captura un conjunto de imágenes del material C¡ = {if} 601. Cada imagen if se ilumina con una fuente de luz diferente Í E S y se colocan dos posiciones del polarizador frente al sensor de la cámara. La posición horizontal (p = 0) permite que pase toda la luz que tiene 0 grados de polarización. La posición vertical (p = 90) permite que pase toda la luz que tiene una polarización de 90 grados. Estas imágenes tienen un campo de visión de 8,9 c 6,7 mm y una resolución espacial de 1.8 mpi. Este conjunto de imágenes C¡ se puede capturar en múltiples ubicaciones j del material, creando un conjunto de datos de capturas C. Luego, la muestra de material se ilumina con iluminación difusa, y se captura una imagen a macroescala de la muestra de material 602, por ejemplo, con un campo de visión de 110 c 110 mm y una resolución espacial de 27 mpi. Esta imagen I R representa una aproximación de la reflectancia de la superficie del material.

Los parámetros especulares difusos a escala micro del material y sus valores normales se obtienen de estos conjuntos de captura. Por ejemplo, como se describe en Debevec et al. [2000] (incorporado por referencia), los componentes difusos y especulares de la apariencia del material se separan mediante el uso de polarizadores lineales en la cámara y cada una de las fuentes de luz. Debido a esta separación, se supone que el material tiene propiedades lambertianas (por lo que no muestra reflejos especulares), y la superficie normal se puede calcular utilizando técnicas estéreo fotométricas. El uso de luz polarizada y filtros para separar componentes difusos y especulares proporciona lo siguiente: el primer rebote de luz, es decir, la reflexión especular, mantiene el estado de polarización de la luz entrante, mientras que la luz que penetra en el material y está sujeta a múltiples rebotes de luz ( por ejemplo, dispersión simple y múltiple) dejará la superficie despolarizada. Por lo tanto, el albedo difuso a puede calcularse 603 como la suma de varias imágenes if capturadas bajo un conjunto predefinido de luces Í E S y ángulos de polarizador de la cámara. Para hacerlo, los reflejos especulares se bloquean colocando el polarizador lineal en la cámara en la posición horizontal y el polarizador lineal en cada una de nuestras fuentes de luz en el ángulo que minimiza los reflejos especulares, de modo que if = 7°. El albedo difuso a E ¾3 se calcula 603 basado en la ecuación 4:

Se ha de tener en cuenta que el polarizador frente al sensor bloquea la mitad de la radiación entrante. Para obtener la radianza completa, necesitamos sumar las imágenes capturadas desde las posiciones ortogonales del polarizador, I{ = 7° + l °.

Según las realizaciones, se pueden calcular 604 uno o más mapas de propiedades para el material. Por ejemplo, para calcular 604 un mapa especular, el filtro de polarización que se coloca en la cámara se gira 90 grados para obtener imágenes con reflectancia especular l ° . En esta configuración, el filtro de la cámara solo bloquea la mitad de la dispersión bajo la superficie, que se despolariza al abandonar el material. La diferencia entre l ° e 7°, imágenes con polarizaciones ortogonales, produce el componente especular asociado con cada dirección de luz i, / = 7 ° — 7°. El mapa especular se puede estimar inicialmente como k 5 e ¾2, que es la suma de los componentes especulares calculados en base a la ecuación 5:

Como otro ejemplo, también se puede calcular un mapa de rugosidad 604. Para inicializar el mapa de rugosidad, simplemente calculamos el inverso del mapa especular, mediante: k fi = 1 ~ k s [Eq. 6]

Además, dado el mismo conjunto de imágenes con solo reflectancia difusa {7 |i e 5} que se usaron para calcular el color albedo del material, el mapa fotométrico normal del material también se puede calcular 604. La superficie normal se puede calcular 604, por ejemplo, utilizando el método Fotométrico Estéreo [ver Woodham 1980] Bajo el supuesto de la reflectancia lambertiana, la reflectancia difusa if puede calcularse como el producto de la luz i en coordenadas 3D y la superficie normal n: 7° = i · n. Por lo tanto, las normales de superficie se calculan invirtiendo la ecuación anterior, dando como resultado la Ecuación 7: n = (. U L) A U I d [Eq. 7]

Con fines ilustrativos, en la figura 7 se ilustra un ejemplo de mapas de normales y de colores base calculados de acuerdo con esta realización. FIG. 7 ilustra un mapa de albedo calculado 701 y el mapa normal 702 de una tela vaquero de acuerdo con esta realización, que supone que la superficie es lambertiana bajo ciertas condiciones de polarización.

Los mapas calculados pueden ajustarse para que coincidan con la apariencia del material con mayor precisión, mediante un procedimiento de optimización 605. Este algoritmo de optimización puede modificar aún más los mapas para tener en cuenta otros factores, como aumentar su suavidad local, por ejemplo. Por ejemplo, haciendo referencia a la FIG. 8, se ilustran los resultados de la optimización de los parámetros SVBRDF de acuerdo con una realización. La FIG. 8 ilustra la optimización de los parámetros SVBRDF para un material de tela vaquero de muestra. Se muestran un mapa especular 801a y mapas de rugosidad 802a antes de la optimización, y un mapa especular 801b y un mapa de rugosidad 802b después de la optimización.

Con referencia de nuevo a la FIG. 6, se genera una pila de texturas microescala u>¡ 606. Los parámetros SVBRDF obtenidos usando el método de acuerdo con esta realización proporcionan una representación física de alta resolución de un parche muy pequeño de un material (por ejemplo, menos de 1 cm 2 ) . En esta realización, esta representación de material se convierte en la pila de texturas para resolución a microescala, y puede incluir, entre otros, mapas de albedo, normales, rugosidad, especular u opacidad. Tener una pila de texturas de tal resolución puede ser útil para comprender varias propiedades del material debido a su microestructura que de otro modo serían imposibles de observar en un rango de visualización normal. Como se señaló anteriormente, las propiedades de microescala se deben a microestructuras en el rango de 10 a 20 mieras, que no pueden capturar los sistemas típicos de captura de imagen a escala renderizable, ni pueden ser percibidas por los ojos humanos. Por lo tanto, esta pila de texturas a microescala es de poca utilidad para aplicaciones de gráficos por computadora que requieren un mosaico de la textura para adaptarse a un objeto de mayor escala. Por ejemplo, un problema que surge con texturas tan pequeñas son los artefactos repetitivos. Una solución potencial sería capturar directamente estos datos a una escala mayor, tal como lo hicieron los métodos recientes [Gao et al. 2019], sin embargo, faltarían detalles de la microgeometría. Estos detalles son útiles para estimar parámetros complejos del material, como por ejemplo, profundidad, transmitancia o fibras sueltas en los tejidos.

Una vez que se genera la pila de textura de microescala w 7 608, se puede entrenar una red neuronal de aprendizaje profundo M 607. El marco de transferencia para esta realización generalmente sigue las especificaciones para la descripción general del marco de las realizaciones descritas anteriormente. Uno de los aspectos de esta realización del marco de transferencia SVBRDF es que está completamente basado en principios físicos. La estimación de la pila de texturas a microescala w 7 calculada para cada una de las capturas Cj = { I j } se realiza utilizando parámetros físicamente realistas de una muestra real del material y los datos del material se capturan utilizando configuración calibrada La red neuronal M se entrena solo con estos parámetros físicamente correctos, utilizando solo una muestra de material como entrada. En consecuencia, el resultado del algoritmo de transferencia también es físicamente preciso, en contraste con otros modelos SVBRDF, que estiman los mapas de textura de diferentes materiales. Además, como los valores verdaderos para todos los mapas en w 7 se obtienen en esta realización, se puede calcular la intensidad media y la varianza para cada mapa. Estos valores verdaderos pueden transferirse exactamente a los mapas de salida W; en parte gracias al enfoque de estandarización utilizado en esta realización. Por lo tanto, los mapas estimados serán físicamente precisos y tendrán los mismos valores medios y de varianza que los mapas de verdaderos, que por definición son físicamente precisos.

Con referencia de nuevo a la FIG. 6, una vez que la red neuronal de aprendizaje profundo M ha sido entrenada 607 con los pequeños parches de microescala del material, la red se puede aplicar 608 a imágenes I R de mayor escala del material, de escala renderizable. En esta realización SVBRDF, para materiales que son suficientemente homogéneos, la aplicación 608 de la red neuronal M a una imagen de un parche más grande del mismo material I R transfiere los detalles de microgeometría encontrados en la pila de texturas de alta resolución o j a esa imagen. Muchos materiales del mundo real, como los tejidos, muestran estas características. En consecuencia, dada una o más capturas microscópicas Cj un material, así como una pila de texturas a microescala w 7 estimada para cada captura, la red neuronal de aprendizaje profundo M puede generar 609 el mapa de propiedades de material físicamente correcto, W, de un parche más grande del mismo material dada una sola imagen como entrada I R . Esta imagen de entrada puede ser de cualquier tamaño e iluminación. El I R utilizado como entrada para esta realización durante el tiempo de estimación se tomó bajo condiciones controladas (función de respuesta de cámara medida y calibrada, intensidades de LED, resolución espacial controlada, etc.). Esto permitió el uso de I R como una aproximación a la imagen de albedo que necesita el modelo SVBRDF. Para usar imágenes I R tomadas de configuraciones no controladas (iluminación desconocida, funciones de respuesta de la cámara, etc.) como un teléfono inteligente, se pueden realizar algunos cambios en el algoritmo para mejorar su solidez a las propiedades de la imagen de entrada.

Como se describió anteriormente, las realizaciones de los marcos de aprendizaje automático de acuerdo con esta revelación proporcionan políticas de estandarización y aumento de datos para aumentar la solidez en el rendimiento de transferencia. Por ejemplo, incluso si el color de las imágenes de entrada I R no coincide exactamente con lo capturado en el conjunto de datos de entrada C, la red de transferencia M puede aprender a ignorar esas diferencias y generar mapas de propiedades de materiales basados en principios físicos, incluyendo, por ejemplo, como se analiza a continuación, mapas de segmentación de hilo realistas. Sin embargo, pueden surgir varios problemas al usar esta configuración de transferencia en situaciones no controladas. Uno de los cuales está relacionado con cambios de geometría o variaciones en la imagen de escala renderizable de entrada I R . Si, por ejemplo, el dispositivo utilizado para capturar la imagen de entrada I R no está colocado correctamente (por ejemplo, el sensor no es coplanar a la muestra de material), pueden producirse cambios de perspectiva, lo que puede hacer que la transferencia funcione de manera subóptima. Para abordar esto, el aumento de datos se puede realizar para hacer que las redes sean invariantes a este tipo de problema. Además, el color de la imagen de entrada I R tomada con dispositivos no controlados puede no ser físicamente preciso, impidiendo así el uso de esta imagen como el albedo de la pila de texturas SVBRDF. Para abordar este problema, el marco de estimación SVBRDF se puede ampliar. Más precisamente, el albedo a¡ para cada parche C¡ puede calcularse y las pilas de texturas w 7 pueden ampliarse para incluir esos albedos calculados a¡. La red de transferencia M aprende a estimar el albedo a partir de cualquier imagen /U, que se generaliza al estimar los mapas de propiedades del material W dado I R .

Para un mejor rendimiento, el número de capturas microscópicas C j = { ¡[ j } y las pilas de texturas a microescala w 7 deben coincidir al menos con cualquier número de áreas de heterogeneidad diferentes que existan en la imagen objetivo del material. Esto proporcionaría un conjunto de datos de entrenamiento que es representativo de todas las diferentes propiedades que pueden estar presentes en una muestra de material dada. La FIG. 9 proporciona un diagrama de bloques que ilustra una visión general del proceso de transferencia de textura según las realizaciones. Un bloque de entrenamiento 901 ilustra el entrenamiento de la red neuronal JVC (U-NET) 902 para encontrar un mapeo entre cada una de las imágenes de entrada 1^(0 903 a los mapas de normales, rugosidad y especulares calculados en pilas de texturas a escala micro w 7 904. Una vez el entrenamiento ha convergido, un bloque de evaluación 905 ilustra la entrada de la imagen 906 a la red neuronal JVC (U-NET) 902 y la salida de la pila de texturas W 907, con sus mapas de normales, rugosidad y especular.

Los mapas de propiedad de material generados usando el marco de transferencia de esta revelación pueden usarse para cualquier aplicación de computación visual que se base en mapas de textura, o más ampliamente en mapas de propiedad, de materiales para su operación. Por ejemplo, diseño de prendas de vestir y modelado virtual, aplicaciones de captura de movimiento, diseño y simulación de biomecánica y ergonomía, educación, negocios, compras de realidad virtual y aumentada, y aplicaciones de entretenimiento, incluyendo animación y gráficos por computadora para películas digitales, juegos interactivos y vídeos, simulaciones de humanos, animales o personajes, aplicaciones de realidad virtual y aumentada, robótica, visión artificial, aplicaciones de clasificación y reconocimiento, y similares. Por ejemplo, en gráficos por computadora, los sistemas de representación utilizan mapas de propiedades de materiales para modelar de manera realista las propiedades visuales de los tejidos y otros materiales en los gráficos generados por computadora del tejido o material. Los gráficos generados se pueden usar para la visualización de imágenes en pantalla, como fotogramas de vídeo, en todo tipo de aplicaciones, incluidos cascos de realidad virtual, pantallas de monitor de computadora, pantallas de dispositivos móviles y similares. Las imágenes generadas se pueden descargar, transmitir o transferir de otro modo desde un sistema basado en servidor a uno o más dispositivos de cliente para su visualización. El sistema de renderizado representa el efecto de la interacción entre el material y la iluminación simulada, la gravedad y otras propiedades del mundo físico, y se muestra en función de los mapas de propiedades del material. Estos efectos incluyen imágenes fijas fotorrealistas, vídeos de realidad aumentada, animaciones de realidad virtual y todas las demás formas de gráficos por computadora. Del mismo modo, los mapas de propiedades se pueden usar en aplicaciones de visión por computadora para reconocer materiales u objetos específicos usando la visión por computadora.

Realización de transferencia de segmentación de hilo Según otro aspecto de la revelación, el marco de transferencia de micro a macro de las realizaciones descritas anteriormente se puede usar en muchos otros escenarios. Por ejemplo, uno de esos usos es para resolver el problema de segmentación de hilo semi-supervisado de una sola imagen. Según una realización, un usuario proporciona máscaras para algunos de los hilos que aparecen en una imagen de entrada y la red neuronal M debe aprender a transferir esta segmentación al resto de la imagen.

Ahora haciendo referencia a la FIG. 10, se muestra un diagrama de bloques que ilustra una visión general de un proceso de transferencia de segmentación según esta realización. Un bloque de entrenamiento 1001 ilustra el entrenamiento de la red neuronal M (U-NET) 1002 para encontrar un mapeo entre un pequeño recorte de una imagen de entrada 7 rf (0 / ) 1003 a segmentaciones de hilo proporcionadas por el usuario 1004. Una vez que el entrenamiento ha convergido, un bloque de evaluación 1005 ilustra la entrada de una imagen de albedo 1006 a la red neuronal M (U-NET) 1002 y la salida de la segmentación de los hilos de la imagen de albedo completa 1007. Según esta realización, un usuario proporciona como entrada una identificación de segmentos del hilo en un pequeño parche j alrededor del centro de una imagen de entrada I d. La red neuronal M está entrenada para mapear recortes de la imagen de entrada I d a su segmentación proporcionada por el usuario correspondiente. Cuando está completamente entrenada, la red puede segmentar todos los hilos en la imagen correctamente. La descripción anterior de las realizaciones se ha presentado con fines ilustrativos; no pretende ser exhaustiva o limitar los derechos de patente a las formas precisas reveladas. Las personas expertas en la técnica relevante pueden apreciar que son posibles muchas modificaciones y variaciones a la luz de la descripción anterior.

Algunas partes de esta descripción describen las realizaciones en términos de algoritmos y representaciones simbólicas de operaciones sobre información. Estas descripciones algorítmicas y representaciones son comúnmente utilizadas por los expertos en las técnicas de procesamiento de datos para transmitir la esencia de su trabajo de manera efectiva a otros expertos en la materia. Estas operaciones, aunque se describen funcionalmente, computacionalmente o lógicamente, se entienden implementadas por programas informáticos o circuitos eléctricos equivalentes, microcódigos o similares. Además, en ocasiones ha resultado conveniente referirse a estos conjuntos de operaciones como módulos, sin pérdida de generalidad. Las operaciones descritas y sus módulos asociados pueden estar incorporados en software, firmware, hardware o cualquier combinación de los mismos. Estos módulos pueden implementarse en sistemas basados en servidor que interactúan con los sistemas del cliente a través de una red informática, como Internet, a través de la cual los resultados obtenidos con los módulos se comunican a los sistemas del cliente para enviarlos a los usuarios. Por ejemplo, en aplicaciones de gráficos por computadora, los gráficos realistas con materiales modelados, como telas, se calculan en los servidores y se comunican a los sistemas del cliente para su visualización. Alternativamente, los módulos pueden implementarse en sistemas cliente, por ejemplo, en aplicaciones de diseño o aplicaciones de gráficos basadas en el cliente, como por ejemplo aplicaciones de videojuegos.

Cualquiera de los pasos, operaciones o procesos descritos en este documento puede realizarse o implementarse con uno o más módulos de hardware o software, solos o en combinación con otros dispositivos. En una realización, se implementa un módulo de software con un producto de programa de computadora que comprende un medio legible por computadora que contiene código de programa de computadora, que puede ser ejecutado por un procesador de computadora para realizar cualquiera o todos los pasos, operaciones o procesos descritos. Las realizaciones también pueden relacionarse con un aparato para realizar las operaciones en este documento. Este aparato puede construirse especialmente para los fines requeridos, y / o puede comprender un dispositivo informático de propósito general activado o reconfigurado selectivamente por un programa de computadora almacenado en la computadora. Dicho programa de computadora puede almacenarse en un medio de almacenamiento legible por computadora tangible, no transitorio, o en cualquier tipo de medio adecuado para almacenar instrucciones electrónicas, que pueden acoplarse a un bus del sistema informático. Además, cualquier sistema informático mencionado en la especificación puede incluir un único procesador o pueden ser arquitecturas que emplean diseños de múltiples procesadores para una mayor capacidad informática.

Finalmente, el lenguaje utilizado en la especificación se ha seleccionado principalmente para fines de legibilidad e instrucción, y puede que no se haya seleccionado para delinear o circunscribir el tema inventivo. Por lo tanto, se pretende que el alcance de los derechos de patente esté limitado no por esta descripción detallada, sino más bien por cualquier reclamo que se emita en una solicitud basada en este documento. Por consiguiente, la revelación de las realizaciones pretende ser ilustrativa, pero no limitativa, del alcance de los derechos de patente, que se expone a continuación.

REFERENCIAS

Las siguientes referencias se incorporan aquí para todos los propósitos: Paul Debevec, Tim Hawkins, Chris Tchou, Haarm-Pieter Duiker, Westley Sarokin, and Mark Sagar. 2000. Acquiring the reflectance field of a human face. In Proceedings of the 27th annual conference on Computer graphics and Interactive techniques. 145-156.

Valentín Deschaintre, Miika Aittala, Frédo Durand, George Drettakis, and Adrien Bousseau. 2019. Flexible SVBRDF Capture with a Multi-Image Deep Network. In Computer Graphics Forum, Vol. 38. Wiley Online Library, 1-13.

Yuki Endo, Satoshi Iizuka, Yoshihiro Kanamori, and Jun Mitani. 2016. Deepprop: Extracting deep features from a single image for edit propagad on. In Computer Graphics Forum, Vol.

35. Wiley Online Library, 189-201.

Duan Gao, Xiao Li, Yue Dong, Pieter Peers, Kun Xu, and Xin Tong. 2019. Deep inverse rendering for high-resolution SVBRDF estimation from an arbitrary number of images. ACM Transactions on Graphics (TOG) 38, 4 (2019), 1-15.

Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, and Alexei A Efros. 2017. Image-to-image translation with conditional adversarial networks. In Proceedings of the IEEE conference on Computer visión and pattern recognition. 1125-1134.

Ali Kamen, Fred S Azar, and John V Frangioni. 2013. Integration of micro and macro Information for biomedical imaging. US Patent 8,386,015.

Diederik P Kingma and Jimmy Ba. 2014. Adam: A method for stochastic optimization. arXiv preprint arXiv: 1412.6980 (2014).

Hsin-Ying Lee, Hung-Yu Tseng, Jia-Bin Huang, Maneesh Singh, and Ming-Hsuan Yang. 2018. Diverse image-to-image translation via disentangled representations. In Proceedings of the European conference on Computer visión (ECCV). 35-51.

Jianxin Lin, Yingce Xia, Tao Qin, Zhibo Chen, and Tie-Yan Liu. 2018. Conditional image- to-image translation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 5524-5532.

Min Ni, Jianjun Lei, Runmin Cong, Kaifu Zheng, Bo Peng, and Xiaoting Fan. 2017. Color- guided depth map super resolution using convolutional neural network. IEEE Access 5 (2017), 26666-26672.

Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Lúea Antiga, et al. 1912. PyTorch: An Imperative Style, High-Performance Deep Leaming Library.(2019). arXiv preprint arXiv: 1912.01703 (1912). Gernot Riegler, David Ferstl, Matthias Rüther, and Horst Bischof. 2016. A deep primal- dual network for guided depth super-resolution. arXiv preprint arXiv: 1607.08569 (2016).

Mei Wang and Weihong Deng. 2018. Deep visual domain adaptation: A survey. Neuro- computing 312 (2018), 135-153. Woodham, R.J. 1980. Photometric method for determining surface orientation from múltiple images. Optical Engineering 19, 1, 139-144.