DESCRIPCIÓN

OBJETO DE LA INVENCIÓN

La presente invención se refiere al campo técnico del análisis asistido por computador de imágenes médicas y más concretamente al procesado en redes neuronales de imágenes radiográficas, como radiografías de tórax en orientación posteroanterior, para una detección automática de indicios de patologías que pueden ayudar a los especialistas en su posterior diagnóstico.

ANTECEDENTES DE LA INVENCIÓN

Actualmente, las imágenes radiológicas son una herramienta de diagnóstico preliminar de detección o diagnóstico temprano utilizada principalmente para descartar multitud de diferentes enfermedades, sobre todo cardiovasculares y respiratorias, en las que la detección temprana se torna crucial.

Las radiografías de tórax siguen siendo la técnica de examen diagnóstico realizada con mayor frecuencia, donde especialmente las vistas posteroanterior y lateral son fundamentales para observar estructuras anatómicas importantes como el corazón, los pulmones y los huesos.

Interpretar dichas radiografías de tórax, es una tarea compleja que requiere mucho tiempo de personal altamente cualificado que, enfrentados a altas cargas de trabajo, aumentan los retrasos en sus diagnósticos e incrementan los errores de interpretación.

El estado del arte contempla algunos sistemas de ayuda para los especialistas basados en inteligencia artificial y unidades de procesamiento gráfico que, basándose en bancos de datos de imágenes previamente clasificadas, realizan un primer filtrado de las radiografías que asigna una probabilidad en cada radiografía de presentar una patología concreta, lo que permite al especialista priorizar su lista de trabajo.

Entre otros problemas, estas soluciones se centran en patologías específicas y utilizan clasificadores independientes que no son capaces de evaluar el amplio espectro de posibles patologías presentes en una radiografía de tórax. Una de las consecuencias es que resulta demasiado arriesgado descartar una radiografía u organizar una lista de trabajo basada únicamente en probabilidades de patologías específicas e independientes.

Por tanto, se echa en falta en el estado del arte una solución que no requiera la intervención de ningún especialista para, sin llegar a diagnosticar, poder clasificar radiografías de acuerdo a una identificación preliminar y automática de anomalías. Un sistema de clasificación automática de radiografías de tórax tendría un valor importante para pacientes, clínicos y organizaciones de atención médica, ayudando principalmente a los radiólogos a priorizar los exámenes de interpretación a aquellas radiografías con anomalías identificadas.

DESCRIPCIÓN DE LA INVENCIÓN

Con el fin de alcanzar los objetivos y evitar los inconvenientes mencionados anteriormente, la presente invención describe, en un primer aspecto un método para identificar una anomalía en una imagen radiográfica de tórax basado en redes neuronales que comprende:

- proporcionar la imagen radiográfica de tórax a un módulo de clasificación, donde el módulo de clasificación comprende una pluralidad de redes neuronales convolucionales, entrenadas cada una de ellas para identificar al menos un patrón gráfico específico asociado a una patología;

- obtener, por cada una de las redes neuronales convolucionales, una probabilidad de detección de al menos un patrón gráfico específico;

- recibir en una red neuronal totalmente conectada las probabilidades obtenidas por cada una de las redes convolucionales; y

- determinar, por la red neuronal totalmente conectada, si la imagen radiográfica de tórax contiene una anomalía, basado en las probabilidades de detección de patrones gráficos específicos proporcionadas por la pluralidad de redes convolucionales.

Así, ventajosamente se consigue uno de los objetivos de la presente invención, el facilitar el trabajo de los radiólogos realizando una selección de radiografías de tórax, dando un resultado preliminar de "normal" o "anormal", lo que significa que se han detectado en los patrones gráficos ciertos indicios de enfermedades cardiovasculares o respiratorias que requerirían ser evaluadas por un radiólogo de manera prioritaria. En una realización de la invención, cada una de las redes neuronales convolucionales son entrenadas con respectivos conjuntos balanceados de imágenes de entrenamiento previamente etiquetadas en una partición binaria, que clasifica el conjunto en dos mitades de imágenes, en función de si satisfacen un criterio específico para cada una de las redes convolucionales. Ventajosamente, el reparto balanceado para cada una de las redes neuronales convolucionales permite afinar la clasificación de cada una de ellas, al proporcionarles datos de entrenamiento representativos de ambas clases, “normal” y “anormal”.

En una realización de la invención, se contempla entrenar la red neuronal totalmente conectada con un conjunto balanceado de imágenes de entrenamiento previamente etiquetadas en una partición binaria, que clasifica el conjunto en dos mitades de imágenes en función de si se identifica una anomalía en ellas. Así, ventajosamente, la red neuronal totalmente conectada proporciona a su salida una clasificación en la que han sido tenidos en cuenta todos los resultados parciales que proporcionan las redes neuronales convolucionales, de manera que el resultado final no resulta sesgado por ninguna patología en concreto, sino que ofrece un resultado global. Específicamente, en una de las realizaciones de la invención, el entrenamiento de la red neuronal se realiza con particiones balanceadas del conjunto de datos público ChestXray14.

Adicionalmente, se contempla en una de las realizaciones de la presente invención un procesamiento de la imagen radiográfica previo al paso de proporcionar dicha imagen al módulo de clasificación, donde el procesado comprende: normalizar la imagen radiográfica de tórax a valores de gris (intensidad de píxel) en un rango entre 0 y 1 ; re escalar filas y columnas de la imagen normalizada a un tamaño de 256x256; y ecualizar el histograma de valores de gris de la imagen re-escalada.

La pluralidad de redes neuronales convolucionales pueden definirse según una arquitectura VGG-19, donde la pluralidad de redes neuronales convolucionales están configuradas para aceptar matrices de tamaño 256x256x3.

En una de las realizaciones se contempla sustituir las capas totalmente conectadas de la arquitectura VGG-19 por una capa totalmente conectada personalizada con dos neuronas de salida y proporcionar la probabilidad de detección de salida haciendo uso de la función de activación‘Softmax’ como capa final de cada red neuronal convolucional.

De acuerdo a una de las realizaciones de la invención, cada una de las redes neuronales convolucionales comprende una serie de bloques convolucionales, además comprende añadir una capa de reducción de salida entre dicha serie de bloques convolucionales y la capa totalmente conectada personalizada.

Para obtener una probabilidad de detección del al menos un patrón gráfico específico, en cada una de las redes neuronales convolucionales, se contemplan los pasos de: filtrar mediante operaciones de convolución la imagen radiográfica de tórax, en los bloques convolucionales de cada una de las redes neuronales convolucionales; reducir la imagen radiográfica de tórax, en las capas de reducción intermedias intercaladas en los bloques convolucionales, mediante una división en subregiones de dicha imagen, las cuales son sustituidas por el máximo valor de la subregión, y mediante el promediado de los valores de gris de la salida de los bloques convolucionales, en la capa de reducción de salida; y clasificar el resultado de la capa de reducción de salida por las dos neuronas de salida de la capa totalmente conectada personalizada, en una clase de las dos disponibles.

Adicionalmente, en una de las realizaciones de la invención, se contempla generar un mapa de calor basado en las salidas de la capa de reducción de salida.

Un segundo aspecto de la invención se refiere a un sistema para identificar una anomalía en una imagen radiográfica de tórax basado en redes neuronales, que comprende:

- un módulo de clasificación, configurado para recibir la imagen radiográfica de tórax, donde dicho módulo de clasificación comprende una pluralidad de redes neuronales convolucionales, entrenadas cada una de ellas para identificar al menos un patrón gráfico específico asociado a una patología y obtener una probabilidad de detección del al menos un patrón gráfico específico; y

- una red neuronal totalmente conectada, configurada para recibir las probabilidades obtenidas por cada una de las redes convolucionales del módulo de clasificación y para determinar si la imagen radiográfica de tórax contiene una anomalía, basado en las probabilidades de detección de patrones gráficos específicos proporcionadas por la pluralidad de redes neuronales convolucionales.

Cada una de las redes convolucionales del módulo de clasificación comprende, de acuerdo a una de las realizaciones de la invención: unos bloques convolucionales configurados para filtrar, mediante una operación de convolución la imagen radiográfica de tórax; unas capas de reducción intermedias configuradas para reducir la imagen radiográfica de tórax mediante una división en subregiones de dicha imagen, las cuales son sustituidas por el máximo valor de la subregión; una capa de reducción de salida para reducir la imagen mediante el promediado de sus valores gris; y una capa totalmente conectada personalizada configurada para clasificar el resultado de la capa de reducción de salida por las dos neuronas de salida, en una clase de las dos disponibles.

Adicionalmente, se contempla en una de las realizaciones que la pluralidad de redes convolucionales son redes convolucionales independientes específicamente entrenadas cada una de ellas para determinar una probabilidad de presencia de una de las siguientes patologías: atelectasia, cardiomegalia, derrame pleural, infiltración, masa, nodulo, neumonía, neumotorax, consolidación, edema, enfisema, fibrosis, engrasamiento pleural y hernia diafragmática.

En una de las realizaciones de la presente invención, se contempla un módulo procesador configurado para recibir la salida de las capas de reducción de salida de las redes neuronales convolucionales y generar un mapa de calor con información de al menos un patrón gráfico asociado a cada patología identificada.

La presente invención presenta así un ventajoso sistema de aprendizaje profundo basado en redes neuronales convolucionales como herramienta de diagnóstico asistido por computador para la clasificación de radiografías de tórax y priorizar las listas de trabajo radiológicas.

Un último aspecto de la presente invención se refiere a un método implementado por ordenador para identificar una anomalía en una imagen radiográfica de tórax basado en redes neuronales que comprende: proporcionar la imagen radiográfica de tórax a un módulo de clasificación, donde el módulo de clasificación comprende una pluralidad de redes neuronales convolucionales, entrenadas cada una de ellas para identificar al menos un patrón gráfico específico asociado a una patología; obtener, por cada una de las redes neuronales convolucionales, una probabilidad de detección de al menos un patrón gráfico específico; recibir en una red neuronal totalmente conectada las probabilidades obtenidas por cada una de las redes convolucionales; y determinar, por la red neuronal totalmente conectada, si la imagen radiográfica de tórax contiene una anomalía, basado en las probabilidades de detección de patrones gráficos específicos proporcionadas por la pluralidad de redes convolucionales.

En una realización de ¡a presente invención, al menos uno del módulo de clasificación y la red totalmente conectada están implementados en una unidad central de procesamiento CPU. Adicíonalmente, en una realización específica de la presente invención, al menos uno del módulo de clasificación y la red totalmente conectada, está implementado en una unidad de procesamiento gráfico GPU de apoyo a la unidad central de procesamiento.

En una de las realizaciones de la presente invención se contempla implementar la red neuronal totalmente conectada en hardware reconfigurable.

Entre los rasgos más diferenciadores de la presente invención, cabe destacar la ventajosa agrupación de diferentes Redes Neuronales Convolucionales (CNN) y conexión con una Red Neuronal Totalmente Conectada (FCNN), a la que se ha denominado en este documento“Red Neuronal de Arbitraje”. Ventajosamente, el entrenamiento de las redes neuronales convolucionales, especializadas en detectar patrones de imagen característicos de patologías específicas en radiografías de tórax, se utiliza posteriormente para entrenar la mencionada Red Neuronal de Arbitraje, la cual obtiene en su salida la probabilidad de que la radiografía de tórax sea “anormal”, es decir, patológica.

Por todo lo anterior, la presente invención resulta una valiosa aportación al estado del arte, donde las soluciones conocidas entrenan los sistemas de Inteligencia Artificial en un solo paso, sin llegarse a plantear la inclusión de una segunda red neuronal capaz de aprender de los errores de las anteriores para proporcionar la probabilidad de una radiografía de tórax de ser normal/anormal.

BREVE DESCRIPCIÓN DE LAS FIGURAS

Para completar la descripción de la invención y con objeto de ayudar a una mejor comprensión de sus características, de acuerdo con un ejemplo preferente de realización de la misma, se acompaña un conjunto de dibujos en donde, con carácter ilustrativo y no limitativo, se han representado las siguientes figuras: - La figura 1 representa un diagrama de bloques de una realización de la invención.

- La figura 2 representa en detalle una realización de una de las redes neuronales convolucionales del módulo de clasificación.

DESCRIPCIÓN DETALLADA DE LA INVENCIÓN

La presente invención divulga un método y un sistema para clasificar radiografías de tórax en dos grupos, normal/anormal, basados en la identificación automática de rasgos propios de diferentes patologías.

La figura 1 representa los bloques básicos de la invención, según una de sus realizaciones, donde la imagen 1 es procesada por un conjunto 2 de redes neuronales convolucionales, abreviadas como CNN, especializadas cada una de ellas en una patología concreta, entrenadas previamente con una gran base de datos balanceada. Cada una de las CNN proporciona a su salida una probabilidad de la presencia/ausencia de una patología específica y una selección de las regiones de la imagen que más han influido en la probabilidad proporcionada.

Las anomalías en una radiografía de tórax pueden deberse a una gran variedad de patologías y verse representadas de forma diferente en diferentes zonas de la imagen, de manera que hay multitud de posibles combinaciones. No es posible establecer una linealidad entre los indicios obtenidos a partir de una sola CNN y una clasificación normal/anormal de salida como la que persigue la presente invención, por lo que las salidas de las CNN se agrupan en la entrada de una Red Neuronal Totalmente Conectada 3 (a la que también se hará referencia en este documento como “Red Neuronal de Arbitraje”) que ha sido entrenada con una gran base de datos para combinar las predicciones de cada una de las CNN y obtener así en su salida 4 la probabilidad de anormalidad final para clasificar las imágenes.

En una realización de la invención, se contempla un pre-procesado de la imagen de entrada, mediante técnicas de normalización de niveles de intensidad de gris y con re escalado de filas y columnas. Por ejemplo, tomando una radiografía de tórax posteroanterior, se procede a normalizarla a valores de gris en el rango [0, 1], un re- escalado de filas y columnas a un tamaño de 256x256 y una ecualización del histograma de niveles de gris.

En una de las realizaciones de la invención, cada una de las CNN especializadas en una patología concreta está definida basándose en la arquitectura VGG-19. El conjunto 2 de redes neuronales convolucionales comprende catorce CNN específicas para catorce patologías, pero de una manera evidente podría ampliarse el número de redes y patologías en otras realizaciones. Las catorce CNN de esta realización son: CNN atelectasia 100, CNN cardiomegalia 101 , CNN derrame pleural 102, CNN infiltración 103, CNN masa 104, CNN nodulo 105, CNN neumonía 106, CNN neumotorax 107, CNN consolidación 108, CNN edema 109, CNN enfisema 110, CNN fibrosis 111 , CNN engrasamiento pleural 112 y CNN hernia diafragmática 113. Cada una de las redes CNN proporciona la probabilidad de presencia/ausencia de una de las patologías listadas, así como un mapa de atención con los patrones característicos de la patología en la imagen en caso de que se haya identificado dicha patología.

La figura 2 representa de una forma más detallada, la estructura de estas redes CNN del conjunto 2 de la figura 1 , donde la imagen de entrada 1 es proporcionada a una serie de bloques 21-25, formados por capas convolucionales que se alternan con capas de reducción intermedias, diseñados según la arquitectura VGG-19:

- El bloque 21 está formado por 2 capas convolucionales, con 64 filtros de tamaño 3x3 y una capa de reducción ‘Max Pooling’ con agrupamiento de regiones de tamaño 2x2.

- El bloque 22 está formado por 2 capas convolucionales, con 128 filtros de tamaño 3x3 y una capa de reducción ‘Max Pooling’ con agrupamiento de regiones de tamaño 2x2.

- El bloque 23 está formado por 4 capas convolucionales, con 256 filtros de tamaño 3x3 y una capa de reducción ‘Max Pooling’ con agrupamiento de regiones de tamaño 2x2.

- Los bloques 24 y 25 están formados por 4 capas convolucionales, con 512 filtros de tamaño 3x3 y una capa de reducción ‘Max Pooling’ con agrupamiento de regiones de tamaño 2x2.

- El bloque 26 está formado por la capa de reducción de salida‘Global Average Pooling’ la cual promedia los valores de los distintos canales de los resultados del bloque 25.

Para el entrenamiento de las catorce redes neuronales CNN de esta realización, se sigue la arquitectura VGG-19. El conjunto de datos de entrenamiento escogido para establecer la inicialización de los pesos de las CNN es el set de datos público Imagenei con el objetivo de utilizar‘Transfer Learning’. Estas redes CNN se configuran para aceptar como entrada matrices de tamaño 256x256x3, las cuales son las radiografías de tórax de entrada después de haber pasado por la etapa de pre-proceso explicada anteriormente. Además, las capas Totalmente Conectadas de esta arquitectura se descartan para añadir otra Capa Totalmente Conectada personalizada 27 con dos neuronas de salida 31, 32, las cuales hacen uso de la función de activación‘Softmax’ como capa clasificadora final para procesar sus salidas y proporcionar una probabilidad de que la imagen presente una patología específica o no.

Entre las capas Convolucionales 21-25 y las Totalmente Conectadas 27 de la red se incluye una capa de reducción de salida 26‘Global Average Pooling’, cuyas salidas son utilizadas posteriormente para generar los mapas de atención del sistema, que pueden tomar por ejemplo la forma de mapas de calor. La capa‘Global Average Pooling’ conecta directamente los mapas de activación a la salida del bloque 24 con cada una de las neuronas de salida 31 , 32 a través de los pesos de la red asociados a las conexiones del bloque 25 con el bloque 27.

Cada una de las redes CNN se entrena con un set de datos balanceado de radiografías de tórax etiquetadas previamente con la presencia/ausencia de una patología específica. Este requisito de proporcionar un set de datos balanceado hace necesario que el set de datos de entrenamiento sea diferente para cada una de las patologías. En esta realización el proceso de entrenamiento tiene una duración de 100‘epochs’ y un‘batch size’ de entrada a la red de 200, utilizando‘ categórica I cross-entropy’ como función de coste. Durante el entrenamiento se aplican transformaciones aleatorias sobre las imágenes del set de datos por medio de rotaciones, translaciones y volteos. Las redes son validadas con un set de datos diferente del utilizado para entrenarlas, pero etiquetado de la misma forma. Este nuevo set de datos es analizado por las redes para obtener ciertas medidas como el área bajo la curva‘ROC’, la precisión, exactitud, sensibilidad y especificidad.

Las probabilidades obtenidas por las CNN a su salida son proporcionadas en la entrada de la Red Neuronal de Arbitraje 3, la cual, a partir de las probabilidades de las CNN, estima la probabilidad de anormalidad de la imagen y las clasifica finalmente como “anormal”, es decir, con patrones gráficos indicativos de patología o “normar (no patológica

La Red Neuronal de Arbitraje 3 es una Red Neuronal Totalmente Conectada compuesta por dos neuronas, cuya entrada es un vector de catorce componentes (en otras realizaciones con diferente número de redes CNN el vector de entrada también se dimensiona de acuerdo al número de redes CNN) y con ‘Softmax’ como función de activación. Esta red se entrena con un set datos formado por las probabilidades de cada una de las catorce patologías analizadas mediante las Redes Neuronales Convolucionales 100-113 entrenadas según se ha explicado anteriormente. Estos vectores de catorce componentes se etiquetan indicando si la imagen que ha sido analizada para obtenerlos contenía o no una patología, es decir, si la imagen era normal o anormal. En esta realización, esta Red Neuronal de Arbitraje 3 se entrena durante 1000 ‘epochs’ y un‘batch size’ de entrada a la red de 200 muestras, utilizando‘ categórica I cross-entropy’ como función de coste. Del mismo modo que las Redes Neuronales Convolucionales CNN, la bondad de esta Red Neuronal de Arbitraje 3 se evalúa utilizando un set de datos distinto al que se ha utilizado durante el entrenamiento y se obtiene como indicadores de robustez el área bajo la curva ‘ROC’, la precisión, la exactitud, sensibilidad y especificidad.

El sistema y método para identificar anomalías en radiografías de la presente invención, puede integrarse en infraestructuras de almacenamiento de imágenes médicas con el fin de priorizar el informado de las imágenes patológicas por parte del personal sanitario pertinente.

Adicionalmente puede proporcionar un informe de fácil interpretación con los resultados que incluye la siguiente información: una tabla con información del paciente; una imagen de la radiografía de tórax analizada; una imagen de la radiografía de tórax original con un mapa de atención superpuesto en caso de que la imagen se haya clasificado como “ anormal“ o patológica, el cual indica las regiones de la imagen donde el sistema ha detectado patrones característicos de patología; un listado de las tres patologías más probables en caso de que la imagen haya sido clasificada como “anormal·’ una probabilidad de anormalidad de la radiografía.

La presente invención no debe verse limitada a la forma de realización aquí descrita. Otras configuraciones pueden ser realizadas por los expertos en la materia a la vista de la presente descripción. En consecuencia, el ámbito de la invención queda definido por las siguientes reivindicaciones.