HERNÁNDEZ DEL OLMO, Félix (Escuela Técnica Superior de Ingeniería informática, C/ Juan del Rosal 16, Madrid, E-28040, ES)
| Método de control avanzado para optimizar los costes de operación en estaciones depuradoras de aguas residuales con eliminación de nitrógeno caracterizado por, a. Estar basado en técnicas derivadas del campo aprendizaje automático (machine learning). b. Requerir y aprovechar la cuantificación, siguiendo el criterio del operador del proceso, del coste de operación CO(k) en función de las características particulares de la estación depuradora en cuestión; c. Requerir y aprovechar un promedio móvil ponderado de dicho coste de operación CO(k) sobre un período de tiempo denominado horizonte de optimización HO y el cual debe ser fijado siguiendo el criterio del operador del proceso. Este promedio móvil ponderado lo denominamos _CO(k); d. Ejecutar las siguientes operaciones en cada uno de los instantes k: i. almacenar las medidas procedentes del proceso biológico y de la estación obtenidas a partir de los sensores en línea situados convenientemente dentro de la estación depuradora; ii. a partir de las medidas almacenadas en el punto (i), se calculan tanto CO(k) como _CO(k); iii. a partir de las medidas almacenadas en (i), las métricas calculadas en (ii) y la consigna y estado probable generados en el instante k-1, se hace evolucionar/aprender a nuestro control avanzado mediante técnicas conocidas de aprendizaje automático con el fin de minimizar las futuras medidas de _CO; iv. a partir de las medidas almacenadas en el punto (i), se genera el nuevo estado probable en el que se encuentra nuestro control avanzado; v. a partir del estado probable en que se encuentra nuestro control avanzado y del aprendizaje adquirido en los instantes k-1, k-2;...,0 anteriores, se generan las consignas de control tratando de minimizar _CO(k-^0), esto es, el _CO promedio ponderado desde el momento k actual hasta k+HO. HOJA DE REEMPLAZO (Regla 26) 2. El método según la reivindicación 1 caracterizado adicionalmente por construir el promedio ponderado móvil _CO(k) en cada instante k mediante la fórmula _CO(k)=a _CO(k-1)+CO(k) donde 0<a<1 y donde a se escoge de manera que 3. El método según la reivindicación 1 caracterizado adicionalmente por emplear la técnica denominada aprendizaje por refuerzo dentro del campo aprendizaje automático para obtener las consignas que optimizan _CO(k+HO) al tratar de minimizar en cada instante k la siguiente cantidad donde 0<a<1 y donde a se escoge de manera que HOJA DE REEMPLAZO (Regla 26) |
Método de control avanzado para optimizar los costes de operación en estaciones depuradoras de aguas residuales con eliminación de nitrógeno
Estado de la Técnica Uno de los principales problemas al automatizar las estaciones depuradoras de aguas residuales aparece durante los cambios en la concentración de la carga contaminante y/o en el caudal del afluente a la planta. Cuando esto ocurre, las consignas de los lazos de control deben ser modificados con el fin de reconducir el proceso a su estado óptimo, evitando su evolución hacia los estados que disminuyen la calidad del efluente y/o aumenten la energía consumida en el proceso. Más aún, esto debe ser realizado en base a métricas que disminuyen el coste de operación a largo plazo y no sólo teniendo en cuenta las desviaciones de carácter instantáneo de las variables a controlar. En esta patente se presenta un control avanzado que, a partir de aprendizaje automático y mediante un enfoque emergente, evoluciona con el tiempo y permite reconducir las desviaciones de carga soportadas hasta optimizar el control de una EDAR y así mantener la calidad del efluente en base a costes de operación no instantáneos promediados en el tiempo.
En este escenario, los métodos tradicionales de control basados en PID no son capaces, ni de predecir esta situación problemática, ni de reconducir de manera autónoma el proceso hacia unas condiciones óptimas. Menos aún, considerar el coste de operación, y mucho menos el coste de operación promedio en un Horizonte de Optimización. Por ello, es requisito indispensable un control más inteligente para modificar las consignas de operación. Actualmente, este papel de control o agente inteligente lo desempeñan los operadores de planta. No obstante, en los últimos tiempos se vienen empleando técnicas derivadas de la Inteligencia Artificial para tratar de que los ordenadores imiten, de alguna forma, el comportamiento de dichos operadores. A los programas de ordenador que emplean dichas técnicas se los conoce por el nombre de Sistemas Expertos.
Los Sistemas Expertos (SEs), también denominados Sistemas Basados en el Conocimiento (SBCs), provienen del campo denominado Inteligencia Artificial (ver por ejemplo el libro Aspectos Básicos de la Inteligencia Artificial, Delgado García, Ana Esperanza; Diez Vegas, Francisco Javier; González Boticario, Jesús; Mira Mira, José). Las estructuras de datos en estos sistemas
HOJA DE REEMPLAZO (Regla 26) están basadas habitualmente en reglas preposicionales del tipo IF <condición> THEN <acción>. No obstante, también pueden emplearse reglas fuzzy o lógica difusa, nodos de probabilidad también conocidos como redes bayesianas, etc. Su funcionamiento se basa en el encadenamiento de sucesivas reglas hacia adelante o hacia atrás para llegar a una acción final. Estas reglas deben ser obtenidas mediante la entrevista a un experto en el dominio en cuestión. La obtención de estas reglas se denomina elicitación del conocimiento del experto. En el dominio que nos atañe, los SBCs se construyen mediante la elicitación del conocimiento del operario de planta, el cual es experto en los procesos que se dan en dicha planta.
Algunos Sistemas Expertos se están experimentando actualmente en EDARs dentro de España, Existen dos vertientes fundamentales:
• Sistema Experto para el control directo de la planta.
• Sistema Experto para la ayuda a la decisión del operario. Este tipo de sistemas en principio no actúan sobre la planta sino que ayudan al operario a tomar las decisiones más eficaces en su trabajo. La primera vertiente de SEs en EDARs está bien representada por un nuevo mecanismo de control denominado control ADEX (Control Adaptativo Predictivo Experto: ADEX;2005;J.M. Martin and J. Rodellar). Este control se basa en mecanismos AP controlados a su vez externamente por un SE. En palabras de sus autores, la tecnología ADEX es una nueva generación de control adaptativo predictivo (AP) que integra este último con el control experto (SE) (Control adaptativo predictivo experto (ADEX) de plantas depuradoras de aguas residuales; Tecnología del Agua, 2002; J.M. Baró and J.A. Calvo and J.M. Martin).
Esta tecnología se ha implantado actualmente en la EDAR de Casaquemada en San Fernando de Henares (Madrid) y en la EDAR de la Gavia en el ensanche de Vallecas (año 2008, Madrid).
Un ejemplo del otro tipo de SEs en EDARs se está experimentando por el grupo LEQUIA del Laboratorio de Ingeniería Química y Ambiental en la Universidad de Gerona. Este es un SE de ayuda o soporte a la decisión, el cual obtiene tos datos a partir de un sistema SCADA. En palabras de sus autores, la introducción de un sistema supervisor que procesa continuamente los datos obtenidos, detecta los cambios y ayuda a mejorar el control y la estabilidad de la EDAR. Esta tecnología se ha implantado actualmente en la EDAR de Montornés del Valles
HOJA DE REEMPLAZO (Regla 26) (Cataluña) (Implementactón de un sistema supervisor para el control del proceso biológico en la EDAR Motornes del Valles: atJ_EDAR;Tecnologia del Agua 2005; C. Cortés and J. Alemany and L. Rodriguez-Roda and M. Poch and J. Comas and A. Freixó and J. Arráez) y en la EDAR Vic (Cataluña) (Mejora del control de la nifrificación/desnitrificación: Desarrollo e implementación de un sistema experto en la EDAR Vic; Ingeniería Química, 2008; F. Ribas and I. Rodriguez-Roda and P. Clara and J. Comas and J. Serrat).
Como se ha indicado anteriormente, los SEs vienen utilizándose desde los inicios de la Inteligencia Artificial (IA). Sin embargo, en los últimos tiempos está resurgiendo con fuerza dentro de la IA un campo que incluye a los SEs denominado Arquitecturas Cognitivas. En este campo se considera a los Sistemas Expertos como un tipo particular de Arquitectura Cognitiva: un Sistema Experto se enmarca dentro del enfoque cognitivista, en contraposición al enfoque emergente, dentro de las Arquitecturas Cognitivas (A Survey of Artificial Cognitive Systems: Implications of Mental Capabilities in Computational Agente; IEEE Transactions on Evolutionary Computation, 2007; D. Vernon and G. Metta and G. Sandini). El enfoque cognttivista considera que el Sistema Inteligente (en este caso el SE) puede ser construido externamente (fuera de cualquier entorno) y después ser situado o instanciado en el entorno concreto en que se quiere aplicar. Así, en el caso del SE, enfoque cognitivista, primero se elicita el conocimiento, luego se programa el SE y finalmente se prueba y ejecuta en el entorno concreto (en nuestro caso en la EDAR). Al contrario, el enfoque emergente considera que el Sistema Inteligente es inseparable de su entorno, de hecho, evoluciona con este.
Entre las implicaciones existentes en el empleo de SEs (enfoque cognitivista) con respecto a las que posee el enfoque emergente, destacamos las siguientes:
• Los Sistemas Expertos, basados en el enfoque cognitivista, tienen la ventaja de poder operar al momento, una vez ha sido elicitado el conocimiento del experto (habitualmente en forma de reglas). En otras palabras, estos sistemas no se crean con el objeto de adaptarse a su entorno, sino para ejecutar unos conocimientos expertos. Como conclusión general, siempre se requiere la labor de un ingeniero experto en SBCs para obtener las reglas que finalmente se ejecutarán en el motor de inferencia del SE.
• Los Sistemas Cognitivos basados en el enfoque emergente adquieren los datos dinámicamente de su entorno. El problema La ventaja fundamental que poseen es que su conocimiento emerge de la interacción con su entorno, por lo que comienzan sin un
HOJA DE REEMPLAZO (Regla 26) conocimiento completo y probado de este entorno. Esto implica, con toda probabilidad, numerosos errores por parte del sistema en las primeras etapas del proceso. De hecho, podría no llegar nunca a poseer el conocimiento necesario, ya que si no aprende lo suficientemente deprisa, llegará a ser más rentable su sustitución, por ejemplo por un sistema SE que ya posee dichos conocimientos.
Sin embargo, las ventajas del enfoque emergente son innumerables. Destacamos algunas:
• El aprendizaje emerge de manera natural de la interacción con su entorno, lo que implica un aprendizaje más robusto que el existente en un SE. En efecto, la realimentación proviene directa y continuamente del entorno y no, como en el caso de un SE, de unos datos estáticos previamente (pre)procesados por un ingeniero. Esto último en el mejor de los casos, es decir cuándo el SE posee mecanismos de Aprendizaje Automático.
• Ξ conocimiento del sistema emerge directamente de la observación e interacción con su entorno, lo que implica que el sistema puede llegar a detectar situaciones no percibidas por el humano (operador, ingeniero, etc.) y crear, así, nuevas políticas de actuación posiblemente más eficientes.
• El sistema aprende continuamente, lo que, entre otras muchas cosas, implica: (i) una adaptación continua a cambios en el afluente u otras variables, (ii) mejor respuesta en cambios rápidos en este entorno y (iii) tras algunos meses de funcionamiento, su aprendizaje contendrá más información y experiencia que la que haya podido obtener ningún operador humano.
Como conclusión final, el enfoque emergente implica necesariamente autonomía del sistema en su entorno. Este no es el caso de los SEs.
En conclusión, en esta patente se presenta un método de control avanzado basado en técnicas de Inteligencia Artificial, pero de tipo emergente. Para ello se emplea aprendizaje automático, el cual, a partir de la interacción de dicho control con los procesos de la planta permitirá que el conocimiento necesario emerja de manera autónoma sin que tenga que ser elicitado de un experto/operador de planta previamente.
HOJA DE REEMPLAZO (Regla 26) Finalmente, centrándonos en el proceso de eliminación de nitrógeno amoniacal, el estado del arte consiste en aplicar Nitrate and ammonia Pl control, Nitrate Pl and ammonia FF-PI control (Instrumentation, Control and Automation in Wastewater Systems; IWA Publishing, 2005; G. Olsson and M. Nielsen and Z. Yuan and A. Lynggaard-Jensen and J-P. Steyer), o incluso Model Predictive Control (MPC) (Comparison of control strategies for nitrogen removal in activated sludge process in terms of operating costs: A simulation study; Water Research, 2007; A. Stare and O. Vrecko and N. Hvala and S. Strmcnik). Sin embargo, ninguno de ellos admite una adaptación autónoma a los procesos presentes en la EDAR.
Método de control avanzado En el presente método de control avanzado, el operador de planta debe definir un Coste de Operación relevante para los objetivos de la planta en cuestión. De esta forma, al evolucionar el control hacia Costes de Operación cada vez menores (promediados durante un tiempo Horizonte de Optimización), la planta se acerque a los objetivos requeridos. Por ejemplo, en el caso concreto del proceso de desnitrificación (dentro del proceso de eliminación biológica de nitrógeno), el operador podría considerar como cantidades relevantes el coste de la multa por superar una determinada concentración de nitrógeno amoniacal junto con el coste del Kwh de electricidad. Este ejemplo concreto será mostrado en más detalle más adelante.
En cuanto al Horizonte de Optimización, este parámetro define la ventana de tiempo en la que se promedia el Coste de Operación. El operador deberá definir un tiempo HO suficientemente amplio de manera que no permita que ahorros de coste puntuales vayan en detrimento del ahorro de coste promedio (en HO), que es el que realmente interesa.
Para agilizar el aprendizaje del control avanzado, aunque no sea estrictamente necesario, el operador también podrá ajustar los rangos de operación de las variables de entrada y salida. Tras ello, se discretizan las señales de las variables de entrada y de salida del control avanzado formando una matriz multidimensional cuyo valor representa Q(estado;acción) según Sutton and Barto (Reinforcement Leaming, 1999). Esta función Q contiene el coste de operación promedio ponderado previsto que se va obtener desde el instante k hasta el Horizonte de Optimización
HOJA DE REEMPLAZO (Regla 26) En cada instante k, las variables de entrada permitirán detectar el estado más probable en que se encuentra el control avanzado. Mediante dicho estado, se escoge el conjunto de variables de salida que minimizan Q. La ejecución de este conjunto de variables de salida (acción) sobre el proceso genera un Coste de Operación instantáneo en k, el cual nos permitirá actualizar Q mediante un método de aprendizaje por refuerzo on-line tipo SARSA. Éste es el método empleado en el ejemplo que se muestra a continuación.
Un modo de realizar la invención
Un banco de pruebas de simulación de referencia de un ASP se desarrolló en las dos acciones COST (624 & 682) en el ámbito de un proyecto europeo (The COST Simulation Benchmark; Office for Official Publications of the European Community 2002, Luxembourg : j copp). Este banco de pruebas, ampliamente conocido como BSM1, es un protocolo de simulación para la definición del diseño de planta, un modelo de proceso, los datos de caudales y cargas del afluente en el tiempo, etc.
En este contexto, hemos implementado nuestro control avanzado como dispositivo simulado para la planta BSM1 (figura 1). Para imptementar y ejecutar esta simulación se ha empleado el lenguaje Modélica (Principies of object-oriented modeling and simulation with modélica 2.1; IEEE Press, 2004; P. Fritzson). El control avanzado inteligente o agente tiene dos entradas: la medida del nutriente N-NH4 y la medida de 02 obtenidas a partir de dos sensores colocados en el tanque n° 5. El rango de N-NH4 lo definimos para que varíe entre 0 a 14 y lo discretizamos en unidades de 0,1 mg/l. El rango del 02 lo hacemos variar entre 0 y 5 y lo discretizamos en unidades de 0,5 mg/l. La soplante del tanque n° 5 es controlada, como es habitual, por medio de un Pl. El lazo de este Pl se cierra con la señal de error que consiste en la diferencia entre el nivel de Oxigeno (del tanque 5) y la consigna de Oxígeno. El agente actúa sobre la planta cuando actúa sobre esta consigna. Así, la variable de salida se discretiza de manera que el agente debe elegir entre 1,5 mg/l, 1 ,7 mg/l o 2,0 mg/l de concentración de Oxígeno cada 15 minutos.
Las instrucciones dadas al agente fueron: (i) mantener el nivel de N-amonio bajo, lo más bajo que (el agente) pueda, tratando de no violar el limite pre-establecido de concentración amoniacal (4 g N-NH4/m3), (ii) mantener el consumo de energía lo más bajo posible.
Con el fin de comunicar con precisión las instrucciones al agente, se empleó un coste de operación (OC, proveniente de Operation Cost) basado en una combinación entre el coste de la
HOJA DE REEMPLAZO (Regla 26) multa en caso de que el amonio supere los niveles permitidos y el coste de la energía. El Horizonte de Optimización empleado es de un mes, por lo que los resultados finales se presentan como promedios móviles mensuales de las medidas instantáneas AE(t) y OC(t).
La Aeration Energy AE(t) es calculada en el COST framework a partir del KLa(t) siguiendo la siguiente ecuación:
La multas en el efluente Effluent fines (EF) son pagadas normalmente en proporción con la polución que aparece en el efluente, también dependiendo de los límites impuestos por la ley. Aquí nos centraremos en las multas EF provocadas por exceso de nitrógeno amónico. Además, consideraremos dos modelos de multa (cambiando ) para mostrar cómo el control avanzado se adapta a cada modelo de manera autónoma. descripción matemática del EF(t) que usamos en nuestro estudio
Finalmente, el coste de operación instantáneo OC es expresado por la siguiente ecuación: OC{t) = Ki AE(t)+a 2 EF(t&)
Para deinir las constantes del coste de operación, debemos notar que sólo el KLa(t) del tanque 5 depende del tiempo, ya que los demás son constantes. Por tanto, el coste de operación en nuestra experiencia es:
HOJA DE REEMPLAZO (Regla 26) Por último, en este estudio KLa(t) es del orden de 100, ya que varia entre 0 y 240 y EF(t) es del orden de 10, ya que varía entre 0 y 15. Por tanto, haciendo las veces del operador de planta, tomamos and ^ para mantener equilibrado el peso de la energía y de las a i = ioo α2 = Ιδ
multas en el coste de operación final. Los resultados siguientes muestran el comportamiento del agente en la planta BSM1 en dos escenarios. El primer escenario (simulado) se desarrolla en una ciudad, que impone una multa de =0,5. En el segundo escenario, la ciudad impone una multa más alta =1,5. En ambas o Λ>
ciudades, el clima varía de la misma manera: llueve (al azar) el 20% del tiempo y se crean tormentas (también al azar) el 10% del tiempo, por lo que el tiempo seco es el 70% del tiempo total. En la figura 2 se muestra día a día el clima durante el primer año de funcionamiento del control avanzado.
En cada ciudad, se compara el comportamiento del agente frente a la estrategia de control estándar BSM1: consigna de oxígeno constante (2 mg/1). Comparamos cada comportamiento por medio de OC y AE como medias móviles ponderadas con un Horizonte de Optimización de un mes.
Teniendo en cuenta que el control avanzado (agente) actúa sobre la planta cada 15 minutos, el número de acciones a realizar durante un mes son 4x24x30=2880. Teniendo en cuente que deseamos que , a=0.99840226 (ver reivindicaciones 2 y 3).
a2 ) - ο,ΟΙ ~ 0
Cada escenario se ha ejecutado más de 30 años (11.000 días) para que pudiéramos ver la evolución del agente en larga duración. Sin embargo, por razones de claridad, se muestra sólo 1 de los 30 años. Además, se ha optado por mostrar este primer año (los primeros 365 días), porque se quería enfatizar el rápido aprendizaje del agente, aunque los resultados fueron algo mejores tras un mayor tiempo de aprendizaje (más cercano a los 30 años).
HOJA DE REEMPLAZO (Regla 26) En las gráficas mostramos -OC en vez de OC a fin de mostrar el mejor comportamiento en la parte superior de la gráfica. A la izquierda, la ciudad que impone una multa =0,5. A la
derecha, la ciudad que impone una multa =1 ,5.
Se observa cómo el agente aumenta los costes de energía en la ciudad con mayor multa a fin de reducir el OC global (o incrementar el -OC global).
Dado que las gráficas son un poco intrincadas, son en color. Ambos -OC y AE se muestran en las figura 3 y figura 4.
Por último, con el fin de ver el comportamiento detallado del agente, de este primer año se escogen 10 días de funcionamiento en tiempo seco, con lluvia y con tormenta y se muestra el comportamiento del amonio y el oxigeno disueltos (figura 5 , figura 6 y figura 7).
Agente vs BSM1 : comportamiento detallado de la evolución del N-NH4 y 02.
A la izquierda, la ciudad que impone =0,5. A la derecha, la ciudad que impone =1,5.
Primera fila, clima seco. Segunda fila, clima en lluvia. Tercera fila, clima en tormenta.
Se puede comprobar como el oxígeno disuelto (So) es siempre menor (lo cual supone inyectar menos energía) cuando actúa nuestro agente que en la planta BSM1 estándar con una consigna de oxigeno constante, ya que nuestro agente intenta establecer siempre la consigna del oxígeno lo más baja posible , y así reducir el OC mensual. Puede verse también que en la ciudad con una multa mayor, el agente no puede mantener la consigna del oxígeno tan baja ni tan a menudo como en la ciudad con multa menor.
HOJA DE REEMPLAZO (Regla 26)