Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD AND DEVICE FOR THE AUTOMATED EARLY DETECTION OF FOREST FIRES BY MEANS OF THE OPTICAL DETECTION OF CLOUDS OF SMOKE
Document Type and Number:
WIPO Patent Application WO/2015/055168
Kind Code:
A1
Abstract:
The invention relates to a method for the automated early detection of forest fires by means of the optical detection of clouds of smoke, comprising the following steps: producing images by means of at least one digital color-image camera and transmitting said images to a digital data processing medium; defining membership functions in a fuzzy-logic system for the classes "smoke," "forest," and "dark surface" by evaluating a plurality of test images or test sequences recorded by the color-image camera with respect to the saturation value (S) of the image pixel.

Inventors:
JÄCKEL KLAUS
JOCK ANDREAS
KRANE UWE
NOWZAD AZARM
VOGEL HOLGER
Application Number:
PCT/DE2014/000520
Publication Date:
April 23, 2015
Filing Date:
October 18, 2014
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
IQ WIRELESS GMBH ENTWICKLUNGSGESELLSCHAFT FÜR SYSTEME UND TECHNOLOGIEN DER TELEKOMMUNIKATION (DE)
JÄCKEL KLAUS
JOCK ANDREAS
KRANE UWE
NOWZAD AZARM
VOGEL HOLGER
International Classes:
G08B17/00; G08B17/12; G08B29/18
Foreign References:
US20130094699A12013-04-18
US20060115154A12006-06-01
US20120148148A12012-06-14
DE19603828A11997-08-07
US7542585B22009-06-02
DE102009048739B32012-03-29
EP1994502B12010-10-06
EP1628260B12006-12-13
US6937743B22005-08-30
US4614968A1986-09-30
Other References:
HAM SUNJAE ET AL: "Vision based forest smoke detection using analyzing of temporal patterns of smoke and their probability models", IMAGE PROCESSING: MACHINE VISION APPLICATIONS IV, SPIE, 1000 20TH ST. BELLINGHAM WA 98225-6705 USA, vol. 7877, no. 1, 10 February 2011 (2011-02-10), pages 1 - 7, XP060006037, DOI: 10.1117/12.871995
ARRUE B C ET AL: "AN INTELLIGENT SYSTEM FOR FALSE ALARM REDUCTION IN INFRARED FOREST-FIRE DETECTION", IEEE INTELLIGENT SYSTEMS, IEEE SERVICE CENTER, NEW YORK, NY, US, 1 May 2000 (2000-05-01), pages 64 - 73, XP000957357, ISSN: 1094-7167, DOI: 10.1109/5254.846287
CHAO-CHING HO ET AL: "Real-time video-based fire smoke detection system", ADVANCED INTELLIGENT MECHATRONICS, 2009. AIM 2009. IEEE/ASME INTERNATIONAL CONFERENCE ON, IEEE, PISCATAWAY, NJ, USA, 14 July 2009 (2009-07-14), pages 1845 - 1850, XP031523989, ISBN: 978-1-4244-2852-6, DOI: 10.1109/AIM.2009.5229791
Attorney, Agent or Firm:
SCHOLZ, Hartmut et al. (DE)
Download PDF:
Claims:
Patentansprüche

1. Verfahren zur automatisierten Waldbrandfrüherkennung mittels optischer Detek- tion von Rauchwolken gekennzeichnet durch die Verfahrensschritte:

Erzeugen von Bildern mittels mindestens einer digitalen Farbbildkamera und Übermitteln dieser Bilder an ein digitales Datenverarbeitungsmedium;

Definieren von Zugehörigkeitsfunktionen in einem Fuzzy-Logik-System zu den Klassen„Rauch",„Wald" und„dunkle Fläche" durch Auswertung einer Vielzahl von durch die Farbbildkamera aufgenommener Testbildern bzw. Testsequenzen in

Bezug auf den Sättigungswert (S) und den Hellwert (V) der Bildpixel.

2. Verfahren nach Anspruch 1, gekennzeichnet durch,

Definieren eines Schwellenwertes für die Klassifizierung als „Rauch" durch Auswertung einer Vielzahl von Testbildern bzw. Testsequenzen in Bezug auf den Farbwert (H) der Bildpixel;

Definieren eines Fuzzy-Regelwerks für den S-Kanal (Sättigung) und V-Kanal (Hellwert) aufgrund anhand der Vielzahl aufgenommener Testbilder bzw. Testsequenzen durchgeführter Untersuchungen, die dafür die qualitativen Regeln benennen, welche Parameterkombination als„Rauch" gewertet wird.

3. Verfahren nach Anspruch 2, gekennzeichnet durch:

Ermitteln von Zugehörigkeitsfunktionen mit konkreten Zahlenwerten für die Einordnung in die entsprechenden Parameterkombinationen für jeden der beiden Kanäle Sättigung (S) und Hellwert (V) anhand einer Vielzahl von Bildern und Szenarien und Zusammenfassen der einzelnen Zugehörigkeitsfunktionen für die Sätti- gung (S-Kanal) und den Hellwert (V-Kanal) zu einer Fuzzyfunktion;

Ermitteln des Schwellenwertes dieser Fuzzyfunktion für die Klassifizierung eines Bildpixels als„Rauch" und Ermittlung des Schwellenwertes für Anzahl derart klassifizierter Bildpixel einer ROI (Region of Interest) anhand einer Vielzahl von Bildern und Szenarien, um einen Brandalarm zu generieren. 4. Verfahren nach Anspruch 3, gekennzeichnet durch folgende Analyse jedes aufgenommenen Bildes:

o Einteilen der mit einer digitalen Farbbildkamera aufgenommenen und zu analysierenden Farbbilder in Bereiche, die für die weitere Untersuchung interessant sind (ROI), Vorklassifizierung dieser potenziellen interessanten Bereiche (ROI) in denen Rauch sein könnte, hierzu Überführen aller einzelnen Pixel in der ROI in den HSV-Raum (H=Farbwert, S=Sättigung, V=Hellwert) und Analysieren aller Pixel in diesem HSV-Raum,

Analyse der Pixel zunächst für den H-Kanal (Farbwert), Vergleich mit dem Schwellenwert für die Klassifizierung als„Rauch" und Durchführung der folgenden Verfahrensschritte, falls der Schwellenwert überschritten wird und Klassifizierung als„kein Rauch,, sowie Analyse des nächsten Bildpixels innerhalb des ROI, falls der Schwellenwert nicht überschritten wird,

Ermitteln der Zugehörigkeitsfunktionswerte für den S-Kanal (Sättigung) und V- Kanal (Hellwert/Farbintensität) in Bezug auf die definierten Klassen,

Bestimmen der Fuzzyfunktion für den Bildpixel, Vergleich mit dem Schwellenwert für die Klassifizierung als„Rauch", falls der Schwellenwert überschritten wird und Klassifizierung als„kein Rauch", falls der Schwellenwert nicht überschritten wird, sowie Übergang zur Analyse des nächsten Bildpixels innerhalb des ROI

Summation der Anzahl aller Bildpixel, der als„Rauch" klassifiziert Fläche

(ROI);

Kennzeichnen der Bildbereiche der als„Rauch" klassifizierten Fläche (ROI); Auslösen eines Brandalarms.

Verfahren zur automatisierten Waldbrandfrüherkennung mittels optischer Detektion von Rauchwolken nach einem oder mehreren der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Umgebungsbedingungen des Betriebes permanent ermittelt und in Abhängigkeit davon die Schwellenwerte und Zugehörigkeitsfunktionen adaptiv angepasst und eingestellt werden.

Verfahren zur automatisierten Waldbrandfrüherkennung mittels optischer Detektion von Rauchwolken gemäß Anspruch 5, dadurch gekennzeichnet, dass durch laufende Auswertung der Ergebnisse des automatischen Verfahrens zur Detektion mit tatsächlichen Brandereignissen und/oder nicht detektierten Brandereignissen die Schwellenwerte und Zugehörigkeitsfunktionen durch eine systemübergreifende Rückkopplung und Neuberechnung adaptiv angepasst werden. Verfahren zur automatisierten Waldbrandfrüherkennung mittels optischer Detektion von Rauchwolken gemäß Anspruch 6, dadurch gekennzeichnet, dass zur Vorklassifizierung der potenziellen interessanten Bereiche (ROI), in denen Rauch sein könnte, Verfahren der Georeferenzierung zum Einsatz kommen und die Kameraposition in ihrer räumlichen Lage und Ausrichtung mit Hilfe entsprechender Sensortechnik bestimmt wird und ein Abgleich der Bildbereiche mit entsprechenden topographischen Daten und Geländemodellen dahingehend erfolgt, dass die ROI auf vorab definierte Bereiche eingeschränkt bzw. entsprechende Bereiche ausgeschlossen werden, sowie zur Definition von Gebietsklassen genutzt werden.

Verfahren zur automatisierten Waldbrandfrüherkennung mittels optischer Detektion von Rauchwolken nach den Ansprüchen 1 bis 7, dadurch gekennzeichnet, dass die Implementierung des Verfahrens und deren Algorithmen über mindestens ein digitales Datenverarbeitungsmedium erfolgt.

Verfahren zur automatisierten Waldbrandfrüherkennung nach Anspruch 8, dadurch gekennzeichnet, dass die zu analysierenden Bilder auf mindestens einen, mit dem digitalen Datenverarbeitungsmedium verbundenen, Bildschirm wiedergegeben werden und die Kennzeichnung entsprechend detektierter Rauchgebiete mit geeigneten Mitteln erfolgt.

Verfahren gemäß Anspruch 9, dadurch gekennzeichnet, dass die geeigneten Mittel eine Umrandung, eine farbliche Hinterlegung oder eine stilistische Markierung der detektierten Rauchgebiete sind.

Verfahren gemäß einem oder mehreren der vorstehenden Ansprüche 1 bis 10, dadurch gekennzeichnet, dass das digitale Datenverarbeitungsmedium und der Bildschirm mittels mindestens einer Funkdatenverbindung miteinander koppelbar sind, wobei der Bildschirm einem Mobilfunktelefon oder einem Tablet-PC zugeordnet ist, die für den Empfang und die Verarbeitung der von dem digitalen Datenverarbeitungsmedium generierten Datensätzen ausgebildet sind.

Vorrichtung zur automatisierten Waldbrandfrüherkennung mittels optischer Detektion von Rauchwolken zur Ausführung des Verfahrens gemäß den Ansprüchen 1 bis 1 1, umfassend mindestens ein digitales Datenverarbeitungsmedium zur Verarbeitung von digitalen Bildinformationen und mindestens eine digitale Kamera, wobei die digitale Kamera eine digitale Farbbildkamera ist und das digitale Datenverarbeitungsmedium mit der digitalen Farbbildkamera wirkverbunden ist, und deren Farbsensoren die Farbunterschiede in deren Erfassungsbereich aufnehmen und ausgehend vom Aufstellungsort der digitalen Farbbildkamera, die Farbbildaufiiahmen an das Datenverarbeitungsmedium zur Weiterverarbeitung weiterleitet.

Vorrichtung gemäß Anspruch 12, dadurch gekennzeichnet, dass der Kamera mindestens ein lichtempfindlicher Sensor zugeordnet ist, wobei die Pixel des Sensors unterschiedliche spektrale Empfindlichkeiten aufweisen, um von Pixeln gleicher oder benachbarter Positionen Helligkeits- und Farbinformationen oder Farbin- tensitätsinformationen zu erhalten.

Vorrichtung gemäß Anspruch 12 oder 13, dadurch gekennzeichnet, dass dem digitalen Datenverarbeitungsmedium ein Bereich zur Speicherung von Testbildern zur Parametrierung der Topografien und Geländeeigenschaften zugeordnet ist, auf die das System zur Systemkalibrierung autonom zurückgreift.

Vorrichtung gemäß Anspruch 14, dadurch gekennzeichnet, dass die Umgebungsbedingungen während des Betriebes des Systems permanent ermittelt werden und in Abhängigkeit davon die Schwellenwerte und Zugehörigkeitsfunktionen adaptiv anpasst und einstellt werden, wobei hierzu das System auf den Bereich zur Speicherung von Testbildern und/oder der Parametrierung der Topografien und Geländeeigenschaften vom Aufstellungsort der Vorrichtung zurückgreift.

Description:
Verfahren und Vorrichtung zur automatisierten Waldbrandfrüherkennung mittels optischer Detektion von Rauchwolken

Beschreibung

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur automatisierten Waldbrandfrüherkennung mittels optischer Detektion von Rauchwolken.

Waldbrände stellen ein besonderes Risikopotential in Bezug auf ökonomische und ökologische Auswirkungen und Schäden dar. Wenn derartige Brände schon nicht vollständig verhindert werden können, so spielt doch deren frühzeitige Erkennung eine außerordentlich große Rolle bei der Schadenseindämmung. Während in vergangenen Jahrzehnten insbesondere menschliche Beobachtungsposten eingesetzt wurden, gibt es mehr und mehr Ansätze, durch geeignete technische Lösungen die Unzulänglichkeiten und aufwendige menschliche Beobachter zu reduzieren.

Trotz intensiver weltweiter Fokussierung der Forschungsarbeiten auf die benannte Thematik sind kommerziell anwendbare technische Systeme derzeit wenig im Einsatz. Von einer Vielzahl untersuchter, grundsätzlich verschiedener Verfahren werden derzeit hauptsächlich optische Verfahren mit Raucherkennung, die in terrestrischen Sys- temen implementiert und von exponierten Standorten in Waldgebieten (Türmen u. ä.) betrieben werden, eingesetzt.

Im Vergleich zu anderen technischen Ansätzen wie Satelliten gestützten Verfahren und solchen Verfahren, die auf der Detektion anderer physikalischer Größen des Brandes (z.B. Wärme- oder Infrarotstrahlung, Partikel) spielen sie aber eine hervorragen- de Rolle.

Die beschriebene Systemlösung mit optischen Sensoren und Computer gestützter Bildverarbeitung zur automatischen Rauchdetektion zeichnet sich gegenüber den anderen Lösungsansätzen vor allem dadurch aus, dass beginnende Brände sehr frühzeitig entdeckt werden können, bei denen die Wärmeentwicklung noch sehr klein ist und eine kostengünstige Detektion erreichbar ist, da von einer Detektionseinheit an einem Standort eine Waldfläche von mehreren 100 km 2 überwacht werden kann und trotzdem Detek- tionszeiten von wenigen Minuten realisierbar sind. Dadurch sind entsprechende Systeme bereits heute den traditionellen menschlichen Beobachtern ebenbürtig. Für eine umfassende praktische Anwendung weisen die verfügbaren optischen Systeme mit automatischen Verfahren zur Rauchdetektion jedoch einen entscheidenden Nachteil auf, der in ihrer hohen Fehlalarmrate besteht, d.h. der positiven Rauchdetektion auch ohne tatsächlichen Waldbrand, z.B. durch Wolkenschatten, Staubaufwirbelungen u. ä. Dieser Nachteil muss durch einen menschlichen Operator (Supervisor) ausgeglichen werden, der eine entsprechend automatisch detektierte Waldbrandsituation anhand von Bilddaten und Erfahrungswelten überprüft und dann eine finale Entscheidung zum weiteren Vorgehen (Alarmierung der Löschkräfte oder Ignorierung der Meldung) treffen muss.

Diese vergleichsweise hohe Fehlalarmrate führt in der Praxis zu einer starken psy- chischen Belastung des Bedienpersonals, da die Anzahl der Fehlalarme meist deutlich größer als die Meldungen für tatsächliche Brände ist, relativ hohen Personalkosten, da ein Operator nur eine kleinere Anzahl von automatisiert arbeitenden optischen Systemen parallel bewerten und kontrollieren kann, einem Akzeptanzproblem für den Einsatz der automatisierten Systeme, da trotz objektiv gleichwertiger oder besserer Detektionsergeb- nisse als bei menschlicher Beobachtung, deren subjektive Wahrnehmung und Bewertung eine andere ist.

Die bisher bekannten Ansätze zur Reduzierung der Fehlalarmrate gehen in erster Linie davon aus, dass durch entsprechende Bildverarbeitungsroutinen mehrere unabhängige Merkmale von Rauch extrahiert und bewertet werden. Durch geeignete Kombinati- on dieser Ergebnisse wird die Entscheidungssicherheit verbessert.

Bekannt geworden sind u. a. folgende Merkmale und Eigenschaften des Rauches, die durch intelligente Bildverarbeitung entsprechend ausgewertet werden. So sind Helligkeitsunterschiede zur Umgebung, teilweise mit adaptiven Schwellenwerten, in der US 7,542,585 B2 beschrieben sind. Ferner wird die Messung selbst ähnliche Konturen in der DE 10 2009 048 739 B3 beschrieben, die ein Verfahren und eine Vorrichtung zur automatischen Waldbranderkennung betreffen. Ferner sind zeitliche und räumliche Vorzugsrichtungen („Rauch steigt nach oben" bzw.„Rauch breitet sich in allen Richtungen aus - im Gegensatz zu ziehenden Wolken") z.B. in der EP 1 994 502 Bl für ein Verfahren und Vorrichtung zur Raucherkennung beschrieben. Derartige räumliche und zeitliche Clusteranalysen, sind in der EP 1 628 260 Bl beschrieben. Ferner sind Bestimmung und Auswertung niederfrequenter Helligkeitsschwankungen durch Fourier-Transformationen und Frequenzanalysen Gegenstand der US 6,937,743 B2. Für die Auswertung und Kombination der einzelnen Merkmale und Parameter des zu detektierenden Rauches in den Bildern werden Mehrheitsentscheide, Bewertungstabellen und auch neuere Verfahren wie Künstliche Neuronale Netzwerke und Fuzzy- Logic vorgeschlagen und genutzt. Die optischen Sensoren sind in der Regel als Schwarz-Weiß-Detektoren ausgeführt, die keine Farbinformationen detektieren. Schwarz-Weiß-Sensoren sind empfindlicher und konturenschärfer als vergleichbare farbtüchtige Sensoren; dazu kommt, dass die Bilder weniger aufwändig zu prozessieren sind. Über große Entfernungen ab ca. 5 Kilometern gehen durch atmosphärische Effekte die Farbinformationen weitgehend verloren, so dass bei angestrebten großen, von einem Sensor zu überwachenden Gebieten nur bei Teilbereichen die Farbinformationen auswertbar wären.

Die Nutzung von Farbsensoren und die automatisierte Verarbeitung und Auswertung von Farbinformationen und Farbbildern zum Zweck der Rauchdetektion sind grundsätzlich bekannt. Die Sensoren nehmen dabei Intensitätswerte in drei unabhängigen Farbkanälen z.B. rot, grün, blau (RGB-Raum) für jeden Pixel auf und prozessieren die entsprechenden Daten. Dieser dreidimensionale Farbraum kann auch durch entsprechende Funktional-Transformationen gewandelt werden. Ein häufig benutzter Farbraum ist dabei der so genannte HSV-Raum, der den Farbwert H als Winkel zwischen 0° = rot, 120° = grün, 240° = blau, die Sättigung S zwischen 0 und 100 sowie den Hellwert V zwi- sehen 0 und 100 vereint, und über eine entsprechende Transformation aus dem RGB- Raum gewonnen werden kann. Die dafür zugrunde liegenden Formeln sind allgemein bekannt.

Die Farbbilder werden häufig sowohl auf das Vorhandensein von offenem Feuer bzw. Flammen als auch Rauch ausgewertet. Die Auswertung von Farbbildern in Bezug auf die Detektion von Rauch konzentriert sich dabei auf folgende Merkmale und Parameter:

der Kontrast in den Bildern wird ausgemessen und bei Unterschreiten eines Schwellenwertes in bestimmten Bereichen als Vorhandensein von Rauch interpretiert, wie dies beispielweise aus der US 4,614,968 bekannt ist. Diese Kontrastanalyse setzt aber nicht notwendigerweise ein Farbbild voraus; es erfolgt eine (relativ grobe) Vorklassifizierung als Rauch, wenn die Pixel bestimmter Bildbereiche in jedem Farbkanal oder der Farbsättigung innerhalb vordefinierter Schwellenwerte liegen. Dieser Vorklassifizierung liegt zugrunde, dass Rauch wenig ausgeprägte individuelle Farbbestandteile auf- weist. Allerdings ist diese Vorklassifizierung sehr unzuverlässig, so dass die eigentliche Entscheidung dann durch Auswertung weiterführender Strukturanalysen wie oben beschrieben erfolgen muss.

Eine Anwendung der Fuzzy-Logic bei der Zusammenfassung der Ergebnisse von separaten Verfahren für die Flammen- und Raucherkennung in Farbbildern ist ebenfalls in der US 7,542,585 B2 beschrieben. Allerdings beschränkt sich diese Anwendung auf die Kombination und gewichtete Bewertung der Ergebnisse von getrennten, in sich abgeschlossenen Algorithmen zur Feuererkennung.

Alle vorgenannten bisherigen Verfahren werten nur eine Farbinformation aus, nämlich den Farbwert (H) bzw. den Weißanteil bestimmter Bildbereiche (Hellwert (V). Hier wird lediglich die Eigenschaft des Rauches genutzt, Farbanteile des Hintergrunds zu dämpfen bzw. selbst einen hohen Weißanteil zu besitzen.

Eine Aufgabe der vorliegenden Erfindung ist es ein Verfahren zur automatisierten Waldbrandfrüherkennung im Überwachungsnahbereich mittels optischer Detektion von Rauchwolken zur Verfügung zu stellen.

Diese Aufgabe wird mittels der in dem Anspruch 1 genanten Merkmale gelöst, insbesondere durch die Aufnahme von Bildern mittels einer Farbbildkamera und Übermittlung dieser an eine digitale Datenverarbeitungsmedium und Definieren von Zugehörigkeitsfunktionen in einem Fuzzy-Logic-System zu Gebietsklassen wie den Klassen „Rauch",„Wald" und„dunkle Fläche" durch Auswertung einer Vielzahl von durch die Farbbildkamera aufgenommenen Testbildern bzw. Testsequenzen in Bezug auf den Sättigungswert der Bildpixel.

Gemäß einer bevorzugten Ausführungsform werden sodann Zugehörigkeitsfunktionen in einem Fuzzy-Logic-System zu Gebietsklassen wie den Klassen„Rauch", „Wald" und„Himmel" durch Auswertung einer Vielzahl von Testbildern bzw. Testsequenzen in Bezug auf den Hellwert der Bildpixel definiert und sodann ein Schwellenwert für die Klassifizierung als„Rauch" durch Auswertung einer Vielzahl von Testbildern bzw. Testsequenzen in Bezug auf den Farbwert der Bildpixel definiert.

Ferner wird ein Fuzzy-Logic-Regelwerk für den S-Kanal (Sättigung) und V- Kanal (Hellwert) aufgrund der durchgeführten Untersuchungen definiert, die dafür die qualitativen Regeln benennen, welche Parameterkombination als„Rauch" gewertet wird und welche nicht. Es werden die nachfolgend beschriebenen Prozeduren durchgeführt, die auf den gesamten Bildinhalt oder auf einen eingeschränkten Bereich, die so genannte Region of Interest (ROI) angewandt werden, wenn aufgrund anderweitig gewonnener Erkenntnisse nur in diesen Bereichen Rauch auftreten kann, nämlich: · Ermitteln einer Fuzzyfunktion und Zugehörigkeitsfunktion mit konkreten Zahlenwerten für die Einordnung in die entsprechenden Parameterkombinationen für jeden der beiden Kanäle S und V anhand einer Vielzahl von Bildern und Szenarien;

• Ermitteln des Schwellenwertes dieser Fuzzyfunktion für die Klassifizierung eines Bildpixels als„Rauch" und Ermittlung des Schwellenwertes für Anzahl derart klassifi- zierter Bildpixel eines ROI anhand einer Vielzahl von Bildern und Szenarien, um einen Brandalarm zu generieren.

Durchführung der folgenden Verfahrensschritte für jedes aufgenommene Bild:

o Einteilen der mit einer digitalen Farbbildkamera aufgenommenen und zu analysierenden Farbbilder in Bereiche, die für die weitere Untersuchung interessant sind (ROI); o Vorklassifizierung dieser potenziellen interessanten Bereiche (ROI) in denen Rauch sein könnte;

o hierzu Überführen aller einzelnen Pixel in der ROI in den HSV-Raum und Analysieren aller Pixel in diesem HSV-Raum;

o Analyse der Pixel zunächst für den H-Kanal (Farbwert), Vergleich mit dem Schwel- lenwert für die Klassifizierung als„Rauch" und Durchführung der folgenden Verfahrensschritte, falls der Schwellenwert überschritten wird und Klassifizierung als„kein Rauch,, sowie Analyse des nächsten Bildpixels innerhalb des ROI, falls der Schwellenwert nicht überschritten wird;

o Ermitteln der Zugehörigkeitsfunktionswerte für den S-Kanal (Sättigung) und V- Kanal (Hellwert) in Bezug auf die definierten Klassen;

o Bestimmen der Fuzzyfunktion für den Bildpixel, Vergleich mit dem Schwellenwert für die Klassifizierung als„Rauch", falls der Schwellenwert überschritten wird und Klassifizierung als„kein Rauch", falls der Schwellenwert nicht überschritten wird, sowie Übergang zur Analyse des nächsten Bildpixels innerhalb des ROI;

o Summation der Anzahl aller Bildpixel, die als„Rauch" klassifiziert wurden, über die gesamte interessierende Fläche (ROI); o falls mindestens eine vordefinierte Anzahl der untersuchten Pixel der betreffenden Region als„Rauch" bestimmt wurden, wird„Rauch" gemeldet und der Bildbereich der entsprechende Region gekennzeichnet, in dem er auftritt;

o Auslösen eines Brandalarms. Erfindungsgemäß werden weitere Kriterien und Parameter aus den Farbbildern abgeleitet, da 3 Farbkanäle detektiert werden. Hierbei wurde durch intensive Untersuchungen festgestellt, dass je nach Hintergrund des Rauches unterschiedliche Schwellenwerte und Regeln anzuwenden wären. Diese Zusammenhänge sind nicht exakt determiniert, sondern besser durch heuristische Regeln zu beschreiben. Im Folgenden werden dazu die gefundenen Zusammenhänge beschrieben sowie die Vorrichtung und das Verfahren zur Raucherkennung vorgestellt.

Als günstig hat sich dabei eine Darstellung im HSV-Farbraum (H = Farbwert, S = Farbsättigung, V = Hellwert) erwiesen. Die Abkürzung HSV leitet sich aus den englischen Begriffen für H = Hue, S = Saturation und V = Value ab. Über Verknüpfungen von Hellwert und Sättigungswert unter Berücksichtigung eines a priori bekannten Hintergrundes (z.B. dunkle Waldfläche oder heller Himmel) lassen sich über geeignete Koeffizienten und deren Parametrisierung dann Wahrscheinlichkeitsaussagen über eine mögliche Klassifizierung der Pixel als Rauch vornehmen. Auch der Farbwert ist dabei als Ausschlusskriterium zu berücksichtigen, da ein entsprechender Rauchpixel aus einem begrenzten H-Bereich (H = Farbwert) kommen muss.

Aufgrund der Komplexität dieser Zusammenhänge ist eine Abbildung dieser Verknüpfung über einfache funktionale Zusammenhänge nicht möglich. Mittels einer Fuzzy-Logic können jedoch unscharfe und nicht streng beschreibbare Zusammenhänge gut abgebildet und vergleichsweise einfach parametrisiert werden. Die durch langwierige Versuche an einer Vielzahl von unterschiedlichen Bildszenarien gefundenen Zusammenhänge sind in den nachfolgenden Ablaufplänen und Charts dargestellt.

In einer bevorzugten Ausführungsform der vorliegenden Erfindung werden die Umgebungsbedingungen des Betriebs permanent ermittelt und in Abhängigkeit davon die Schwellenwerte und Zugehörigkeitsfunktionen adaptiv angepasst. Gemäß einer weiteren Ausführungsform der vorliegenden Erfindung werden durch laufende Auswertung der Ergebnisse des automatischen Verfahrens zur Detektion mit tatsächlichen Brandereignissen und/oder nicht detektierten Brandereignissen die Schwellenwerte und Zugehörigkeitsfunktionen durch systemübergreifende Rückkopp- lung und Neuberechnung adaptiv angepasst.

Des Weiteren kommen zur Vorklassifizierung der potentiellen interessanten Bereich (ROI), in denen Rauch sein könnte, Verfahren zur Georeferenzierung zum Einsatz, wobei die Kamera die Kameraposition in ihrer räumlichen Lage und Ausrichtung mit Hilfe entsprechender Sensortechnik bestimmt werden kann und ein Abgleich der Bildbereiche mit entsprechenden topographischen Daten und Geländemodellen dahingehend erfolgt, so dass hierdurch die ROI auf vorab definierte Bereiche eingeschränkt bzw. entsprechende Bereiche ausgeschlossen werden, sowie zur Definition von Gebietsklassen genutzt werden können.

Gemäß einer weiteren Ausführungsform der vorliegenden Erfindung, erfolgt die Implementierung des Verfahrens und deren Algorithmen über mindestens ein digitales Datenverarbeitungsmedium, das geeignet ist, die Bilddaten zu verarbeiten.

In einer bevorzugten Ausführungsform der vorliegenden Erfindung können die analysierten digitalen Bilder auf mindestens einen, mit dem digitalen Datenverarbeitungsmedium verbundenen, Bildschirm wiedergegeben werden, wobei die Kennzeich- nung entsprechend detektierter Rauchgebiete mit geeigneten Mitteln erfolgen und auf dem Bildschirm angezeigt werden kann.

Dabei können die geeigneten Mittel eine Umrandung, eine farbliche Hinterlegung oder eine stilistische Markierung der detektierten Rauchgebiete sein.

Gemäß einer weiteren Ausführungsform der vorliegenden Erfindung sind das digitale Datenverarbeitungsmedium und der Bildschirm mittels mindestens einer Funkdatenverbindung miteinander koppelbar, wobei der Bildschirm einem Mobilfunktelefon oder einem Tablet-PC zugeordnet sein kann, die für den Empfang und die Verarbeitung der von dem digitalen Datenverarbeitungsmedium generierten Datensätzen ausgebildet sind. Hierdurch können die Datensätze von mobil abgerufen werden. Eine räumliche Sta- tionierung eines Anwenders, beispielsweise in einem an einem Rechenzentrum angeschlossenes Auswerte- und Bewertungszentrum, kann somit entfallen. Eine weitere Aufgabe der vorliegenden Erfindung ist es, eine Vorrichtung zur Durchführung des Verfahrens gemäß der Ansprüche 1 bis 1 1 zur automatisierten Waldbrandfrüherkennung mittels optischer Detektion von Rauchwolken, mit mindestens einem digitalen Datenverarbeitungsmedium zur Verarbeitung und Auswertung von digita- len Bildinformationen im optischen Nahbereich zur Verfügung zu stellen.

Diese Aufgabe wird gemäß Anspruch 12 gelöst, insbesondere mit einer Vorrichtung umfassend mindestens ein Medium zur digitalen Bildverarbeitung von digitalen Bildinformationen und mindestens einer digitale Kamera, wobei das digitale Datenverarbeitungsmedium mit einer digitalen Farbbildkamera wirkverbunden ist, die im Erfas- sungsbereich der Farbunterschiede der in der digitalen Kamera angeordneten Farbbildsensoren, ausgehend vom Aufstellungsort der digitalen Kamera, Farbbildaufnahmen an das Datenverarbeitungsmedium zur Weiterverarbeitung weiterleitet.

Gemäß einer Ausführungsform der erfindungsgemäßen Vorrichtung ist der Kamera mindestens ein lichtempfindlicher Sensor zugeordnet, wobei die Pixel des Sen- sors unterschiedliche spektrale Empfindlichkeiten aufweisen, um von Pixeln gleicher oder benachbarter Positionen Helligkeits- und Farbinformationen zu erhalten.

In einer weiteren bevorzugten Ausführungsform der erfindungsgemäßen Vorrichtung ist dem digitalen Datenverarbeitungsmedium ein Bereich zur Speicherung von Testbildern zur Parametrierung der Topografien und Geländeeigenschaften zugeordnet, auf die das System zur Systemkalibrierung autonom zurückgreift. Hierdurch ist es dem System möglich aus gespeicherten Vergleichsbildern und einem Abgleich mit den tatsächlich vorgefundenen Topografien sich autonom anzulernen.

Gemäß einer weiteren Ausfuhrungsform der vorliegenden Erfindung ist es vorgesehen die Umgebungsbedingungen während des Betriebes des Systems permanent zu ermitteln und in Abhängigkeit davon die Schwellenwerte und Zugehörigkeitsfunktionen adaptiv anzupassen und einzustellen, wobei hierzu das System auf den Bereich zur Speicherung von Testbildern und/oder der Parametrierung der Topografien und der individuellen Geländeeigenschaften vom Aufstellungsort der Vorrichtung zurückgreifen kann.

Als digitales Datenverarbeitungsmedium sind mobile, sowie stationäre Compu- ter als auch zur Datenverarbeitung geeignete Mobilfunktelefone denkbar. Auch ist es möglich, die von der Vorrichtung ermittelten Überwachungsdaten über ein Mobilfunk- netz direkt auf einem Mobiltelefon, einem Tablet-PC, einem Klapprechner oder anderen geeigneten digitalen Datenverarbeitungsmedien über digitale (beispielsweise mittels UMTS oder LTE) Netz - Standards oder analogen Funkübertragungsmitteln zur Verfügung zu stellen.

Des Weiteren ist es vorgesehen eine Brandmeldung direkt an die Einsatzleitstellen der entsprechend zuständigen Einsatzkräfte weiterzuleiten. Ein Verwender kann so unmittelbar und in Echtzeit über eine entsprechende Brandmeldung informiert werden.

Sollte keine Brandmeldung erfolgen, kann über die oben beschriebenen Medien aber jederzeit auf die Vorrichtung zugegriffen werden, um beispielsweise Echtzeitbilder vom zu Überwachenden Bereich einzusehen.

Die Erfindung wird nachfolgend anhand beispielhafter Ausführungsformen unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert; es zeigt:

Figur 1 ein Flowchart der durchgeführten Verfahrensschritte zur automatisierten

Waldbrandfrüherkennung mittels optischer Detektion von Rauchwolken;

Figur 2 eine schematische Darstellung des analysierten Hellwertkanals mit definierten Zugehörigkeitsfunktionen zu den Gebietsklassen„Wald", „Rauch" und„Himmel";

Figur 3 eine schematische Darstellung des analysierten Sättigungskanals mit definierten Zugehörigkeitsfunktionen zu den Gebietsklassen„Rauch", „Wald" und„dunkle Fläche".

Figur 1 ist eine Flowchart Darstellung der Arbeitsabläufe des erfindungsgemäßen Verfahrens. In einem ersten Schritt werden die konsekutiven Bilder eingelesen. Zur Darstellung werden die Grundfarben Rot, Grün, Blau genutzt (RGB).

Danach erfolgt eine Vorverarbeitungsanalyse gefolgt von einer Bewegungsde- tektion. Des Weiteren erfolgt eine Bildfilterung anhand morphologischer Mathematik.

Die mit einer digitalen Kamera aufgenommenen und zu analysierenden Farbbilder werden zunächst in Bereiche eingeteilt, die für die weitere Untersuchung interes- sant sind - die sog. ROI (Region of Interest) - und als potenzielle Bereiche vorklassifiziert, in denen Rauch sein könnte.

Darüber hinaus können topographische Karten und Daten sowie Geländemodelle im Zusammenhang mit dem konkreten Standort der Kamera und ihrer räumlichen Aus- richtung genutzt werden, um die interessierenden Bereiche weiter einzuschränken und so den Prozessierungsaufwand und eventuelle Fehldetektionen zu reduzieren. Beispielsweise können bestimmte Bildbereiche ausgeschlossen werden, in denen tatsächliche oder vermeintliche Raucherscheinungen nicht auftreten und/oder nicht relevant sind, wie z.B. im Zusammenhang mit Verkehrsflächen, Seen, Siedlungen oder Industrieanlagen. Zu diesem Zweck müssen die geographische Position der Kamera, ihre Installationshöhe im Zusammenhang mit den optischen Kenngrößen der Kamera (z.B. Brennweite, Sensorgröße) sowie ihre aktuelle Ausrichtung während der Bildaufnahme bekannt sein. Diese Positionsermittlung der Kamera kann über geeignete Sensoren (z.B. GPS, Kompass und Lagesensoren) auch im laufenden Betrieb ermittelt und aktuell gehalten werden. Die Zuordnung und Abbildung von kartographischen Bereichen zu den aufgenommenen Bildbereichen (Georeferenzierung) ist dann über bekannte mathematische Transformationen möglich.

Sollte sich keine ROI's ergeben, so wird das nächste konsekutive Bild eingelesen und die Suche, bzw. die Analyse auf ROI's erfolgt von neuem. Werden ROI's erkannt, wird wie folgt weiter gegangen: innerhalb dieser ROI werden alle Pixel betrachtet und der nachfolgenden Berechnung gemäß dem beschriebenen Algorithmus unterzogen. Innerhalb dieser ROI werden alle Pixel betrachtet und der nachfolgenden Berechnung gemäß dem beschriebenen Algorithmus unterzogen.

Zunächst wird jeder einzelne Pixel dieser ROI, wenn die Pixeldaten zunächst im RGB-Raum vorliegen, mittels dem bekannten Transformationsverfahren in den HSV- Raum (mit H = Farbwert, S = Sättigung, V = Hellwert) überführt.

Eine Analyse erfolgt zunächst für den H-Kanal (Farbwert). Liegt der betreffende Pixel außerhalb der definierten Schwellenwerte, die a priori bekannt und eingestellt werden, wird der Pixel als„kein Rauch" klassifiziert und zur Verarbeitung des nächsten Pixel eines Bildes übergegangen. Liegt der H-Wert innerhalb der Schwellenwerte, erfolgt eine weitere Analyse in den Kanälen S (Sättigung) und V (Hellwert). Die Bestimmung der Schwellenwerte erfolgt zunächst auf Grundlage durchgeführter Vorversuche mit manueller Klassifizierung. Im Weiteren werden diese Schwellenwerte für den aktuellen Standort derart überprüft und gegebenenfalls modifiziert, indem eine Anpassung anhand einer Anzahl von Testfeuern durchgeführt wird. Der neue Schwellenwert S_ NEU kann dabei aus dem alten Schwellenwert S_ ALT und des während der Tests gefundenen Schwellenwertes S_ T EST unter Zugrundelegung eines empirischen Faktors k aus [0,1 ] mit k reellwertig und k«l wie beispielsweise folgt bestimmt werden:

S_NEU = (1 -k) * S ALT + k * S_ TEST [1 ]

Eine weitere Möglichkeit der Schwellenwertanpassung besteht darin, dass in Voruntersuchungen jeweils individuelle Schwellenwerte in Abhängigkeit von konkreten Umgebungsbedingungen wie z.B. Lichtverhältnisse (sonnig, bewölkt u. ä.), Tageszeit/Sonnenstand, Jahreszeit, Windverhältnisse ermittelt werden. Je nach konkreter Situation am installierten System können dann mittels geeigneter Sensorik (Uhr, Belichtungsmesser, Windmesser usw.) entsprechende Umgebungsparameter detektiert werden und die vorab ermittelten, individuellen Schwellenwerte eingestellt werden.

Für die beiden anderen Kanäle werden aufgrund der durchgeführten Untersuchungen entsprechende Klassenzuordnungen durchgeführt. Dazu werden für jeden Sättigungswert die Klassen„Rauch",„Wald" sowie„Dunkle Fläche" und für jeden Hellwert die Klassen„ Wald",„Rauch" und„Himmel" definiert.

Im Weiteren werden dann konkrete Zahlenwerte als Grad der Zugehörigkeit zu einer bestimmten Klasse festgelegt, d.h. die so genannten Zugehörigkeitsfunktionen für die Einordnung in die entsprechenden Klassen definiert. Die Zugehörigkeitsfunktionen μ Α ^ — * [0,1 ] ordnen jedem Element der Definitionsmenge X={x}, d.h. dem Sätti- gungswert bzw. dem Hellwert, eine Zahl aus dem reellwertigen Intervall [0, 1 ] der Zielmenge zu, welche den Zugehörigkeitsgrad μ λ ( ) jedes Elements x zur so definierten unscharfen Menge bzw. Klasse A („Rauch",„Wald" usw.) angibt. Die konkreten Zahlenwerte für die Zugehörigkeitsfunktionen werden experimentell durch Auswertung einer Vielzahl von Bildern und Szenarien als günstig ermittelt. Diese Auswertung erfolgt durch Auszählverfahren, Histogramm-Analysen und/oder Bildung entsprechender Polynome zur Approximation der Zugehörigkeitsfunktion zu einer bestimmten Klasse über ein gewisses Intervall des Definitionsbereiches.

Die so ermittelten Werte dienen als Konfigurationsdaten für ein neu zu instal- lierendes Detektionssystem. Diese Zugehörigkeitsfunktionen sind jeweils spezifisch für entsprechende Einsatzszenarien für das Früherkennungssystem (z.B. Kieferwälder in Norddeutschland). Das wird am nachfolgenden Beispiel illustriert, wobei die konkreten Zahlenwerte wie beschrieben aus Testbildern ermittelt wurden.

Figur 3 zeigt die graphische Darstellung der S-Kanal-Analyse. Auf der Abszis- se liegen die Sättigungswerte von beispielsweise S 0 bis S 1 1 und auf der Ordinate ist der Zugehörigkeitsgrad (beispielsweise für Wald, Rauch, Himmel) dargestellt.

Zunächst werden für den S-Kanal (Sättigung) die Funktionswerte wie folgt gebildet, die entsprechenden Werte und Verläufe der Zugehörigkeitsfunktionen sind im Diagramm beispielhaft dargestellt. Ist die Sättigung im Bereich zwischen Si und S2, wird eine sehr sichere Zuordnung als„Rauch" vorgenommen. Übergangsbereiche, bei denen „Rauch" noch möglich ist, liegen zwischen So und S 4 .

Ist die Sättigung im Bereich zwischen S 5 und S 6 , wird eine sehr sichere Zuordnung als„Wald" vorgenommen. Auch hier gibt es entsprechende Übergangsbereiche zwischen S 3 und Sg, in denen eine Zuordnung mit abnehmender Sicherheit vorgenommen werden kann. Ist die Sättigung im Bereich zwischen S9 und S10, wird eine sehr sichere Zuordnung als„dunkle Fläche" vorgenommen. Übergangsbereiche, bei denen„dunkle Fläche" noch möglich ist, liegen zwischen S 7 und S .

Adäquat werden für den V-Kanal ebenfalls entsprechende Zugehörigkeits- Funktionswerte wie folgt gebildet, wobei die beispielhaften Funktionswerte im Dia- gramm dargestellt sind. Eine graphische Darstellung der V-Kanal-Analyse zeigt die Figur 2. Dabei sind auf der Abszisse die Hellwerte von z. B. H 0 bis Η )0 aufgetragen und auf der Ordinate ist der Zugehörigkeitsgrad - beispielsweise für Wald, Rauch oder Himmel - dargestellt.

Die sichere Zuordnung zur Klasse„Wald" ist dabei bei einem Hellwert von Hi möglich. Ist der Hellwert zwischen H 0 und H 3 , kann eine Zuordnung als„Wald" mit geringerer Sicherheit vorgenommen werden, wie dies in Figur 2 schematisch dargestellt ist. Ist der Hellwert im Bereich zwischen H 7 und Hg, kann eine Zuordnung als „Rauch" vorgenommen werden, wobei die größte Sicherheit zwischen H 5 und H 6 liegt. Ist der Hellwert im Bereich zwischen H 2 und H 7 kann eine Zuordnung als„Rauch" vorgenommen werden, wobei die größte Sicherheit zwischen H4 und H 5 liegt. Ist der Hell- wert im Bereich zwischen H 6 und Η ]0 , kann eine Zuordnung als„Himmel" vorgenommen werden. Ein detektierter Hellwert zwischen H 8 und H 9 bietet eine sichere Zuordnung zu dieser Klasse.

Eine weitere Ausgestaltung und Präzisierung dieser Zuordnungsfunktionen kann derart erfolgen, dass bei einer neuen Installation des Detektionssystems zunächst eine Reihe von Testbildern generiert und automatisch ausgewertet werden. Die konkreten Zugehörigkeitsfunktionen können dann anhand dieser Testergebnisse angepasst werden. Das System ist dabei so ausgebildet, dass es sich dabei autonom an den Installationsort anpasst.

Der neue Zugehörigkeitsgrad μ Α _NEU(X) kann dann aus dem alten Zugehörig- keitsgrad μ Α Α υτ(χ) und dem aus dem Test ermittelten Zugehörigkeitsgrad u A TEST(X) beispielsweise wie folgt ermittelt werden:

μΑ_ΝΕυ( χ ) = (1-k) * μ Α _Αίτ( χ ) + k * μ Α _τΕ5τ( ) [2]

wobei k ein geeignet zu wählender, reellwertiger Koeffizient aus dem Intervall [0,1] ist mit k«l, der als Maß für die Anderungsrate in Bezug auf die angestrebte An- passung zu betrachten ist.

Eine weitere Möglichkeit der Anpassung der Zugehörigkeitsfunktion besteht darin, dass in Voruntersuchungen jeweils individuelle Funktionsverläufe in Abhängigkeit von konkreten Umgebungsbedingungen wie z.B. Lichtverhältnisse (sonnig, bewölkt u. ä.), Tageszeit/Sonnenstand, Jahreszeit, Windverhältnisse ermittelt werden. Je nach kon- kreter Situation am installierten System können dann mittels geeigneter Sensorik (Uhr, Belichtungsmesser, Windmesser usw.) entsprechende Umgebungsparameter detektiert werden und die vorab ermittelten, individuellen Zugehörigkeitsfunktionen eingestellt werden.

Die einzelnen Zugehörigkeitsfunktionen von Sättigung (S-Kanal) und Hellwert V-Kanal) werden zur so genannten Fuz-^funktion zusammengefasst. Das entsprechende Regelwerk ist über eine Matrix definiert, die die Kombinationen von verschiedenen Klassen und deren konkreten Zugehörigkeitswerten enthält, die dann über qualitative Regeln (Fuzzy-Rules) verknüpft werden. Diese qualitativen Regeln enthalten in kompri- mierter Form das angesammelte Expertenwissen über tatsächlich aufgetretene Brände aus einer Vielzahl von untersuchten Bildern, die in Bezug auf die benannten Klassen ausgewertet wurden. Alternativ kann dieses Expertenwissen auch über eine Benennung von „if □„then"-Regeln erfolgen. Eine Quantifizierung erfolgt dabei über die Größe der Zugehörigkeitsfunktion wie im Bild dargestellt. Die einzelnen Wichtungsfaktoren aus der Zugehörigkeitsfunktion und entsprechende Zuordnungen sind dabei für eine bestimmte Klasse bzw. Klassenkombination zu bestimmen. Für jede der beschriebenen 3 x 3 = 9 Kombinationen ergeben sich durch diese Fuzzyfizierung entsprechende Maßzahlen, so genannte Fuzzy-Werte. Damit kann für unterschiedliche Umgebungsbedingungen, je nach Größe der gemessenen Sättigungswerte und Hellwerte ein reellwertiger Ausgangswert der Fuzzy- funktion aus dem Intervall [0,1] ausgegeben werden. Dieser Zahlenwert stellt ein Maß für die Unschärfe der zu treffenden Entscheidung (Rauch ja/nein) dar. Darauf aufbauend erfolgt die Defuzzyfizierung durch die folgende harte Entscheidung: Ist der Ausgangs- wert größer als ein bestimmter vordefinierter Schwellenwert, wird der Pixel als„Rauch" interpretiert; ansonsten als„kein Rauch".

Abschließend erfolgt eine Summation über die Anzahl aller Pixel, die als „Rauch" interpretiert wurden, innerhalb der gesamten interessierenden Fläche ROI. Falls mindestens eine vordefinierte Gesamtzahl dieser Pixel der betreffenden Region als „Rauch" bestimmt wurden, wird„Rauch" gemeldet und die entsprechende Region als der Bildbereich gekennzeichnet, in dem der Rauch auftritt. Eine Implementierung dieser Verfahren und Algorithmen ist über beliebige Computertechnik durchführbar. Vorteilhaft für einen Operator ist dabei die Darstellung der zu analysierenden Bilder und die Kennzeichnung entsprechend detektierter Rauchgebiete mit geeigneten Mitteln (z.B. Umran- dung), um eine visuelle Verifizierung zu erleichtern.

Im Weiteren kann eine Adaptivität der beschriebenen Verfahren und Schwellenwertvergleiche durchgeführt werden, indem eine Rückkopplung in das System eingebracht wird. Dazu sind die Ausgangswerte der Verfahrenslösung mit den tatsächlichen Ergebnissen in Bezug auf einen Brand zu vergleichen. Nach den Prozeduren wie in den Formeln [1] und [2] beschrieben, kann eine laufende Anpassung und Korrektur der Schwellenwerte und Zugehörigkeitsfunktionen bzw. Zugehörigkeitsgrade durchgeführt werden.