Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR ANALYSING IMAGE INFORMATION USING ASSIGNED SCALAR VALUES
Document Type and Number:
WIPO Patent Application WO/2021/047770
Kind Code:
A1
Abstract:
The present invention relates to a method for analysing image information (134, 234) using assigned scalar values (119, 129, 219, 229), comprising the method steps of: a.) capturing a first image (134) of an object (132, 232) or a situation (130) and capturing at least one first scalar sensor value (129) relating to the object (132) or the situation (130); b.) capturing a second image (234) of the object (132, 232) or the situation (130) and capturing at least one second scalar sensor value (229) relating to the object (132, 232) or the situation (130); c.) inserting the first image (134) and the at least one first scalar sensor value (129) into a first data structure (159) as a consistent representation form, and inserting the second image (234) and the at least one second scalar sensor value (229) into a second data structure (259) as a consistent representation form; d.) comparing the first (159) and the second data structure (259); and e.) outputting information if the comparison results in a difference that corresponds to a defined or definable criterion.

Inventors:
WITT JONAS (DE)
Application Number:
PCT/EP2019/074240
Publication Date:
March 18, 2021
Filing Date:
September 11, 2019
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
SIEMENS AG (DE)
International Classes:
G06T7/00
Domestic Patent References:
WO1998007100A11998-02-19
Foreign References:
US20180293723A12018-10-11
US20180293722A12018-10-11
US8547428B12013-10-01
US20170032281A12017-02-02
Other References:
OLSSON L J ET AL: "WEB PROCESS INSPECTION USING NEURAL CLASSIFICATION OF SCATTERING LIGHT", IEEE TRANSACTIONS ON INDUSTRIAL ELECTRONICS, IEEE SERVICE CENTER, PISCATAWAY, NJ, USA, vol. 40, no. 2, April 1993 (1993-04-01), pages 228 - 234, XP000387382, ISSN: 0278-0046, DOI: 10.1109/41.222644
Download PDF:
Claims:
Patentansprüche

1. Verfahren zur Analyse von Bild-Informationen (134, 234) mit zugeordneten skalaren Werten (119, 129, 219, 229), umfas send die Verfahrensschritte, a.) Erfassen eines ersten Bildes (134) eines Gegenstands (132, 232) oder einer Situation (130) und Erfassen mindestens eines ersten skalaren Sensorwerts (129) bezüglich des Gegen stands (132) oder der Situation (130), b.) Erfassen eines zweiten Bildes (234) des Gegenstands (132, 232) oder der Situation (130) und Erfassen mindestens eines zweiten skalaren Sensorwerts (229) bezüglich des Gegenstands (132, 232) oder der Situation (130), c.) Einbringen des ersten Bilds (134) und des mindestens ei nen ersten skalaren Sensorwerts (129) als konsistente Reprä sentationsform in eine erste Datenstruktur (159), und Einbringen des zweiten Bilds (234) und des mindestens einen zweiten skalaren Sensorwerts (229) als konsistente Repräsen tationsform in eine zweite Datenstruktur (259), d.) Vergleichen der ersten (159) und zweiten Datenstruktur (259), und e.) Ausgabe einer Information, wenn der Vergleich einen Un terschied ergibt, der einem vorgegebenen oder vorgebbaren Kriterium entspricht.

2. Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, dass zum Erstellen der ersten (159) und zweiten Datenstruktur (259) das jeweils erfasste Bild (134, 234) jeweils in den Frequenzraum transformiert wird, insbesondere, dass zum Erstellen der ersten (159) und zweiten Datenstruktur (259) das jeweils erfasste Bild (134, 234) je weils unter Verwendung eines Verfahrens der Fourier-Analyse in den Frequenzraum transformiert wird.

3. Verfahren gemäß Anspruch 1 oder 2, dadurch gekennzeichnet, dass innerhalb Verfahrensschritt a.) weiterhin mindestens ein erster skalarer Parameterwert (119) bezüglich des Gegenstands (132, 232) oder Situation (130) erfasst wird, und dass innerhalb Verfahrensschritt b.) weiterhin mindestens ein zweiter skalarer Parameterwert (219) bezüglich des Gegen stands oder Situation (130) erfasst wird, wobei die erste (159) und zweite Datenstruktur (259) weiter hin unter Verwendung des mindestens einen ersten skalaren Pa rameterwertes (119) beziehungsweise des mindestens einen zweiten Parameterwertes (219) erstellt wird.

4. Verfahren gemäß einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass das Vergleichen der ersten (159) und zweiten Datenstruk tur (259) unter Verwendung eines neuronalen Netzes (600) er folgt.

5. Verfahren gemäß einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die erste (159) und zweite Datenstruktur (259) jeweils eine zwei- oder höherdimensionale Diagramm-Struktur oder eine zwei- oder höherdimensionale Graphen-Struktur aufweist oder jeweils als ein zwei- oder höherdimensionales Diagramm oder einen zwei- oder höherdimensionalen Graph dargestellt oder darstellbar ist.

6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass im Rahmen eines Erstellens der ersten (159) und zweiten Datenstruktur (259) gemäß Verfahrensschritt c.) jeweils ein Clustering-Verfahren auf die jeweiligen Diagramme, Graphen, Diagramm-Strukturen oder Graphen-Strukturen der ersten und zweiten Datenstruktur angewendet wurde oder wird, oder, dass im Rahmen eines Vergleichens der ersten (159) und zweiten Datenstruktur (259) gemäß Verfahrensschritt d.) je weils ein Clustering-Verfahren auf die jeweiligen Diagramme, Graphen, Diagramm-Strukturen oder Graphen-Strukturen der ers ten und zweiten Datenstruktur angewendet wird.

7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren zur Überwachung eines Verfahrensablaufs oder Produktionsablaufs derart ausgebildet und eingerichtet ist,

- dass das Erfassen des ersten (134) beziehungsweise zweiten Bildes (234) als Erfassen eines ersten beziehungsweise zwei ten Bildes eines Gegenstandes (132, 232) bezüglich des Pro duktionsablaufs oder einer Situation (130) bezüglich des Pro duktionsablaufs ausgebildet und eingerichtet ist, und

- dass das Erfassen des mindestens einen ersten beziehungs weise zweiten skalaren Sensorwerts (129, 229) als Erfassen mindestens eines ersten beziehungsweise mindestens eines zweiten skalaren Sensorwerts (129, 229) betreffend den Gegen stand bezüglich des Produktionsablaufs oder die Situation (130) bezüglich des Produktionsablaufs ausgebildet und einge richtet ist.

8. Verfahren gemäß Anspruch 7, dadurch gekennzeichnet, dass der Produktionsablauf zur Herstellung eines Produkts ausgebildet und eingerichtet ist und eine Abfolge von Produk tionsschritten umfasst, wobei nach dem Ablauf eines ausge wählten Produktionsschritts (110, 120, 130) aus der Abfolge von Produktionsschritten ein Zwischenprodukt (132, 232) vor liegt,

- und dass weiterhin das erste Bild (134) als ein erstes Zwi schenprodukt-Bild (134) ausgebildet und eingerichtet ist,

- der mindestens eine erste skalare Sensorwert (129) sich auf den ausgewählten Produktionsschritt (110, 120, 130) bezieht,

- das zweite Bild (234) als ein zweites Zwischenprodukt-Bild (234) ausgebildet und eingerichtet ist, und

- der mindestens eine zweite skalare Sensorwert (229) sich auf den ausgewählten Produktionsschritt (110, 120, 130) be zieht.

9. Verfahren nach einem der Ansprüche 7 oder 8, dadurch gekennzeichnet, dass innerhalb Verfahrensschritt c.) der erste Datensatz (159) unter Verwendung mindestens eines weiteren ersten Pro duktionsparameter-Wertes (119), und der zweite Datensatz (259) unter Verwendung mindestens eines weiteren zweiten Produktionsparameter-Wertes (129) er stellt wird.

10. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass das Verfahren zur Überwachung der Bewegung eines Fahr zeugs derart ausgebildet und eingerichtet ist,

- dass das Erfassen des ersten (134) beziehungsweise zweiten Bildes (234) als Erfassen eines ersten (134) beziehungsweise zweiten Bildes (234) eines Umgebungsausschnitts des Fahrzeugs ausgebildet und eingerichtet ist, und

- dass das Erfassen des mindestens einen ersten (129) bezie hungsweise zweiten Sensorwerts (229) als Erfassen mindestens eines ersten (129) beziehungsweise mindestens eines zweiten Sensorwerts (229) bezüglich des Fahrzeugs oder einer Umgebung des Fahrzeugs ausgebildet und eingerichtet ist.

11. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass das Verfahren zur Analyse eines Bildes (134, 234) eines Gegenstands (132, 232) oder Lebewesens derart ausgebildet und eingerichtet ist,

- dass das Erfassen des ersten (134) beziehungsweise zweiten Bildes (234) als Erfassen eines ersten (134) beziehungsweise zweiten Bildes (234) des Lebewesens oder Gegenstands (132, 232), oder jeweils eines Bereichs davon, ausgebildet und ein gerichtet ist, und

- dass das Erfassen des mindestens einen ersten (129) bezie hungsweise zweiten Sensorwerts (229) als Erfassen mindestens eines ersten (129) beziehungsweise mindestens eines zweiten Sensorwerts (229) bezüglich des Lebewesens oder Gegenstands (132, 232), oder jeweils des Bereichs davon, ausgebildet und eingerichtet ist.

12. Verfahren zur Analyse von akustischen Informationen mit zugeordneten skalaren Werten, umfassend die Verfahrensschrit te, a.) Erfassen einer ersten akustischen Information bezüglich einer akustischen Quelle und Erfassen mindestens eines ersten skalaren Sensorwerts bezüglich der akustischen Quelle, b.) Erfassen einer zweiten akustischen Information bezüglich der akustischen Quelle oder einer zweiten akustischen Quelle und Erfassen mindestens eines zweiten skalaren Sensorwerts bezüglich der akustischen Quelle oder der zweiten akustischen Quelle, c.) Transformieren des ersten akustischen Datensatzes in den Frequenzraum und Einbringen dieses frequenztransformierten ersten akustischen Datensatzes sowie des mindestens einen ersten skalaren Sensorwerts als konsistente Repräsentations form in eine erste Datenstruktur (159), und Transformieren des zweiten akustischen Datensatzes in den Frequenzraum und Einbringen dieses frequenztransformierten zweiten akustischen Datensatzes sowie des mindestens einen zweiten skalaren Sensorwerts als konsistente Repräsentations form in eine zweite Datenstruktur (259), d.) Vergleichen der ersten und zweiten Datenstruktur, und e.) Ausgabe einer Information, wenn der Vergleich einen Un terschied ergibt, der einem vorgegebenen oder vorgebbaren Kriterium entspricht.

13. Verfahren gemäß Anspruch 12, dadurch gekennzeichnet, dass das Verfahren weiterhin gemäß den Merkmalen von einem oder mehreren der Ansprüche 3 bis 6 ausgebildet und einge richtet ist.

14. Verfahren nach einem der Ansprüche 12 oder 13, dadurch gekennzeichnet, dass das Verfahren zur Überwachung eines Verfahrensablaufs (110, 120, 130) oder Produktionsablaufs (110, 120, 130) der art ausgebildet und eingerichtet ist,

- dass das Erfassen der ersten beziehungsweise zweiten akus- tischen Information als akustische Aufnahme betreffend eines in den Produktionsablauf involvierten Gegenstands oder einer Situation bezüglich des Produktions- oder Verfahrensablaufs ausgebildet und eingerichtet ist, und

- dass das Erfassen des mindestens einen ersten beziehungs- weise zweiten skalaren Sensorwerts als Erfassen mindestens eines Werts vermittels eines Sensors betreffend den in den Produktionsablauf involvierten Gegenstand oder die Situation bezüglich des Produktions- oder Verfahrensablaufs ausgebildet und eingerichtet ist.

Description:
Beschreibung

Verfahren zur Analyse von Bild-Informationen mit zugeordneten skalaren Werten

Die vorliegende Erfindung betrifft ein Verfahren zur Analyse von Bild-Informationen oder akustischen Informationen mit zu geordneten skalaren Werten, umfassend die Verfahrensschritte, a.) Erfassen eines ersten Bildes oder einer ersten akusti schen Information bezüglich eines Gegenstands oder einer Si tuation und Erfassen mindestens eines ersten skalaren Sensor werts bezüglich des Gegenstands oder der Situation, b.) Erfassen eines zweiten Bildes oder einer zweiten akusti schen Information bezüglich des Gegenstands oder der Situati on und Erfassen mindestens eines zweiten skalaren Sensorwerts bezüglich des Gegenstands oder der Situation.

Derartige Verfahren sind aus dem Stand der Technik bekannt.

So offenbart beispielsweise die US-Veröffentlichungsschrift US 2017/0032281 Al ein Verfahren zum Überwachen eines Schweiß-Systems, bei welchem verschiedenste Sensor- oder Bild-Daten erfasst werden, um damit ein neuronales Netz anzu lernen. Weiterhin offenbart diese Offenlegungsschrift ein Verfahren, bei welchem mit Hilfe des angelernten neuronalen Netzes und unter Verwendung von im Rahmen eines Schweiß- Ablaufs aufgenommenen Bild- oder Sensordaten eine Charakte ristik der erzeugten Schweißnaht bzw. des Schweiß-Prozesses vorhergesagt wird.

Es ist ein Nachteil des genannten Standes der Technik, dass die Erstellung und Verwendung eines neuronalen Netzes sehr aufwendig ist. Sowohl das Erstellen und Einrichten, aber ins besondere auch das Training des neuronalen Netzes ist aufwen dig und benötigt eine große Zahl von Trainingsdaten, um zu verlässig zu funktionieren. Solche Trainingsdaten sind oft nicht vorhanden, zumindest nicht in ausreichender Zahl. Daher ist es eine Aufgabe der vorliegenden Erfindung, ein Verfahren zur Analyse von Sensordaten zur Verfügung zu stel len, mit welchem sich u.a. auch komplexere Sensor-Daten mit verringertem Aufwand analysieren lassen.

Diese Aufgabe wird gelöst durch ein Verfahren mit den Merkma len des Patentanspruch 1.

Ein solches Verfahren ist zur Analyse von Bild-Informationen mit zugeordneten skalaren Werten ausgebildet und eingerichtet und umfasst die Verfahrensschritte, a.) Erfassen eines ersten Bildes eines Gegenstands oder einer Situation und Erfassen mindestens eines ersten skalaren Sen sorwerts bezüglich des Gegenstands oder der Situation, b.) Erfassen eines zweiten Bildes des Gegenstands oder der Situation und Erfassen mindestens eines zweiten skalaren Sen sorwerts bezüglich des Gegenstands oder der Situation, c.) Einbringen des ersten Bilds und des mindestens einen ers ten skalaren Sensorwerts als konsistente Repräsentationsform in eine erste Datenstruktur, und

Einbringen des zweiten Bilds und des mindestens einen zweiten skalaren Sensorwerts als konsistente Repräsentationsform in eine zweite Datenstruktur, d.) Vergleichen der ersten und zweiten Datenstruktur, und e.) Ausgabe einer Information, wenn der Vergleich einen Un terschied ergibt, der einem vorgegebenen oder vorgebbaren Kriterium entspricht.

Durch das Erstellen der konsistenten Repräsentationsform der entsprechenden Datenstrukturen wird es möglich, sowohl Bild information als auch zugehörige skalare Information innerhalb einer konsistenten Darstellungsform bzw. Datenstruktur zusam menzufassen und so völlig neuartige Mechanismen durch Ver gleich zweier oder mehrerer solcher Datenstrukturen zu ermög lichen. Damit lassen sich auch komplexere Sensordaten analy sieren, ohne unbedingt auf Auswertungen vermittels neuronaler Netze zurückgreifen zu müssen. Zwar können in einer möglichen Ausgestaltung der Vergleich der ersten und zweiten Datenstruktur oder auch die Prüfung, ob ein vorgegebenes oder vorgebbares Kriterium erfüllt ist, nicht nur manuell oder mit automatisierten analytischen Me thoden, sondern auch unter Verwendung eines neuronalen Netzes geschehen. Ein solches neuronales Netz wäre aber möglicher weise durchaus einfacher in der Ausgestaltung und dem Trai ning als ein neuronales Netz, welches unmittelbar zur Analyse der Bild- und Sensordaten benötigt würde.

Dabei kann ein skalarer Wert beispielsweise ein alphanumeri scher Wert, eine alphanumerische Zeichenkette, ein Integer- Zahlenwert, ein Fließkomma-Zahlenwert, ein Boolescher-Wert, ein String-Wert oder ähnlicher Wert sein. Skalare Werte stel len in gewisser Weise 0-dimensionale Wert-Anordnungen dar - im Gegensatz zu Vektoren, die 1-dimensionale Wert-Anordnungen darstellen und Matrizen, die 2-dimensionale oder auch noch höher-dimensionale Wert-Anordnungen darstellen.

Bild-Informationen bzw. Bilder im Sinne der vorliegenden Be schreibung werden als Matrizen betrachtet, d.h. bei einem Bild handelt es sich um einen Matrix-artig ausgebildeten Wert, wobei die einzelnen Elemente eines Bildes beispielswei se seine Pixel sind, die durch eine Lage in zwei oder mehr Dimensionen und ein oder mehrere Helligkeits- und/oder Farb werte charakterisiert sein können.

Die erfassten Bilder können dabei jeweils beispielsweise als 2-dimensionale oder höher-dimensionale Pixel- oder Vektor- Grafik ausgebildet und eingerichtet sein.

Bildinformationen bzw. Bilder können auch mehr als zwei Di mensionen aufweisen, indem beispielsweise einer zweidimensio nalen Bildebene weitere zweidimensionale Informationsebenen quasi überlagert werden. So kann beispielsweise einem zweidi mensionalen Graustufen-, Helligkeitswerts und/oder Farbwerts- Pixel-Bild eine weitere Ebene überlagert werden, in welcher den einzelnen Pixeln beispielsweise Materialdichte-Werte, Röntgeninformationswerte oder ähnliche weitere Eigenschafts werte zugeordnet werden.

Die Erfassung des ersten bzw. zweiten Bildes kann beispiels weise mit jeder Art von geeigneter Kamera erfolgen. Die Auf nahme kann beispielsweise in verschiedenen optischen Fre quenzbereichen erfolgen, wie beispielsweise im sichtbaren Be reich, im Infrarotbereich, im ultravioletten Bereich und/oder im Röntgenbereich oder einem sonstigen geeigneten Spektralbe reich. Dabei können jeweils geeignete Bilderfassungsverfahren und -Geräte bzw. -Kameras zur Erfassung verwendet werden. Weiterhin können Bilder auch über weitere geeignete Bilder fassung-verfahren wie beispielsweise Thermographie-verfahren (d. h. Verfahren zur zweidimensionalen Temperaturerfassung), MRI-Verfahren (Magnetic Resonanz Imaging), Röntgen-Struktur- analyse-Verfahren oder sonstiger Verfahren erfasst werden, welche geeignet sind ein zweidimensionales Pixel- oder Vek tor-Bild zu erzeugen.

Weiterhin können die Bilder auch beispielsweise durch einen Scanner, eine Bildschirmkopie (=Digitales Abbild einer auf einem Bildschirm, Display oder Monitor angezeigten 2-dimen- sionalen Darstellung) oder auf vergleichbare Weise erfasst werden.

Das erste und zweite Bild können beispielsweise zeitlich auf einanderfolgende Bilder einer Situation oder eines Gegen stands sein.

Weiterhin können das erste und zweite Bild auch ein zu einem bestimmten Zeitpunkt aufgenommenes Bild eines Gegenstands o- der einer Situation sowie ein entsprechendes Referenz-Bild dieses Gegenstands oder der Situation sein. Ein solches Refe renz-Bild kann beispielsweise eine Ursprungs-, Soll- oder Wunsch-Ausgestaltung des Gegenstands oder der Situation dar stellen. Ein Bild einer Situation kann beispielsweise ein Bild eines bestimmten Raumbereichs oder auch einer bestimmten logischen Situation sein. Logische Situationen können z.B. durch be stimmte Kriterien oder auslösende Merkmale oder Vorkommnisse charakterisiert sein. So kann beispielsweise im Rahmen eines Verfahrensablaufs oder einer Herstellung eines bestimmten Produkts ein bestimmter Verfahrensschritt oder Produktions schritt oder das Ergebnis eines bestimmten Verfahrensschritts bzw. Produktionsschritts (z.B. ein Zwischen- oder Endprodukt oder -Ergebnis) eine solche logische Situation sein.

Eine Situation kann beispielsweise auch durch einen geogra phischen Ort und/oder weitere charakterisierende Eigenschaf ten wie beispielsweise eine Uhrzeit, ein Zeitbereich, be stimmte Helligkeitswerte, bestimmte erfasste Sensordaten wie Temperaturen, Personenerkennung, oder ähnliche Eigenschaften gegeben sein.

So kann eine Situation beispielsweise eine bestimmte Situati on im Straßenverkehr, beispielsweise gegeben durch einen be stimmten Ort und Raumwinkel sein, oder auch eine Produktions- Situation, gegeben durch eine bestimmte Produktions-Maschine oder einen bestimmten Produktionsschritt. Eine Situation kann weiterhin beispielsweise auch gegeben sein durch einen ent sprechenden Verfahrensablauf, beispielsweise einen Verbren nungsvorgang, einen Transportvorgang, einer Interaktion zwi schen verschiedenen Personen oder ähnlichen Abläufen.

Gegenstände können jede Art von mittels optischer oder sons tiger Sensoren erfassbaren Gegenständen, Vorrichtungen, Anla gen, Maschinen, Lebewesen oder sonstige dingliche Gegenstände sein.

Ein Sensorwert kann ein von einem auf den Produktionsablauf bezogenen Sensor zur Erfassung einer physikalischen Größe, Materialeigenschaft, chemischen Eigenschaft, Kennungs-Infor mation oder sonstigen Information bezüglich des im Produkti- onsablauf befindlichen Produkts oder der Produktionsanlage oder Teilen davon sein.

Dabei kann ein skalarer Sensorwert jede Art von skalarem Wert sein, beispielsweise ein numerischer Wert, ein alphanumeri scher Wert, eine alphanumerische Zeichenkette, ein Integer- Zahlenwert, ein Fließkomma-Zahlenwert, ein Boolescher-Wert, ein String-Wert oder ähnlicher Wert.

Ein skalarer Sensorwert kann beispielsweise eine Zahl, ein oder mehrere Buchstaben oder Wörter oder ein sonstiges alpha numerisches Datum sein. Dabei kann der Sensorwert von einem entsprechenden Sensor ausgegeben werden.

Die Erfassung mindestens eines skalaren Sensorwertes kann da bei derart ausgebildet und eingerichtet sein, dass entweder nur ein skalarer Sensorwert erfasst wird.

Weiterhin können als der mindestens eine skalare Sensorwert auch mehrere Werte, von einem Sensor zu verschiedenen Zeit punkten geliefert, erfasst werden (z.B. eine sogenannte "Zeitreihe"). Dabei können im Rahmen der Erstellung der je weiligen Datenstruktur dann z.B. einer, einzelne oder alle dieser Werte verwendet werden oder auch z.B. ein Mittelwert aus allen bzw. einzelnen dieser Werte.

Der mindestens eine erste und zweite skalare Sensorwert kann jeweils z.B. auch verschiedene Aspekte oder Teile des Gegen stands oder der Situation betreffen (z.B. Temperaturen an un terschiedlichen Stellen eines Gegenstands). Wurden z.B. als der mindestens eine erste oder zweite Sensorwert mehrere Sen sorwerte erfasst, können im Rahmen der Erstellung der jewei ligen Datenstruktur dann z.B. einer, einzelne oder alle die ser Werte verwendet werden oder auch z.B. ein Mittelwert aus mehreren oder allen Werten.

Dass sich sowohl ein Bild als auch mindestens ein skalarer Sensorwert auf denselben Gegenstand beziehen kann beispiels- weise bedeuten, dass sowohl das Bild als auch der mindestens eine skalare Sensorwert zumindest einen Teilbereich des Ge genstands betreffen, wobei der Teilbereich bezüglich des Bil des sich vom Teilbereich bezüglich des Sensorwerts unter scheiden kann. So kann beispielsweise das Bild von einem ers ten Teil eines Gegenstands erfasst werden und ein entspre chender Sensorwert, beispielsweise ein Temperaturwert, an ei nem anderen Teil dieselben Gegenstands aufgenommen werden.

Dass sich sowohl ein Bild als auch mindestens ein skalarer Sensorwert auf dieselbe Situation beziehen, kann beispiels weise bedeuten, dass sich ein entsprechender Sensorwert bei spielsweise auf einen Gegenstand und/oder Raumbereich be zieht, welche auf dem erfassten Bild enthalten ist oder zu mindest teilweise enthalten ist. So kann beispielsweise, wenn die Situation einer bestimmten Straßenverkehrs-Situation ent spricht, ein Sensorwert beispielsweise einer Lufttemperatur der im aufgenommenen Bereich vorhandenen Luft sein oder auch ein Helligkeitswert, der innerhalb des aufgenommenen Berei ches erfasst wurde. Weiterhin kann der Sensorwert auch lo gisch einer Situation zugeordnet sein, indem beispielsweise einer entsprechenden Verkehrssituation eine zum Zeitpunkt der Aufnahme herrschende Uhrzeit als Sensorwert zugeordnet wird.

Am Beispiel einer Produktionsüberwachung können beispielswei se die Bildinformationen bezogen auf ein Zwischenprodukt sein und die zugehörigen Sensorwerte sich auf den zum Zwischenpro dukt führenden Produktionsschritt beziehen (zum Beispiel eine Temperatur bzw. ein Temperaturverlauf während des Herstel lungsschritts oder eine Wickelgeschwindigkeit bei der Her stellung einer gewickelten Mehrlagen-Schichtbatterie). Ein solches „Zwischenprodukt" ist ebenfalls ein Beispiel für eine Situation im Sinne der vorliegenden Beschreibung. So würde dann beispielsweise ein erstes Bild von einem ersten Zwi schenprodukt mit dieses erste Zwischenprodukt betreffenden Sensorwerten erfasst werden, und ein zweites Bild von einem zweiten Zwischenprodukt zusammen mit den das zweite Zwischen produkt betreffenden Sensorwerten. Weiterhin können im Rahmen einer Produktionsüberwachung bei spielsweise Bilder von einem bestimmten Anlagenteil bzw. ei ner bestimmten Produktionsmaschine erfasst werden und ent sprechende Sensorwerte von Sensoren dieser Maschine bzw. die ses Anlagenteils.

Entsprechende Situationen können beispielsweise auch die Überwachung eines Fahrzeugs, insbesondere eines selbstfahren den Fahrzeugs, betreffen. So kann beispielsweise eine am oder im Fahrzeug befindliche Kamera ein bestimmtes Umgebungsbild erfassen und die entsprechenden Sensorwerte Umgebungsparame ter der erfassten Umgebung sein, beispielsweise ein Feuchtig keitswert einer Fahrbahn, Wetter- bzw. Klimainformationen, Messparameter bezüglich von Gegenständen oder Personen im Um feld, eine Temperatur, eine Tageszeit, usw.. Weiterhin können diesbezüglich Sensorparameter beispielsweise auch durch Text oder Schriftanalyse aus dem aufgenommenen Bild entnommene In formationen sein, wie beispielsweise eine Beschriftung eines Straßen- und/oder Verkehrsschildes.

Entsprechende Gegenstände und/oder Situationen können auch dem Bereich der medizinischen Diagnostik, der Werkstoffprü fung oder weiterer Anwendungen von Bildauswerteverfahren ent stammen. So können beispielsweise im Rahmen einer medizini schen Diagnostik einem erfassten Bild Sensorwerte bezüglich Blutwerten eines Patienten, dessen Körpertemperatur, akusti schen Parametern (z. B. Bezüglich Atemgeräuschen, Hust-Geräu- schen oder ähnlichem) zugeordnet sein.

Ganz allgemein wird unter einer Datenstruktur im Zusammenhang mit der vorliegenden Beschreibung eine Repräsentation von In formationen in einem Rechner oder einer entsprechenden elekt ronischen Speichereinrichtung ("in Bits oder Bytes") verstan den. Dies entspricht auch der Definition des Begriffs "Daten struktur" in der Informatik. Dabei bedeutet das Einbringen des jeweiligen Bildes und des entsprechenden jeweiligen mindestens einen Sensorwerts als konsistente Repräsentationsform in eine erste Datenstruktur beispielsweise, dass die jeweiligen Datensätze jeweils derart ausgebildet und eingerichtet sind, dass alle in der jeweili gen Datenstruktur enthaltenen Werte durch ein oder mehrere Größen in jeweils einheitlichen Maßstäben charakterisiert sind.

Dabei können die jeweiligen Datenstrukturen z.B. derart aus gebildet und eingerichtet sein, dass alle enthaltenen Werte durch eine Größe in einem einheitlichen Maßstab charakteri siert sind. Derart ausgestaltete Datensätze kann z.B. eine graphische Darstellung als ein Zahlenstrahl, eine lineare Achse oder eine vergleichbare 1-dimensionale Darstellung mit entsprechend darauf eingetragenen Werten zugeordnet sein bzw. entsprechen.

Die Datenstrukturen können weiterhin jeweils auch derart aus gebildet und eingerichtet sein, dass alle enthaltenen Werte durch jeweils zwei Größen in jeweils einem einheitlichen Maß stab charakterisiert sind. Derart ausgestaltete Datenstruktu ren können z.B. eine graphischen Darstellung als ein zweidi mensionales Diagramm mit zwei jeweils linearen Achsen bzw. zwei den dargestellten Werten entsprechenden Achsen, oder ei ne vergleichbare 2-dimensionale Darstellung, wie beispiels weise ein Graph, mit entsprechend darin dargestellten Werten zugeordnet sein.

Die Datenstrukturen können weiterhin jeweils auch derart aus gebildet und eingerichtet sein, dass alle enthaltenen Werte durch jeweils drei bzw. mehr Größen in jeweils einem einheit lichen Maßstab charakterisiert sind. Solchen Datensätzen kön nen dann entsprechende 3-dimensionale bzw. höherdimensionale Darstellungen zugordnet sein bzw. entsprechen.

Das Einbringen eines jeweiligen Bildes und eines oder mehre rer Sensorwerten in eine konsistente Repräsentationsform ei- ner Datenstruktur kann beispielsweise zumindest mittels eines nachfolgend beschriebenen Verfahrensablauf erfolgen. So kann beispielsweise ein aufgenommenes Bild in einem ersten Schritt einer entsprechenden Bildverarbeitung unterzogen werden. Eine solche Bildverarbeitung kann neben einer Anpassung entspre chender Färb-, Helligkeits- Kontrast- und ähnlicher Bildpara meter auch eine entsprechende Transformation und/oder Verzer rung oder Entzerrung des Bildes umfassen. Eine solche Trans formation kann beispielsweise eine räumliche Transformation oder auch eine Transformation beispielsweise in den Frequenz bereich umfassen. Danach kann beispielsweise eine Auswahl be stimmter Bildpunkte und/oder verschiedener Frequenzanteile für ein Einbringen in die Datenstruktur erfolgen oder auch das gesamte Bild in die Datenstruktur eingebracht werden.

Im Rahmen des Einbringens des mindestens einen Sensorwerts in die konsistente Repräsentationsform der Datenstruktur kann beispielsweise ebenfalls als ersten Schritt eine bestimmte Verarbeitung der erfassten Werte, beispielsweise eine Normie rung oder eine Anpassung an einen vorgegebenen, der Repräsen tationsform zugrunde liegenden Maßstabs umfassen. Nachfolgend können dann die entsprechenden Werte, gegebenenfalls nach ei ner weiteren Anpassung eines Maßstabs oder an die Repräsenta tionsform der Datenstruktur entsprechend in die Datenstruktur eingebracht werden.

Auf diese Weise entsteht eine Datenstruktur, die innerhalb einer einheitlichen Repräsentationsform sowohl die Daten des erfassten Bildes als auch die Daten mindestens eines diesbe züglich erfassten Sensorwerts vereinigt.

Der Vergleich der ersten und zweiten Datenstruktur kann bei spielsweise erfolgen, in dem einzelne Datenpunkte oder auch sämtliche Datenpunkte der ersten Datenstruktur mit dem ent sprechenden zugehörigen Daten der zweiten Datenstruktur ver glichen werden. Beispielsweise können dann ermittelte Abwei chungen dieser Punkte aufsummiert werden oder auch ein Mit telwert der Abweichungen angegeben bzw. berechnet werden. Weiterhin kann auch eine bestimmte Segmentierung der jeweili gen Bilder Teil des Vergleichens der Datenstrukturen sein.

Auf diese Weise können beispielsweise bestimmte Parameter der einzelnen Segmente des ersten Bildes mit den entsprechenden Parametern der entsprechenden Segmente des zweiten Bildes verglichen werden und gegebenenfalls zugehörige Abweichungen ermittelt werden.

Teil des Vergleichs der ersten und zweiten Datenstruktur kann auch ein Clustering der jeweiligen Datenstrukturen umfassen, wobei dann nachfolgend dem Clustering die ermittelten Clus terstrukturen bezüglich der ersten und zweiten Datenstruktur verglichen werden. Hierauf wird nachfolgend noch näher einge gangen.

Dabei kann Verfahrensschritt e.) beispielsweise derart ausge bildet und eingerichtet sein, dass die ausgegebene Informati on als eine Warn-Information ausgebildet und eingerichtet ist und das vorgegebene oder vorgebbare Kriterium einem Fehler- Kriterium entspricht.

Ein vorgegebenes oder vorgebbares Kriterium für die Ausgabe einer Information kann sich auf jeden im Rahmen des Ver gleichs der ersten und zweiten Datenstruktur ermittelten Ver gleichswerte beziehen.

So kann, wie vorstehend schon genannt, als vorgegebenes oder vorgebbares Kriterium beispielsweise eine kumulierte oder durchschnittliche Abweichung von Werten der ersten Daten struktur von entsprechend zugehörigen Werten der zweiten Da tenstruktur sein. Weiterhin können auch bestimmte Grenzwerte im Rahmen der ermittelten Unterschiede bei der Segmentierung der ersten und zweiten Datenstruktur oder auch Unterschiede der ermittelten Cluster-Strukturen der ersten und zweiten Da tenstruktur dem vorgegebenen oder vorgebbaren Kriterium für das Ausgeben einer Information entsprechen. So kann bei spielsweise ein vorgegebenes oder vorgebbares Kriterium im Rahmen geclusterter erster und zweiter Datenstrukturen sein, dass sich eine ermittelte Anzahl der Cluster bei der ersten und zweiten Datenstruktur unterscheidet oder auch Cluster schwerpunkte zwischen erster und zweiter Datenstruktur sich um mindestens einen bestimmten vorgegebenen Wert unterschei den.

Die Ausgabe einer Information kann beispielsweise ein Hinweis sein, dass eine entsprechende signifikante Änderung zwischen den jeweils im ersten und zweiten Bild erfassten Situationen oder Gegenständen detektiert wurde. Eine solche Information kann dann beispielsweise ein Hinweis an einen Nutzer sein, die entsprechende Situation, Produktionsanlage, bzw. den ent sprechenden Gegenstand zu prüfen o. ä. Prüfungs- bzw. Stö rungsmaßnahmen auszulösen oder eine entsprechende Information weiterzugeben .

Weiterhin kann die Ausgabe einer Information auch die Ausgabe eines Steuerbefehls oder auch die Ausgabe einer Alarm- oder Steuermeldung sein. Dabei kann der Steuerbefehl bzw. die ent sprechende Alarm- oder Steuermeldung beispielsweise an einen entsprechenden Controller, ein Steuergerät, einen Leitrech ner, einen Computer oder eine ähnliche Einrichtung weiterge leitet werden, welche beispielsweise automatisch eine ent sprechende Aktion auslösen kann.

Ein Verfahren gemäß der vorliegenden Beschreibung kann wei terhin derart ausgebildet und eingerichtet sein, dass zum Erstellen der ersten und zweiten Datenstruktur das jeweils erfasste Bild jeweils in den Frequenzraum transfor miert wird, insbesondere, dass zum Erstellen der ersten und zweiten Da tenstruktur das erfasste Bild jeweils unter Verwendung eines Verfahrens der Fourier-Analyse in den Frequenzraum transfor miert wird.

Dabei kann das Verfahren der Fourier-Analyse beispielsweise als eine sogenannte "Diskrete-Fourier-Transformation", eine sogenannte "Fast-Fourier-Transformation" oder auch eine soge nannte "Diskrete-Cosinus-Transformation" (DCT)ausgebildet und eingerichtet sein. Die "Diskrete-Cosinus-Transformation"

(DCT) wird beispielsweise auch im Rahmen der sogenannten JPEG-Kompression (JPEG: Joint Photographie Expert Group) für Bilder verwendet und ist daher eine etablierte Methode, Bil der in den Frequenzraum zu transformieren.

Die Frequenztransformation eines Bildes hat den Vorteil, dass durch die Transformation gewisse strukturelle Eigenschaften, wie beispielsweise sich deutlich abhebende Gegenstände, Li nienstrukturen, Kanten o. ä., leichter erkennbar werden. Wei terhin ermöglicht es eine Frequenztransformation, eine Bild information anhand von Amplitudeninformationen bezüglich ei nes bestimmten Frequenz-Kamms darzustellen. Durch Darstellung der einzelnen Wellen des Frequenzkamms entlang einer räumli chen Achse lassen sich somit Bildinformationen entlang einer oder mehrerer räumlicher Achsen darstellen, was das Abtragen der Sensorwerte über einzelne räumliche Samplingpunkte inner halb des Frequenzraums erlaubt. Auf diese Weise lässt sich in vereinfachter Art und Weise eine einheitliche Repräsentati onsform der Datenstruktur erreichen.

Ein Verfahren gemäß der vorliegenden Beschreibung kann auch derart ausgebildet und eingerichtet sein, dass innerhalb Verfahrensschritt a.) weiterhin mindestens ein erster skalarer Parameterwert bezüglich des Gegenstands oder Situation erfasst wird, und dass innerhalb Verfahrensschritt b.) weiterhin mindestens ein zweiter skalarer Parameterwert bezüglich des Gegenstands oder Situation erfasst wird, wobei die erste und zweite Datenstruktur weiterhin unter Ver wendung des mindestens einen ersten skalaren Parameterwertes beziehungsweise des mindestens einen zweiten Parameterwertes erstellt wird.

Dabei wird im Rahmen des Verfahrensschritt c.) auch der min destens eine erste Parameterwerte in die konsistente Reprä- sentationsform der ersten Datenstruktur eingebracht und dafür ggf. auch in die entsprechende Repräsentation transformiert bzw. an diese angepasst. Auf vergleichbare Weise wird auch der mindestens eine zweite Parameterwert in die konsistente Repräsentationsform der zweiten Datenstruktur eingebracht und dafür ggf. auch in die entsprechende Repräsentation transfor miert bzw. an diese angepasst.

Auf diese Weise können verschiedenste weitere Sensor- oder sonstige Werte bezüglich des Gegenstands oder der Situation in die entsprechende Analyse eingebracht werden, und so die Analyse verbessert und/oder robuster bzw. empfindlicher ge macht werden - je nach Wahl der Parameter bzw. des Ver gleichs- oder Auswerteverfahrens.

Ein Parameterwert kann beispielsweise ein Sensorwert sein, wie beispielsweise ein von einem Sensor, der dem Gegenstand oder der Situation zugeordneten ist, ausgegebener Wert. Ein Parameterwert kann weiterhin auch jeder dem Gegenstand oder der Situation sonst zugeordnete Wert sein. Ein solcher dem Gegenstand oder der Situation zugeordnete Wert kann z.B. Ei genschaften, Zustände, Verhaltensweisen, Kenngrößen oder ähn liche Informationen bezüglich des Gegenstands oder der Situa tion beschreiben oder betreffen. Skalare Parameterwerte kön nen beispielsweise numerische, alphanumerische, boolesche und/oder String-Werte sein.

Weiterhin kann ein Verfahren gemäß der vorliegenden Beschrei bung derart ausgebildet und eingerichtet sein, dass das Vergleichen der ersten und zweiten Datenstruktur un ter Verwendung eines neuronalen Netzes erfolgt.

Dabei kann das neuronale Netz als ein trainiertes neuronales Netz ausgebildet und eingerichtet sein.

Ein Training eines solchen neuronalen Netzes kann dabei der art erfolgen, dass jeweils zu einer Vielzahl von Zusammen stellungen von Bildinformationen mit zugeordneten Sensor- bzw. Parameter-Informationen entsprechende Datenstrukturen mit einheitlicher Repräsentationsform erstellt werden. Diese können dann beispielsweise manuell ein entsprechendes Auswer- te-Ergebnis zugeordnet werden. Ein solches Auswerte-Ergebnis kann beispielsweise einem Vergleichswert eines Vergleichs der entsprechenden Datenstrukturen mit einer entsprechenden wei teren Datenstruktur gemäß der vorliegenden Beschreibung ent sprechen. Weiterhin kann ein solches Auswerteergebnis einer gut-schlecht- bzw. Verbesserungs-Verschlechterungs-Analyse entsprechen, beispielsweise im Rahmen der Verwendung eines Verfahrens gemäß der vorliegenden Beschreibung zur Überwa chung einer Produktion oder eines Verfahrensablaufs.

Ein solches neuronales Netz kann zum Vergleichen der ersten und zweiten Datenstruktur dann beispielsweise so eingesetzt werden, dass die erste und zweite Datenstruktur auf entspre chende geeignete Weise gemäß nach dem Stand der Technik be kannten Verfahren dem neuronalen Netz zugeleitet werden und dieses einen entsprechenden Vergleichswert oder auch gut/schlecht-Wert oder auch verbessert/verschlechtert-Wert ausgibt.

Unter einem neuronalen Netz wird, zumindest im Zusammenhang mit der vorliegenden Beschreibung, eine elektronische Ein richtung verstanden, welche ein Netzwerk sogenannter Knoten umfasst, wobei in der Regel jeder Knoten mit mehreren anderen Knoten verbunden ist. Die Knoten werden beispielsweise auch als Neuronen, Units oder Einheiten bezeichnet. Dabei hat je der Knoten mindestens eine Eingangs- und eine Ausgangsverbin dung. Als Eingangs-Knoten für ein neuronales Netz, werden solche Knoten verstanden, welche von der Außenwelt Signale (Daten, Reize, Muster oder ähnliches) empfangen können. Unter Ausgabe-Knoten eines neuronalen Netzes werden solche Knoten verstanden, welche Signale, Daten oder ähnliches an die Au ßenwelt weitergeben können. Unter sogenannten „versteckten Knoten" („hidden nodes") werden solche Knoten eines neurona len Netzes verstanden, welche weder als Eingangs- noch als Ausgangs-Knoten ausgebildet sind. Ein neuronales Netz kann in der Regel trainiert werden, indem über verschiedenste bekannte Lernmethoden durch Eingabe von Eingangsdaten in das neuronale Netz und Analyse der dann ent sprechenden Ausgangsdaten aus dem neuronalen Netz Parameter werte für die einzelnen Knoten oder für deren Verbindungen ermittelt werden. Auf diese Weise kann ein neuronales Netz mit bekannten Daten, Mustern, Reizen oder Signalen auf an sich heute bekannte Weise trainiert werden, um das so trai nierte Netz dann nachfolgend beispielsweise zur Analyse wei terer Daten verwenden zu können.

Dabei kann das neuronale Netz beispielsweise als ein soge nanntes tiefes neuronales Netz („deep neural network" (DNN)) ausgebildet sein. Ein solches "deep neural network" ist ein neuronales Netz, in welchem die Netzknoten in Schichten ange ordnet sind (wobei die Schichten selbst ein-, zwei- oder auch höher-dimensional sein können). Ein tiefes neuronales Netz umfasst dabei mindestens eine oder zwei sogenannte verdeckte Schichten, welche nur Knoten umfassen, die nicht Eingangskno ten oder Ausgangsknoten sind. Das heißt, die verdeckten Schichten haben keine Verbindungen zu Eingangssignalen oder AusgangsSignalen .

Unter dem sogenannten „Deep Learning" wird dabei beispiels weise eine Klasse von maschinellen Lerntechniken verstanden, welche viele Schichten der nichtlinearen Informationsverar beitung für die überwachte oder nicht-überwachte Merkmalsext raktion und -transformation sowie zur Musteranalyse und - klassifizierung ausnutzt.

Das Deep-Neural-Network kann beispielsweise auch eine so ge nannte Auto-Encoder-Struktur aufweisen, welche im Verlauf der vorliegenden Beschreibung noch näher erläutert wird. Eine derartige Auto-Encoder-Struktur kann beispielsweise geeignet sein, um eine Dimensionalität der Daten zu reduzieren und beispielsweise so Ähnlichkeiten und Gemeinsamkeiten zu erken- nen. Ein Deep-Neural-Network kann beispielsweise auch als ein so genanntes Klassifizierungs-Netz ausgebildet sein, welches be sonders dazu geeignet ist, Daten in Kategorien einzuteilen. Derartige Klassifizierungs-Netze werden beispielsweise in Zu sammenhang mit Handschrift-Erkennung eingesetzt.

Eine weitere mögliche Struktur eines neuronalen Netzes mit Deep-Learning-Architektur kann beispielsweise die Ausgestal tung als so genanntes „Deep-Believe-Network" sein.

Ein neuronales Netz mit einer Deep-Learning-Architektur kann beispielsweise auch eine Kombination von mehreren der vorste hend genannten Strukturen aufweisen. So kann beispielsweise die Deep-Learning-Architektur eine Auto-Encoder-Struktur um fassen, um die Dimensionalität der Eingangsdaten zu reduzie ren, welche dann weiterhin mit einer anderen Netzstruktur kombiniert werden kann, um beispielsweise Besonderheiten und/oder Anomalien innerhalb der datenreduzierten Dimensiona lität zu erkennen bzw. die datenreduzierte Dimensionalität zu klassifizieren.

Zum Training des neuronalen Netzes mit der Deep-Learning- Architektur kann beispielsweise eine der Methoden des so ge nannten „überwachten Lernens" („supervised learning") verwen det werden. Hierbei werden einem Netz durch Training mit ent sprechenden Trainingsdaten diesen Daten jeweils zugeordnete Ergebnisse oder Fähigkeiten antrainiert. Weiterhin kann zum Training des neuronalen Netzes auch eine Methode des so ge nannten unüberwachten Trainings („unsupervised learning") verwendet werden. Ein solcher Algorithmus erzeugt für eine gegebene Menge von Eingaben beispielsweise ein Modell, wel ches die Eingaben beschreibt und daraus Vorhersagen ermög licht. Dabei gibt es beispielsweise Clustering-Verfahren, mit welchen sich die Daten in verschiedene Kategorien einteilen lassen, wenn sie sich beispielsweise durch charakteristische Muster voneinander unterscheiden. Beim Trainieren eines neuronalen Netzes können auch überwach te und unüberwachte Lernmethoden kombiniert werden, bei spielsweise wenn Teilen der Daten antrainierbare Eigenschaf ten oder Fähigkeiten zugeordnet sind, während dies bei einem anderen Teil der Daten nicht der Fall ist.

Weiterhin können auch noch Methoden des so genannten bestär kenden Lernens („reinforcement learning") für das Training des neuronalen Netzes, zumindest unter anderem, verwendet werden.

Allgemein wird unter dem Training des neuronalen Netzes ver standen, dass die Daten, mit welchen das neuronale Netz trai niert wird, im neuronalen Netz mithilfe eines oder mehrerer Trainings-Algorithmen verarbeitet werden, um so genannte Vor spannungswerte („Bias"), Gewichtungswerte („weights") und/oder Transferfunktionen („Transfer Functions") der ein zelnen Knoten des neuronalen Netzes bzw. der Verbindungen zwischen jeweils zwei Knoten innerhalb des neuronalen Netzes zu berechnen bzw. zu verändern.

Die die einzelnen Knoten und deren Verbindungen beschreiben den Werte inklusive weiterer das neuronale Netz beschreibende Werte können beispielsweise in einem das neuronale Netz be schreibenden Wertesatz gespeichert werden. Ein solcher Werte satz stellt dann beispielsweise eine Ausgestaltung des neuro nalen Netzes dar. Wird ein solcher Wertesatz nach einem Trai ning des neuronalen Netzes gespeichert, so wird damit bei spielsweise eine Ausgestaltung eines trainierten neuronalen Netzes gespeichert. So ist es beispielsweise möglich, in ei nem ersten Computersystem das neuronale Netz mit entsprechen den Trainingsdaten zu trainieren, den entsprechenden Werte satz, welcher diesem neuronalen Netz zugeordnet ist, dann zu speichern und als Ausgestaltung des trainierten neuronalen Netzes in ein zweites System zu transferieren.

Beispielsweise kann ein Training, welches eine relativ hohe Rechenleistung eines entsprechenden Computers erfordert, auf einem hochperformanten System geschehen, während weitere Ar beiten oder Datenanalysen mit dem trainierten neuronalen Net zes dann durchaus auf einem niedriger-performanten System durchgeführt werden kann. Solche weitere Arbeiten und/oder Datenanalysen mit dem trainieren neuronalen Netz können zum Beispiel auf einem Assistenzsystem und/oder auf einer Steuer einrichtung, einer Speicherprogrammierbaren Steuerung oder einer modularen Speicherprogrammierbaren Steuerung gemäß der vorliegenden Beschreibung erfolgen.

Ein Verfahren gemäß der vorliegenden Beschreibung kann wei terhin auch derart ausgebildet und eingerichtet sein, dass die erste und zweite Datenstruktur jeweils eine zwei- oder höherdimensionale Diagramm-Struktur oder eine zwei- oder höherdimensionale Graphen-Struktur aufweist oder jeweils als ein zwei- oder höherdimensionales Diagramm oder einen zwei- oder höherdimensionalen Graph dargestellt oder darstellbar ist.

Dabei kann beispielsweise im Rahmen des Erstellens der 1. und 2. Datenstruktur zuerst ein jeweiliges Diagramm, ein jeweili ger Graph bzw. eine jeweilige Diagramm- oder Graphen-Struktur erstellt werden und auf diese dann ein Clustering Verfahren angewendet werden. Weiterhin kann das Clustering auch bereits parallel zur Erstellung des Diagramms, des Graphen bzw. der Diagramm-Struktur oder Graphen-Struktur erfolgen. Im Ergebnis umfasst die 1. und 2. Datenstruktur dann bereits sowohl die jeweiligen Diagramme, Graphen, Diagramm-Strukturen oder Gra- phen-Strukturen als auch die jeweiligen Cluster-Strukturen dazu.

Alternativ, oder auch zusätzlich kann im Rahmen des Verglei- chens der 1. und 2. Struktur ein Clustering-Verfahren auf die jeweiligen Diagramme, Graphen, Diagramm-Strukturen oder Gra- phen-Strukturen angewendet werden. Dies kann sowohl dann er folgen, wenn auf die jeweiligen Diagramme, Graphen, Diagramm- Strukturen oder Graphen-Strukturen noch kein Clustering ange wendet wurde, als auch, wenn auf diese bereits ein Clus- tering-Verfahren, wie beispielsweise vorstehend beschrieben, im Rahmen des Herstellens der Datenstruktur angewendet wurde (sogenanntes „hierarchisches Clustering").

Unter einer Diagrammstruktur oder einem Diagramm wird jede Struktur verstanden, welche sich innerhalb eines entsprechen den Koordinatensystems darstellen lässt, insbesondere welche sich als einzelne Datenpunkte innerhalb eines entsprechenden Koordinatensystems darstellen lässt. Dabei entspricht einer N-dimensionalen Diagramm-Struktur, bzw. einem N-dimensionalen Diagramm, eine Struktur, welche sich beispielsweise als ein zelne Datenpunkte innerhalb eines N-dimensionalen Diagramms darstellen lässt.

Unter einer Graphen-Struktur bzw. einem Graphen wird dabei jede Struktur verstanden, welche sich als entsprechender Graph darstellen lässt. Dabei kann ein solcher Graph bzw. ei ne solche Graphen-Struktur derart ausgebildet und eingerich tet sein, dass beispielsweise die Knoten des Graphen einzel nen Werten der Datenstruktur entsprechen und mit entsprechen den Verbindungen verknüpft sind, den sogenannten „Kanten" des Graphen. Dabei können solche Verbindungen bzw. Kanten derart ausgebildet und eingerichtet sein, dass z.B. alle Punkte mit allen anderen Punkten verknüpft sind, ein Punkt nur mit einer Maximalzahl beliebiger Punkte verknüpft ist und/oder ein (Sampling-)Punkt aus der Frequenzdomäne zwingend mit allen Samples der weiteren Sensorwerte verbunden ist, insbesondere mit maximal einer vorgegebenen oder vorgebbaren Zahl von wei teren Samples des Frequenzraums verbunden ist.

Weiterhin können bei einem entsprechenden Graphen bzw. einer entsprechenden Graphen-Struktur auch Teile der die Knoten be stimmenden Werten einem Teil der Datenstruktur entsprechen und ein weiterer Teile der Datenstruktur den zugehörigen Kan ten.

Diese Ausgestaltung des vorliegenden Verfahrens hat den Vor teil, dass es sehr effiziente und etablierte Methoden gibt, derartige Diagramme und/oder Graphen auszuwerten und mitei nander zu vergleichen. Auf diese Weise lässt sich ein Ver gleich der Datenstrukturen und ein entsprechendes Abgleichen eines Vergleichsergebnisses mit vorgebbaren oder vorgegebenen Kriterien weiter vereinfachen.

Die Ursachenanalyse (englisch: „Root cause analysis") ist beispielsweise für industrielle Produktionsprozesse von gro ßer Bedeutung und gerade bei Verwendung eines Verfahrens ge mäß der vorliegenden Beschreibung, insbesondere bei Verwen dung eines Clustering-Verfahrens gemäß der vorliegenden Be schreibung im Rahmen eines solchen Verfahrens, einfacher mög lich. Im Rahmen einer solchen Anwendung kann beispielsweise die Veränderung von Clustern im Nachgang z.B. durch das Ver folgen von Knotenbewegungen innerhalb entsprechender Graphen nachvollzogen werden. Knoten können ja im Rahmen eines Ver fahrens gemäß der vorliegenden Beschreibung direkt aus entwe der Sensorwerten bzw. harmonischen Wellen des Frequenzraums hervorgehen. Und solche Knoten lassen sich dann z.B. entweder die jeweiligen Sensorwerten bzw. die harmonischen Wellen des Frequenzraums zuordnen, aus denen sie hervorgegangen sind. Führen beispielsweise bestimmte Knoten zur Veränderung in der Clusterstruktur, können hiermit beispielsweise unmittelbar die dahinterliegenden Zeitreihen/ Bildanteile als Ursachen identifiziert werden.

Ganz allgemein ist ein Graph ein mathematisches Konstrukt, welches aus sogenannten „Knoten" und jeweils zwei Knoten ver bindenden sogenannten „Kanten" aufgebaut ist. Eine graphische Darstellung solcher Graphen kann beispielsweise eine Darstel lung sein, bei welcher die Knoten als Punkte oder Kreise und die Kanten als jeweils Kreise verbindende Linien dargestellt sind.

Kanten können dabei beispielsweise sogenannte „ungerichtete Kanten" sein, bei welchen der Verbindung der jeweiligen Kno ten keine logische Richtung zugeordnet ist. Weiterhin können Kanten auch als sogenannte „gerichtete Kanten" ausgebildet sein, bei welchen der Verbindung der jeweiligen Knoten eine logische Richtung bzw. Bedeutung zugeordnet ist.

Ein Verfahren gemäß der vorliegenden Beschreibung kann wei terhin derart ausgebildet und eingerichtet sein, dass im Rahmen eines Erstellens der ersten und zweiten Daten struktur gemäß Verfahrensschritt c.) jeweils ein Clustering- Verfahren auf die jeweiligen Diagramme, Graphen, Diagramm- Strukturen oder Graphen-Strukturen der ersten und zweiten Da tenstruktur angewendet wurde oder wird, oder, dass im Rahmen eines Vergleichens der ersten und zwei ten Datenstruktur gemäß Verfahrensschritt d.) jeweils ein Clustering-Verfahren auf die jeweiligen Diagramme, Graphen, Diagramm-Strukturen oder Graphen-Strukturen der ersten und zweiten Datenstruktur angewendet wird.

Das Vergleichen der ersten und zweiten Datenstruktur gemäß Verfahrensschritt d.) bzw. Erstellen der ersten und zweiten Datenstruktur gemäß Verfahrensschritt c.) kann z.B. durch An wendung eines oder mehrerer Clustering-Verfahrens auf die jeweiligen Diagramme, Graphen, Diagramm-Strukturen oder Gra phen-Strukturen der ersten und zweiten Datenstruktur erfol gen.

Nachfolgend einem solchen Clustering können dann beispiels weise im Rahmen des Verfahrensschritt d.) weiterhin die gemäß des vorstehenden Clustering identifizierten Cluster, Clus terstrukturen, Cluster-Eigenschaften oder ähnliches vergli chen werden.

Weiterhin kann in diesem Zusammenhang ein vorgegebenes oder vorgebbares Kriterium, welches gemäß Verfahrensschritt e.) die Ausgabe einer Information auslöst, ein Kriterium bezüg lich des Unterschieds einer Anzahl von identifizierten Clus tern, ein Kriterium bezüglich eines oder mehrerer Positions- Unterschiede zwischen identifizierten Clustern, oder auch ein Kriterium bezüglich sonstiger Unterschiede bezüglich Eigen- schäften, Anzahl und Lage von jeweils identifizierten Clus tern umfassen oder sein.

Dabei kann es sich bei der Anwendung des Clustering-Verfah- rens beispielsweise um ein automatisiertes Clustering-Ver- fahren handeln. Dabei kann beispielsweise mithilfe einer ent sprechenden Software, bei deren Ablauf das Clustering-Ver- fahren automatisch ausgeführt wird, ein Clustering der Daten strukturen erfolgen. Dabei kann im Rahmen der Software bei spielsweise einer oder auch mehrere Clustering-Algorithmen realisiert sein.

Weiterhin kann es sich beispielsweise bei der Anwendung des Clustering-Verfahrens auch um ein halb-automatisiertes Clus tering-Verfahren handeln. Dies kann beispielsweise vermittels einer entsprechenden Software realisiert werden, bei deren Ablauf das Clustering-Verfahren halb-automatisch ausgeführt wird. Dies kann beispielsweise derart realisiert sein, dass beim Ablauf des Clustering Verfahrens die Software zu gewis sen Zeitpunkten entsprechende Nutzereingaben erwartet.

Die Anwendung des Clustering-Verfahrens kann zum Beispiel die Anwendung eines Clustering-Algorithmus oder auch die Anwen dung mehrerer Clustering-Algorithmen, beispielsweise nachei nander, umfassen. Solche Clustering-Algorithmen können bei spielsweise ein sogenanntes "K-Means Clustering", ein soge nanntes "Mean-Shift Clustering", ein sogenanntes "Expectati- on-Maximization (EM) Clustering using Gaussian Mixture Mo dels (GMM)", ein sogenanntes "Agglomerative Hierarchical Clus tering" und/oder ein sogenanntes "Density-Based Spatial Clus tering", z.B. ein Density-Based Spatial Clustering of Appli cations with Noise (DBSCAN) " sein. Weitere Beispiele für Clus tering-Algorithmen können z.B. nachfolgende Algorithmen sein: "Mini Batch K-Means", "Affinity Propagation", "Mean Shift", "Spectral Clustering", "Ward", "Agglomeration Clustering", "Birch", "Gaussian Mixture". Cluster sind damit Gruppen von ähnlichen Datenpunkten oder Datengruppen betrachtet werden, die durch eine entsprechende Clusteranalyse bzw. ein entsprechendes Clustering gebildet werden.

Unter einem Clustering wird ganz allgemein eine Technik des sogenannten "machine learning" verstanden, bei der Daten oder Datenpunkte in sogenannte "Cluster" gruppiert werden. Bei ei nem Satz von Daten bzw. Datenpunkten kann man z.B. ein Clus- teranalyse-Verfahren, ein Clustering-Verfahren oder einen Clustering-Algorithmus verwenden, um jedes Datum bzw. jeden Datenpunkt oder auch einzelne Daten oder Datenpunkte in eine bestimmte Gruppe zu klassifizieren. Eine solche Gruppe wird dann als "Cluster" bezeichnet. Dabei weisen Daten bzw. Daten punkte, die sich in derselben Gruppe (also demselben Cluster) befinden, ähnliche Eigenschaften und/oder Merkmale auf, wäh rend Datenpunkte in verschiedenen Gruppen sehr unterschiedli che Eigenschaften und/oder Merkmale aufweisen.

Mathematisch bestehen Cluster aus Objekten, die zueinander eine geringere Distanz (oder umgekehrt: höhere Ähnlichkeit) aufweisen als zu den Objekten anderer Cluster. Man kann ent sprechende Clustering-Verfahren beispielsweise nach den ver wendeten Distanz- bzw. Proximitätsmaßen zwischen Objekten der Cluster, aber auch zwischen ganzen Clustern, unterscheiden. Weiterhin bzw. alternativ kann man entsprechende Clustering- Verfahren auch nach jeweiligen Berechnungsvorschriften für solche Distanzmaße unterscheiden.

Unter Clusteranalysen bzw. Clustering-Verfahren sind Verfah ren zur Entdeckung von Ähnlichkeitsstrukturen in großen Da tenbeständen zu verstehen. Dazu zählen beispielsweise Metho den des überwachten beziehungsweise unüberwachten maschinel len Lernens, wie k-means oder DBSCAN. Das Ergebnis der Clus teranalyse sind Cluster. Der Vorteil ist hier, dass die Ana lyse der Daten vollautomatisiert durchgeführt werden kann. Überwachtes Lernen würde sich anbieten, wenn bereits Daten in kontextualisierter Form vorliegen. Algorithmen des unüber- wachten Lernens ermöglichen es, auch Ähnlichkeitsstrukturen in Daten zu finden, die noch nicht kontextualisiert sind. Die gefundenen Cluster können dann von einem Domänen-Experten analysiert werden.

Bei der Durchführung des Clustering-Verfahrens bzw. eines Clustering-Algorithmus gemäß der vorliegenden Beschreibung können dabei je nach Art der verwendeten Datenkategorien die verschiedensten üblichen Distanzmaße oder Ähnlichkeitsmaße für numerische Daten, binäre Daten, String-Daten, kategori sche Daten, Text-Daten, und/oder Zeit-Serien-Daten verwendet werden.

Beispiele für solche Clustering-Verfahren oder -Algorithmen sind:

- sogenanntes "unsupervised clustering",

- das sogenannte K-means Clustering-Verfahren,

- Verfahren aus der Bildbearbeitung zur Erkennung von zusam mengehörenden Strukturen innerhalb vorliegender Bilder oder Bildinformationen

- eine Kombination der oben vorstehend genannten Verfahren.

Dabei kann das verwendete Clustering-Verfahren den Daten- Typen innerhalb der vorliegenden Daten angepasst ausgewählt werden.

Ein Verfahren gemäß der vorliegenden Beschreibung kann wei terhin derart ausgebildet und eingerichtet sein, dass das Verfahren zur Überwachung eines Verfahrensablaufs oder Produktionsablaufs derart ausgebildet und eingerichtet ist,

- dass das Erfassen des ersten beziehungsweise zweiten Bildes als Erfassen eines ersten beziehungsweise zweiten Bildes ei nes Gegenstandes bezüglich des Produktionsablaufs oder einer Situation bezüglich des Produktionsablaufs ausgebildet und eingerichtet ist, und

- dass das Erfassen des mindestens einen ersten beziehungs weise zweiten skalaren Sensorwerts als Erfassen mindestens eines ersten beziehungsweise mindestens eines zweiten skala ren Sensorwerts betreffend den Gegenstand bezüglich des Pro duktionsablaufs oder die Situation bezüglich des Produktions ablaufs ausgebildet und eingerichtet ist.

Mittels eines derart ausgestalteten Verfahrens lässt sich beispielsweise der Ablauf eines Verfahrens oder einer Produk tion bzw. bestimmter Produktionsschritte effizient analysie ren und/oder überwachen. Durch ein derart ausgestaltetes Ver fahren wird es ermöglicht sowohl Bildinformationen als auch Sensor-Informationen bezüglich des Verfahrens bzw. der Pro duktion in die Analyse einzubeziehen, wodurch das Verfahren bzw. ausgewählte Verfahrensschritte bzw. Produktionsschritte sehr gut und/oder umfassend erfasst und charakterisiert wer den können.

Weiterhin kann die Analyse dieser Daten beispielsweise im Rahmen des Vergleichs der dabei ermittelten Datenstrukturen, durchaus unter Verwendung eines neuronalen Netzes durchge führt werden, ein solches ist aber nicht unbedingt notwendig. Daher vereinfacht ein solches Verfahren die Analyse von Pro duktionsverfahren im Vergleich mit aus dem Stand der Technik bekannten Verfahren weiter.

In diesem Fall kann das vorgegebene oder vorgebbare Kriterium zur Ausgabe einer entsprechenden Information beispielsweise derart gewählt sein, dass eine Information dann ausgegeben wird, wenn im Rahmen des Verfahrensablaufs oder Produktions ablaufs fehlerhafte Zustände oder fehlerhafte Produkte oder auch gefährliche Zustände vorliegen könnten. Die Information kann dann beispielsweise eine entsprechende Warninformation sein oder auch ein entsprechender Steuerbefehl, der bei spielsweise bestimmte Verfahrensteile oder -bereiche bzw. Produktionssegmente abschaltet oder in einen sicheren Zustand überführt. Weiterhin können entsprechende Informationen auch Alarmmeldungen sein, welche dann beispielsweise über ein ent sprechendes Alarmsystem ausgegeben, verarbeitet und/oder ver breitet werden können. Ein erfasstes Bild kann in diesem Fall beispielsweise als Bild eines End- oder Zwischenprodukts eines Produktionsver fahrens ausgestaltet sein. Weiterhin kann ein Bild beispiels weise als Bild einer Anlagen- oder Gerätekomponente bezie hungsweise eines Anlagen- oder Geräteteils einer im Rahmen eines Produktionsverfahrens verwendeten Anlage beziehungswei se eines verwendeten Geräts ausgestaltet sein.

Entsprechende Sensorwerte können beispielsweise das Produkti onsverfahren charakterisierende Sensorwerte sein, wie bei spielsweise eine Temperatur oder ein Temperaturverlauf eines Ofens, eine Transportgeschwindigkeit einer im Rahmen des Pro duktionsverfahrens verarbeiteten Bahn, Leistungs- oder Ver brauchswerte eines im Rahmen des Produktionsverfahrens ablau fenden Verfahrensschritts oder vergleichbare Sensorwerte be züglich eines beispielsweise zu einem Zwischen- oder Endpro dukt führenden Produktionsverfahrens oder Produktions schritts.

Weiterhin kann das Bild einem Verfahrensablauf zugeordnet sein, z.B. ein Bild, das innerhalb einer Brennkammer einer Gasturbine aufgenommen wurde oder wird. Vermittels derartiger Bilder können unter Verwendung eines Verfahrens gemäß der vorliegenden Beschreibung beispielsweise Anomalien innerhalb eines solchen Verbrennungsverfahrens detektiert werden.

Als mindestens ein zugeordneter Sensorwert kann dann in die sem Fall z.B. eine Zeitreihe der Leistung der Gasturbine her angezogen werden. Allgemein kann auch hier jeder den Verfah rensablauf charakterisierende oder dem Verfahrensablauf ent stammende Sensorwert als der mindestens eine zugeordnete Sen sorwert verwendet werden. Dies kann beispielsweise die schon erwähnte Zeitreihe oder auch Einzelwerte bezüglich einer Leistung, einer Geschwindigkeit, einer Temperatur oder auch weiterer den Verfahrensschritt charakterisierenden Messgrößen sein. Ein Verfahren gemäß der vorliegenden Beschreibung kann wei terhin derart ausgebildet und eingerichtet sein, dass der Produktionsablauf zur Herstellung eines Produkts ausgebildet und eingerichtet ist und eine Abfolge von Produk tionsschritten umfasst, wobei nach dem Ablauf eines ausge wählten Produktionsschritts aus der Abfolge von Produktions schritten ein Zwischenprodukt vorliegt,

- und dass weiterhin das erste Bild als ein erstes Zwischen produkt-Bild ausgebildet und eingerichtet ist,

- der mindestens eine erste skalare Sensorwert sich auf den ausgewählten Produktionsschritt bezieht,

- das zweite Bild als ein zweites Zwischenprodukt-Bild ausge bildet und eingerichtet ist, und

- der mindestens eine zweite skalare Sensorwert sich auf den ausgewählten Produktionsschritt bezieht.

Die vorstehend genannte Aufgabe wird weiterhin gelöst durch ein Verfahren zum Überwachen eines Produktionsablaufs zur Herstellung eines Produktes, wobei der Produktionsablauf eine Abfolge von Produktions schritten umfasst, wobei nach dem Ablauf eines ausgewählten Produktionsschritts aus der Abfolge von Produktionsschritten ein Zwischenprodukt vorliegt, das Verfahren umfassend die nachfolgenden Schritte: a.) Erfassen eines ersten Zwischenprodukt-Bildes, und Erfas sen mindestens eines ersten skalaren Sensorwerts bezüglich des ausgewählten Produktionsschritts; b.) Erfassen eines zweiten Zwischenprodukt-Bildes und Erfas sen mindestens eines zweiten skalaren Sensorwerts bezüglich des ausgewählten Produktionsschritts; c.) Einbringen des ersten Bilds und des mindestens einen ers ten skalaren Sensorwerts als konsistente Repräsentationsform in eine erste Datenstruktur, und

Einbringen des zweiten Bilds und des mindestens einen zweiten skalaren Sensorwerts als konsistente Repräsentationsform in eine zweite Datenstruktur; d.) Vergleichen der ersten und zweiten Datenstruktur, und e.) Ausgabe einer Information, wenn der Vergleich einen Un terschied ergibt, der einem vorgegebenen oder vorgebbaren Kriterium entspricht.

Dabei kann Verfahrensschritt e.) beispielsweise derart ausge bildet und eingerichtet sein, dass die ausgegebene Informati on als eine Warn-Information ausgebildet und eingerichtet ist und/oder das vorgegebene oder vorgebbare Kriterium einem Feh ler-Kriterium entspricht.

Weiterhin kann beispielsweise das erste Bild als ein erstes Zwischenprodukt-Bild eines zu einem ersten Zeitpunkt vorlie genden ersten Zwischenprodukts und das zweite Bild als ein zweites Zwischenprodukt-Bild eines zu einem zweiten Zeitpunkt vorliegenden zweiten Zwischenprodukts ausgebildet und einge richtet sein.

Im Rahmen einer diskreten Fertigung von aufeinanderfolgenden Einzelprodukten können beispielsweise der erste und der zwei te Zeitpunkt derart gewählt werden, dass zum ersten Zeitpunkt ein erstes Zwischenprodukt vorliegt und zum zweiten Zeitpunkt ein dem ersten Zwischenprodukt unmittelbar nachfolgendes Zwi schenprodukt vorliegt, sodass jedes Zwischenprodukt im Rahmen der Produktionsfolge mit dem vorhergehenden verglichen wird. Der erste und zweite Zeitpunkt kann weiterhin derart gewählt werden, dass nicht jedes Zwischenprodukt mit dem vorhergehen den Zwischenprodukt verglichen wird, sondern nur jedes zwei te, fünfte, zehnte oder sonstige Zwischenprodukt jeweils be trachtet wird.

Im Rahmen einer kontinuierlichen Produktion können der erste und zweite Zeitpunkt beispielsweise derart beabstandet sein, dass sie einer typischen Zeit entsprechen, in welchen sich der entsprechende Verfahrensablauf verändert. Dies kann bei spielsweise eine Regelungs-Zeitkonstante für einen am Verfah ren mitwirkenden Vorgang oder auch für ein am Verfahren be teiligtes Gerät sein, beispielsweise einen Ofen, eine Hei zung, eine Kühlung, eine Verbrennung, ein Transportband, eine Werkzeugmaschine, eine Bearbeitungsmaschine oder Vergleichba res.

Entsprechend der vorstehend genannten Bilderfassung des ers ten und zweiten Bildes zum ersten und zweiten Zeitpunkt kann der mindestens eine erste skalare Sensorwert sich auf den ausgewählten Produktionsschritt beziehen und an mindestens einem auf den ersten Zeitpunkt bezogenen weiteren ersten Zeitpunkt erfasst werden. Weiterhin kann der mindestens eine zweite skalare Sensorwert sich auf den ausgewählten Produkti onsschritt beziehen und an mindestens einem auf den zweiten Zeitpunkt bezogenen weiteren zweiten Zeitpunkt erfasst wer den.

Beispielsweise kann der mindestens eine auf den ersten Zeit punkt bezogene weitere erste Zeitpunkt derart gewählt sein, dass die entsprechend aufgenommenen Sensorwerte beispielswei se im Rahmen der Herstellung des durch das Bild jeweils er fassten Zwischenprodukte erfasst werden. Weiterhin kann der mindestens eine weitere erste Zeitpunkt so gewählt sein, dass beispielsweise bei der Analyse eines Verfahrensablaufs die Sensorwerte zu Zeitpunkten aufgenommen werden, die kausal mit dem auf dem Bild erfassten Zustand Z usammenhängen. Entspre chendes gilt auch für die Beziehung des mindestens einen auf den zweiten Zeitpunkt bezogenen weiteren zweiten Zeitpunkts in Bezug auf die Erfassung der zweiten Sensorwerte und des zweiten Bildes.

Ganz allgemein können der mindestens eine auf den ersten bzw. zweiten Zeitpunkt bezogene weitere erste bzw. zweite Zeit punkt derart gewählt werden, dass der jeweils erfasste min destens eine Sensorwert in kausalem Zusammenhang mit der mit dem ersten bzw. zweiten Bild erfassten Situation bzw. dem er fassten Gegenstand stehen.

Die Abfolge von Produktionsschritten kann beispielsweise aus einem oder mehreren Produktionsschritten bestehen. Dabei können die Produktionsschritte eines Produktionsablaufs beispielsweise derart ausgebildet und eingerichtet sein, dass jeweils ein Produktionsschritt von jeweils einer Produktions maschine und/oder einem Produktionsgerät durchgeführt wird. Weiterhin oder auch zusätzlich kann ein Produktionsschritt beispielsweise durch eine bestimmte Einstellung von Parame terwerten oder eine bestimmte Abfolge von Parameterwerten (z. B. einem Aufheizvorgang oder Abkühlvorgang) charakterisiert sein.

Durch die Abfolge von Produktionsschritten kann beispielswei se ein sogenanntes diskretes Verfahren erreicht werden, bei welchem aufeinanderfolgende Einzelprodukte (Z. B. Autos, Han dys, ...) hergestellt werden. In diesem Fall kann ein Zwischen produkt beispielsweise ein nach einem bestimmten Produktions schritt vorliegendes Zwischenprodukt sein, welches zu einem angegebenen Zeitpunkt den entsprechenden Produktionsschritt beendet hatte.

Durch die Abfolge von Produktionsschritten kann beispielswei se weiterhin ein sogenanntes kontinuierliches Verfahren er reicht werden, bei welchem kontinuierlich beispielsweise be stimmte Materialien oder Stoffe produziert werden. Bei derar tig ausgestalteten Verfahren kann ein Zwischenprodukt dann ein zu einem angegebenen Zeitpunkt nach oder während eines Verfahrensschritts vorliegendes Zwischenprodukt sein.

Weiterhin kann durch die Abfolge von Produktionsschritten auch ein sogenanntes Batch-Verfahren erreicht werden, welches quasi einen Hybrid aus einem diskreten und einem kontinuier lichen Verfahren darstellt. Hierbei können Zwischenprodukte sowohl entsprechend der vorstehend genannten Erläuterung be züglich diskreter Verfahren als auch bezüglich kontinuierli cher Verfahren Anwendung finden.

Ein Verfahren gemäß der vorliegenden Beschreibung kann wei terhin derart ausgebildet und eingerichtet sein, dass innerhalb Verfahrensschritt c.) der erste Datensatz un ter Verwendung mindestens eines weiteren ersten Produktions parameter-Wertes, und der zweite Datensatz unter Verwendung mindestens eines weiteren zweiten Produktionsparameter-Wertes erstellt wird.

Dabei wird im Rahmen des Verfahrensschritt c.) auch der min destens eine erste Produktionsparameter in die konsistente Repräsentationsform der ersten Datenstruktur eingebracht und dafür ggf. auch in die entsprechende Repräsentation transfor miert bzw. an diese angepasst. Auf vergleichbare Weise wird auch der mindestens eine zweite Produktionsparameter in die konsistente Repräsentationsform der zweiten Datenstruktur eingebracht und dafür ggf. auch in die entsprechende Reprä sentation transformiert bzw. an diese angepasst.

Auf diese Weise können verschiedenste weitere Sensor- oder sonstige Werte bezüglich des Produktionsablaufs, des Verfah rensablaufs, entsprechender Produktionsschritte oder -geräte, Ausgangsmaterialien oder -bedingungen oder weitere eine Pro duktion bzw. ein Verfahren charakterisierende Parameter in die entsprechende Analyse eingebracht werden.

So kann eine Analyse gemäß der vorliegenden Beschreibung bei spielsweise weiter verbessert und/oder robuster bzw. auch empfindlicher gemacht werden - beispielsweise je nach Wahl der entsprechenden Parameter bzw. des Vergleichs- oder Aus werteverfahrens .

Ein Produktionsparameter kann jede beispielsweise zum ersten bzw. zweiten Zeitpunkt vorliegende Eigenschaft des während des ausgewählten Produktionsschritts vorliegenden be- oder verarbeiteten Produkts oder auch der Produktionsanlage sein.

Beispielsweise kann weiterhin der mindestens eine weitere erste bzw. zweite Produktionsparameter sich auf den ausge wählten Produktionsschritt beziehen und/oder zu mindestens einem weiteren ersten bzw. zweiten Zeitpunkt erfasst werden bzw. vorliegen.

Dabei kann der Produktionsparameter z.B. als Zeitreihe oder Messwert während des Ablaufs des ausgewählten Produktions schritts erfasst werden. Weiterhin kann der Produktionspara meter auch ein sonstiger Wert sein, der für den ausgewählten Produktionsschritt, das während des ausgewählten Produktions schritts be- oder verarbeitete Produkt oder die Produktions anlage jeweils während des Ablaufs des ausgewählten Produkti onsschritts innerhalb der Zeitspanne relevant ist.

Weiterhin kann das Verfahren gemäß der vorliegenden Beschrei bung derart ausgebildet und eingerichtet sein, dass das Verfahren zur Überwachung der Bewegung eines Fahr zeugs derart ausgebildet und eingerichtet ist,

- dass das Erfassen des ersten beziehungsweise zweiten Bildes als Erfassen eines ersten beziehungsweise zweiten Bildes ei nes Umgebungsausschnitts des Fahrzeugs ausgebildet und einge richtet ist, und

- dass das Erfassen des mindestens einen ersten beziehungs weise zweiten Sensorwerts als Erfassen mindestens eines ers ten beziehungsweise mindestens eines zweiten Sensorwerts be züglich des Fahrzeugs oder einer Umgebung des Fahrzeugs aus gebildet und eingerichtet ist.

Dabei kann das Fahrzeug beispielsweise als ein sogenanntes autonomes Fahrzeug ausgebildet und eingerichtet sein. Solch ein autonomes Fahrzeug kann beispielsweise als ein sogenann tes „AGV" ("autonomous guided vehicle") ausgestaltet und ein gerichtet sein. Allgemein wird ein autonomes Fahrzeug als ein Fahrzeug betrachtet, welches sich ohne bzw. im Wesentlichen ohne die ständige Einwirkung eines menschlichen Fahrers oder auch gänzlich ohne einen menschlichen Fahrer bewegt.

Im Rahmen der Überwachung der Bewegung eines Fahrzeugs kann ein Verfahren gemäß der vorliegenden Beschreibung beispiels weise derart ausgebildet und eingerichtet sein, dass in re- gelmäßigen Zeitabständen beispielsweise ein autonomes Fahr zeug ein Bild seiner Umgebung bzw. eines Teiles seiner Umge bung (beispielsweise in Vorwärtsrichtung) erfasst und gleich zeitig als Sensorwert beispielsweise Messwerte von entspre chenden Näherungssensoren des autonomen Fahrzeugs erfasst werden. Auf diese Weise ist es beispielsweise möglich, durch aufeinanderfolgende derartige Bild/Sensor Erfassungen ein Erscheinen und auch Analysieren von in der Umgebung des Fahr zeugs vorhandenen oder auftretenden Gegenständen, Hindernis sen, Fahrbahnmarkierungen oder vergleichbaren Gegenständen oder Markierungen zu erkennen und entsprechende Konsequenzen zu ziehen, insbesondere auch betreffend die Fahrtrichtung des Fahrzeugs.

So kann beispielsweise im Rahmen des Vergleichs einer ent sprechend erstellten ersten und zweiten Datenstruktur und ei ner nachfolgenden Ausgabe entsprechende Informationen gemäß entsprechenden vorgegebenen Kriterien, das Verfahren derart ausgebildet und eingerichtet sein, dass beispielsweise das Fahrzeug entsprechenden Hindernissen ausweichen kann bzw. entsprechenden Markierungen beispielsweise folgen kann.

Auf diese Weise kann beispielsweise ein sicheres Fortbewegen eines autonomen Fahrzeugs im Rahmen einer industriellen Anla ge oder Anwendung bzw. auch im öffentlichen Straßenverkehr erreicht oder unterstützt werden. Weiterhin kann auf ver gleichbare Weise auch eine Unterstützung eines Fahrers eines Fahrzeugs zum Beispiel beim Auftreten plötzlicher Hindernisse oder zum Halten einer entsprechenden Fahrspur erreicht wer den.

Im Falle der Überwachung der Bewegung eines Fahrzeugs kann beispielsweise ein vorgegebenes oder vorgebbares Kriterium zur Ausgabe einer Information derart ausgewählt werden, dass bei Auftreten einer Gefahrensituation, beispielsweise eines Gegenstands oder einer Person im geplanten Fahrweg, eine ent sprechende Information ausgegeben wird. Eine solche Informa tion kann beispielsweise eine Warnmeldung an einen Fahrer o- der auch eine Steuermeldung an das Fahrzeug bzw. einen Fahr zeug-Controller sein, die beispielsweise dazu ausgebildet sein kann das Fahrzeug zu stoppen, seine Geschwindigkeit zu reduzieren und/oder den Fahrweg zu ändern.

Ein Verfahren gemäß der vorliegenden Beschreibung kann wei terhin auch derart ausgebildet und eingerichtet sein, dass das Verfahren zur Analyse eines Bildes eines Gegenstands oder Lebewesens derart ausgebildet und eingerichtet ist,

- dass das Erfassen des ersten beziehungsweise zweiten Bildes als Erfassen eines ersten beziehungsweise zweiten Bildes des Lebewesens oder Gegenstands, oder jeweils eines Bereichs da von, ausgebildet und eingerichtet ist, und

- dass das Erfassen des mindestens einen ersten beziehungs weise zweiten Sensorwerts als Erfassen mindestens eines ers ten beziehungsweise mindestens eines zweiten Sensorwerts be züglich des Lebewesens oder Gegenstands, oder jeweils eines Bereichs davon, ausgebildet und eingerichtet ist.

Dabei können Bilder von Gegenständen beispielsweise zur Qua litätsprüfung dieser Gegenstände verwendet werden, indem bei spielsweise auf eine korrekte einzuhaltende Form oder Verän derungen bezüglich einer Form des Gegenstands geprüft wird. Weiterhin können beispielsweise auf diese Weise Gegenstände daraufhin geprüft werden, ob es sich um Fälschungen handelt, indem vermittels eines Verfahrens gemäß der vorliegenden Be schreibung auf entsprechende Unterschiede zu einem ebenfalls vorliegenden Original oder dem Bild eines Originals geprüft wird. Entsprechende Sensorwerte können in diesem Zusammenhang beispielsweise eine Temperatur, ein Farbwert, eine Oberflä cheneigenschaft oder eine sonstige Eigenschaft des Gegenstan des sein. Weiterhin können beispielsweise entsprechende opti sche Bilder oder auch Röntgen- oder sonstige Bilder eines entsprechenden Gegenstands sein.

Die Analyse von Bildern von Lebewesen kann beispielsweise im Rahmen der medizinischen Diagnose von Menschen oder Tieren herangezogen werden. Dabei können beispielsweise optische Bilder, Röntgenbilder, MRT-Bilder oder vergleichbare Bilder verwendet werden. Entsprechende Sensorwerte können beispiels weise eine Körpertemperatur, eine Pulsfrequenz, ein Puls schlag, ein akustischer Wert (z.B. ein Atem- oder Lungenge räusch-Wert, ein bei einem Husten aufgenommener akustischer Wert, ein EKG-Wert, eine Hautfarbe, ein Durchblutungswert o- der vergleichbare Sensorwerte sein.

Im Rahmen eines Verfahrens zur Analyse von Bildern eines Ge genstands oder Lebewesens kann beispielsweise das vorgegebene oder vorgebbare Kriterium zur Ausgabe einer Information der art ausgebildet und eingerichtet sein, dass beispielsweise eine entsprechende Warnmeldung bei einem fehlerhaften Gegen stand oder beim Vorliegen eines unnatürlichen Zustands bzw. einer Krankheit eines Lebewesens ausgegeben wird. Eine derar tige Information kann beispielsweise eine entsprechende Warn meldung an einen Benutzer oder eine entsprechende automati sche Alarmmeldung an ein Alarmsystem sein oder umfassen. Wei terhin können Informationen auch entsprechende Steuerbefehle oder Steuermeldungen sein, welche automatisch beispielsweise bestimmte Zustände herbeiführen bzw. kritische Geräte ab schalten.

Die vorstehend genannte Aufgabe wird weiterhin gelöst durch ein Verfahren zur Analyse von akustischen Informationen mit zugeordneten skalaren Werten, umfassend die Verfahrensschrit te, a.) Erfassen einer ersten akustischen Information bezüglich einer akustischen Quelle und Erfassen mindestens eines ersten skalaren Sensorwerts bezüglich der akustischen Quelle, b.) Erfassen einer zweiten akustischen Information bezüglich der akustischen Quelle oder einer zweiten akustischen Quelle und Erfassen mindestens eines zweiten skalaren Sensorwerts bezüglich der akustischen Quelle oder der zweiten akustischen Quelle, c.) Transformieren des ersten akustischen Datensatzes in den Frequenzraum und Einbringen dieses frequenztransformierten ersten akustischen Datensatzes sowie des mindestens einen ersten skalaren Sensorwerts als konsistente Repräsentations form in eine erste Datenstruktur, und

Transformieren des zweiten akustischen Datensatzes in den Frequenzraum und Einbringen dieses frequenztransformierten zweiten akustischen Datensatzes sowie des mindestens einen zweiten skalaren Sensorwerts als konsistente Repräsentations form in eine zweite Datenstruktur, d.) Vergleichen der ersten und zweiten Datenstruktur, und e.) Ausgabe einer Information, wenn der Vergleich einen Un terschied ergibt, der einem vorgegebenen oder vorgebbaren Kriterium entspricht.

Eine akustische Information kann beispielsweise jede akusti sche Aufnahme und/oder alle sonstigen akustischen Daten sein, die beispielsweise in einer elektronischen Speichereinrich tung gespeichert oder speicherbar sind oder auch in ein elektronisch speicherbares Format umwandelbar sind. Solche akustischen Informationen können beispielsweise Ton-Aufnah men, mit einem Mikrofon erfasste akustische Daten oder auf sonstige Weise erfasste (z.B. optisch oder durch Druckmessun gen) akustische Daten sein.

Die Speicherung solcher akustischer Informationen kann in je dem geeigneten Format erfolgen, z.B. in einem sogenannten "WAV"-Format (bzw. als ".wav" Datei), einem sogenannten "MP3"-Format (MPEG-1 Audio Layer 3; bzw. als ".mp3" Datei), einem sogenannten "WMA"-Format (Windows Media Audio; bzw. als ".wma" Datei), einem sogenannten "AAC"-Format (Advanced Au dio Coding; bzw. als ''.aac" Datei), einem sogenannten "OGG"- Format (Ogg Vobis; bzw. als ".ogg" Datei), einem "FLAC"- Format (Free Lossles Audio Codec; bzw. als ".flac" Datei), einem "RM"-Format (Real Media; bzw. als ".rm" Datei) oder je dem beliebigen geeigneten, vergleichbaren Format.

Die akustische Quelle bzw. die zweite akustische Quelle kann beispielsweise eine Maschine, ein Motor, eine bestimmte Situ ation, ein geographischer Ort, ein oder mehrere Lebewesen o- der jede weitere Quelle akustischer Informationen sein. Eine entsprechende akustische Information kann dabei bei spielsweise eine Tonaufnahme bezüglich einer der genannten akustischen Quellen bzw. von bestimmten Teilen davon sein. Dabei kann die Erfassung einer solchen Tonaufnahme beispiels weise mit einem entsprechenden Mikrofon erfolgen. Weiterhin kann die Erfassung der akustischen Information auch mit wei teren geeigneten Mitteln, z.B. über optische Methoden zur Schwingungserfassung oder auch Methoden zur Erfassung von Druckschwankungen erfolgen.

Beispielsweise kann eine entsprechende Tonaufnahme auch nur in einem speziellen akustischen Frequenzbereich aufgenommen sein oder unter Verwendung eines bestimmten akustischen Fil ters. Dabei können die akustischen Daten von einem akusti schen Sensor herrühren bzw. aufgenommen sein oder sich aus Daten mehrerer dieselbe Quelle betreffenden Sensoren zusam mensetzen.

Entsprechend zugeordnete Sensordaten können beispielsweise entsprechende Temperaturdaten oder Leistungsdaten (z.B.

Strom- oder Leistungsverbrauch) einer entsprechenden Maschine oder eines entsprechenden Motors sein. Weiterhin können ent sprechende Sensordaten z.B. weitere Sensordaten bezüglich ei ner entsprechenden Situation (z.B. eine Uhrzeit, ein Hellig keitswert, eine Temperatur, ein Feuchtigkeitswert usw.), ei nes geographischen Orts (z.B. ein GPS-Wert, eine Ortsangabe, eine Adresse, eine Uhrzeit, ein Helligkeitswert, eine Tempe ratur, ein Feuchtigkeitswert usw.) oder eines oder mehrerer Lebewesen (z.B. einer Anzahl, einer Temperatur, einer Uhr zeit, usw.) sein.

Dabei kann der mindestens eine erste und zweite skalare Sen sorwert, die konsistente Repräsentationsform der ersten und zweiten Datenstruktur, der Vergleich der ersten und zweiten Datenstruktur sowie die Ausgabe einer Information, wenn der Vergleich einen Unterschied ergibt, der einem vorgegebenen oder vorgebbaren Kriterium entspricht, gemäß der vorliegenden Beschreibung eingerichtet und ausgestaltet sein.

Das vorstehend genannte Verfahren kann weiterhin derart aus gebildet und eingerichtet sein, dass das Verfahren weiterhin gemäß den Merkmalen von einem oder mehreren der Ansprüche 3 bis 6 ausgebildet und einge richtet ist.

Weiterhin kann das vorstehend genannte Verfahren derart aus gebildet und eingerichtet sein, dass das Verfahren zur Überwachung eines Verfahrensablaufs oder Produktionsablaufs derart ausgebildet und eingerichtet ist,

- dass das Erfassen der ersten beziehungsweise zweiten akus tischen Information als akustische Aufnahme betreffend eines in den Produktionsablauf involvierten Gegenstands oder einer Situation bezüglich des Produktions- oder Verfahrensablaufs ausgebildet und eingerichtet ist, und

- dass das Erfassen des mindestens einen ersten beziehungs weise zweiten skalaren Sensorwerts als Erfassen mindestens eines Werts vermittels eines Sensors betreffend den in den Produktionsablauf involvierten Gegenstand oder die Situation bezüglich des Produktions- oder Verfahrensablaufs ausgebildet und eingerichtet ist.

Dabei können der Sensor, die Erfassung entsprechender Sensor werte, der mindestens eine erste bzw. zweite skalare Sensor wert, der in den Produktionsablauf involvierte Gegenstand so wie die Situation bezüglich des Produktions- oder Verfahren sablaufs gemäß der vorliegenden Beschreibung ausgebildet und eingerichtet sein.

Weiterhin können beispielsweise in den Produktionsablauf in volvierte Gegenstände an der Produktion beteiligte Geräte o- der Maschinen sein, von welchen im Rahmen des vorliegenden Verfahrens entsprechende akustische Informationen beispiels weise über entsprechende Mikrofone oder vergleichbare Ein- richtungen aufgenommen werden. Vermittels entsprechender Sen soren können dann parallel zu diesen akustischen Aufnahmen auch weitere Parameter dieser Maschinen oder Geräte, wie bei spielsweise Leistungsdaten, Temperaturen, Geschwindigkeiten, Steuerparameter o. ä. erfasst werden.

Weiterhin können beispielsweise im Produktionsablauf vorlie gende Ausgangs-, Zwischen- und/oder Endprodukte in den Pro duktionsablauf involvierte Gegenstände sein. Dabei können beispielsweise entsprechende akustische Informationen solcher Zwischenprodukte (Z. B. Schwingungsdaten oder auch Siede- o- der Fließgeräusche) erfasst werden und diesen dann im Rahmen eines Verfahrens gemäß der vorliegenden Beschreibung entspre chende Sensordaten (beispielsweise Temperaturen, Fließge schwindigkeiten, chemische Zusammensetzungen betreffend das entsprechende Zwischenprodukt) zugeordnet werden.

Ein in den Produktionsablauf involvierter Gegenstand kann beispielsweise als ein End- oder Zwischenprodukt eines Pro duktionsverfahrens ausgestaltet sein. Weiterhin kann ein in den Produktionsablauf involvierter Gegenstand beispielsweise eine Anlagen- oder Gerätekomponente beziehungsweise ein Anla gen- oder Geräteteils einer im Rahmen des Produktionsverfah rens verwendeten Anlage beziehungsweise eines verwendeten Ge räts ausgestaltet und eingerichtet sein.

Weiterhin kann die Situation bezüglich des Produktions- oder Verfahrensablaufs einem Verfahrensablauf zugeordnet sein, z.B. einer Situation innerhalb einer Brennkammer einer Gas turbine entsprechen. Vermittels entsprechender akustischer Informationen (z.B. Verbrennungsgeräusche) können unter Ver wendung eines Verfahrens gemäß der vorliegenden Beschreibung beispielsweise Anomalien innerhalb eines solchen Verbren nungsverfahrens detektiert werden. Als mindestens ein zuge ordneter Sensorwert könnte dann in diesem Fall z.B. eine Zeitreihe der Leistung der Gasturbine herangezogen werden. Weiterhin kann ein Verfahren zur Analyse von akustischen In formationen mit zugeordneten skalaren Werten gemäß der vor liegenden Beschreibung auch derart ausgebildet und eingerich tet sein, dass das Verfahren zur Analyse medizinischer akus tischer Daten, wie beispielsweise akustische Daten eines Le bewesens (Z. B. ein Lungengeräusch oder ein Hust-Geräusch), ausgebildet und eingerichtet ist, in diesem Fall könnte bei spielsweise die 1. und 2. akustische Information eine akusti sche Information (Z. B. Ein Lungengeräusch oder ein Hust- Geräusch) eines Menschen oder Tieres sein und die entspre chenden weiteren skalaren Sensorwerte weitere beispielsweise medizinische Sensorwerte bezüglich des Menschen oder Tieres sein, wie beispielsweise eine Körpertemperatur, eine Pulsfre quenz oder Ähnliches.

Weiterhin kann ein Verfahren zur Analyse von akustischen In formationen mit zugeordneten skalaren Werten gemäß der vor liegenden Beschreibung auch zu einer Personenerkennung oder - Identifikation ausgebildet und eingerichtet sein. In einem solchen Fall kann beispielsweise die 1. und 2. akustische In formation eine Tonaufnahme bezüglich einer Person sein (Z. B. eine Sprachaufnahme) und der 1. und 2. Sensorwert weiterhin ein für diese Person charakteristischer Wert, wie beispiels weise ein Ortswert (Z. B. Eine GPS-Koordinate), ein eingege bener Code, eine Augenfarbe, oder ein vergleichbarer Wert sein.

Weitere vorteilhafte Ausgestaltungen finden sich in den Un teransprüchen .

Nachfolgend wird die vorliegende Erfindung beispielhaft mit Bezug auf die beigefügten Figuren näher erläutert.

Es zeigen: Figur 1: Schematische Darstellung einiger Phasen eines bei spielhaften Prozessablaufs zur Wicklung einer Batteriezelle sowie die Ermittlung zugehöriger Prozessparameter für die nachfolgende Analyse;

Figur 2: Beispielhafte, schematische Darstellung des Ablaufs zur Erstellung eines geclusterten Auswerte-Graphen bezüglich einer ersten gewickelten Batteriezelle;

Figur 3: Beispielhafte, schematische Darstellung des Ablaufs zur Erstellung eines geclusterten Auswerte-Graphen bezüglich einer zweiten Batteriezelle;

Figur 4: Beispielhafte schematische Darstellung des Ablaufs eines Vergleichs des ersten und zweiten Auswerte-Graphen.

In den Figuren 1-4 ist ein Ausführungsbeispiel für ein Ver fahren gemäß der vorliegenden Beschreibung dargestellt, bei welchem das Verfahren zur Qualitätskontrolle im Rahmen eines Teils eines Herstellungsprozesses einer Batterie eingesetzt wird. Dabei kann während des Produktionsprozesses anhand der Analyse von Bild- und Sensordaten zu verschiedenen herge stellten Batteriezellen, die ein Zwischenprodukt des Herstel lungsprozesses der Batterie darstellen, ein Hinweis auf eine Änderung der Produktionsqualität vorhergesagt werden. Beim vorliegenden Beispiel handelt es sich demnach um ein Beispiel für ein Verfahren gemäß der vorliegenden Beschreibung zur Analyse von Bild-Informationen mit zugeordneten skalaren Wer ten bezüglich einer Situation.

Figur 1 zeigt im linken Bildteil drei Prozessphasen eines Prozesses zum Aufwickeln von Folienschichten 112, 114, 116 zur Herstellung einer gewickelten Batteriezelle 132, die ein Zwischenprodukt im Rahmen einer entsprechenden Batterieher stellung darstellt.

Im Rahmen der Figuren 1-4 wird nun anhand dieses Beispiels erläutert, wie mit Hilfe einer beispielhaften Ausgestaltung eines Verfahrens gemäß der vorliegenden Beschreibung eine Qualitätsprüfung des Aufwickelns der Folienschichten 112,

114, 116 zur Herstellung der gewickelten Batteriezelle 132 erreicht werden kann.

Die im linken Teil von Figur 1 dargestellten drei Prozesspha sen bestehen aus einer ersten Phase 110, die eine Bereitstel lung von Eingangs- bzw. Ausgangsmaterialien, die zur Herstel lung einer Batteriezelle im Rahmen des dargestellten Pro zessablaufs verwendet werden. Als Eingangsmaterialien werden dabei eine ein Anodenfolie 112, eine Trennfolie 114 sowie ei ne Kathodenfolie 116 bereitgestellt, welche als eine Schicht struktur einem nachfolgenden Wickelprozess 120 zur Verfügung gestellt werden, welcher in Figur 1 im linken Bildteil in der Mitte dargestellt ist.

Im Rahmen dieses nachfolgenden Wickelprozesses 120 sind so wohl die zur Verfügung gestellten Folien, die Trennfolie 114, die Anodenfolie 112, wiederum eine Trennfolie 114 sowie die Kathodenfolie 116, als auch die durch das Aufwickeln dieser Folien 114, 112, 116 hergestellte Batteriezelle 132 darge stellt.

In einer weiterhin im linken Teil von Figur 1 dargestellten dritten Prozessphase 130 ist das fertige Zwischenprodukt, die aufgewickelte Batteriezelle 132, dargestellt. Diese wird nun zur Fertigung einer einsatzfähigen Batterie weiterverarbei tet, was in Figur 1 nicht dargestellt ist, und auch nicht Teil des vorgestellten Beispiels ist.

In der mittleren Spalte von Figur 1 ist schematisch darge stellt, wie im Rahmen der erläuterten Prozessphasen 110, 120,

130 entsprechende Prozess- und Sensorparameter ermittelt wer den. In einem ersten Ermittlungsschritt 118 wird ein Parame ter ermittelt, der beinhaltet, ob eine zusätzliche Trennfolie 114 beim aufgewickelt der Folien 112, 114, 116 im Verfahrens schritt 120 eingesetzt wird. Wird eine solche zusätzliche Trennfolie 114 eingesetzt, wird der entsprechende Prozesspa rameter auf eins gesetzt, ansonsten ist er null.

In einer mittleren Abbildung 128 der mittleren Spalte in Fi gur 1 ist die Ermittlung mindestens einer Wickelgeschwindig keit 128, die ein Beispiel für einen Sensorwert gemäß der vorliegenden Beschreibung ist, bezüglich des Wickelprozesses 120 dargestellt. Zur Ermittlung dieser Wickelgeschwindigkeit wird eine Zeitreihe erfasst, bei welcher die Wickelgeschwin digkeit beim Aufwickeln der Batteriezelle 132 im Rahmen des Wickelprozesses 120 zu verschiedenen Zeitpunkten während die ses Wickelprozesses 120 erfasst wird.

Figur 1 zeigt weiterhin in einer unteren Darstellung 138 die Erfassung 138 eines Bildes 134 der Frontseite der gewickelten Batteriezelle 132. Dabei wird dieses Bild 134 derart aufge nommen, dass die aufgewickelte SchichtStruktur erkennbar ist.

Im rechten Bildteil von Figur 1 sind dann Darstellungen 119, 129, 139 gezeigt, welche jeweils Darstellungen der erfassten Prozessparameter 119, Sensorparameter 129 und Bildinformatio nen 139 zeigen.

Die in Verfahrensschritt 118 ermittelten Prozessparameter sind in der Darstellung 119 in vertikaler Richtung über der Zeit, die in horizontaler Richtung aufgetragen ist, darge stellt.

Weiterhin sind die im Verfahrensschritt 128 erfassten Wickel geschwindigkeiten in einer entsprechenden Darstellung 129 auf der vertikalen Achse über der auf der horizontalen Achse auf getragenen jeweils ermittelten Zeit aufgetragen.

In der untersten rechten Darstellung 139 in Figur 1 ist eine schematische Darstellung 139 des Ergebnisses einer Frequenz transformation des Bildes 134 dargestellt. Dabei wird im vor liegenden Ausführungsbeispiel zur Frequenztransformation des Bildes 134 eine sogenannte „Diskrete-Cosinus-Transformation" (DCT) eingesetzt, wie sie auch beispielsweise im Rahmen der sogenannten JPEG-Kompression von Bildern standardmäßig zur Frequenztransformation des zu komprimierenden Bildes einge setzt wird. Symbolisch ist in der Darstellung 139 des fre quenztransformierten Bildes nur eine der harmonischen Wellen in einer Richtung dargestellt.

Die Figuren 2 bis 4 zeigen nun die Auswerteschritte, die die vorstehend genannte Qualitätsprüfung der Batteriezellen er möglichen.

Dabei wird anhand von Figur 2 erläutert, wie anhand eines be züglich einer ersten gewickelten Batteriezelle 132 erfassten Bildes 134 sowie der im Rahmen der entsprechenden Wicklung ermittelte Prozessparameter 119 sowie Wickelgeschwindigkeiten 129 ein erstes Auswerte-Diagramm 159 bezüglich der ersten ge wickelten Batteriezelle 132 erstellt wird. Dabei ist die ers te gewickelte Batteriezelle 132 ein Beispiel für ein erstes Zwischenprodukt gemäß der vorliegenden Beschreibung und das erste Auswerte-Diagramm 159 ein Beispiel für eine konsistente Repräsentationsform einer ersten Datenstruktur gemäß der vor liegenden Beschreibung.

Anhand von Figur 3 wird dann entsprechend die Erstellung ei nes zweiten Auswerte-Diagramms 259 bezüglich einer zweiten gewickelten Batteriezelle 232 anhand eines entsprechend auf genommenen Bildes 238 sowie unter Verwendung von bei der Wicklung ermittelten Prozessparametern 219 sowie Wickelge schwindigkeiten 229 erläutert. Dabei ist die zweite gewickel te Batteriezelle 232 ein Beispiel für ein zweites Zwischen produkt gemäß der vorliegenden Beschreibung und das zweite Auswerte-Diagramm 259 ein Beispiel für eine konsistente Re präsentationsform einer zweiten Datenstruktur gemäß der vor liegenden Beschreibung.

Nachfolgend wird dann anhand von Figur 4 der Vergleich der erstellten Auswerte-Diagramme 159, 259 zur Prüfung einer Qua- lität der gewickelten Batteriezellen 132, 232 näher erläu tert.

Es folgt nun eine detaillierte Beschreibung des in Figur 2 dargestellten Verfahrensablaufs. Figur 2 stellt, wie bereits erwähnt, die Erstellung eines ersten Auswerte-Diagramms 159 bezüglich der im Rahmen des in Figur 1 dargestellten Prozes ses ermittelten Prozess-, Sensor- und Bildwerte dar. Dieses Auswerte-Diagramm 159 ist ein Beispiel für eine konsistente Repräsentationsform einer ersten Datenstruktur gemäß der vor liegenden Beschreibung am Beispiel des im Rahmen von Figur eins vorgestellten Prozessablaufs bzw. der dabei ermittelten Prozess-, Sensor- und Bildwerte.

In einem ersten Erstellungsschritt 140 zur Erstellung des ersten Auswerte-Diagramms 159 werden zuerst die bezüglich der Wicklung der ersten Batteriezelle 132 ermittelten Parameter werte 119 sowie die ermittelten Wickelgeschwindigkeitswerte 129 in ein einheitliches Parameterdaten-Diagramm 149 ge bracht. Dafür werden die Parameterwerte 119 sowie die Wickel geschwindigkeit 129 entsprechend normiert. Im vorliegenden Beispiel kann dies beispielsweise derart ausgestaltet sein, dass der Wert „1" für den Parameterwert „zusätzliche Folie ist vorhanden" einem Mittelwert der ermittelten Winkelge schwindigkeit in 129 gleichgesetzt wird.

In dem einheitlichen Parameterdaten-Diagramm 149 sind nun die normierte Wickelgeschwindigkeit 340 über einer Zeitachse so wie der beim Wickeln der ersten Batteriezelle 132 vorliegende Parameterwert 330 entsprechend normiert über die Zeitachse aufgetragen.

In einem nachfolgenden zweiten Erstellungsschritt 150 werden nun das gerade erstellte einheitliche Parameterdatendiagramm 149 sowie Daten aus dem frequenztransformierten Bild 139 in ein einheitliches Format gebracht, um dann das erste Auswer te-Diagramm 159 zu erstellen. Dabei ist für das frequenztransformierte Bild 139 der ersten Batteriezelle 132 eine Darstellung gewählt, bei welcher ein zelne harmonischen Wellen 320, 310 der Frequenztransformation auf einer räumlichen Achse 305 dargestellt sind. Die räumli che Achse 305 kann allgemein einem Schnitt entlang einer vor gegebenen Richtung durch das erfasste Bild 134 entsprechen oder auch einem Ausschnitt daraus. In Figur 2 ist ein Aus schnitt eines horizontalen Schnitts durch das aufgenommene Bild 134 gezeigt.

Die Darstellung des frequenztransformierten Bildes 139 auf der linken Seite von Figur 2 ist eine vereinfachte Darstel lung eines ersten frequenztransformierten Bildes 139 einer ersten Batteriezelle 132, die im Rahmen des in Figur 1 vorge stellten Prozessablaufs hergestellt wurde. Diese Vereinfa chung ist aus Gründen der Übersichtlichkeit vorgenommen wor den. Die Vereinfachung besteht darin, dass bezüglich der ver wendeten DCT-Transformation eines Bildes, die üblicherweise in zwei Richtungen erfolgt, in der Darstellung 139 nur eine Komponente davon dargestellt ist. Weiterhin ist eine weitere Vereinfachung, dass nur eine erste harmonische Frequenz 310 sowie eine zweite harmonische Frequenz 320 der erfolgten DCT- Transformation in der Darstellung 139 gezeigt sind. Die bei den exemplarisch dargestellten harmonischen Wellen 310, 320 sind in der Darstellung 139 in Figur 2 über der räumlichen Achse 305 aufgetragen, wobei die Phasenverschiebung und Peri odenlänge dieser harmonischen Wellen 310, 320 jeweils ein Er gebnis der DCT-Transformation sind.

Für die Erstellung des ersten Auswerte-Diagramms werden die Daten des frequenztransformierten Bildes 139 mit einer be stimmten räumlichen Sampling-Frequenz bzw. räumlichen Abtast- frequenz abgetastet und diese Abtastwerte dann zur Erstellung des ersten Auswerte-Diagramms 159 verwendet. Dazu ist im fre quenztransformierten Bild 139 weiterhin eine zweite räumliche Achse 300 eingetragen, auf welcher symbolisch eine Auswahl von Abtastpunkten 301 dargestellt ist, an welchen jeweils die einzelnen harmonischen Wellen 310, 320 des in den Frequenz- raum transformierten Bildes abgetastet werden. Dabei kann als räumliche Abtastfrequenz beispielsweise die doppelte räumli chen Frequenz der höchsten im frequenztransformierten Bild dargestellten harmonischen Schwingung verwendet werden.

Abtastwerte für die erste harmonische Welle 310 sind als Kreuze dargestellte Datenpunkte 352 im ersten Auswerte- Diagramm 159 eingezeichnet. Ebenso sind Abtastwerte für die zweite harmonische Welle 320 als Kreuze dargestellte Daten punkte 350 im ersten Auswerte-Diagramm 159 eingezeichnet. Weiterhin werden im Rahmen des zweiten Erstellungsschritts 150 zu einem vorgegebenen oder vorgebbaren Zeitpunkt To je weils ein Parameterwert 360 sowie ein Wickelgeschwindigkeits wert 362 aus dem einheitlichen Parameterdatendiagramm 149 entnommen. Dabei kann der Zeitpunkt To beispielsweise dem Zeitpunkt der Aufnahme des Bilds 134 der gewickelten Batte riezelle 132 entsprechen oder auch beispielsweise davor lie gen. Dabei kann dieser davorliegende Zeitpunkt beispielsweise so ausgewählt sein, dass die jeweiligen Parameter bzw. Wi ckelgeschwindigkeitswerte während des Aufwickelns der Batte riezelle 132 V orlagen.

Um diese Parameter- und Wickelgeschwindigkeitswerte in das erste Auswerte-Diagramm 159 zu integrieren werden nun obere und untere Wert-Grenzlinien 352 ermittelt. Dies geschieht dadurch, dass eine maximale und eine minimale Amplitudensumme aller harmonischen Wellen des frequenztransformierten Bilds ermittelt wird und diese als obere und untere Grenzwerte 352 verwendet werden. Dies ist in Figur 1 im ersten Auswerte- Diagramm 159 als gestrichelte Linien 352 eingezeichnet. Diese Grenzlinien 352 geben den Maßstab vor, innerhalb dessen der zum Zeitpunkt To vorliegende Parameterwert 360 sowie der zum Zeitpunkt To vorliegende Wickelgeschwindigkeitswert 362 ein getragen werden. Dabei wird jeder der Werte 360 , 362 auf der horizontalen räumlichen Achse des ersten Auswerte-Diagramms 159 zu jedem der Abtastpunkte 301 wiederholt eingetragen, wie dies in Figur 2 in der Darstellung des ersten Auswerte- Diagramms 159 an einigen Beispielen dargestellt ist. Auf diese Weise enthält das erste Auswerte-Diagramm 159 nun sowohl Daten des von der gewickelten Batteriezelle 132 aufge nommenen Bildes 134 als auch Daten bezüglich der Anwesenheit einer zusätzlichen Zwischenfolie 114 sowie der Wickelge schwindigkeit beim Aufwickeln der Batteriezelle 132.

Zur Vorbereitung eines Vergleichs des ersten Auswerte- Diagramms 159 mit einem zweiten Auswerte-Diagramm 259 wird nun noch ein Clustering Verfahren gemäß dem Stand der Technik auf die gesamte Datenpunkt-Menge des ersten Auswerte-Dia- gramms 159 angewendet. Im vorliegenden Beispiel wurde dabei nur ein Cluster 370 ermittelt, welches als gestrichelte Linie im ersten Auswerte-Diagramm 159 eingezeichnet ist.

Figur 3 stellt nun die Erstellung des zweiten Auswerte- Diagramms 259 dar, welches anhand von Daten eines zweiten aufgenommenen Bildes 234 von einer zweiten gewickelten Batte riezelle 232 sowie Parameterdaten 219 bezüglich der Anwesen heit einer zusätzlichen Zwischenfolie 114 bei der Herstellung der zweiten gewickelten Batteriezelle 232 und Wickelgeschwin digkeitswerten 229, die im Rahmen der Wicklung der Batterie zelle 232 aufgenommen wurden, erstellt wurde. Dabei läuft die Erstellung des zweiten Auswerte-Diagramms 259 entsprechend der Erstellung des ersten Auswerte-Diagramms 159 ab. Die zweite Batteriezelle 232 stellt im Rahmen des vorliegenden Ausführungsbeispiels ein zweites Zwischenprodukt dar.

Dabei werden wieder zur Erstellung des zweiten Auswerte- Diagramms 259 die Parameterwerte 219 und die Wickelgeschwin digkeit Werte 229 in einem ersten Erstellungsschritt 140 nor miert und in ein entsprechendes einheitliches Datendiagramm 249 umgewandelt. In diesem sind die normierten Parameterwerte 430 und die normierten Wickelgeschwindigkeitswerte 440 über der Zeit aufgetragen.

Dann wird das aufgenommene Bild 234 der Batteriezelle 232 wiederum mit dem DCT-Verfahren frequenztransformiert, was in Figur 3 als frequenztransformiertes Bild 239 dargestellt ist. Hierbei sind exemplarisch wieder eine erste harmonische Welle 410 sowie eine zweite harmonische Welle 420 über einer räum lichen Achse 405 dargestellt, wobei die harmonischen Wellen 410, 420 eine Auswahl der im Rahmen des DCT-Verfahrens be trachteten Wellen bzw. Frequenzen darstellen. Auch hier kann die räumliche Achse 405 kann allgemein einem Schnitt entlang einer vorgegebenen Richtung durch das erfasste Bild 234 ent sprechen oder auch einem Ausschnitt daraus. In Figur 3 ist wiederum ein Ausschnitt eines horizontalen Schnitts durch das aufgenommene Bild 234 gezeigt. Die beiden exemplarisch darge stellten harmonischen Wellen 410, 420 sind in der Darstellung 239 in Figur 3 über der räumlichen Achse 405 aufgetragen, wo bei wiederum die Phasenverschiebung und Periodenlänge dieser harmonischen Wellen 410, 420 jeweils ein Ergebnis der DCT- Transformation sind.

Wie vorstehend bereits erwähnt, ist auch hier aus Gründen der Übersichtlichkeit, wie bereits bei der Darstellung des fre quenztransformierten Bildes 139 bezüglich des ersten Zwi schenprodukts 132, nur eine Dimension der Frequenztransforma tion dargestellt.

Zur Erstellung des zweiten Auswerte-Diagramms 259 werden nun die beiden dargestellten harmonischen Wellen 410, 420 wieder zu entsprechenden Abtastpunkten 401 abgetastet, wobei eine Auswahl der Abtastpunkte 401 in Figur 3 in der Darstellung des frequenztransformierten Bildes 239 entlang einer weiteren räumlichen Achse 400 dargestellt sind.

Die im Rahmen dieser Abtastung ermittelten Datenpunkte bezüg lich der ersten harmonischen Welle 410 sind im zweiten Aus werte Bild-Diagramm 259 als Kreuze eingezeichnete Datenpunkte 452 eingetragen. Die vermittels dieser Abtastung ermittelten Datenpunkte bezüglich der zweiten harmonischen Welle 420 sind im zweiten Auswerte-Diagramm 259 als Kreuze dargestellte Da tenpunkte 450 dargestellt. Weiterhin wird zur Erstellung des zweiten Auswerte-Diagramms 259 nun zur Integration der Parameter- und Wickelgeschwindig keitswerte eine obere und untere Grenzlinie 452 wiederum ver mittels der Bestimmung einer maximalen und minimalen Amplitu densumme der durch die DCT-Transformation ermittelten harmo nischen Wellen gesucht. Innerhalb dieses Rahmens wird ein zu einem Zeitpunkt Ti aus dem einheitlichen Datendiagramm 249 entnommener Parameterwert 460 sowie ein dem einheitlichen Da tendiagramm 249 entnommener Wickelgeschwindigkeitswert 262 zum Zeitpunkt Ti eingetragen. Dabei werden der Parameterwert 460 sowie der Wickelgeschwindigkeitswert 262 in das zweite Auswerte-Diagramm 259 mehrfach jeweils zu den Abtastpunkten 401 eingetragen - entsprechend wie beim ersten Auswerte- Diagramm 159.

Wiederum wird zum Vorbereiten eines Vergleichs des ersten und zweiten Auswerte-Diagramms auf die Gesamtheit der Datenpunkte 450, 452, 460, 462 des zweiten Auswerte-Diagramms 259 ein Clustering-Verfahren angewendet. Dabei ergeben sich in diesem Fall zwei Cluster, die durch gestrichelte Linien 470, 472 in Figur 3 im zweiten Auswerte-Diagramm 259 eingezeichnet sind.

Figur 4 zeigt nun das erste Auswerte-Diagramm 159 sowie das zweite Auswerte-Diagramm 259, wobei die Bezugszeichen inner halb beider Auswerte-Diagramme 159, 259 den Bezugszeichen ge mäß den Figuren 2 und 3 entsprechen.

Figur 4 zeigt jetzt eine aus dem Clustering bezüglich des ersten Auswerte-Diagramms 159 abgeleitete Clusteranalyse 510, aus welcher sich sowohl die Anzahl der Cluster, deren durch schnittliche Fläche als auch die Koordinaten eines jeweiligen Zentrums bzw. Zentroids jedes der ermittelten Cluster ergibt. Ebenso zeigt Figur 4 eine aus dem Clustering bezüglich des zweiten Auswerte-Diagramms 259 abgeleitete Clusteranalyse 520, aus welcher sich ebenfalls die Anzahl der Cluster, deren durchschnittliche Fläche und auch die Koordinaten eines je weiligen Zentrums bzw. Zentroids jedes der ermittelten Clus ter ergibt. Im vorliegenden Beispiel entspricht die Herstellung der ers ten Batteriezelle 132 einer vorschriftsmäßigen Herstellung, wogegen bei der Herstellung der zweiten Batteriezelle 232 ei ne zu geringe Wickelgeschwindigkeit vorlag. Weiterhin ist im vorliegenden Beispiel ein vorgegebenes Kriterium zur Fest stellung eines möglichen Fehlers, dass sich zwischen dem ers ten und zweiten Auswerte-Diagramm 159, 259 die Anzahl der identifizierten Cluster unterscheidet. Weitere vorgegebene oder vorgebbare Kriterien zur Ausgaben einer Information könnten beispielsweise sein, dass sich die Lage mindestens eines Clusters um mindestens einen vorgegebenen oder vorgeb- baren Betrag geändert hat, oder auch, dass sich die von Clus tern im Mittel oder insgesamt abgedeckte Fläche um einen vor gegebenen oder vorgebbaren Betrag geändert hat.

Durch Vergleich der Clusteranalyse 510 des ersten Auswerte- Diagramms 159 mit der Clusteranalyse 520 des zweiten Auswerte Diagramms 259 kann nun, beispielsweise durch einen Computer oder auch einen Benutzer, ermittelt werden, dass sich die Clusteranzahl bei dem zweiten Auswerte-Diagramm auf zwei er höht hat. Gemäß dem vorgegebenen Kriterium wird danach eine entsprechende Information ausgegeben, beispielsweise eine Warnmeldungen an einen Benutzer, oder auch eine entsprechende Alarm- oder Steuermeldung oder ein entsprechender Steuerbe fehl an die Produktionsanlage bzw. einen Leitrechner der Pro duktionsanlage. Ein solcher Steuerbefehl, bzw. eine solche Alarm- oder Steuermeldung, kann beispielsweise eine Kontrolle verschiedener oder aller Maschinenparameter auslösen oder ge gebenenfalls auch einen Not-Stopp der Anlage oder von Anla genteilen.

In einer alternativen Ausgestaltung kann die Auswertung der Clusterstruktur 510 bezüglich des ersten Auswerte-Diagramms 159 und der Clusterstruktur 520 bezüglich des zweiten Auswer te-Diagramms 259 auch über ein neuronales Netz 600 ausgeführt werden. Dabei werden die jeweiligen Clusteranalysen 510, 520 in das neuronale Netz eingegeben und von dem neuronalen Netz ein Ergebnis ausgegeben, welches dann, wenn es einem entspre chenden Fehlerkriterium entspricht, wiederum eine entspre chende Informationsmeldung auslöst. Das neuronale Netz kann auch unmittelbar ausgeben, ob eine entsprechende Informati- onsmeldung ausgelöst werden soll oder nicht.