Beschreibung

Titel

Verfahren zur Klassifizierung einer Bewegung eines Objekts

Die Erfindung betrifft ein Verfahren zur Klassifizierung einer Bewegung eines Objekts, eine Einrichtung zur Klassifizierung einer Bewegung eines Objekts, ein Computerprogramm und ein Computerprogrammprodukt.

Stand der Technik

Die automatische Klassifizierung von Inhalten eines Videobilds gewinnt immer mehr an Bedeutung. Dabei lassen sich zwei Klassen unterscheiden, nämlich trainierte und untrainierte Verfahren. Bei den trainierten Verfahren lernt der Klassifikator zunächst aus einer möglichst großen signifikanten Menge von Positiv- und Negativbeispielen auszuwählen.

In der Druckschrift US 2002/0102024 Al wird eine sog. trainierte Vorgehensweise zum Wiederfinden von Mustern in einzelnen digitalen Bildern beschrieben. Derartige Vorgehensweisen sind auch unter den Begriffen "adaptive boosting" bzw. "Adaboost" bekannt. Hierbei wird ein zu findendes Muster eines einzelnen Bilds mittels einer Trainingsmenge von Positivbeispielen für eine jeweilige Musterklasse, z.B. für Fahrzeugrückansichten, auf ähnlichkeit mit diesen Positivbeispielen verglichen.

Die genannte Druckschrift offenbart ein Verfahren und ein System zur Erkennung von

Objekten auf einem digitalen Bild. Dabei empfängt ein Bildintegrator das eine Bild und berechnet ein Integralbild zu diesem Bild. Ein Bildabtaster tastet das in Bildausschnitten gleicher Größe unterteilte Bild ab. Ein Objekterkenner benutzt zur Klassifikation der Bildausschnitte miteinander verkettete homogene Klassifikationsfunktionen und

überprüft, ob jeder Bildausschnitt mit einer bestimmten Wahrscheinlichkeit ein Merkmal des Objekts beinhaltet.

Die Figuren 4 bis 6 zeigen Darstellungen zur Beschreibung eines trainierten Verfahrens zum Wiederfinden von Mustern in digitalen Bildern.

In Figur 4 ist in den unteren drei Bildern 102, 104, 106 jeweils dieselbe Portraitaufnahme einer Person abgebildet, wobei die Portraitaufnahme im mittleren Bild 104 durch ein erstes Bildmerkmal 108, wie auch in Bild 110 darüber gezeigt, überblendet ist. Die Portraitaufnahme im rechten Bild 106 ist entsprechend durch ein zweites Bildmerkmal

112, das auch im Bild 114 darüber gezeigt ist, überblendet.

Hierbei ist vorgesehen, dass während einer Trainingsphase für jeweils ein einziges Bild 102, 104, 106 einer Musterklasse eine Menge signifikanter rechteckiger Bildmerkmale 108, 112 bestimmt und somit gelernt wird. Diese Bildmerkmale 108, 112 werden während einer Verarbeitungsphase für jede zu untersuchende Bildregion in Richtung abnehmender Signifikanz abgearbeitet. Die Klassifikation eines gesuchten Objekts, wie z.B. ein Gesicht oder eine Ansicht eines Fahrzeugs, ist in diesem Bild 102, 104, 106 dann erfolgreich, wenn keines der Bildmerkmale einen Widerspruch zu einer zuvor aufgestellten Objekthypothese für das Bild 102, 104, 106 liefert.

Figur 5 zeigt fünf weitere Bilder 116, 118, 120, 122, 124. In diesen fünf Bildern 116, 118, 120, 122, 124 sind jeweils einige benachbarte Bildregionen dargestellt, aus denen die hier abgebildeten Bildmerkmale typischerweise zusammengesetzt sind. Innerhalb dieser Bildregionen wird zunächst jeweils eine Summe von Pixelgrauwerten berechnet, danach werden die berechneten Summen gewichtet und addiert.

Figur 6 zeigt einen Ausschnitt 126 eines Bilds mit einer Bildregion 128, die durch vier Eckpunkte 130, 132, 134, 136 begrenzt ist.

Bei dem in den Figuren 4 bis 6 gezeigten Verfahren wird zu Beginn ein Integralbild berechnet. Zur Berechnung des Integralbilds der Bildregion 128 aus Figur 6 wird die Summe aller Pixelgrauwerte, die ein ursprünglich rechteckiges Teilbild enthält, bestimmt. Hierbei werden für ein Pixel Pixelgrauwerte eines Pixels berücksichtigt, das links

oberhalb eines jeweils betrachteten Pixels liegt. Ist dieses Teilbild erst einmal berechnet, ist es möglich, die Pixelsummen aller möglichen Teilbilder durch wenige Rechenoperationen zu bestimmen.

Zur Berechnung von Bildmerkmalen, wird im vorliegenden Beispiel die Summe s (D) der

Pixel in der mit 128 bezeichneten Bildregion D durch vier Zugriffe auf jeweils ein Integralbild I an den Eckpunkten 130, 132, 134, 136 der Bildregion 128 durch folgende Gleichung (1) berechnet:

s (D) = 1 (130) - I (132) - I (136) + 1 (134) (1)

Offenbarung der Erfindung

Die vorliegende Erfindung betrifft ein Verfahren mit den Merkmalen des Patentanspruchs 1 , eine Einrichtung mit den Merkmalen des Patentanspruchs 9, ein Computerprogramm mit den Merkmalen des Patentanspruchs 10 und ein Computerprogrammprodukt mit den Merkmalen des Patentanspruchs 11.

Bei Ausführung des erfindungsgemäßen Verfahrens zur Klassifizierung einer Bewegung eines Objekts in einer Videosequenz aus mindestens zwei Videobildern ist vorgesehen, dass die Bewegung durch einen optischen Fluss beschrieben wird.

Weitere Ausführungsformen des Verfahrens ergeben sich aus den abhängigen Ansprüchen.

Die erfindungsgemäße Einrichtung zur Klassifizierung einer Bewegung eines Objekts in einer Videosequenz aus mindestens zwei Videobildern ist dazu ausgebildet, die Bewegung durch einen optischen Fluss zu beschreiben

Es ist vorgesehen, dass die erfindungsgemäße Einrichtung dazu ausgebildet ist, sämtliche

Schritte des erfindungsgemäßen Verfahrens auszuführen. Hierzu kann diese Einrichtung mindestens ein insbesondere zur Datenverarbeitung ausgebildetes Modul zur Ausführung mindestens eines Schritts des Verfahrens aufweisen.

- A -

Die Erfindung ist typischerweise zur Klassifikation von Bewegungen geeignet, die Objekte, bspw. Personen oder Fahrzeuge, von dem ersten Videobild zu dem zweiten Videobild der Videosequenz ausfuhren oder verursachen. Unter Berücksichtigung des aus den Videobildern abgeleiteten optischen Flusses ist eine Beschreibung oder Einordnung und somit die Klassifikation der Bewegung, bspw. anhand eines Vergleichs mit vorgegebenen, insbesondere objektspezifischen Bewegungsmustern, möglich. Des weiteren kann die Erfindung verallgemeinert für eine beliebige Bildsequenz, die eine üblicherweise zeitliche Abfolge einer Anzahl Bilder umfasst, verwendet werden. Derartige Bilder und Bildsequenzen können in geeigneten bilderzeugenden Formaten, bspw. auch als Fernsehbilder, insbesondere digitalisiert vorliegen und/oder bereitgestellt sein.

Mit der vorliegenden Erfindung ist es nunmehr möglich, Methoden einer statischen Grauwertverteilung in dem Videobild auf Bewegungen in Videosequenzen, die mindestens zwei aufeinanderfolgende Videobilder umfassen, auszudehnen. Hierdurch lassen sich signifikante Bewegungen in einer Videosequenz für insbesondere unmittelbar aufeinanderfolgende Videobilder klassifizieren oder beschreiben. Die Erfindung kann z. B. zur Erkennung von Fußgängern oder Fahrzeugen, bspw. in einer Fahrzeugrückansicht, und deren Bewegung genutzt werden.

Die Bewegung in Videosequenzen wird bei Durchführung der Erfindung durch den optischen Fluss beschrieben, der eine Verschiebung der Bildpunkte bzw. Pixel von einem Videobild zu einem nachfolgenden Videobild, typischerweise dem direkten Folge- oder Nachfolgebild, enthält. Der optische Fluss ist regelmäßig als ein zweidimensionales Verschiebungsvektorfeld oder Vektorfeld zwischen zwei verschiedenen Videobildern definiert.

Dieser optische Fluss kann demnach allgemein als eine Vektorfunktion bezeichnet werden, die jedem Bildpunkt oder Pixel von einem ersten Videobild zu einem nachfolgenden Videobild unter Berücksichtigung einer dynamischen änderung des jeweiligen Bildpunkts einen Vektor oder Verschiebungsvektor zuordnet. Durch einen derartigen Vektor, insbesondere Verschiebungsvektor, kann eine Verschiebung und somit eine Veränderung eines Grauwerts bezüglich der Bildpunkte beschrieben werden. Es kann eine Aussage darüber getroffen werden, wo ein Grauwert eines jeweiligen

Bildpunkts herkommt und/oder wohin sich dieser Grauwert im Laufe der Videosequenz bewegt. Der optische Fluss kann damit die Bewegung eines Objekts zwischen mindestens zwei Videobildern der Videosequenz beschreiben.

Typischerweise lässt sich nicht zu jedem Pixel sondern zumindest nur zu einem Anteil sämtlicher Pixel mindestens eines Videobilds der Videosequenz der jeweilige Verschiebungsvektor berechnen. Dies kann bspw. bei schwach oder gar nicht texturierten Flächen oder Bereichen des mindestens einen Videobilds der Fall sein. Der optische Fluss ist somit nicht notwendigerweise für jedes Pixel defmierbar.

Bei einer Realisierung der Erfindung wird durch Verwendung des optischen Flusses ein sog. synthetisches Integralbild bereitgestellt, mit dem im Vergleich zu herkömmlichen und somit statischen Integralbildern eine zeitliche änderung oder Dynamik und somit auch die Bewegung berücksichtigt werden kann. Außerdem kann nunmehr die Möglichkeit einer schnellen Klassifikation von statischen Bildinhalten, typischerweise von abgebildeten Objekten, auf die Bewegung im Bild, die durch diese Objekte verursacht wird, ausgedehnt werden.

Zur genaueren Beschreibung von zweidimensionalen Videobildern der Videosequenz sei angenommen, dass in den Videobildern die Bildpunkte Zeilen- und spaltenweise angeordnet sind. Dabei seien Zeilen in einer ersten Raumrichtung, hier in x-Richtung, und die Spalten in einer zweiten Raumrichtung, hier in y-Richtung, orientiert.

In einer Ausführungsform der Erfindung wird der optischen Fluss in drei skalare Komponenten zerlegt:

- einer Verschiebung in x-Richtung: fx (x, y)

- einer Verschiebung in y-Richtung: fy (x, y)

- einem Gewichtungsmaß zwischen 0.0 und 1.0: w (x ,y)

Für das Gewichtungsmaß gilt insbesondere: w(x,y)=0, falls der optische Fluss an der Stelle (x, y) nicht definiert ist. Die Werte zwischen 0.0 und 1.0 können unter Berücksichtigung statistischer Methoden optional für eine Konfidenzgewichtung, bspw. ein Vertrauensintervall, verwendet werden.

Zur weiteren Verarbeitung werden der mit w (x, y) gewichtete optische Fluss in den beiden Richtungen x und y sowie das Gewichtungsmaß komponentenweise integriert oder summiert:

Fx (x, y) = σ σ w (x ¹ , y') * fx (x ¹ , y ¹ ) (2)

Fy (x, y) = σ σ w (x', y') * fy (x', y') (3)

W (x, y) = σ σ w (x ¹ , y') (4)

Durch die Gleichungen (2) bis (4) werden die sog. synthetischen Integralbilder für dynamische, sich bewegende Videobilder aus dem optischen Fluss für die jeweilige Richtung abgeleitet.

Hierzu wird eine durch Gleichung (5) zu berechnende Summe von Bildpunkten bzw. Pixeln einer typischerweise rechteckigen Bildregion P benutzt. Die Gleichung (5) kann allgemein zur Berechnung von Bildmerkmalen benutzt werden. Sie weist dieselbe Struktur wie die bereits zum Stand der Technik vorgestellte Gleichung (1) auf:

S (P) = I (Pl) - 1 (P2) - 1 (P3) + I (P4) (5)

Hierbei sind Pl, P2, P3 und P4 Eckpunkte der rechteckigen Bildregion P, für die jeweils das synthetische Integralbild I zu berechnen ist. (Hierzu sei auf das Beispiel aus Figur 6 verwiesen: demnach entspricht P der Bildregion 128, Pl dem Eckpunkt 130, P2 dem Eckpunkt 132, P3 dem Eckpunkt 136 und P4 dem Eckpunkt 134)

Ein mittlerer optischer Fluss F für eine Bildregion kann somit unter Berücksichtigung von Gleichung (5) berechnet werden. Hierzu wird zunächst der integrale Fluss Fx und Fy für die Bildregion berechnet und anschließend durch das integrale Gewichtungsmaß W für die Bildregion dividiert:

Für die integralen Flüsse der Bildregion P in x- bzw. y- Richtung gilt somit:

Fx (P) = Fx (Pl) - Fx (P2) - Fx (P3) + Fx (P4) (6)

Fy (P) = Fy (P 1 ) - Fy (P2) - Fy (P3) + Fy(P4) (7)

Für einen Beitrag eines integralen Gewichtsmaßes der Bildregion P zum optischen Fluss gilt:

W(P) = W(Pl) - W(P2) - W(P3) + W(4) (8)

Der mittlere optische Fluss der Bildregion P in x- und y-Richtung ist somit:

fx (P) = Fx (P) / W (P) (9) fy (P) = Fy (P) / W (P) (10)

Im einfachsten Fall nimmt w(x ,y) nur die binären Werte 0.0 oder 1.0 an, so dass mit dem Gewichtungsmaß eine binäre Gewichtungsmaske bereitgestellt wird. Im vorliegenden Fall entspricht W(P) der Anzahl der Vektoren des optischen Flusses in der Bildregion P.

Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.

Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen

Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.

Kurze Beschreibung der Zeichnungen

Die Erfindung ist anhand von Ausführungsbeispielen in der Zeichnung schematisch dargestellt und wird im folgenden unter Bezugnahme auf die Zeichnung ausführlich beschrieben.

Figur 1 zeigt in schematischer Darstellung ein Ausführungsbeispiel von Videobildern zur Berechnung des optischen Flusses.

Figur 2 zeigt in schematischer Darstellung Bilder zur vektoriellen Zerlegung des optischen Flusses des Ausführungsbeispiels aus Figur 1.

Figur 3 zeigt in schematischer Darstellung eine Gewichtungsmaske des optischen Flusses des Ausfuhrungsbeispiels aus Figur 1.

Figur 4 zeigt eine erste schematische Darstellung zu einer Vorgehensweise nach Stand der Technik.

Figur 5 zeigt eine zweite schematische Darstellung zu einer Vorgehensweise nach Stand der Technik.

Figur 6 zeigt eine dritte schematische Darstellung zu einer Vorgehensweise nach Stand der Technik.

Die Figuren werden zusammenhängend und übergreifend beschrieben, gleichen Bezugszeichen bezeichnen gleiche Komponenten.

Ausfuhrungsformen der Erfindung

Figur 1 zeigt in schematischer Darstellung ein Ausfuhrungsbeispiel eines als Ursprungsbild vorgesehenen ersten Videobilds 2 einer Videosequenz und eines als

Folgebild vorgesehenen zweiten Videobilds 4 der Videosequenz. Die beiden Videobilder 2, 4 sind in diesem Ausführungsbeispiel in Bildpunkte 6 unterteilt, wobei diese Bildpunkte 6 in dem jeweiligen Videobild 2, 4 zu sieben Zeilen mit acht Spalten angeordnet sind. Zur Verdeutlichung von Grauwerten sind die Bildpunkte entweder weiß, grau oder schwarz markiert bzw. ausgefüllt.

Es ist vorgesehen, dass das zweite Videobild 4 innerhalb der Videosequenz dem ersten Videobild 2 zeitlich folgt. Eine damit verbundene zeitabhängige Verschiebung und somit Veränderung der Grauwerte der Bildpunkte 6 vom ersten Videobild 2 zum zweiten Videobild 4 ist im zweiten Videobild 4 durch Verschiebungsvektoren 8 dargestellt. In diesem Ausführungsbeispiel bezieht sich ein Verschiebungsvektor 8 auf einen ersten Bildpunkt 6 des ersten Videobilds 2 und einen zweiten Bildpunkt 6 des zweiten Videobilds 4. Dieser Verschiebungsvektor 8 ist unter Berücksichtigung der Verschiebung des Grauwerts zwischen dem ersten und zweiten Bildpunkt 6 des ersten und zweiten

Videobilds 2, 4 zwischen diesen beiden Bildpunkten 6 ausgerichtet, so dass diese beiden Bildpunkte 6 aus den beiden aufeinanderfolgenden Videobildern 2, 4 durch den Verschiebungsvektor 8 verbunden werden.

Außerdem weisen sämtliche Bildpunkte 6 in der rechten Spalte sowie die oberen vier

Bildpunkte 6 in der zweiten Spalte von rechts im zweiten Videobild 4 mittig Punkte auf. Wie ein Vergleich mit dem ersten Videobild 2 zeigt, sind Grauwerte dieser Bildpunkte 6 unverändert, was durch die Punkte markiert ist.

Die Verschiebungsvektoren 8 bilden in ihrer Gesamtheit einen optischen Fluss zwischen den beiden Videobildern 2, 4 der Videosequenz. Somit wird durch den optische Fluss zumindest den sich ändernden Bildpunkten 6 innerhalb der Videosequenz jeweils ein Verschiebungsvektor 8 zugeordnet, durch den beschrieben wird, wie sich die Bildpunkte 6 vom ersten Videobild 2 zum zweiten Videobild 4 verschieben.

über die verschiedenen Grauwerte wird in jedem Videobild 2, 4 mindestens ein Objekt dargestellt. Bewegungen des mindestens einen Objekts spiegeln sich durch die Verschiebung der Grauwerte der Bildpunkte 6 von Videobild 2 zu Videobild 4 wider. Durch Erfassen der Verschiebungsvektoren 8 und somit durch Bereitstellung des optischen Flusses zwischen zwei Videobildern 2, 4 wird die Bewegung des mindestens eines Objekts beschrieben und somit klassifiziert.

Figur 2 zeigt in schematischer Darstellung Ausführungsbeispiele eines ersten Teilbilds 10 und eines zweiten Teilbilds 12, die ebenfalls aus Bildpunkten 6 aufgebaut sind. Dabei zeigt das erste Teilbild 10 einen horizontalen Anteil des optischen Flusses aus dem zweiten Videobild 4. Dieser horizontale Anteil umfasst horizontale Verschiebungsvektoren 14, die entlang der Spalten orientiert sind. Das zweite Teilbild 12 zeigt einen vertikalen Anteil des optischen Flusses des zweiten Videobilds 4. Dabei umfasst der vertikale Anteil vertikale Verschiebungsvektoren 16 , die entlang der Zeilen orientiert sind. Die Verschiebungsvektoren 8 des optischen Flusses aus dem zweiten

Videobild 4 sind durch Vektoraddition der horizontalen Verschiebungsvektoren 12 und der vertikalen Verschiebungsvektoren 14 auszurechnen. Die bezüglich der Grauwerte unveränderten Bildpunkte 6 sind in den beiden Teilbildern 10, 12 analog zu dem zweiten Videobild 4 jeweils in der Mitte durch Punkte gekennzeichnet.

Figur 3 zeigt in schematischer Darstellung ein ebenfalls aus Bildpunkten 6 aufgebautes Ausführungsbeispiel einer Gewichtungsmaske 18 für ein Gewichtungsmaß des optischen Flusses von dem ersten Videobild 2 zu dem zweiten Videobild 4 aus Figur 1. Durch diese Gewichtungsmaske 18 wird jedem Bildpunkt 6 ein Wert, der größer gleich 0 und kleiner gleich 1 ist, zugewiesen. Zur besseren übersichtlichkeit weist die hier vorliegende Gewichtungsmaske 18 nur binäre Werte auf, so dass den hier weiss unterlegten Bildpunkten 6 Nullen und den grau unterlegten Bildpunkten 18 Einsen zugewiesen sind.