Die Erfindung betrifft ein Verfahren zum Parametrisieren einer Szene mit einer Oberfläche sowie ein Steuergerät, das zur Durchführung dieses Verfahrens eingerichtet/programmiert ist. Die Erfindung betrifft ferner ein Kraftfahrzeug mit einem solchen Steuergerät.

Die Kenntnis der Geometrie einer Oberfläche bzw. einer Szene, in welcher eine solche Oberfläche enthalten ist, erweist sich gerade im Zusammenhang mit Fahrzeug-Assistenzsystemen für Kraftfahrzeuge als bedeutsam.

Herkömmliche Verfahren, die ein mithilfe einer Kamera oder dergleichen erzeugtes Bild der Szene auswerten, schätzen die Objekt-Größe von im Bild erkannten Objekten und deren Entfernung von der Kamera in Abhängigkeit von verschiedenen Eingangsparametern, welche wiederum von einer jeweils angenommenen Geometrie der Oberfläche abhängen. Die Genauigkeit der Schätzung hängt somit stark von der angenommenen Oberflächen-Geometrie ab und ist daher fehlerbehaftet.

Es ist daher eine Aufgabe der vorliegenden Erfindung, für ein Verfahren der eingangs erläuterten Art eine verbesserte Ausführungsform zu schaffen, die sich insbesondere durch eine verbesserte Genauigkeit auszeichnet, mit welcher die Geometrie einer Oberfläche bzw. einer Szene mit einer solchen Oberfläche ermittelt werden kann.

Diese Aufgabe wird durch den Gegenstand der unabhängigen Patentansprüche gelöst. Bevorzugte Ausdrucksformen sind Gegenstand der abhängigen Patentansprüche. Grundidee der Erfindung ist demnach, Objekt-Größe und Objekt- Entfernung von in einem mittels einer Kamera erzeugten Bild in Abhängigkeit von einem die Oberflächengeometrie einer Oberfläche, auf welchem die Objekte angeordnet sind, charakterisierenden Parameter zu berechnen. Als erfindungswesentlich ist dabei anzusehen, dass besagte Objekte mittels Bilderkennungsmaßnahmen erkannt und bestimmten vorgegebenen Objektklassen zugeordnet werden. Für jede vorgegebene Objektklasse ist dabei eine Wahrscheinlichkeitsverteilung der Größe des der jeweiligen Objektklasse zugeordneten Objekts vorgegeben. Somit lässt sich für die geschätzte Objekt-Größe eines jeden erkannten Objekts mittels der bekannten Wahrscheinlichkeitsverteilung eine Wahrscheinlichkeit berechnen, dass das erkannte Objekt die berechnete Objektgröße besitzt. Aus den für jedes Objekt auf diese Weise berechenbaren Einzel-Wahrscheinlichkeit lässt sich - beispielsweise durch Produktbildung - eine sog. Szene-Wahrscheinlichkeit berechnen. Der sich ergebende Wert für die Szene-Wahrscheinlichkeit ist ein Maß dafür, ob der eingangs gewählte, die Oberflächen-Geometrie charakterisierende Parameter die tatsächlich vorhandene Oberflächen- Geometrie gut wiedergibt. Führt man voranstehend erläuterte Berechnung der Szenen-Wahrscheinlichkeit für verschiedene Werte des die Geometrie der Oberfläche charakterisierenden Parameters durch, so wird bevorzugt derjenige Wert als die tatsächliche Oberflächengeometrie am besten charakterisierend eingestuft, bei welchem die berechnete Szenen- Wahrscheinlichkeit einen Maximalwert annimmt. Mithilfe der hier vorgeschlagenen Verwendung von vorbestimmten Wahrscheinlichkeitsverteilungen für die Objekt-Größe von Objekten verschiedener Objektklassen lässt sich somit die Geometrie einer Oberfläche mit Objekten besonders genau und mit gegenüber herkömmlichen Verfahren deutlich reduziertem Fehler abschätzen.

Das hier vorgestellte, erfindungsgemäße Verfahren zum Parametrisieren einer Szene mit einer Oberfläche, auf welcher wenigstens zwei Objekte angeordnet sind, mittels einer im Abstand zu den Objekten angeordneten Kamera umfasst die im Folgenden erläuterten fünf Maßnahmen a) bis e).

Gemäß einer ersten Maßnahme a) wird mittels der Kamera ein Bild der Szene erzeugt, welches Bilddaten betreffend die wenigstens zwei Objekte enthält. In einerweiteren, zweiten Maßnahme b) werden in dem erzeugten Bild wenigstens zwei Objekte erkannt und die in dem Bild durch Auswertung der Bilddaten erkannten Objekte einer bestimmten Objektklasse zugeordnet. In einer dritten Maßnahme c) wird eine jeweiligen Objekt-Größe der wenigstens zwei erkannten Objekte in Abhängigkeit von wenigstens einem die Oberfläche charakterisierenden Oberflächenparameter abgeschätzt. In einer vierten Maßnahme d) wird für jedes der wenigstens zwei Objekteeine Einzel-Wahrscheinlichkeit berechnet, dass das Objekt die in Maßnahme c) abgeschätzte Objekt- Größe besitzt. Schließlich wird in einer fünften Maßnahme e) eine Szenenwahrscheinlichkeit aus den wenigstens zwei berechneten Einzel- Wahrscheinlichkeiten berechnet.

Gemäß einer bevorzugten Ausführungsform ist der wenigstens eine die Oberfläche charakterisierende Oberflächenparameter ein Winkel, den der von der Kamera zum Objekt verlaufende Hauptstrahl mit einer ebenen Referenzfläche bildet, auf welcher das Objekt angeordnet ist.

Gemäß einer bevorzugten Ausführungsform wird durch Variation des wenigstens einen die Oberfläche charakterisierenden Oberflächenparameters die Szenenwahrscheinlichkeit maximiert und derjenige Wert des wenigstens einen die Oberfläche parametrisierenden Parameters als Ergebnis des Verfahrens ausgegeben, bei welchem die Szenenwahrscheinlichkeit einen Maximalwert annimmt. Auf diese Weise lässt sich derjenige Wert des Oberflächenparameters, der die ausgewertete Szene am besten trifft, mit besonders hoher Genauigkeit bestimmen. Besonders zweckmäßig kann die Szenenwahrscheinlichkeit durch Multiplikation der wenigstens zwei berechneten Einzel- Wahrscheinlichkeiten berechnet werden. Somit ist die Szenenwahrscheinlichkeit mit nur sehr geringem Rechenaufwand ermittelbar.

Gemäß einer vorteilhaften Weiterbildung werden zur Ermittlung des gesuchten Maximalwerts zumindest die Maßnahmen c) bis e) unter Variation des wenigstens einen die Oberfläche charakterisierenden Parameters iterativ durchgeführt. Auch mit dieser Maßnahme geht eine nicht unerhebliche Vereinfachung des erfindungsgemäßen Verfahrens einher.

Zweckmäßig kann zur Abschätzung der Objekt-Größe eines jeweiligen Objekts in Maßnahme c) eine Entfernung des Objekts zur Kamera abgeschätzt und danach die Objekt-Größe des Objekts als Funktion der Entfernung berechnet werden. Eine solche Abschätzung der gesuchten Entfernung ist mittels relativ einfach handhabbarer strahlenoptischer Berechnungen möglich und somit einfach - insbesondere ohne größeren Rechenaufwand - durchführbar. Besonders bevorzugt kann die Entfernung dabei in Abhängigkeit von dem wenigstens einen die Oberfläche parametrisierenden Parameter abgeschätzt werden. Somit bleibt der die Oberfläche parametrisierende Parameter der einzig freie Parameter des gesamten Verfahrens.

Die Erfindung betrifft ferner ein Steuergerät mit einer Datenverarbeitungseinheit und mit einer Speichereinheit. Das erfindungsgemäße Steuergerät ist zur Durchführung des voranstehend erläuterten Verfahrens eingerichtet oder/und programmiert, so dass sich die voranstehend erläuterten Vorteile des erfindungsgemäßen Verfahrens auch für das erfindungsgemäße Steuergerät ergeben. Die Erfindung betrifft schließlich ein Kraftfahrzeug mit einer Kamera, deren Sichtfeld auf die Umgebung, insbesondere das Vorfeld, des Kraftfahrzeugs ausgerichtet ist, so dass die Kamera im Betrieb ein Bild der Umgebung des Kraftfahrzeugs erzeugen kann. Das Kraftfahrzeug umfasst ferner ein erfindungsgemäßes Steuergerät, das datenübertragend mit der Kamera verbunden ist. Somit übertragen sich die voranstehend erläuterten Vorteile des erfindungsgemäßen Verfahrens auch auf das erfindungsgemäße Kraftfahrzeug.

Weitere wichtige Merkmale und Vorteile der Erfindung ergeben sich aus den Unteransprüchen, aus der Zeichnung und aus der zugehörigen Figurenbeschreibung anhand der Zeichnungen.

Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.

Bevorzugte Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden in der nachfolgenden Beschreibung näher erläutert, wobei sich gleiche Bezugszeichen auf gleiche oder ähnliche oder funktional gleiche Komponenten beziehen.

Es zeigen, jeweils schematisch:

Fig. 1 beispielhaft eine typische Szene mit einem Objekt mit zu bestimmender Objekt-Größe, wofür welcher das erfindungsgemäße Verfahren zum Einsatz kommt,

Fig. 2 eine die Figur 1 ergänzende Darstellung, anhand welcher eine Berechnung des Abstands des Objekts von der Kamera und die Berechnung der sich aus dem berechneten Abstand ergebenden Objekt- Größe veranschaulicht wird,

Fig. 3 ein stark vereinfacht dargestelltes Ablauf-Diagramm des erfindungsgemäßen Verfahrens.

Figur 1 zeigt in schematischer Darstellung eine typische Szene 1, in welcher das erfindungsgemäße Verfahren zum Einsatz kommen kann.

Das Verfahren dient zum Parametrisieren einer in der Szene 1 vorhandenen Oberfläche 2, die wie in Figur 1 gezeigt nicht eben ausgebildet sein muss, sondern mit gekrümmtem Ober-flächenverlauf ausgebildet sein kann. In Figur 1 umfasst die Oberfläche 2 einen ersten Oberflächenabschnitt 2a, welcher eine Erhöhung 3a ausbildet, und einen und einen sich an den ersten Oberflächenabschnitt 2a anschließenden zweiten Oberflächenabschnitt 2b, welcher eine Vertiefung 3b ausbildet. An einem Übergang 4 zwischen der Vertiefung 3a und Erhöhung 3b ist auf der Oberfläche 2 ein Objekt 10 - im Beispiel eine Person 11 - angeordnet.

Im Bereich der Vertiefung 3b ist - im Abstand zum Objekt 10 - eine Kamera 5 vorhanden, deren Sichtfeld auf die Szene 1 mit der Oberfläche 2 ausgerichtet ist, so dass die Kamera 5 ein Bild der Oberfläche 2 mit dem darin angeordneten Objekt 10 erzeugen kann. Bei der Kamera 5 kann es sich etwa um eine Video-Kamera handeln, die in einem Kraftfahrzeug (nicht gezeigt) verbaut sein kann.

Typischerweise sind in der Szene 1 zwei oder mehr Objekte 10 angeordnet, der Einfachheit halber ist in Figur 1 jedoch nur ein einziges Objekt 10 dargestellt.

Der Verlauf der Oberfläche 2, insbesondere der Vertiefung 3b und der Erhöhung 3a, lässt sich wie in Figur 1 gezeigt durch einen Winkel a parametrisieren, den der von der Kamera 5 zum Objekt 10 verlaufende Hauptstrahl S mit einer ebenen Referenzfläche RE bildet, auf welcher das Objekt 10 angeordnet ist.

In der Figur 2 ist die Höhe der Kamera 5, also deren senkrechter Abstand zur Referenzebene Rastelement, mit h bezeichnet. Neben dem bereits erwähnten Winkel a, welche die Neigung der Kamera 5 gegenüber der Referenzebene RE wiedergibt, ist der Winkel zwischen dem Hauptstrahl S der Kamera 5 und dem sich von der Kamera 5 zum Fußpunkt F erstreckende Sehstrahl V als Winkel ß definiert. Der Fußpunkt F wiederum ist der Schnittpunkt des Objekts 10 mit der Referenzebene RE.

Die Figur 3 zeigt ein Ablaufdiagramm des erfindungsgemäßen Verfahrens. In einer ersten Maßnahme a) des Verfahrens wird mittels der Kamera 5 ein Bild der Szene 1 erzeugt. Dieses Bild enthält Bilddaten betreffend die Oberfläche 2 und auch die auf der Oberfläche 2 angeordneten Objekte 10. Gemäß einer auf die erste Maßnahme a) folgenden zweiten Maßnahme b) werden wenigstens zwei der in der Szene 1 vorhandenen Objekte 10 durch Auswertung der mittels der Kamera 5 erzeugten Bilddaten erkannt. Jedes erkannte Objekt 10 wird dabei einer bestimmten Objektklasse OK aus einer vorgegebenen Menge M solcher Objektklasse OK zugeordnet. Mögliche Objektklassen sind beispielsweise "Kraftfahrzeuge",

"Fußgänger", "Verkehrszeichen", "Verkehrsbarken", "Verkehrsampeln", usw.

Beispielsweise durch Mustererkennung kann im Zuge des Verfahrens auf herkömmliche Weise bestimmt werden, welcher Objektklasse OK das jeweils erkannte Objekt 10 zuzuordnen ist. Im Beispiel der Figur 1 wird das erkannte Objekt 10 Form der Objektklasse „Fußgänger" zugeordnet. In dieser Weise wird in Maßnahme b) für alle erkannten Objekte 10 verfahren. In einerweiteren Maßnahme c) wird für jedes erkannte Objekt 10 in Abhängigkeit von dem die Oberfläche charakterisierenden Winkel a die Objekt-Größe des jeweils erkannten Objekts 10 abgeschätzt. Die Berechnung der Objekt-Größe als Funktion des Winkels a, also des Winkels zwischen der Referenzebene RE und dem Hauptstrahl S von der Kamera 5 zum Kopfpunkt K des Objekt 10, wird im Folgenden anhand der Figur 2 erläutert. Hierzu werden dem Fachmann aus der Strahlenoptik bekannte Zusammenhänge angewandt.

Im Folgenden ist ß der Zwischenwinkel zwischen dem Sehstrahl V, der sich von der Kamera 5 zu einem Fußpunkt F erstreckt, in welchem das Objekt 10 die Referenzebene RE berührt.

Außerdem ist der Hauptpunkt PP derjenige Punkt, der im Abstand f von der Kamera 5 auf dem Hauptstrahl S angeordnet ist, wobei f die Brennweite der Kamera 5 - ausgedrückt in optischen Pixeln des Bildes - ist. Eine Bildebene B verläuft senkrecht zum Hauptstrahl S durch den Hauptpunkt PP. Als Punkt PF ist derjenige Punkt bezeichnet, in welchem sich der Sehstrahl V der Kamera 5 mit der Ebene B schneidet.

Es gilt ß= arctan((X) / f ) (1),

Dabei ist X der Abstand des Hauptpunktes PP zum Punkt PF, die beide auf der Bildebene B angeordnet sind.

Der geschätzte Abstand d des Objekts 10 zur Kamera 5 ergibt sich in Abhängigkeit vom Winkel a zu: d(a) h * tan (a + ß) (2), dabei ist h der Abstand der Kamera 5 zur Referenz-Ebene RE. Die geschätzte Objekt-Größe s, also der Abstand zwischen Kopfpunkt K und Fußpunkt F des Objekts 10, ergibt sich in Abhängigkeit vom Winkel a zu:

S(a) = d(a) * s_p / f (3), wobei f die Brennweite der Kamera 5 ist und s_p eine Objekt-Größe des Objekts 10 in Bild-Pixeln auf dem mittels der Kamera 5 erzeugten Bild.

Wie voranstehend erläutert wird für jedes in Maßnahme b) erkannte Objekt 10 dessen Objekt-Größe s geschätzt. Werden beispielsweise in Maßnahme b) vier verschiedene Objekte 10 erkannt, so werden vier Objekt-Größen s1(a), s2(a), s3(a), s4(a) geschätzt.

Für die verschiedenen Objektklassen OK lässt sich eine Statistik bezüglich deren Objekt-Größenverteilung bilden, sodass man der voranstehend erläuterten geschätzten Objekt-Größe s(a) eine

Auftretenswahrscheinlichkeit POK (s(a)) zuordnen kann, welche wiederum aus einer vorgegebenen Wahrscheinlichkeits-Verteilung berechnet werden kann. Dies gilt für alle erkannten Objekte und somit für alle geschätzten Objekt-Größen. Falls die verschiedenen Objekte unterschiedlichen Objektklassen zugeordnet werden, so werden sie auch unterschiedlichen Objekt-Größenverteilungen zugewiesen.

Im Zuge einerweiteren Maßnahme d) wird für jedes in Maßnahme b) erkannte Objekt unter Berücksichtigung der in Maßnahme b) erfolgten Klassifizierung eine Einzel-Wahrscheinlichkeit P(s(a)) berechnet, dass das Objekt die in Maßnahme c) abgeschätzte Objekt-Größe besitzt. Hierfür muss für jede auftretende Objektklasse die vorbekannte Wahrscheinlichkeits-Verteilung herangezogen und daraus die Einzel- Wahrscheinlichkeit POK (s(a)) berechnet werden. Werden beispielsweise in Maßnahme b) vier Objekte erkannt, so werden vier Einzel- Wahrscheinlichkeiten Pi(s(a)), P ₂ (s(a)), P ₃ (s(a)), P s(a)) berechnet. Schließlich wird in einer weiteren Maßnahme e) aus den in Maßnahme e) für jedes erkannte Objekt 10 berechneten Einzel-Wahrscheinlichkeiten Pi(s(a)), P ₂ (s(a)), P ₃ (s(a)), P ₄ (s(a)) eine Szenenwahrscheinlichkeit P _ges (a) berechnet. Die Szenenwahrscheinlichkeit P _ges (a) kann etwa durch Multiplikation der in Maßnahme d) berechneten

Einzelwahrscheinlichkeiten Pi(s(a)), P ₂ (s(a)), P ₃ (s(a)), P s(a)) berechnet werden, also P _ges (a) = Pi(s(a)) * P ₂ (s(a)) * P ₃ (s(a)) * P ₄ (s(a)).

Durch Variation des wenigstens einen die Oberfläche charakterisierenden Oberflächenparameter - im Beispiel also des Winkels a - wird nun beim erfindungsgemäße Verfahren die Szenenwahrscheinlichkeit P _ges (a) maximiert. Als Ergebnis E des Verfahrens wird und derjenige Wert des Winkels a ausgegeben, bei welchem wenigstens einen die Oberfläche parametrisierenden Parameters als Ergebnis des Verfahrens ausgegeben wird, bei welchem die Szenenwahrscheinlichkeit P _ges (a) einen Maximalwert annimmt, also E = max (P _ges (a)) für alle in Betracht kommenden a. Zur Ermittlung des gesuchten Maximalwerts max (P _ges (a)) können zumindest die Maßnahmen c) bis e) unter Variation des wenigstens einen die Oberfläche charakterisierenden Parameters - also des Winkels a - iterativ durchgeführt werden. Der auf diese Weise als Ergebnis E ermittelte Wert für den Winkel a kann als derjenige Wert angesehen, der die tatsächliche Szene am besten wiedergibt.