Verfahren und Vorrichtung zur Schritterkennung eines Fußgängers für ein tragbares Endgerät

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Schritterkennung eines Fußgängers für ein tragbares Endgerät, das eine Aufnahmeeinheit umfasst. Ferner betrifft die Erfindung das tragbare Endgerät.

Im Bereich der Personennavigation haben sich Navigationsgeräte, die Satellitensignale für eine Positionsbestimmung nutzen, in vielen Anwendungsbereichen durchgesetzt, z.B. als mitgeführtes Global Positioning System Empfangsgerät (GPS-Empfangsgerät) für den Wanderer und Bergsteiger oder für den Touristen zu Fuß in einer Stadt. Solche Navigationsgeräte haben jedoch den

Nachteil, dass eine Navigation nur im Freien einwandfrei funktioniert . Für Personen, die sich in Gebäuden aufhalten, sind solche Navigationsgeräte, die Satellitensignale für eine Positionsbestimmung nutzen, nicht geeignet und können daher den Bedarf an Bewegungs- und PositionsInformationen in

Untergeschossen großer Städte, in Kaufhäusern, in Museen, in Flughäfen und Bahnhöfen sowie in fremden Firmengeländen oder Behördengebäuden nicht befriedigen. In solchen Bereichen kommen heute dedizierte Systeme für Innenraumanwendungen, so genannte Indoor-Systeme, z. B. mit Infrarotbaken zum Einsatz, die einen hohen Infrastrukturaufwand erfordern.

Die Aufgabe der Erfindung ist, ein Verfahren und eine

Vorrichtung zur Schritterkennung eines Fußgängers für ein tragbares Endgerät sowie ein tragbares Endgerät zu schaffein, die eine zuverlässige und kostengünstige Schritterkennung des Fußgängers auch in Innenräumen ermöglichen.

Die Aufgabe wird gelöst durch die Merkmale der unabhängigen Patentansprüche. Vorteilhafte Weiterbildungen der Erfindung sind in den Unteransprüchen gekennzeichnet.

Gemäß einem ersten und zweiten Aspekt zeichnet sich die

Erfindung aus durch ein Verfahren und eine korrespondierende Vorrichtung zur Schritterkennung eines Fußgängers für ein tragbares Endgerät, das eine Aufnahmeeinheit aufweist. Es wird jeweils in einem von der Aufnahmeeinheit erfassten Bild einer Bildfolge ein Objekt detektiert, das zumindest einen Teil eines Fußes und/oder eines Schuhs und/oder eines Beines

repräsentiert. Die Position des Objektes in dem jeweiligen Bild wird ermittelt und abhängig von einer Positionsveränderung des Objektes zwischen zumindest zwei Bildern der Bildfolge wird ein Schritt des Fußgängers erkannt.

Ein Auswerten des jeweiligen Bildes ermöglicht, ein Erscheinen und Verschwinden des Fußes und/oder der Fußspitze des

Fußgängers zu erkennen und für eine Schritterkennung, eine SchrittZählung und/oder eine Schrittlängenschätzung zunutzen. Das Ermitteln der Schritte kann vorteilhafterweise unabhängig von weiteren Hardwarekomponenten erfolgen, insbesondere unabhängige von weiteren Sensoren, die ausgebildet sind,

Messdaten zu erfassen, die repräsentativ sind für eine Bewegung des Fußgängers. Dies ermöglicht eine kostengünstige Herstellung des Endgerätes. Das erfindungsgemäße Verfahren kann für eine Schritterkennung sowohl für Fußgänger, die sich in Gebäuden bewegen als auch für Fußgänger, die sich im Freien bewegen. genutzt werden. Ferner hat das erfindungsgemäße Verfahren den Vorteil, dass die Schritte auch bei einer langsamen

Laufbewegung und/oder bei einer unregelmäßigen Laufbewegung zuverlässig erkannt werden können.

Beim Erfassen der jeweiligen Bilder ist das Endgerät

vorzugsweise an dem Fußgänger derart angeordnet oder wird von dem Fußgänger derart gehalten, dass ein Bilderfassungsbereich der Aufnahmeeinheit jeweils einen vorgegebenen Bereich in Laufrichtung vor dem Fußgänger umfasst. Die Aufnahmeeinheit und/oder eine weitere geeignete ausgebildete Einheit des

Endgerätes können ausgebildet sein, mittels Ausgabe von

Signalen, beispielsweise optischen Signalen, dem Fußgänger eine vorgegebene Positionierung der Aufnahmeeinheit zu

signalisieren.

In einer vorteilhaften Ausgestaltung wird das Objekt abhängig von einem Ähnlichkeitsvergleich eines vorgegebenen Musters mit dem jeweiligen Bild detektiert. Dies ermöglicht eine einfache und zuverlässige Detektion des Objektes.

In einer weiteren vorteilhaften Ausgestaltung wird das Muster ermittelt abhängig von einem Bildausschnitt eines der erfassten Bilder, welcher zumindest eine Fuß- und/oder Schuhspitze des Fußgängers umfasst. Dies ermöglicht, das Muster an spezifische Eigenschaften des Fußes beziehungsweise des Schuhs des

Fußgängers anzupassen und damit eine Zuverlässigkeit der

Objektdetektion und/oder der Schritterkennung zu erhöhen.

In einer weiteren vorteilhaften Ausgestaltung wird für die Bildfolge ein Verlauf der Position des Objekts ermittelt und abhängig von dem Verlauf der Schritt erkannt.

Vorteilhafterweise kann so der jeweilige Schritt sehr einfach und zuverlässig erkannt werden..

In einer weiteren vorteilhaften Ausgestaltung wird das Bild in mehrere Bildausschnitte unterteilt, wobei die Bildausschnitte überlappen können. Für jeden Bildausschnitt wird der

Ähnlichkeitsvergleich mit dem Muster durchgeführt. Die Position des Objektes wird ermittelt abhängig von dem Bildausschnitt, der die größte Ähnlichkeit mit dem Muster aufweist.

In einer weiteren vorteilhaften Ausgestaltung weist das jeweilige Bild eine Matrix an Bildpunkten auf. Für sämtliche zentrale Bildpunkte, die jeweils einen Mittelpunkt der

jeweiligen Bildausschnitte repräsentieren, wird jeweils ein Vergleichswert ermittelt, der ein Maß für die Ähnlichkeit des Musters mit dem jeweiligen Bildausschnitt repräsentiert.

Abhängig von den ermittelten Vergleichswerten wird die Position des Objektes ermittelt. Vorteilhafterweise ermöglicht dies eine einfache Detektion des Objektes. Der Vergleichswert kann beispielsweise einen Kreuzkorrelationskoeffizienten

repräsentieren, der für den jeweiligen zentralen Bildpunkt abhängig von einer Kreuzkorrelation des Bildausschnittes mit dem Muster ermittelt wird.

In einer weiteren vorteilhaften Ausgestaltung wird abhängig von den Vergleichswerten ein maximaler Vergleichswert ermittelt und wenn der maximale Vergleichswert einen vorgegebenen Grenzwert unterschreitet, wird das Muster angepasst. Ein Auswerten der maximalen Vergleichswerte ermöglicht, geänderte Verhältnisse im Umfeld des Fußgängers zu detektieren. Dies kann genutzt werden, um das Muster an die geänderten Verhältnisse anzupassen, beispielsweise das Muster an geänderte Helligkeitsverhältnisse anzupassen .

In einer weiteren vorteilhaften Ausgestaltung weisen die

Bildpunkte des Bildes für eine vorgegebene Menge an Farbkanälen jeweils einen Farbwert auf. Für zumindest ein Teil der Menge an Farbkanälen werden die Vergleichswerte für den jeweiligen Farbkanal ermittelt. Vorteilhafterweise ermöglicht dies, einen zuverlässigen Ähnlichkeitsvergleich des Bildausschnitts mit dem Muster und kann somit einen Beitrag leisten dazu, dass der jeweilige Schritt sehr einfach und zuverlässig erkannt werden kann. Der jeweilige Farbkanal repräsentiert hierbei eine

Grundfarbe eines Farbraums, die zur Speicherung des Bildes genutzt wird. Ein Rot-Grün-Blau-Bild (RGB-Bild) weist

beispielsweise drei Farbkanäle auf, jeweils einen für Rot, Grün und Blau. Ein CYMK-Bild (Cyan, Yellow, Magenta und Black) weist vier Farbkanäle auf, jeweils einen für Cyan, Gelb, Magenta und den Schwarzanteil .

In einer weiteren vorteilhaften Ausgestaltung weisen die

Bildpunkte des Bildes jeweils einen Grauwert auf aus einer vorgegebenen Menge an Grauwerten. Vor dem Ähnlichkeitsvergleich wird abhängig von den Grauwerten von zumindest einem Teil der Bildpunkte ein mittlerer Grauwert des Bildes ermittelt und das Bild in ein binäres Bild, bei dem die jeweiligen Bildpunkte nur einen von zwei möglichen Grauwerten annehmen können, derart umgewandelt wird, dass abhängig von dem mittleren Grauwert und dem Grauwert des jeweiligen Bildpunktes, der jeweiligen

Bildpunkt einen vorgegeben ersten oder zweiten Grauwert aufweist. Vorteilhafterweise ermöglicht dies eine sehr einfache und schnelle Detektion des Objektes. Bei dem binären Bild repräsentiert vorzugweise der erste Grauwert die Farbe Weiß und der zweite Grauwert die Farbe Schwarz . Für das Ermitteln des mittleren Grauwertes kann beispielsweise ein Grauwert- Histogramm für das Bild ermittelt werden und abhängig von einer Varianz der Grauwerte der mittlere Grauwert ermittelt werden.

Gemäß einem dritten Aspekt zeichnet sich die Erfindung aus durch ein tragbares Endgerät, das eine Aufnahmeeinheit und eine Vorrichtung gemäß dem zweiten Aspekt aufweist. Vorteilhafte Ausgestaltungen des ersten und zweiten Aspekts gelten hierbei auch für den dritten Aspekt.

Ausführungsbeispiele der Erfindung sind im Folgenden anhand der schematischen Zeichnungen erläutert.

Es zeigen:

Figur 1 ein beispielhaftes Blockschaltbild für ein tragbares

Endgerät ,

Figur 2 ein beispielhaftes Ablaufdiagram für ein Programm zur

Schritterkennung eines Fußgängers,

Figur 3 ein beispielhaften Werteverlauf einer für ein Bild

ermittelten Korrelationsmatrix,

Figur 4 ein beispielhafter Verlauf der Position des Objekts in einer Bildfolge und Figur 5 ein beispielhafter Signalverlauf eines

Beschleunigungssensors, der für eine

Bewegungsdetektion von dem Fußgänger mitgeführt wird,

Elemente gleicher Konstruktion oder Funktion sind

figurenübergreifend mit den gleichen Bezugszeichen versehen.

Figur 1 zeigt ein tragbares Endgerät 10. Das tragbare Endgerät 10 ist beispielsweise als Smartphone und/oder als persönlicher digitaler Assistenten (PDA) und/oder als tragbarer Computer ausgebildet .

Das tragbare Endgerät 10 umfasst beispielsweise eine

Aufnahmeeinheit 20 und eine Bildverarbeitungseinheit 30, die auch als Vorrichtung zur Schritterkennung eines Fußgängers bezeichnet werden kann. Die Aufnahmeeinheit 20 ist

beispielsweise als digitale Kamera ausgebildet.

Für ein Erfassen von Bildern mit der Aufnahmeeinheit 20 für eine Auswertung durch die Bildverarbeitungseinheit 30 ist das Endgerät 10 vorzugsweise an dem Fußgänger derart angeordnet oder wird von dem Fußgänger derart gehalten, dass ein

Bilderfassungsbereich der Aufnahmeeinheit 20 jeweils einen vorgegebenen Bereich in Laufrichtung vor dem Fußgänger umfasst. Eine geeignete Position der Aufnahmeeinheit 20 zum Erfassen des jeweiligen Bildes korrespondiert zu einer Halteposition einer Landkarte, die der Fußgänger zum Lesen der Landkarte in

Laufrichtung vor sich hält.

Die Bildverarbeitungseinheit 30 umfasst beispielsweise einen Programmspeicher. In dem Programmspeicher ist beispielsweise ein Programm zur Schritterkennung des Fußgängers gespeichert. Das Programm dient beispielsweise dazu, Schritterkennungsdaten für eine Personennavigation bereitzustellen. Beispielhaft wird das Programm später unter Bezug auf Figur 2 erläutert.

Ferner umfasst das tragbare Endgerät 10 gemäß Figur 1

beispielsweise eine Navigationseinrichtung 40 für Fußgänger. Das tragbare Endgerät 10 kann beispielsweise zumindest eine Eingabe- 50 und zumindest eine Ausgabeeinheit 60 aufweisen, die mit der Navigationseinrichtung 40 gekoppelt sind. Die zumindest eine Eingabeeinheit 50 kann beispielsweise eine Vielzahl von Tastenelemente aufweisen mittels derer ein Benutzer

beispielsweise eine Startpunkt und/oder einen Zielpunkt für eine Routenermittlung eingeben kann. Mittels der Ausgabeeinheit 60, die beispielsweise ein Display und/oder einen Lautsprecher umfasst, kann beispielsweise eine aktuelle Position und/oder einem Benutzer eine ermittelte Route signalisiert werden.

Ferner kann die Navigationseinrichtung 40 beispielsweise ein GPS-Modul 70 umfassen sowie einen Magnetometer 74, ein Gyroskop 76 und/oder einen Beschleunigungssensor 72, die jeweils mit einer Steuereinheit 78 der Navigationseinrichtung 40 gekoppelt sind.

Die Steuereinheit 78 der Navigationseinrichtung 40 ist

beispielsweise ausgebildet, abhängig von zumindest einem erfassten Messsignal des Beschleunigungssensors 72 Schritte des Fußgängers zu detektieren..

Die Steuereinheit 78 der Navigationseinrichtung 40 ist

beispielsweise derart mit der Bildverarbeitungseinheit 30 gekoppelt, dass Daten, die von der Bildverarbeitungseinheit 30 ermittelt werden, an die Steuereinheit 78 der

Navigationseinrichtung 40 weitergeleitet werden können. Die Daten können vorteilhafterweise genutzt werden,

Schritterkennungsdaten, die von der Steuereinheit 78 abhängig von dem zumindest einen Messsignal des Beschleunigungssensors 72 ermittelt wurden, zu verifizieren. Alternativ oder

zusätzlich ist möglich, dass die von der

Bildverarbeitungseinheit 30 weiter geleiteten Daten genutzt werden, eine aktuelle Position des Fußgängers, eine

Schrittlänge des Fußgängers und/oder eine Bewegungsrichtung des Fußgängers zu ermitteln.

Figur 2 zeigt ein Ablaufdiagramm für das Programm zur

Schritterkennung des Fußgängers.

Das Programm wird vorzugsweise in einem Schritt S10 gestartet, in dem gegebenenfalls Variablen initialisiert werden, zum

Beispiel Zähler.

In einem Schritt S20 kann eine digitale Vorverarbeitung eines von der Aufnahmeeinheit 20 erfassten Bildes erfolgen. Das Bild ist beispielsweise ein digitales Bild, das eine Matrix an

Bildpunkten aufweist. Das Bild kann beispielsweise in Bezug auf eine Bildebene in Richtung einer horizontalen Achse x eine erste Anzahl Bildpunkte aufweisen und in Richtung einer vertikalen Achse y eine zweite Anzahl Bildpunkte. Die

Vorverarbeitung kann beispielsweise eine Filterung des Bildes umfassen. Alternativ oder zusätzlich kann beispielsweise ein von der Aufnahmeeinheit 20 erfasstes Bild, wenn es ein Farbbild ist, in ein Schwarz-Weiß-Bild gewandelt werden, bei dem die jeweiligen Bildpunkte des Bildes einen Grauwert aufweisen aus einer vorgegebenen Menge an Grauwerten. Zum Beispiel kann hierbei jedem Farbwert ein Grauwert zugeordnet werden.

Zusätzlich oder alternativ ist möglich, dass das Bild in ein binäres Bild gewandelt wird, bei dem die jeweiligen Bildpunkte nur einen von zwei möglichen Grauwerten annehmen können.

Beispielsweise kann abhängig von zumindest einem Teil der Bildpunkte des Bildes ein mittlerer Grauwert des Bildes ermittelt werden und das Bild derart in ein binäres Bild umgesetzt werden, dass abhängig von dem mittleren Grauwert und dem Grauwert des jeweiligen Bildpunktes, der jeweiligen

Bildpunkt einen ersten oder zweiten Grauwert aufweist.

In einem Schritt S30 wird in dem aufbereiteten Bild ein Objekt detektiert, das zumindest einen Teil eines Fußes und/oder eines Schuhs und/oder eines Beines repräsentiert. Beispielsweise wird das Objekt abhängig von einem Ähnlichkeitsvergleich eines vorgegebenen Musters mit dem jeweiligen Bild detektiert. Das Muster weist vorzugsweise eine zweite Matrix an Bildpunkten auf. Das Muster kann beispielsweise in Bezug auf eine Bildebene des Bildes in horizontaler Richtung eine dritte Anzahl

Bildpunkte aufweisen und in vertikaler Richtung eine vierte Anzahl Bildpunkte. Vorzugsweise ist die Anzahl der Bildpunkte des Musters kleiner als die Anzahl der Bildpunkte des

jeweiligen Bildes.

Für die Objektdetektion kann das Bild in mehrere

Bildausschnitte unterteilt werden. Für sämtliche zentralen Bildpunkte, die jeweils einen Mittelpunkt des jeweiligen

Bildausschnittes repräsentieren, kann ein Vergleichswert ermittelt werden, der ein Maß für die Ähnlichkeit des Musters mit dem Bildausschnitt repräsentiert. Die jeweiligen Bildausschnitte können hierbei überlappen. Für eine sehr zuverlässige Objektdetektion können die Bildausschnitte so gewählt werden, dass jeder Bildpunkt des Bildes jeweils auch ein zentraler Bildpunkt ist, für den ein Vergleichswert ermittelt wird. Ein erster Vergleichewert für den jeweiligen Bildpunkt kann beispielsweise abhängig von einer

Kreuzkorrelationsfunktion ermittelt werden. Alternativ oder zusätzlich kann ein normierter Vergleichswert des jeweiligen Bildpunkt abhängig von einer normierten

Kreuzkorrelationsfunktion ermittelt werden.

Im Falle, dass beispielsweise ein Farbbild ausgewertet wird und die Bildpunkte des Bildes für eine vorgegebene Menge an

Farbkanälen jeweils einen Farbwert aufweisen, können

beispielsweise für jeden Farbkanal die Vergleichswerte

ermittelt werden. Ist das Bild beispielsweise als Rot-Grün- Blau-Bild ausgebildet, können für jeden Farbkanal, den roten, den grünen und den blauen Farbkanal, die Vergleichswerte ermittelt werden.

In einem Schritt S40 wird ein maximaler Vergleichswert

ermittelt, beispielsweise abhängig von den normierten

Vergleichswerten, die für das Bild ermittelt wurden.

In einem Schritt S50 kann beispielsweise geprüft werden, ob das Muster eine ausreichende Übereinstimmung mit dem zu

detektierenden Objekt aufweist. Falls nicht, kann das Muster angepasst werden. Hierzu wird beispielsweise geprüft, ob der ermittelte maximale Vergleichswert einen vorgegebenen Grenzwert unterschreitet. Unterschreitet der maximale Vergleichswert den Grenzwert, wird das Muster angepasst. Um kurzfristige

Schwankungen auszuschließen, können beispielsweise mehrere Bilder der Bildfolge ausgewertet werden. Dies kann

beispielsweise derart erfolgen, dass das Muster angepasst wird, wenn die maximalen Vergleichswerte mehrere Bilder innerhalb einer vorgegeben Zeit den Grenzwert unterschreiten. Für ein Anpassen des Musters kann ein aktualisiertes Muster

beispielsweise abhängig von einem Bildausschnitt eines der erfassten Bilder ermittelt werden, welcher zumindest eine Fuß- und/oder Schuhspitze des Fußgängers umfasst. Das aktualisierte Muster kann dann für die folgenden Ähnlichkeitsvergleiche genutzt werden.

In einem Schritt S60 wird die Position des detektierten Objekts ermittelt. Hierzu wird beispielsweise die Position des

Bildpunktes in dem Bild ermittelt, der den maximalen

Vergleichswert aufweist.

In einem Schritt S70 wird die Position des Objektes in dem Bild zumindest mit der Position des Objektes in einem weiteren Bild der Bildfolge vergleichen und abhängig von einer

PositionsVeränderung des Objektes ein Schritt des Fußgängers erkannt. Um eine Zuverlässigkeit der Schritterkennung zu verbessern kann beispielsweise ein Verlauf der Position des Objekts in der Bildfolge ermittelt und abhängig von dem Verlauf der Schritt detektiert werden. Hierzu kann zum Beispiel die Position des Objekts in einer Raumrichtung ausgewertet werden, die im Wesentlichen die Bewegungsrichtung des Fußgängers umfasst . Dadurch reduziert sich das zweidimensional Problem auf ein eindimensionales Problem. Figur 4 zeigt solch einen Verlauf der Position des Objektes entlang der vertikalen Achse y. Der Verlauf weist mehrere lokale Maxima auf, die jeweils als ein Schritt interpretiert werden.

Das Programm kann in einem Schritt S80 beendet werden..

Vorzugsweise wird das Programm jedoch regelmäßig während eines aktiven Personennavigationsbetriebsmodus des Endgerätes 10 abgearbeitet ..

Figur 3 zeigt einen Werteverlauf für eine Korrelationsmatrix, die gemäß Gl. 2 für eines der erfassten Bilder ermittelt wurde. An der Position, an der das Muster die größte Ähnlichkeit mit dem Bildausschnitt aufweist, zeigt die Korrelationsmatrix ein Maximum,.

Figur 4 zeigt für eine Bildfolge den Verlauf der Position des Objektes entlang der vertikalen Achse y des Bildes. Die

Bildfolge wurde hierbei über mehrere Schritte des Fußgängers erfasst. Der Verlauf weist abwechselnd jeweils ein lokales Minimum und ein lokales Maximum auf. Beispielsweise können die lokalen Maxima jeweils als ein Schritt interpretiert werden.

Figur 5 zeigt im Vergleich zu Figur 4 ein Signalverlauf des Beschleunigungssensors 72, der für eine Bewegungsdetektion von dem Fußgänger mitgeführt wurde.

Bezugszeichenliste

10 Endgerät

20 Aufnahmeeinheit

30 Bildverarbeitungseinheit

40 Navigationseinrichtung

50 Eingabeeinheit

60 Ausgabeeinheit

70 GPS-Modul

72 Beschleunigungssensor

74 Magnetometer

76 Gyroskop

78 Steuereinheit

S10 ... S80 Programmschritte x horizontale Achse y vertikale Achse