Verfahren zum Bestimmen der Position von Einrichtungselementen, insbesondere von elektronischen Etiketten

Beschreibung

Technisches Feld

Die Erfindung betrifft ein Verfahren zum Bestimmen der Position von Einrichtungselementen, insbesondere von elektronischen Etiketten, in einem Geschäftslokal, insbesondere in einem Regal des Geschäftslokals.

Hintergrund

In modernen, digitalisierten Verkaufs- bzw. Geschäftslokalen von Einzelhändlern besteht das lange gehegte Bedürfnis, eine präzise digitale Kartographierung der Einrichtungselemente, insbesondere der dort zum Einsatz kommenden elektronischen Etiketten, zu ermöglichen.

Die Erfindung hat sich daher die Aufgabe gestellt, ein Verfahren zum Bestimmen der Position von Einrichtungselementen, insbesondere der elektronischen Etiketten, bereitzustellen, das diesem lange gehegten Bedürfnis Rechnung trägt.

Zusammenfassung der Erfindung

Diese Aufgabe wird durch ein Verfahren gemäß Anspruch 1 gelöst. Der Gegenstand der Erfindung ist daher ein Verfahren zum Bestimmen der Position von Einrichtungselementen, wobei mit einer Kamera von einer damit erfassten Szene, in der zumindest ein erstes Einrichtungselement anwesend ist, ein digitales Szene-Abbild, das aus Bildpunkten, insbesondere mit einem bekanntem Bildpunktabstand oder einer bekannten Bildpunktabmessung, besteht und das ein digitales erstes Einrichtungselement-Abbild des ersten Einrichtungselements enthält, generiert wird, und wobei automatisch in dem Szene-Abbild das zumindest eine erste Einrichtungselement-Abbild erkannt wird und durch Ermittlung der dem ersten Einrichtungselement-Abbild zugeordneten Bildpunkte in dem Szene-Abbild und unter Kenntnis der tatsächlichen Abmessung des ersten Einrichtungselements ein Maßstab für das Szene-Abbild bestimmt wird.

Mit den erfindungsgemäßen Maßnahmen geht der Vorteil einher, dass eine vollautomatische Definition des Maßstabs, der die Grundlage für eine Kartographierung ist, für das Szene-Abbild generiert wird. Damit lässt sich einerseits das zumindest eine erste Einrichtungselemente präzise in der Szene kartographieren, also Angaben über seine Position machen. Damit lassen sich andererseits auch weitere, nämlich zweiten Einrichtungselementen, die ihrerseits als zweite Einrichtungselement-Abbilder in dem Szene-Abbild enthalten sind und sich von dem zumindest einen ersten Einrichtungselement unterscheiden, vermessen bzw. Angaben über Ihre Position in der Szene machen. Mit Hilfe des Maßstabs lassen sich nämlich tatsächliche Maßangaben direkt aus dem digitalen Szene-Abbild „herausmessen", also vom Szene-Abbild in die reale Szene umrechnen.

Weitere, besonders vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen sowie der nachfolgenden Beschreibung.

Das Szene-Abbild ist eine zweidimensionale Datenstruktur, die durch eine Matrix von Bildpunkten aufgebaut ist. Diese Bildpunktmatrix wird durch die Kamera gebildet, die ein optisches Erfassung-System (eine Linsenoptik, auch Objektiv genannt) aufweist mit der eine reale Szene erfasst und analog auf einen elektronischen Bildsensor abgebildet, der dann die bildpunktbasierte Digitalisierung durchführt. Je nach Ausführung des elektronischen Sensors wie auch der nachverarbeitenden weiteren Kameraelektronik wird so ein das digitale Szene-Abbild bildendes digitales Standbild oder auch ein digitales Video der Szene generiert. Die Auflösung des elektronischen Bildsensor und/oder die digitale Nachverarbeitung definiert die Bildauflösung des digitalen Szene-Abbilds, die im Fachjargon als Pixelauflösung bezeichnet wird. Das so zur weiteren Verarbeitung von der Kamera generierte Szene-Abbild ist durch eine Matrix aus Bildpunkten gebildet, also z.B. 1500 Bildpunkte in x- Richtung und orthogonal dazu 1000 Bildpunkte in y-Richtung. Jeder dieser Bildpunkte hat eine definierte (also bekannten) Bildpunktabmessung (oder anders ausgedrückt, das Zentrum benachbarter Bildpunkte weist einen definierten (also bekannten) Bildpunktabstand auf. Die Einrichtungselemente der Szene werden also mit Hilfe des optischen Erfassung-Systems und des elektronischen Bildsensors, ggf. auch mittels Nachbearbeitung von durch den elektronischen Bildsensor gelieferten Rohdaten, in das Szene-Abbild als Einrichtungselement-Abbilder eingebettet und okkupieren bzw. belegen dort Bildpunkte. Aus der Kenntnis der okkupierten bzw. belegten Bildpunkte lässt sich nun einfach unter Anwendung des Maßstabs auf eine Abmessung oder Maßangabe in der Realität, also in der Szene umrechnen.

Weiterhin sei nur erwähnt, dass eine moderne Digitalkamera natürlich eine Auto-Fokus-Einrichtung und sonstige, zur Bilderfassung wie auch Bildverbesserung beitragenden Funktionen aufweist.

Die weitere Verarbeitung des digitalen Szene-Abbilds, um zu dem Maßstab zu gelangen, erfolgt mit einem Computer, auf dem eine Software zur Bild-und/oder Mustererkennung ausgeführt wird. Diese kann auch künstliche Intelligenz nutzen oder vollständig darauf beruhen.

Mit Hilfe dieser Software wird das erste Einrichtungselement, genauer gesagt das Abbild des ersten Einrichtungselements (also das Einrichtungselement-Abbild) gesucht und identifiziert. Dabei kann seine Kontur in dem Szene-Abbild erkannt werden, was z.B. durch die Software unter Kenntnis der zu suchenden Kontur bzw. des Erscheinungsbildes oder auch einer speziellen charakteristischen Ausprägung des ersten Einrichtungselements erfolgen kann. Zu diesem Zweck kann der Software eine das zu suchende erste Einrichtungselement beschreibender Beschreibungsdatensatz zur Verfügung stehe, der die für die Suche relevante digitale Parametrisierung des ersten Einrichtungselements enthält, oder auch im Rahmen der Ausführung der Software eine auf die Erkennung des ersten Einrichtungselements trainiertes, also optimiertes künstliches neuronales Netzwerk zur Anwendung kommen.

Weiterhin verfügt die Software auch über die Kenntnis der tatsächlichen Abmessung des ersten Einrichtungselements, wofür der Software zugängliche Abmessungsdaten zur Anwendung kommen, welche die tatsächliche Abmessung in der realen Szene repräsentieren.

Sobald die Software das erste Einrichtungselement in dem digitalen Szene-Abbild erkannt hat, also seine Struktur in der Pixelmatrix des digitalen Szene-Abbilds gefunden hat, wodurch unmittelbar jene Bildpunkte im digitalen Szene Abbild bekannt sind, die dem ersten Einrichtungselement zugeordnet sind, wird der Maßstab bestimmt. Wie die dem ersten Einrichtungselement zugeordneten Bildpunkte dazu verwendet werden, wird in weiterer Folge noch im Detail erörtert.

Der Computer, auf dem die Software ausgeführt wird, kann ein Server sein, an den das Szene-Abbild von der Kamera übermittelt wird, und bei dem die zuvor erwähnten Abmessungsdaten wie auch der zur Erkennung nötigen Beschreibungsdatensatz oder das künstliche neuronale Netzwerk implementiert sind.

Natürlich kann auch einen Single-Chip-Realisierung vorliegen, die durch ihre Kompaktheit besticht und es erlaubt, die Maßnahmen direkt in die Kamera zu integrieren, was sich als besonders bevorzugte Maßnahme herausgestellt hat, weil so alle zur vollständigen Auswertung des Szene- Abbilds nötigen Maßnahmen unmittelbar direkt dort implementiert sind und dort lokal zur Anwendung kommen, wo das digitale Szene-Abbild erzeugt wird. Es kann also in einer Implementierung mit vielen verscheiden Kameras, von denen jede ihr eigenes Szenen-Abbild generiert, jeweils ein für die betreffende Kamera lokal gültiger Maßstab zur Anwendung kommen. Auch wird dabei die zur Auswertung der Szene-Abbilder nötige Rechenleistung möglichst effektiv auf die Vielzahl der Kameras verteilt und die dort sowieso verfügbare Rechenleistung optimal genutzt. In einer besonders bevorzugte Ausbildungsform wird also der in der Kamera schon vorgesehene Computer (z.B. als Micro-Controller, ASIC oder Mikroprozessor usw.) auch für die Zweck dieses erfindungsgemäßen Verfahrens benutzt. Ist.

Gemäß einem weiteren Aspekt der Erfindung kann es vorteilhaft sein, dass in dem Szene-Abbild mehrere erste Einrichtungselement-Abbilder, bevorzugt identisch ausgebildete erste Einrichtungselemente, identifiziert werden, wobei die tatsächlichen Abmessungen der zugrundeliegenden mehreren ersten Einrichtungselemente bekannt sind, und unter Kenntnis der tatsächlichen Abmessungen der Maßstab für das Szene-Abbild bestimmt wird.

Diese Maßnahme kann dazu beitragen, dass die Genauigkeit des Maßstabs verbessert wird.

Diese Maßnahme kann jedoch auch dazu beitragen, dass der Maßstab entlang des Szene-Abbilds skaliert wird, also ein Maßstab definiert wird, der vom Ort im Szene-Abbild abhängig ist. Dieser ortsabhängige Maßstab kann dann nötig sein, wenn z.B. das Szene-Abbild eine die Proportionen der dort abgebildeten ersten Einrichtungselemente verzerrt. Eine solche Situation kann beispielsweise eintreten, wenn mithilfe der Kamera eine sich weit zur linken oder rechten Seite der Kamera erstreckende Szene aufgenommen wird, wie sie beispielsweise bei Regalgängen in Einzelhandelsunternehmen vorliegt. Die ersten Einrichtungselemente, die sich in der Nähe der Kamera befinden, werden dann größer abgebildet, als erste Einrichtungselemente, die in weiterer Entfernung von der Kamera positioniert sind.

Im Zusammenhang mit solchen perspektivischen Abbildungen könnte auch realisiert sein, den Verlauf des Maßstabs entlang des Szene- Abbilds aus der Verzerrung eines einzelnen (einzigen) Einrichtungselements abzuleiten. Ist jedoch die Länge dieses erste Einrichtungselement entlang der zu bewertenden Perspektive relativ kurz und liegen ungünstiger Weise auch nur wenige dem ersten Einrichtungselement zugeordnete Bildpunkte vor, kann dies zu einem sehr ungenauen Ergebnis führen.

Bevorzugt kommen daher mehrere solcher erste Einrichtungselemente zur Anwendung, die idealerweise entlang der perspektivischen Abbildung halbwegs gleichmäßig verteilt auftreten, um die den ortsabhängigen Maßstab beschreibende Funktion möglichst genau definieren zu können. Ein solcher Maßstab wird auch als Metrik bezeichnet.

Wie bereits angeklungen, findet die gegenständliche Erfindung ihre bevorzugte Anwendung im Einzelhandel. Dabei bildet das erste Einrichtungselement, dessen tatsächliche Abmessung (digital in Form von Abmessungsdaten in der Einheit z.B. Millimeter) bekannt ist, ein Referenzelement für die Definition des Maßstabs. Ein solches Referenzelement kann vielfältige Ausprägungen haben. Es kann sich beispielsweise um ein ganzes Regal handeln, von dem z.B. die Länge genau bekannt ist. Die Nutzung des Regals kann deshalb von Vorteil sein, weil es in einem Szene- Abbild oft eine dominierende Rolle annimmt. Aber auch kleinere Gegenstände, wie etwa eine Regelleiste, die einen vorderen Abschluss eines Regalbodens bildet, kann als Referenzelement zum Einsatz kommen. Auch Warenkörbe, die zur Präsentation von Waren im Geschäftslokal aufgestellt sind, eignen sich dafür, vorausgesetzt sie sind im Erfassungsbereich der jeweiligen Kamera positioniert. Jedoch werden im Einzelhandel Regale oder Regalleisten wie auch Warenkörbe oftmals von unterschiedlichsten Herstellern mit verschiedensten Abmessungen für die jeweiligen Geschäftslokale verschiedenster Einzelhändler, oft auch unter speziellen baulichen Vorgaben der Einzelhändler, bereitgestellt. Daher eignen sie sich nur in einem sehr engen Anwendungsfall als erste Einrichtungselemente.

Vor diesem Hintergrund hat es sich als besonders vorteilhaft erwiesen, dass das erste Einrichtungselement, dessen tatsächliche Abmessung bekannt ist, durch ein elektronisches Regaletikett gebildet ist. Die Verwendung eines elektronischen Regaletiketts als das Referenzelement ist deshalb so vorteilhaft, weil für solche elektronischen Regaletiketten im Wesentlichen einheitliche Abmessungen vorliegen. Natürlich existieren elektronische Regaletiketten in unterschiedlichsten, durchaus stark variierenden Abmessungen. In der Praxis hat sich jedoch gezeigt, dass die zur Anwendung kommenden Abmessungen kaum oder nur in einem vordefinierten Bereich zwischen unterschiedlichen Geschäftslokalen oder auch unterschiedlichen Einzelhändlern variieren. Dies gilt insbesondere für die Vielzahl der elektronischen Regaletiketten, die in einem Geschäftslokal an einer Regalschiene bzw. den Regalschienen dieses Regals verbaut sind. Solche elektronischen Regaletiketten kommen an einem Regal üblicherweise nur in eine bis zwei unterschiedliche Abmessungen vor. Da jedes dieser elektronischen Regaletiketten in dieselbe Regalschiene passen muss, unterscheiden sie sich in ihren Abmessungen bzw. Dimensionen oft nur um die Breite, wohingegen die Höhe oft für z.B. zwei unterschiedliche Typen der elektronischen Regaletiketten identisch ist. Ihre tatsächlichen Abmessungen sind also im Wesentlichen als homogen über unterschiedliche Typen der Regaletiketten hinweg wie auch über die Installationsorte hinweg einzustufen.

Da in einem Szene-Abbild in einem Geschäftslokal vorwiegend Regale mit ihren Regalböden und den an den jeweiligen Regalleisten befestigten elektronische Regaletiketten neben einer Vielzahl von unterschiedlichen Produkten, welche durch die elektronischen Regaletiketten gekennzeichnet sind, vorkommen, hat sich die Wahl von elektronischen Regaletiketten als Referenzelement aus einem weiteren Grund als besonders vorteilhaft erwiesen. Anders als bei den Regalen selbst oder auch den Regalleisten usw. sind Regaletiketten immer an der vordersten Front eines Regals angebracht und somit in dem mit der Kamera erfassten Szene-Abbild problemlos und eindeutig mittels digitaler Bildverarbeitung zu identifizieren.

Im Konkreten kann die Ermittlung der dem ersten Einrichtungselement-Abbild zugeordneten Bildpunkte in dem Szene-Abbild unter Verwendung von zumindest einer der nachfolgend angeführten Maßnahmen erfolgen, nämlich:

- Ermittlung der Anzahl der durch das erste Einrichtungselement-Abbild flächenhaft belegten Bildpunkte. Damit lässt sich durch Zählen der Bildpunkte die durch das erste Einrichtungselement-Abbild okkupierte Fläche (Flächeninhalt als Summe der gezählten Bildpunkte angegeben oder Flächeninhalt als durch die Gesamt-Bildpunktfläche der gezählten Bildpunkte angeben) im Szene-Abbild ermitteln und unter Kenntnis des tatsächlichen Flächeninhalts des ersten Einrichtungselements (z.B. Flächeninhalt der Frontfläche des ersten Einrichtungselements angegeben in Quadratmillimeter) der Maßstab berechnen.

- Ermittlung der Anzahl der durch das erste Einrichtungselement-Abbild umfangsseitig belegten Bildpunkte oder der Anzahl der das erste Einrichtungselement-Abbild umfangsseitig einfassenden Bildpunkte. Es wird also der Umfang der ersten Einrichtungselement-Abbildung im Szene-Abbild durch Zählen der Bildpunkte entweder auf Grundlage der randseitig gerade noch durch das erste Einrichtungselement-Abbild belegten Bildpunkte oder auf Grundlage der an das erste Einrichtungselement-Abbild unmittelbar angrenzenden Bildpunkte ermittelt. Unter Kenntnis des tatsächlichen Umfangs des ersten Einrichtungselements (z.B. der Umfang der Frontseite des ersten Einrichtungselements) lässt sich der Maßstab berechnen.

- Ermittlung der Anzahl der durch das erste Einrichtungselement-Abbild entlang einer seiner Begrenzungslinien belegten Bildpunkte oder der Anzahl der das erste Einrichtungselement-Abbild benachbart einer seiner Begrenzungslinien einfassenden Bildpunkte. Es wird also die Länge einer Randlinie als Grundlage für die Maßstabsermittlung verwendet. Dabei kann es sich insbesondere um eine gerade verlaufende Randlinie handeln, wie etwa eine Seite einer rechteckigen oder quadratischen Struktur des ersten Einrichtungselements, die z.B. durch Gehäusekanten gegeben sein kann. Es erfolgt also ein Zählen von entweder entlang einer solchen Begrenzungslinie belegten Bildpunkte oder ein Zählen der das erste Einrichtungselement-Abbild benachbart einer seiner Begrenzungslinien einfassenden Bildpunkte. Unter Kenntnis der tatsächlichen Länge der Begrenzungslinie des ersten Einrichtungselements lässt sich der Maßstab errechnen.

Zusammengefasst lässt sich also festhalten, dass der Maßstab einen Flächeneinheit oder eine Längeneinheit in der Szene pro Bildpunkt für das Szene-Abbild angibt.

Gemäß einem weiteren Aspekt des Verfahrens wird zumindest ein zweites Einrichtungselement-Abbild in dem Szene-Abbild erkannt und unter Anwendung des Maßstabs für das Szene-Abbild zumindest eine tatsächliche Maßangabe für das dem zweiten Einrichtungselement-Abbild zugrundeliegende zweite Einrichtungselement ermittelt. Aufbauend auf dem Maßstab lassen sich also in dem zweidimensionalen digitalen Szene-Abbild weitere reale Abstandangaben zu in dem digitalen Szene-Abbild identifizierbaren anderen Objekt-Abbildungen (den zweiten Einrichtungselement-Abbildern) wie auch deren tatsächliche (reale) Abmessungen ermitteln. So kann es sich in einem Geschäftslokal eines Einzelhändlers bei den weiteren Objekten beispielsweise um andere elektronische Regaleti ketten als diejenigen Handel, die als erste Einrichtungselemente genutzt wurden, oder auch um Produkte handeln, die in einem Regal präsentiert werden. Die weiteren Objekte können aber auch ganze Regale oder auch andere Gegenstände, die der Präsentation von Produkten dienen, sein.

In diesem Kontext sei festgehalten, dass die tatsächliche Maßangabe zumindest eine der nachfolgend angeführten aufweist, nämlich:

- eine tatsächliche Größen-Maßangabe des zweiten Einrichtungselement,

- eine tatsächliche Abstands-Maßangabe des zweiten Einrichtungselements von einem anderen, ebenfalls in dem Szene-Abbild erkannten, Einrichtungselement,

- eine tatsächliche Positions-Maßanagabe des zweiten Einrichtungselements innerhalb der mit Hilfe der Kamera erfassten Szene. Damit lassen sich vielfältige Aussagen betreffend die Positionierung wie auch die Orientierung der weiteren, zweiten Einrichtungselemente tätigen.

Insbesondere wird auf Grundlage der Gesamtheit der in dem Szene- Abbild erkannten - ersten und/oder zweiten - Einrichtungselement-Abbilder und unter Anwendung des Maßstabs für das Szene-Abbild eine erste Datenstruktur generiert, die eine zweidimensionale digitale Karte der Einrichtungselemente in der Szene unter Angabe der für die zweidimensionale Kartographie nötigen tatsächlichen Maßangabe(n) repräsentiert. Die nötigen Maßanagaben ergeben sich aus der Anforderung an die zweidimensionale digitale Karte. So können z.B. nur verkette Maßangaben (also relative Maßangaben, welche die Abstände der Einrichtungselemente zueinander angeben) erwünscht sein, um die Positionen der Einrichtungselemente festzulegen. Auch können absolute Maßangaben gemessen von einem Ursprungspunkt oder Referenzpunkt aus erwünscht sein.

Diese zweidimensionale digitale Karte des Szene-Abbilds, die ja eine Projektion der Szene auf durch die optische Bilderfassungseinrichtung hindurch auf den Bildsensor der Kamera repräsentiert, wird in weiterer Folge genutzt, um sie in einen dreidimensionalen Kontext einzubetten. Gemäß diesem Aspekt des Verfahren wird die erste Datenstruktur durch Ergänzungsdaten in eine zweite Datenstruktur übergeführt, die eine dreidimensionale digitale Karte der Einrichtungselemente in einem für ihre Positionsbestimmung relevanten Raumbereich repräsentiert, wobei die Ergänzungsdaten zumindest eines der nachfolgend angeführten Datenelemente aufweist, nämlich:

- Entfernungsdaten, die eine Entfernung der Kamera, insbesondere eine mittlere oder repräsentative Entfernung, zu der durch sie erfassten Szene, insbesondere des in der Szene enthaltenen ersten Einrichtungselements, angeben;

- Orientierungsdaten, die eine Orientierung der Kamera in dem Raumbereich angeben;

- Neigungsdaten, die eine Neigung der Kamera in Bezug auf eine Referenz, insbesondere die Schwerkraftrichtung, angeben;

- Positionsdaten, die eine Position der Kamera innerhalb des Raumbereichs angeben.

Hierbei kann die durch die Entfernungsdaten repräsentierte Entfernung auf zumindest eine der nachfolgenden Arten festgelegt werden, nämlich:

- durch Vorprogrammierung, was z.B. einmalig bei der Erst-Installation der Kamera oder ihrer Neuausrichtung erfolgen muss und ggf. durch eine vorangehende manuelle Vermessung eingeleitet werden kann. - durch automatische Berechnung unter Kenntnis der Parameter des optischen Abbildungssystems der Kamera, was z.B. durch den Computer der Kamera vollautomatisch erfolgen kann, weil dieser die Parameter des optischen Abbildungssystems aus einem seiner Speicher beziehen kann, wo sie vorab einprogrammiert wurden (z.B. bei der Herstellung der Kamera), und weil der Computer ja die tatsächlichen Abmessungen des ersten Einrichtungselements kennt. So lässt sich beispielhaft unter Nutzung der allgemein bekannten Linsengleichung der Abstand zum realen Objekt berechnen, wobei hierbei natürlich die dem tatsächlichen Objektiv der Kamera entsprechende Abbildungsfunktion anzuwenden ist.

- durch eine automatische Bestimmung mittels eines Entfernungssensors, wobei hierfür z.B. ein LIDAR-Sensor oder ähnliches zur Anwendung kommen kann, mit dem eine präzise direkte Abstandmessung möglich ist, wobei der Computer der Kamera die vom LIDAR-Sensor übermittelten Daten weiterverarbeitet.

Die vorprogrammierten Entfernungsdaten oder die berechneten Entfernungsdaten sind im Server gespeichert, weil sie dort berechnet wurden. Werden die Entfernungsdaten jedoch in der Kamera berechnet oder durch automatische Bestimmung in der Kamera erzeugt, dann werden sie an den Server abgeben, wo mit ihrer Hilfe die dreidimensionale Karte erstellt wird.

Weiterhin kann die durch die Orientierungsdaten repräsentierte Orientierung auf zumindest eine der nachfolgend angeführten Arten festgelegt werden, nämlich:

- durch Vorprogrammierung, was auch in diesem Fall z.B. einmalig bei der Erst-Installation der Kamera oder ihrer Neuausrichtung erfolgen muss und ggf. durch eine vorangehende manuelle Vermessung eingeleitet werden kann.

- durch eine automatische Bestimmung mittels eines Orientierungssensors, wobei hierfür z.B. ein elektronischer Kompass eingesetzt werden kann und der Computer der Kamera die vom elektronischen Kompass übermittelten Daten weiterverarbeitet.

Die vorprogrammierten Orientierungsdaten sind im Server gespeichert oder die durch automatische Bestimmung erhaltenen Orientierungsdaten werden an den Server abgeben, wo mit ihrer Hilfe die dreidimensionale Karte erstellt wird. Weiterhin kann die durch die Neigungsdaten repräsentierte Neigung auf zumindest eine der nachfolgend angeführten Arten festgelegt werden, nämlich:

- durch Vorprogrammierung, was auch in diesem Fall z.B. einmalig bei der Erst-Installation der Kamera oder ihrer Neuausrichtung erfolgen muss und ggf. durch eine vorangehende manuelle Vermessung eingeleitet werden kann.

- durch eine automatische Bestimmung mittels eines Neigungssensors, wobei hierfür z.B. ein elektronisches Gyroskop eingesetzt werden kann und der Computer der Kamera die vom elektronischen Gyroskop übermittelten Daten weiterverarbeitet.

Die vorprogrammierten Neigungsdaten sind im Server gespeichert oder die durch automatische Bestimmung erhaltenen Neigungsdaten werden an den Server abgeben, wo mit ihrer Hilfe die dreidimensionale Karte erstellt wird.

Weiterhin kann die durch die Positionsdaten repräsentierte Position auf zumindest eine der nachfolgend angeführten Arten festgelegt wird, nämlich:

- durch Vorprogrammierung, was auch in diesem Fall z.B. einmalig bei der Erst-Installation der Kamera oder ihrer Neuausrichtung erfolgen muss und ggf. durch eine vorangehende manuelle Vermessung eingeleitet werden kann.

- durch eine automatische funkbasierte Positionsbestimmung, insbesondere mit Hilfe der „Ultra-Weitband-Funktechnologie" (kurz UWB-Funktechnologie), wobei hierfür bevorzugt fix (an verschiedenen Punkten im relevanten Raumbereich) installierte UWB-Transmitter zum Einsatz kommen, und die Kamera über ein UWB-Funkmodul verfügt, mit dessen Hilfe bei den jeweiligen mit der Kamera in UWB-Funkkommunikation befindlichen UWB-Transmittern die Position der Kamera in Bezug auf den UWB Transmitter bestimmt wird und daraus die Positionsdaten generiert werden.

Die vorprogrammierten Positionsdaten sind im Server gespeichert oder die durch automatische funkbasierte Positionsbestimmung erhaltenen Positionsdaten werden an den Server abgeben, wo mit ihrer Hilfe die dreidimensionale Karte erstellt wird.

Zur leichteren Identifizierung des ersten Einrichtungselements kann auch vorgesehen sein, dass von dem ersten Einrichtungselement ein optisches Signal ausgesandt wird und das optische Signal für das Erkennen des ersten Einrichtungselement-Abbilds verwendet wird. Hierbei kann das optische Signal alleine auf Grund seiner vom Rest des Szenen-Abbilds sich hervorhebenden Intensität oder auch seiner dort auffälligen Spektralverteilung zur leichteren Identifizierung beitragen. Dies ist insbesondere dann hilfreich, wenn ein einziges Standbild zur Erkennung des ersten Einrichtungsgegenstands genutzt werden soll. Soll zusätzlich auch eine Identifikation-Information mit dem optischen Signal transportiert werden, um z.B. den Typ eines ersten Einrichtungselements zu identifizieren und damit auf seine tatsächlichen Abmessungen rückschließen zu können, weil z.B. diese sich unterscheidenden tatsächlichen Abmessungen nach Typ gegliedert vorprogrammiert sind, bietet es sich an, eine Sequenz von Standbildern mit geeigneter Pausenzeit zwischen den Einzelaufnahmen aufzunehmen oder eine Videosequenz aufzunehmen, welche die Informationsübertragung abdeckt.

Bei dem optischen Signal handelt es sich bevorzugt um ein Lichtsignal, also um vom ersten Einrichtungselement ausgesandte elektromagnetische Strahlung. Dieses Lichtsignal kann Anteile in dem für das menschliche Auge sichtbaren Bereich des elektromagnetischen Spektrums aufweise. Bevorzugt handelt es sich um ein, für das menschliche Auge nicht sichtbares Lichtsignal, welches jedoch von der Kamera erfassbar ist.

Das optische Signal kann jedoch auch durch Beeinflussung des reflektierten Lichts realisiert werden. So kann es sich bei dem optischen Signal beispielsweise um einen Code, beispielsweise um einen alphanumerischen Text, einen Strichcode, einen QR-code oder ein Symbol oder ähnliches handeln, das auf einem Bildschirm, insbesondere auf einem E- Paper-Bildschirm, angezeigt wird. Hier wird also das reflektierte Licht derart beeinflusst, dass ein optisches Signal entsteht, das für das Erkennen des ersten Einrichtungselement-Abbilds verwendet wird.

Bei der Kamera kann es sich um eine mobile Kamera handeln, also um eine Kamera, die ihre Position verändern kann. Durch die zuvor erörterten Maßnahmen und/oder eine automatische Positionsbestimmung, wie beispielsweise mittels eines „Indoor Positioning Systems", kann die Position einer solchen mobilen Kamera bestimmt werden. Die ermittelten Maßstäbe für das jeweilige Szene-Abbild, das die Kamera entlang ihres Weges aufnimmt, kann daraufhin in Bezug zur Position der Kamera gesetzt werden, sodass eine dreidimensionale Karte erstellt werden kann. Eine solche mobile Kamera kann sich beispielsweise auf einem Einkaufswagen befinden bzw. in den Einkaufswagen integriert sein.

Als besonders vorteilhaft hat es sich erwiesen, dass es sich bei der Kamera um eine stationär installierte Kamera handelt. Dies erlaubt eine einfache örtliche Zuordnung der erfassten Bilddaten bzw. der erfassten Szene. Weiterhin kann durch diese Maßnahme sichergestellt werden, dass jener Bereich, auf den die stationär installierte Kamera ausgerichtet ist, permanent erfassbar ist. Dadurch kann sichergestellt werden, dass eine mit dem erfindungsgemäßen Verfahren erstellte dreidimensionale Karte für alle Szenen, die mit stationär installierten Kameras erfasst werden, fortwährend aktuell gehalten werden kann.

Zusammengefasst lässt ich mit den erfindungsgemäßen Maßnahmen ein möglichst effizientes und vor allem treffsicheres, also weitestgehend fehler-resistentes, und noch dazu hochgenaues Kartographieren aller Einrichtungselemente im relevanten Raumbereich durchführen, was in einem vollautomatisch erstellen Plan der Einrichtungselemente mündet, der im Kontext eines Einzelhandelsunternehmens als „floor plan" bezeichnet wird und in digitaler Form eine dreidimensionale Karte aller in dem relevanten Raumbereich (dort ist dies des Geschäftslokal) erkannten (ersten wie auch zweiten) Einrichtungselemente bildet.

Abschließend sei noch allgemein erwähnt, dass die erörterten elektronischen Geräte natürliche eine Elektronik aufweisen. Die Elektronik kann diskret oder durch integrierte Elektronik oder auch eine Kombination aus beiden aufgebaut sein. Auch können Microcomputer, Micro Controller, Application Specific Integrated Circuits (ASICs), ggf. in Kombination mit analogen oder digitalen elektronischen Peripheriebausteinen zum Einsatz kommen. Viele der erwähnten Funktionalitäten der Geräte werden - ggf. im Zusammenwirken mit Hardwarekomponenten - mit Hilfe einer Software realisiert, die auf einem Prozessor der Elektronik ausgeführt wird. Zur Funkkommunikation ausgebildete Geräte weisen üblicherweise als Bestandteil eines Transceiver-Moduls eine Antennenkonfiguration zum Senden und Empfangen von Funk-Signalen auf. Die elektronischen Geräte können zudem eine interne elektrische Leistungsversorgung aufweisen, die beispielsweise mit einer austauschbaren oder aufladbaren Batterie realisiert sein kann. Auch können die Geräte leitungsgebunden, entweder durch ein externes Netzteil oder auch mittel „Power over LAN" versorgt werden.

Diese und weitere Aspekte der Erfindung ergeben sich durch die nachfolgend erörterten Figuren.

Figurenkurzbeschreibung

Die Erfindung wird im Folgenden unter Hinweis auf die beigefügten Figuren anhand von Ausführungsbeispielen noch einmal näher erläutert, auf welche die Erfindung jedoch nicht beschränkt ist. Dabei sind in den verschiedenen Figuren gleiche Komponenten mit identischen Bezugszeichen versehen. Es zeigen auf schematische Weise:

Fig. 1 ein elektronisches Regaletiketten-System mit einer Kamera und einem im Erfassungsbereich der Kamera als Szene positionierten Regal mit elektronischen Regaletiketten;

Fig. 2 das Regal mit der davor positionierten Kamera in Vorderansicht;

Fig. 3 das Regal mit der davor positionierten Kamera in Draufsicht;

Fig. 4 das Regal mit der davor positionierten Kamera in Seitenansicht von links;

Fig. 5 eine Abbildung der elektronischen Regaletiketten innerhalb eines Szene-Abbilds der mit Hilfe der Kamera erfassten Szene.

Beschreibung der Ausführungsbeispiele

Die Figur 1 zeigt eine Basiskonfiguration eines elektronischen Regaletikettensystems, nachfolgend kurz das ESL-System 1 genannt (ESL steht hier für „Electronic-Shelf-Label"), zur Durchführung bzw. Erörterung des erfindungsgemäßen Verfahrens. Das System 1 weist:

- einen Server 16 zur Erstellung und weiteren Nutzung einer dreidimensionalen digitalen Karte von Einrichtungselementen in einem Geschäftslokal eines Einzelhändlers, wobei in dem Geschäftslokal Regale 2 mit Regalböden 3 - 5 zur Präsentation von Waren (hier nicht dargestellt) aufgestellt sind;

- eine Ultra-Wide-Band-Kommunikationsvorrichtung 15, nachfolgend kurz UWB-Transmitter 15 genannt, wobei UWB hier für „Ultra-Wide-Band" steht, zur UWB-Funkkommunikation mit anderen UWB-fähigen Geräten (angedeutete mit ersten Funksignalen LI) zwecks Ortsbestimmung dieser UWB-fähigen Geräte in dem Geschäftslokal,

- einen ESL-Access-Point 17 zur Funkkommunikation (angedeutet durch zweite Funksignalen L2) mit elektronischen Regaleti ketten 6 bis 12, nachfolgend kurz die ESLs 6 - 12 genannt;

- einen Kamera-Access-Point 18 zur Funkkommunikation mit einer Kamera 13 (angedeutet durch dritte Funksignale L3);

- die Kameras 13, die mit ihrem Bild-Erfassungsbereich auf das Regale 2 als die zu erfassende Szene ausgereichte ist und von dieser Szene, also von dem Regal 2, ein digitales Szene-Abbild generiert und die zur Funkkommunikation mit dem Kamera-Access-Point 18 zwecks Datenübertragung mit dem Server ausgebildet ist und die zur UWF-Funkkommunikation mit dem UWB- Transmitter zwecks Bestimmung ihrer Position im Geschäftslokal ausgebildet ist;

- sieben ESLs 6 - 12, die an den vorderen Kanten der betreffenden Regalböden 3 - 5 (korrespondierend zu Produkten, die jedoch nicht dargestellt sind) positioniert sind und dort zur Visualisierung von Produkt - und/oder Preisinforation eingesetzt werden und die zur Funkkommunikation mit dem ESL-Access-Point 17 zwecks Bezug der zutreffenden Produkt- und/oder Preisinformation von dem Server 16 ausgebildet sind.

Die ESLs 6 - 12 werden von dem Server 16 in an sich bekannter Weise über den ESL-Access-Point 17 mit der zutreffenden Produkt- und/oder Preisinformation versorgt, was unter Zuhilfenahme einer sogenannten „Label- Management-Software" erfolgt. In diesem Zusammenhang sorgt eine logische Verknüpfung, die im Server 16 digital hinterlegt ist, und die das jeweilige ESL 6 -12 an das mit ihm verknüpfte Produkt bindet (im Fachjargon als „binding" bezeichnet), dafür, dass die ESLs 6 - 12 die korrekten Daten zur Visualisierung mit ihren Bildschirmen, die üblicherweise als extrem energiesparende elektrophoretische Bildschirme ausgebildet sind, übermittelt bekommen.

Die vollautomatische Bestimmung der exakten Position der Regale, und daher auch der auf ihnen befindlichen Produkte in dem Geschäftslokal ist der Gegenstand der weiteren Erörterungen. Das Ergebnis des dabei zur Anwendung kommenden Verfahrens ist eine digitale dreidimensionale Karte von Einrichtungselementen des Geschäftslokals. Dabei sind unter den Einrichtungselementen grundsätzlich alle Gegenstände zu verstehen, die mit Hilfe der Kamera(s) 13, die sich an unterschiedlichsten Stellen des Geschäftslokals, bevorzugt an der Decke hängend oder dort integriert, befinden oder auch an anderen Einrichtungselemente, wie etwa den Regalen 2 selbst befestigt sein können, erfassbar sind. Der einfacheren Erörterung des Verfahrens geschuldet wir im vorliegenden Fall nur ein einziges Regal 2 und eine einzige Kamera 13 betrachtet, was jedoch nicht als Beschränkung der Erfindung auf nur diese Konfiguration zu verstehen ist. Vielmehr kann mit einer Kamera auch eine Mehrzahl der Regale 13 erfasst werden. Grundsätzlich werden in einer realen Konfiguration des Geschäftslokal ausreichend Kameras 13 an unterschiedlichsten Orten und mit unterschiedlich ausgerichteten Erfassungsbereichen positioniert sein, um das erfindungsgemäße Verfahren möglichst flächendeckend in dem Geschäftslokal zur Anwendung zu bringen und eine möglichst vollständige digitale dreidimensionale Karte der Einrichtungselemente zu erhalten.

Zur Kartographierung der Einrichtungselemente in dem Geschäftslokal wird zunächst für das Geschäftslokal ein kartesisches Koordinatensystem 19 definiert, das in der Figur 1 rechts unten dargestellt ist. Per Definition verlaufen die (im Sinne eines Rechtssystems) orthogonal aufeinander stehenden Koordinatenachsen X und Y entlang des ebenen Fußbodens G, auf dem auch das Regale 2 steht, und definieren eine unterste Referenzfläche, wobei sich in diesem Fall alle Einrichtungselemente oberhalb der Referenzfläche befinden und ihr Abstand von der Referenzfläche entlang der orthogonal auf diese Referenzfläche stehende und nach oben aufragende Z-Koordinatenachse, deren Ursprung im Punkt 0 liegt, angeben lässt. Natürlich könnte diese Referenzfläche auch in einem Abstand vom Fußboden G verkaufen. Die Orientierung der Koordinatenpaarachsen X und Y in der Referenzebene ist hierbei willkürlich gewählt. In der Praxis könnte dafür z.B. eine Ecke des Geschäftslokals dienen.

Zur Positionsbestimmung der Kamera wird die UWB- Funkkommunikation zwischen dem UWB-Transmitter 15 und der Kamera 13 eingesetzt, wobei die Position des fix im Geschäftslokal installierten UWB- Transmitters 15 bekannt ist. Die so gewonnenen Positionsdaten KPD für die Kamera 13 werden von dem UWB-Transmitter 15 z.B. kabelgebunden über ein Lokal-Area-Network (kurz LAN) an den Server 16 übermittelt. Erwähnt sei hier, dass es auch ausreicht, dass die Relativkoordinaten der Kamera 13, welche die relative Position der Kamera 13 in Bezug auf den UWB-Transmitter 15 angeben, an den Server 16 übergeben werden können und der Server 16 unter Kenntnis der Position des UWB-Transmitters im Koordinatensystem 19 die Positionsdaten für die Kamera 16 berechnet. Die Positionsdaten KPD repräsentieren einen Positionsvektor RI, der die Position der Kamera 13 durch die Kamerakoordinaten KX, KY, KZ in dem Koordinatensystem 19 angibt.

Um in weiterte Folge die Position wie auch Orientierung der Einrichtungsgegenstände im Geschäftslokal zu bestimmen, wird auch die Orientierung der Kamera 13 in dem Raumbereich des Geschäftslokals berücksichtigt. Zu diesem Zweck weist die Kamera 13 einen elektronischen Kompass (nicht dargestellt) auf, der ihre Orientierung in einer Ebene G' parallel zum Fußboden G angibt. Die durch den elektronischen Kompass in der Kamera 13 erzeugten Orientierungsdaten KOD werden von der Kamera 13 an den Server 16 übermittelt und dort weiterverarbeitet. Visualisiert ist die Orientierung der Kamera 13 durch den Winkel (Betta) ß, der in einer Ebenen G' verläuft, die zu jener durch die Koordinatenachsen X und Y aufgespannten parallel verläuft und durch die Koordinatenachsen X' und Y', die ihren Ursprung am Ort der Kamera 13 haben, angedeutet ist. Per Definition wird hier der Winkel (Betta) ß ausgehend von der X'-Koordinatenachse in Richtung der y'-Koordinatenachse gemessen.

Wie erwähnt, ist die Kamera 13 an der Decke des Geschäftslokals installiert und ihr Erfassungsbereich 14 ist von dort aus nach schräg unten orientiert, um das Regal 2 möglichst vollständig erfassen zu können. Hier ist auch eine zentrale Erfassungsrichtung E der Kamera 13 in Richtung des Zentrums des Regals 2 eingezeichnet. Die Projektion der zentralen Erfassungsrichtung E auf die Ebene G' ist als projizierte Erfassungsrichtung E' eingetragen, bis zu der sich der Winkel (Betta) ß erstreckt. Die äußeren Ränder des Erfassungsbereiches 14 sind im Übrigen mit strich-punktierter Linie dargestellt bzw. abgegrenzt und in dieser Darstellung hin zu den vier Ecken des Regals 2 verlaufend eingetragen. Die zentrale Erfassungsrichtung E ist wie erörtert um den Winkel (Betta) ß gegenüber der x'-Achse verdreht und zusätzlich aus der durch die x'-Y'- Koordinaten aufgespannten Ebene G' nach unten hin gekippt.

Zur weiteren Erörterung des Verfahrens ist nachfolgend auf die Figuren 2 bis 5 verwiesen. Hierbei zeigt die Figur 2 eine Vorderansicht auf das in der Figur 1 dargestellte Regal 2 mit der im oberen Bereich der Ansicht installierten Kamera 13, die Figur 3 eine Draufsicht auf dieses Regal 2 mit der im Abstand dazu positionierten Kamera 13 und die Figur 4 eine Seitensicht des Regals 4 mit der im Abstand zu dem Regal 2 knapp unter der Decke des Geschäftslokals positionierten Kamera 13. In den Figuren 2 und 4 ist auch ein Schnitt durch den Fußboden G zu sehen, auf dem das Regal 2 ruht.

Ist die Kamera 13 wie im vorliegenden Fall ersichtlich an der Decke des Geschäftslokals befestigt (was nicht im Detail dargestellt ist) und folglich ihre zentrale Erfassungsrichtung E aus der durch die x'- und y'- Koordinatenachsen (siehe dazu Figur 1) aufgespannten Ebenen G', von der nur ein Teil einer Schnittlinie zu sehen ist, herausgeneigt, wird auch die Neigung der Kamera 13 in dem Raumbereich des Geschäftslokals berücksichtigt. Zu diesem Zweck weist die Kamera 13 ein elektronisches Gyroskop (nicht dargestellt) auf, das die Neigung der zentralen Erfassungsrichtung E aus dieser Ebene G' heraus angibt. Die durch das elektronische Gyroskop in der Kamera 13 erzeugten Neigungsdaten KND werden von der Kamera 13 an den Server 16 übermittelt und dort weiterverarbeitet. Visualisiert ist die Neigung der Kamera 13 durch den Winkel (Alpha) a, der per Definition von der Ebene G' aus gemessen wird.

Weiterhin wird die Entfernung zwischen der erfassten Szene und der Kamera 13 festgelegt oder auch ermittelt, so wie es in der allgemeinen Beschreibung erörtert wurde. In einer einfachen Näherung lässt sich die Entfernung zwischen Kamera und der Szene oder einem Einrichtungselement der Szene unter Verwendung der allgemein bekannten Linsengleichung, die auch unter dem Begriff Abbildungsgleichung bekannt ist, wie in der einschlägigen Literatur angeführt, berechnen. Die durch Messung oder Berechnung ermittelte Entfernung, wie z.B. die in der Figur 4 mittlere Entfernung entlang der zentralen Erfassungsrichtung E, wird durch Entfernungsdaten KED repräsentiert, die entweder ihren Ursprung durch Berechnung im Server 16 haben oder von der Kamera 13 an den Server 16 übermittelt werden und dort weiterverbreitet werden.

Um nun Einrichtungsgenstände automatisch und hochpräzise im Geschäftslokal verorten zu können, ist ein Maßstab nötig, der es ermöglicht, die mit Hilfe der Kamera 13 erfasste Szene bzw. ihre Bestandteile in einen realen Abmessungs- bzw. Positionskontext zu setzen. Dieser Maßstab wird mit Hilfe von ersten Einrichtungselementen, nämlich mit Hilfe der ESLs 6 - 12 ermittelt, welche die Rolle von Referenzelementen übernehmen, da sie mit vorbekannten Abmessungen, nämlich einer vorbekannten Breite B (z.B. 60 mm), einer vorbekannten Höhe H (z.B. 30 mm) und einer vorbekannten Tiefe T (z.B. 8 mm) vorliegen, wobei im vorliegenden Fall diese Abmessungen B, H, T für alle ESLs 6 - 12 identisch sind.

Mit Hilfe der Kamera 13 wird ein digitales Standbild von der Szene, also von dem Regal 2 gemäß der Figur 1 (siehe auch die Figuren 2 - 4) erfasst und ein diese Szene repräsentierendes, zweidimensionales digitales Szene-Abbild generiert, das z.B. aus 1100 x 700 Bildpunkten gebildet ist. Diese Bildpunkte sind in einer Matrix angeordnete, wobei die Position jedes Bildpunktes durch Bildpunktkoordinaten xp und yp gegeben ist, wobei xp ein Element der natürlichen ganzen Zahlen aus der Menge 1 bis 1100 ist und wobei yp ein Element der natürlichen ganzen Zahlen aus der Menge 1 bis 700 ist. In diesem Szene-Abbild sind alle realen Einrichtungselemente der Szene enthalten, wie z.B. das Regal 2 mit seinen Regalböden 3 - 5, ggf. auch mit drauf platzierten Produkten. Als vorderste Bildelemente treten jedoch die ESLs 6 - 12 in Erscheinung, die durch keine weiteren Bildelemente verdeckt sind. Diese prominente Positionierung wie auch ihre vorbekannten Abmessungen prädestiniert die ESLs 6 -12 als Referenzelemente für die Bestimmung eines Maßstabs für das Szene-Abbild.

Im vorliegenden Fall wird mit Hilfe einer in der Kamera 13 integrierten künstlichen Intelligenz in dem digitalen Szene-Abbild nach den ESLs 6 - 12 gesucht. Dabei können Kriterien zum Einsatz kommen, wie beispielsweise die im Wesentlichen rechteckige Form der ESLs, die vorwiegend unbeeinflusst auffindbar sein muss, ein Abmessung-Verhältnis aus z.B. Briete geteilt durch Höhe, was das computerisierte Auffinden der ESLs 6 - 12 in dem digitalen Szene-Abbild erleichtert und treffsicher macht. Das Ergebnis dieser Suche ist beispielhaft in der Figur 5 zu sehen, wo in einer Suchergebnis-Bildmatrix aus 1100 x 700 Bildpunkten, die durch die Bildpunktkoordinaten xp und yp identifiziert sind, nur mehr die gefundenen ESLs 6 - 12 zu sehen sind und alle anderen Einrichtungselemente ausgeblendet wurden. Es versteht sich von selbst, dass diese Darstellung vorwiegend der einfachen Visulisierung und Erörterung dient und natürlich in einer vollständigen Kollektion der Einrichtungselemente die gefundenen ESLs 6 - 12 digital markiert sein können, also mit Metadaten gekennzeichnet sein können, um ihre weitere digitale Verbeugung losgelöst von der ggf. vorhandenen Vielfalt der anderen Einrichtungselemente zu ermöglichen.

Wie in der Figur 5 ersichtlich ist, können in dem digitalen Abbild Verzerrungen der Proportionen und der Form der ESLs 6 -12 auftreten. Im vorliegenden Fall weist insbesondere das am oberen Regalboden 3 dargestellte ESL 7 kaum Verzerrungen oder Verfälschungen der Form auf, weil es zentral vor der Kamera 13 positioniert ist. Die benachbarten ESLs 6 und 8 weis vorwiegend eine sich horizontal verschlankende Form auf, was darauf zurückzuführen ist, dass sie sich am linke bzw. rechten Rand des Erfassungsbereiches 14 der Kamera 13 befinden. Im Unterschied dazu weisen die ESLs 9 bis 12 im Wesentlichen leicht verfälschte Proportionen auf, was darauf zurückzuführen ist, dass die Kamera 13 sie von oberhalb erfasst und sich daher die Projektionsfläche der Frontfläche der ESLs 9 - 12 auf den Bildsensor der Kamera 13 verringert, je weiter sich die ESLs 9 - 12 am unteren Erfassungsbereich 14 befinden.

Dies kann dazu führen, dass die ESLs 6 - 12 im digitalen Szene- Abbild betrachtet sich geringfügig unterscheidende Höhen Hl - H4 und sich geringfügig unterscheidenden Breiten Bl - B4 aufweisen. Ihre Abmessungen und Proportionen bleiben dabei jedoch in dem Umfang erhalten, dass sie für künstliche Intelligenz trotzdem auffindbar bleiben.

Nach dem Auffinden bzw. der Identifikation der ESLs 6 - 12 im Szene-Abbild für jedes der ESLs 6 - 12 ein am Ort des jeweiligen ESLs 6 - 12 gültiger individueller Maßstab für das Szene-Abbild bestimmen. Der Maßstab gibt grundsätzlich an, wie viele Bildpunkte in dem Szenen-Abbild zu einer Längeneinheit, wie z.B. 1 mm, der tatsächlichen, nämlich vorbekannten Abmessung (wie z.B. der Breite B und/oder der Höhe H eines ESLs) korrespondierten.

Bestimmt wird der Maßstab dadurch, dass für jedes erkannte ESL 6 - 12 die Bildpunkte entlang der Umrisse gezählt werden. Die so entlang der Bildpunktkoordinate xp des jeweils abgebildeten ESLs 6 - 12 ermittelte Breite-Bildpunkteanzahl wird als Divisor verwendet, um die tatsächliche Bereite (als Dividend) durch die Breite-Bildpunkteanzahl zu teilen. Ist die tatsächliche Breite wie zuvor erörtert beispielsweise in mm angegeben, dann hat der Maßstab entlang der Bildpunktkoordinate xp die Einheit mm/Bildpunkt.

Die so entlang der Bildpunktkoordinate yp des jeweils abgebildeten ESLs 6 - 12 ermittelte Höhe-Bildpunkteanzahl wird als Divisor verwendet, um die tatsächliche Höhe (als Dividend) durch die Höhe-Bildpunkteanzahl zu teilen. Ist die tatsächliche Höhe wie zuvor erörtert beispielsweise in mm angegeben, dann hat der Maßstab entlang der Bildpunktkoordinate yp die Einheit mm/Bildpunkt.

Da diese zu den jeweiligen ESLs 6 - 12 gehörigen individuellen Maßstäbe im Wesentlichen nur am Ort des jeweiligen ESLs 6 -12 oder in deren unmittelbarer Umgebung Gültigkeit haben, wir zwischen den einzelnen ESLs 6 - 12 der Verlauf der Maßstäbe interpoliert. Dies kann quasikontinuierlich auf Bildpunktniveau oder auch auf Basis von Clustern der Bildpunkte, wie z.B. 10x10 Bildpunkte oder 20x 20 Bildpunkte usw. erfolgen.

Über den so ermittelten ortsabhängigen Maßstab für das Szene- Abbild lassen sich nun die tatsächlichen Abmessungen des in dem Szene- Abbild enthaltenen Regals 2 präzise bestimmen und die im Regal 2 angeordneten Regalböden 3 - 5, die ja an ihrer vorderen Kante nur entlang der horizontalen Anordnung der dort befestigten Gruppen der ESLs 6 - 8, 9 - 10, 11 - 12 verlaufen können, verorten. Auch die Position der jeweiligen ESLs 6 - 12 entlang der Regalböden 3 - 5, wie auch ihre Abstände zueinander lassen sich in tatsächlichen Abmessungen (z.B. in der Einheit mm) spezifizieren.

Dies alles basiert auf dem Ansatz, dass die Bildpunkte entlang der Bildpunktkoordinaten xp und yp für das jeweilige in dem Szene-Abbild enthaltene Einrichtungselement-Abbild (Regalumrisslinien, Regalboden 2 - 3 oder Abstand der Regalböden 2 - 3 voneinander, ggf. auch Verpackungsumrisse von Produkten, usw.) gezählt werden und die so ermittelte Bildpunktanzahl entlang der jeweiligen Bildpunktkoordinate xp wie auch yp mit dem jeweiligen zur Anwendung kommenden ortsabhängigen Maßstab für die Bildpunktkoordinate xp bzw. die Bildpunktkoordinate yp multipliziert wird. Das so in realen, also tatsächlichen Abmessungen kartographierte Gesamtheit der Einrichtungselemente-Abbilder des Szene- Abbilds, welche kartographierte Gesamtheit ja wegen der Abbildung auf einen zweidimensionalen Bildsensor der Kamera 13 nur eine zweidimensionale digitale Karte der Szene darstellt, lässt sich in weiterer Folge unter Verwendung der zuvor erwähnten Entfernungsdaten KED, Orientierungsdaten KOD, Neigungsdaten KND und Positionsdaten KPD für die betretende Kamera 13 in einen dreidimensionalen Kontext mit Bezug zu dem Koordinatensystem 19 bringen. Zu diesem Zweck wird die zweidimensionale digitale Karte der Szene mit Angabe der ermittelten tatsächlichen Abmessungen an den Server 16 übermittelt und dort erfolgt die Ergänzung mit den Entfernungsdaten, Orientierungsdaten, Neigungsdaten und Positionsdaten für die betretende Kamera 13, die zusammengefasst als Ergänzungsdaten bezeichnet werden.

Wie eingangs erwähnt, können in einer realen Installation in dem Geschäftsraum eines Einzelhändlers im Prinzip beliebig viele Regale oder andere Produktpräsentation-Einrichtungselemente vorhanden sein, die mit Hilfe der erörterten Maßnahmen gruppenweise oder individuell dreidimensional kartographiert werden können. Dabei können diese hinsichtlich ihrer Position und Orientierung zu erfassenden Einrichtungselemente jeweils von einer einzigen Kamera 13 oder auch zumindest teilweise überlappend von zumindest zwei Kameras 13 erfasst werden. In allen Realisierungsvarianten bildet das erste Einrichtungselement, dessen tatsächliche Abmessung bekannt ist, eine zentrale Rolle für die Bestimmung des Maßstabs für das Szene-Abbild, um die in dem jeweiligen Szene-Abbild enthaltenen Einrichtungselement-Abbilder mit tatsächlichen Abmessungen zu versehen, ihre Relativposition zueinander in tatsächlichen Abmessungen angeben zu können oder auch ihre absoluten Positionen in der Szene angeben zu können, was für eine automatische, computerisierte Erstellung eines digitalen „Floor Plan", der eine digitale dreidimensionale Karte aller mit Hilfe der Kameras 13 erfassbaren Einrichtungselemente bildet. Dieser digitale Floor Plan wird am Server 6 der Label-Management-Software zur weiteren Nutzung zugänglich gemacht.

So können mit Hilfe der Kameras 13 z.B. Inhalte der Bildschirme erfasst werden und der Label-Management-Software zur Kontrolle der exakten tatsächlichen Positionen der ESLs im Geschäftslokal übermittelt werden.

Werden in dem ESL-System ESLs verwendet, die eine Lichtabgabeeinrichtung wie z.B. eine LED (Light Emitting Diode) aufweisen, kann mit ihrer Hilfe auch der Identifikationscode des jeweiligen ESLs via die Kamera 13 z.B. in einer Serie von Standbildern oder mit Hilfe einer Videosequenz erfasst, ggf. auch gleich ausgewertet, und dem Server 16 für die weitere Verwendung mit der Label-Management-Software übergeben werden. Das emittierte Licht kann bei der Kamera 13 auch zur Erleichterung des Auffindens des jeweiligen ESLs im Szene Abbild verwendet weder.

Analog dazu lasen sich auch sogenannte Regal-Trenner im Kontext der vorliegenden Erfindung als erstes Einrichtungselement bzw. als Referenzelement einsetzen, weil sie ebenfalls eine grundsätzlich vorbekannte, tatsächliche Abmessung aufweisen. Regal-Trenner weisen im Wesentlichen rechteckige, etwa plattenförmige Strukturen auf, die zum Trennen von Produkten auf einem Regalboden zwischen benachbarten Produkten positionier werden. Auch diese Regal-Trenner können analog zu den ESLs mit einer LED ausgerüstet sein und für die genannten Zwecke ein Lichtsignal als optisches Signal aussenden.

Gemäß einer anderen Konfiguration des ESL-Systems 1 oder eines Teilbereichs davon kann auch vorgesehen sein, dass die Kamera 13 nicht an der Decke des Geschäftsraums befestigt ist, sondern z.B. an einer Regalschiene in zentraler Position eines Regals. Die Kamera 13 erfasst dann über einen Regalgang hinweg ein anderes Regal als Szene, wobei die ggf. auftretenden Verzerrungen im Szene-Abbild symmetrisch um das Zentrum des Szene-Abbilds verlaufen und damit ggf. einfacher zu berücksichtigen sind. Auch sind in dieser Konfiguration kaum zusätzliche Befestigungsmaßnahmen für die Kamera 13 nötig.

Abschließend sei noch erwähnt, dass es nicht zwingend nötig ist, einen ortsabhängigen Maßstab für das Szene-Abbild zu verwenden. Es kann auch für das gesamte Szene-Abbild ein einheitlicher Maßstab zur Anwendung kommen, insbesondre wenn die damit einhegenden Fehler akzeptable oder sogar vernachlässigbar wären, was sich beispielsweise aus dem jeweiligen Anforderungsprofil des Einzelhändlers ergeben kann.

Es wird abschließend noch einmal darauf hingewiesen, dass es sich bei den vorangehend detailliert beschriebenen Figuren nur um Ausführungsbeispiele handelt, welche vom Fachmann in verschiedenster Weise modifiziert werden können, ohne den Bereich der Erfindung zu verlassen. Es wird der Vollständigkeit halber auch darauf hingewiesen, dass die Verwendung der unbestimmten Artikel „ein" bzw. „eine" nicht ausschließt, dass die betreffenden Merkmale auch mehrfach vorhanden sein können.