Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR OBJECT IDENTIFICATION
Document Type and Number:
WIPO Patent Application WO/2011/038980
Kind Code:
A1
Abstract:
The invention relates to a method for identification of an object (1) comprising the steps: capturing images of the object (1) by means of at least one digital camera (2) to generate image or video data, transmitting the image or video data to an object recognition unit (5), identifying the object (1) by comparing the image or video data by means of a pattern recognition unit (6) and a product recognition database (11) as a specific product, and transmitting the product data to a user unit (10) having a display of the product data.

Inventors:
PUEHRINGER STEFAN (AT)
Application Number:
PCT/EP2010/061928
Publication Date:
April 07, 2011
Filing Date:
August 17, 2010
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
SIEMENS AG (DE)
PUEHRINGER STEFAN (AT)
International Classes:
G06F17/30; G06K9/22; G06Q30/00
Domestic Patent References:
WO2005103980A22005-11-03
Foreign References:
US20060240862A12006-10-26
US20060227992A12006-10-12
US20040079800A12004-04-29
Other References:
None
Attorney, Agent or Firm:
SIEMENS AKTIENGESELLSCHAFT (DE)
Download PDF:
Claims:
Patentansprüche

1. Verfahren zur Identifikation eines Objektes (1) umfassend folgende Schritte:

- Aufnahme des Objektes (1) mittels mindestens einer Digital¬ kamera (2) zur Generierung von Bild- oder Videodaten,

- Übermittlung der Bild- oder Videodaten an eine Objekterkennungseinheit (5) ,

- Identifikation des Objektes (1) durch Abgleich der Bild- oder Videodaten mittels einer Musterkennungseinheit (6) und einer Produkterkennungs-Datenbank (11) als ein bestimmtes Produkt,

- Übermittlung von Daten des Produktes an eine Benutzereinheit (10) mit einer Anzeige der Daten des Produktes.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass nach der Identifikation des Objektes (1) als ein bestimmtes Produkt durch Abfrage eines externen Informationssystems (7) weitere Informationen über das Produkt erhalten werden, die ebenfalls an die Benutzereinheit (10) übermittelt werden kön¬ nen .

3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass

die Bild- oder Videodaten von der mindestens einen Digitalka¬ mera (2) an einen PDA/Personal-Digital-Assistent (13) über¬ mittelt werden und von dort an die Objekterkennungseinheit (5) übermittelt werden. 4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass

die Benutzereinheit (10) zur Übermittlung von Bild- oder Vi¬ deodaten an die Produkterkennungseinheit (5) die Bild- oder Videodaten über eine Produktidentifikations-Schnittstelle (4) ausgibt.

5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als mindestens eine Digitalkamera (2) eine in einem Handy eingebaute Kamera verwendet wird.

6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass

eine Datenausgabe einer Benutzereinheit (10) über eine integ¬ rierte Benutzerschnittstelle (8) geschieht.

7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass

eine Datenausgabe an externe Programme über eine Export¬ schnittstelle (9) geschieht.

8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass

eine Benutzereinheit (10) derart ausgelegt ist, dass ein pro¬ duktbezogener Kommentar von der Benutzereinheit (10) versandt wird . 9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass

an der Benutzereinheit (10) Warenhinweise an einen Benutzer ausgegeben werden, insbesondere Warnungen vor Plagiaten. 10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass

Bei der Aufnahme des Objektes (1) im Wesentlichen dessen Frontansicht erfasst wird.

Description:
Beschreibung

Verfahren zur Objektidentifikation Die Erfindung betrifft die Identifikation eines Objektes mit der Zuordnung zu einem bekannten Produkt.

Fällt bei einer beliebigen Situation irgendein Objekt besonders auf, so erweckt dies das Interesse des Beobachters. Dies kann beispielsweise eine Vase in einem Restaurant, eine Lampe in einem Hotel oder ein Dekorobjekt in einer Wohnung von Bekannten sein. Ist ein solches Objekt erst entdeckt, wächst das Interesse für Details, die in Verbindung mit diesem Ob ¬ jekt stehen. Hier sind z. B. zu nennen: Hersteller, Preis oder möglicher Händler. Wenn man den Besitzer eruieren kann, so ist mit etwas Glück eine relativ genaue Information über das Objekt ermittelbar. Ist der Besitzer jedoch nicht herauszufinden oder hat dieser keine Informationen darüber, so bleibt ein eventueller Erwerb eines derartigen Objektes un- möglich.

In Supermärkten kann sich für Kunden ein Problem ergeben, falls Produkte unzureichende Angaben auf der Verpackung auf ¬ weisen. Um mehr über das Produkt in Erfahrung zu bringen, kann bereits heute mittels mobiler Geräte anhand von Barco ¬ des, Stichwortsuche etc. im Internet weitere Information über ein Produkt eingeholt werden.

Im Wesentlichen kann eine bekannte Produktidentifikation mit- tels folgender Maßnahmen oder Einrichtungen erfolgen:

- eine Produkt-ID wird mittels eines Barcodes, der zwei- oder dreidimensional aufgebaut sein kann, an dem Objekt ange ¬ bracht,

- eine Produkt-ID wird in einem RFID (Radio Frequency-ID) -Tag gespeichert, der am Objekt angebracht ist,

- mittels einer Stichwortsuche in einer entsprechenden Produktdatenbank wird die Produktsuche durchgeführt. Somit sind in der Regel zwischengeschaltete Datenspeicher mit Produktdaten, wie Barcodes, im Einsatz, wodurch zusätzliche Kosten entstehen. Der Erfindung liegt die Aufgabe zugrunde, eine Identifikation von Objekten durch die Zuordnung zu bekannten Produkten wesentlich zu vereinfachen.

Die Lösung dieser Aufgabe geschieht durch die Merkmalskombi- nation des unabhängig formulierten Patentanspruchs. Vorteil ¬ hafte Ausgestaltungen ergeben sich aus den Merkmalskombinationen der entsprechenden Unteransprüche.

Der Erfindung liegt die Erkenntnis zugrunde, dass eine Pro- dukt-Identifikation visuell vorgenommen werden kann. Der Unterschied zu bisherigen Systemen liegt darin, dass beispiels ¬ weise ein optisch auszulesender Barcode oder eine Funkidenti ¬ fikation durch den Einsatz von RFID-Tags als Hilfsmittel, entfällt. Weiterhin wird eine Produktsuche mittels Suchwörter vor Ort in einer Produktdatenbank umgangen. Die visuelle Produktidentifikation vereinfacht die Informationssuche dahinge ¬ hend, dass man lediglich Bild- oder Videodaten eines Objektes mit einer Digitalkamera oder Digitalkamera mobil erzeugt und damit das Produkt eindeutig identifizieren kann. Dies ge- schieht durch den Einsatz einer Produkterkennungseinheit be ¬ stehend aus einer Produktmustererkennungseinheit und einer Produkterkennungsdatenbank .

Um zusätzliche Informationen zu einem bestimmten Produkt an- zeigen zu lassen, kann in vorteilhafter Weise ein externes Informationssystem abgefragt werden.

Zur vorteilhaften Handhabung von Bild- oder Videodaten und zurück übermittelter Produktdaten kann ein so genannter

PDA/ ' personeller digitaler Assistent' zwischengeschaltet wer ¬ den. Dies hat den Vorteil, dass eine für ein mobiles, elekt ¬ ronisches Gerät relativ große Anzeige vorhanden ist. Zur Organisation der Datenübertragung zwischen Benutzereinheit und Produkterkennungseinheit wird eine Produktidentifi ¬ kationsschnittstelle verwendet. Die eingehenden Daten werden von der Benutzereinheit, insbesondere von der Anwender- Software übermittelt, und ausgehende Daten werden an die Pro ¬ dukterkennungseinheit und an das externe Informationssystem übertragen. Die Daten eines erkannten Objektes werden, entsprechend der Daten des Produktes, welches zugeordnet werden konnte, von der Produkterkennungseinheit auf die Produktiden- tifikations-Schnittstelle zurückgeführt. Gleiches gilt für

Daten, die vom externen Informationssystem geliefert werden, wobei beide Datenströme zumindest durch die Produktidentifi- kations-Schnittstelle durchgeleitet werden in Richtung auf die Anwender-Software.

Zur Datenausgabe entweder an einen Benutzer oder an externe Programme sind in vorteilhafter Weise entsprechende Schnitt ¬ stellen vorhanden. Besondere Hinweise für den Benutzer einer Benutzereinheit können auch Informationen über ein Produkt wie Warnhinweise sein, wie beispielsweise die Warnung vor Plagiaten.

Ein vorteilhafter Service wird angeboten, indem produktbezo- gene Kommentare von der Benutzereinheit bzw. vom Endverbrau ¬ cher beispielsweise an Hersteller oder Lieferanten von Produkten versandt werden können.

Im Folgenden werden anhand von schematischen Zeichnungen die begleitenden die Erfindung nicht einschränkenden Figuren als Ausführungsbeispiele beschrieben .

Figur 1 zeigt eine Grafik, die den Ablauf einer visuellen

Identifikation wiedergibt.

Figur 2 zeigt eine Darstellung entsprechend Figur 1, wobei reale Objekte dargestellt sind und als Benutzerein ¬ heit ein Mobiltelefon eingesetzt wird, Figur 3 zeigt eine Darstellung entsprechend Figur 1, wobei reale Objekte dargestellt sind und die Benutzerein ¬ heit geteilt ist, in eine Digitalkamera und einen PDA/P_ersönlicher Digitaler Assistent.

Die visuelle Produktidentifikation kann beispielsweise in Su ¬ permärkten eingesetzt werden. Ein anderer Anwendungsfall ist der Industriebereich, wobei beispielsweise beim Zusammenbau von Industrieteilen oder auch bei medizinischen Anlagen die eindeutige Identifikation von einzelnen Bauteilen gewünscht wird. Weiterhin kann auf Messeständen die automatische Anforderung von Produktinformationen durchgeführt werden.

Mit der visuellen Produktidentifikation können regelmäßig konkrete Informationen zum Objekt erhalten werden. Das Objekt wird in einfacher Weise über ein Foto bzw. über ein Video, welches in spezieller Weise mit einer Handykamera aufgenommen ist, identifiziert. Dies geschieht, indem über das Foto mit ¬ tels einer Produktidentifikation eine Produkt-ID herausge- sucht wird, mit der die weitere Information hinsichtlich Hersteller, Preis oder Händler zu finden ist.

Die Erkennung eines Objektes als ein bestimmtes bekanntes Produkt erfolgt über ein aufgenommenes Foto oder Video des Objektes. Dieses Medium wird mittels einer Mustererkennungs ¬ einheit 6 in Verbindung mit einer Produkterkennungsdatenbank 11 abgeglichen. Das Objekt 1 wird als ein bestimmtes Produkt identifiziert. Das erkannte Objekt wird entweder sofort an die Benutzereinheit übergeben oder es erfolgt optional eine Abfrage an ein externes Informationssystem 7 um weitere Informationen über das Produkt zu erhalten.

Die wesentlichen einzusetzenden Komponenten zur Durchführung eines Verfahrens zur Identifikation eines Objektes sind zum einen die Benutzereinheit 10, die Produkterkennungseinheit 5 und die externen Informationssysteme 7. Die Benutzereinheit 10 ist im Prinzip ein Endgerät eines Benutzers. Die Produkt ¬ erkennungseinheit 5 übernimmt die visuelle Erkennung des Ob- jektes 1 mit Hilfe einer Mustererkennungseinheit 6 und einer Produkterkennungsdatenbank 11. Diese Datenbank wird anfangs mit Hilfe von Produktfotos befüllt und mit der Produkt-ID verknüpft .

Die Anwendung an externe Informationssysteme 7 ermöglicht den Zugriff auf weitere Informationen zum Produkt. Dabei kann es sich bereits um verfügbare Informationssysteme, wie bei ¬ spielsweise die Produktdatenbank des Herstellers oder auch extra dafür entwickelte Systeme handeln. Weiterhin kann ein Käufer eines Produktes zu diesem Produkt seine Meinung oder Erfahrung durch einen bestimmten Service übermitteln.

Zu Figur 2 ist insbesondere anzumerken:

Die Kamera 2 nimmt ein Foto, Video oder sonstiges visuelles

Medium vom zu erkennenden Objekt 1 auf. Die Kamera ist insbe ¬ sondere ein optoelektronischer Wandler, in der optische Signale in elektrische bzw. elektronische Bilddaten überführt. Foto oder Videodaten stellen spezielle Datenformen dar. Diese aufgenommenen Daten werden von der Anwendersoftware 3 an die Produktidentifikationsschnittstelle 4 übergeben. Diese

Schnittstelle übermittelt das Video an die Produkterkennungs ¬ einheit 5 bestehend aus einer Mustererkennungseinheit 6, die das Objekt 1 erkennt, wobei anschließend mit einer Produkter- kennungsdatenbank 11 die Daten abgeglichen werden.

Das Ergebnis wird wieder zurück an die Produktidentifikati ¬ onsschnittstelle 4 übermittelt. Diese kann das Ergebnis di ¬ rekt an die Anwendersoftware 3 zurückgeben. Alternativ können die Daten des erkannten Objektes bzw. des Produktes zusätz ¬ lich mit externen Informationssystemen 7 abgeglichen werden. Daraus können weitere Informationen über das erkannte Produkt aus dem entsprechenden Datenbestand herausgeholt und an die Anwendersoftware 3 weitergeleitet werden. Die Anwendersoft- wäre gibt die ermittelte Produkt-ID-Information in geeigneter Weise an den Benutzer über die Benutzerschnittstelle 8 aus bzw. gibt es über die Schnittstelle 9 an externe Programme weiter zur Verarbeitung. Die Benutzereinheit 10 kann aus einem oder mehreren Geräten bestehen. Es kann sich daher um ein Mobiltelefon mit integrierter Kamera handeln, wobei ein Internetzugriff vorteilhaft ist. Alternativ können jedoch die Aufgaben auch auf einzelne Geräte aufgeteilt werden. So ist zum Beispiel ein Fotoapparat für die Aufnahme des Bildes bzw. Videos vorhanden. Die Anwen ¬ dersoftware 3 ist beispielsweise auf einem Laptop installiert und bekommt das Medium über eine Kabel- oder Funkverbindung zugespielt. Als Funkverbindung kann beispielsweise eine Kurz ¬ funkstrecke verwendet werden, wie Bluetooth oder Wifi. Die Produktidentifikationsschnittstelle bzw. die Produkterken ¬ nungseinheit 5 inklusive der Produkterkennungsdatenbank 11 kann sowohl als eigenständiger Server implementiert oder in die Benutzereinheit integriert werden.

Findet die visuelle Erkennung über ein Video oder einen Vi- deo-Stream statt, so können auch mehrere Produkte auf einmal d.h. gleichzeitig bzw. kontinuierlich identifiziert werden.

Wesentlich ist, dass die Identifikation von Objekten direkt visuell erfolgt, d.h. ohne dass das Objekt mit visuellen Hilfsmitteln, wie beispielsweise Barcode, ausgestattet werden muss. Es wird lediglich durch das eigene Aussehen identifi- ziert.

Vorteile des Verfahrens sind somit, dass keine Produkt-ID am Produkt vorhanden sein muss. Die Suche nach einer Produkt-ID entfällt. Das Produkt kann auch bei Verlust und Abdeckung der Produkt-ID identifiziert werden. Beispielsweise gelingt auch die Identifikation durch eine Glasscheibe hindurch.

Die Identifikation kann mittels weit verbreiteter Endgeräte wie beispielsweise einem Mobiltelefon durchgeführt werden und erfordert kein neues Gerät. Der Benutzer kann damit sofort erkennen, um welches Produkt es sich handeln muss und kann sich weitere Informationen zu dem Produkt übermitteln lassen. Benutzerinteraktionen können minimiert werden. Insbesondere können jedoch Warnungen vor beispielsweise Plagiaten dann ausgegeben werden, wenn sofort erkennbar ist, dass durch eine hohe Übereinstimmung mit einem bekannten Produkt, aber nicht ausreichend zur Identifikation des Produktes, der Benutzer vor einer illegalen Kopie des Produktes kann.

Die in Figur 2 gewählte Darstellung zeigt von links nach rechts zu identifizierende Objekte 1, wie beispielsweise ei- nen Fön, einen Datenstick, ein Computerteil oder eine DVD- Hülle. Mittig ist ein Mobiltelefon dargestellt, welches eine Kamera 2 integriert hat. Im rechten Teil der Figur 2 sind schematisch dargestellt die Produktidentifikationsschnitt ¬ stelle 4, sowie die Produkterkennungseinheit 5 und eine oder mehrere externe Informationssysteme 7. Die Produkterkennungs ¬ einheit 5 besteht aus der Mustererkennungseinheit 6 und der Produkterkennungsdatenbank 11.

Die mit Pfeilen gekennzeichneten Datenströme betreffen ausge- hend von den Objekten 1 die opto-elektronische Bild bzw. Vi ¬ deoaufnahme mit anschließender Übertragung an die Produktidentifikationsschnittstelle 4. Die Produkterkennungseinheit 5 erhält die elektronischen Bilddaten und erkennt das gezeig ¬ te Objekt, wobei eine Zuordnung zu einem bekannten Produkt durchgeführt wird. Die Produkterkennungseinheit 5 kann weite ¬ re zum Produkt zugehörige Informationen von einem externen Informationssystem 7 anfordern. Das erhaltene Ergebnis wird an die Benutzereinheit 10 bzw. an das Mobiltelefon übertragen und angezeigt.

Das Ausführungsbeispiel entsprechend Figur 3 geht von einem unveränderten Fundus von Objekten 1, wie in Fig 2, aus. Die Aufnahme geschieht durch eine Digitalkamera 2, die nach op- to/elektronischer Wandlung die Bild- oder Videodaten an einen PDA 13 überträgt, welcher die Daten weiterhin an die Produkt ¬ erkennungseinheit 5 übermittelt. Die Produkterkennungseinheit 5 erkennt anhand der Bild- oder Videodaten das darin darge ¬ stellte Produkt. Auch hier können weitere Informationen aus externen Informationssystemen 7 angefordert werden. Das Ergebnis wird an den PDA übertragen und dem Benutzer angezeigt.