Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD AND SYSTEM FOR PROCESSING DATA
Document Type and Number:
WIPO Patent Application WO/2006/114353
Kind Code:
A1
Abstract:
The invention relates to a method for processing data, whereby raw data is recorded (201), the raw data is then processed (202), especially digitalised, compressed and/or encoded, the raw data or processed data is analysed (203), especially subjected to a content analysis, the results of the analysis are evaluated (204), or especially subjected to an event identification, in order to present a semantic description of the content, the processed data is indexed (205) by means of the semantic description, and the indexed data is processed (206, 207, 208). The invention also relates to a data processing system (100) comprising a recording device (101) for recording (201) raw data, at least one processing device (102, 104, 106) for processing (202), especially digitalising, compressing and/or encoding the raw data, for the evaluation (294) of the results of the analysis, especially for carrying out an event identification in order to present a semantic description of the content, and for processing (206, 207, 208) the indexed data. The invention further relates to an analysis device (103) for analysing (203) the raw data or processed data, especially for carrying out a content analysis of said data, and an indexing device (105) for indexing (205) the processed data by means of the semantic description. The inventive method and system are used to improve data processing, especially audio and/or video data processing.

Inventors:
NIEM WOLFGANG (DE)
BENZLER ULRICH-LORENZ (DE)
Application Number:
PCT/EP2006/060778
Publication Date:
November 02, 2006
Filing Date:
March 16, 2006
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
BOSCH GMBH ROBERT (DE)
NIEM WOLFGANG (DE)
BENZLER ULRICH-LORENZ (DE)
International Classes:
G06F17/30
Domestic Patent References:
WO2002007164A22002-01-24
WO2003047258A12003-06-05
WO2004068855A12004-08-12
Foreign References:
US6646676B12003-11-11
US20040125877A12004-07-01
EP1162844A22001-12-12
US6157929A2000-12-05
US20050010722A12005-01-13
US6646676B12003-11-11
US20040125877A12004-07-01
Attorney, Agent or Firm:
ROBERT BOSCH GMBH (Stuttgart, DE)
Download PDF:
Claims:
Ansprüche
1. Verfahren zum Verarbeiten von Daten mit folgenden Schritten: Aufnehmen (201) von Rohdaten; Verarbeiten (202), insbesondere Digitalisieren, Komprimieren und/oder Kodieren, der Rohdaten; Analysieren (203), insbesondere Durchführen einer Inhaltsanalyse, der Roh oder der verarbeiteten Daten; Auswerten (204), insbesondere Durchführen einer EreignisErkennung, der Analyseergebnisse, um eine semantische Beschreibung des Inhalts zu erstellen; Indizieren (205) der verarbeiteten Daten mittels der semantischen Beschreibung; Verarbeiten (206, 207, 208) der indizierten Daten.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass beim Verarbeiten (202) der Rohdaten eine skalierbare Kodierung, insbesondere nach einem MPEG, MPEG2 MPEG4 oder MPEG21 Standard, durchgeführt wird.
3. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass beim Verarbeiten (206, 207, 208) der indizierten Daten eine Reduzierung der Menge der indizierten Daten durchgeführt wird (207).
4. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass beim Verarbeiten (206, 207, 208) der indizierten Daten ein Abspeichern der indizierten Daten in einer Speichereinrichtung (110) durchgeführt wird (208).
5. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass beim Verarbeiten (206, 207, 208) der indizierten Daten eine Bewertung der indizierten Daten durchgeführt wird (206).
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass ein Abspeichern (208) der indizierten Daten in einer Speichereinrichtung (110) in Abhängigkeit von der Bewertung durchgeführt wird, wobei die Speichereinrichtung (110) Speicherbereiche mit unterschiedlicher Ausfallsicherheit aufweist (110', 110", 110'"), insbesondere RAID Arrays, wobei höher bewertete Daten in Speicherbereichen mit höherer Ausfallsicherheit abgespeichert werden.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Speichereinrichtung (110) als RAIDArray ausgebildet ist und die Speicherbereiche mit unterschiedlicher Ausfallsicherheit (110', 110", 110'") innerhalb des RAIDArrays ausgebildet sind.
8. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass eine Reduzierung der Menge der indizierten Daten in Abhängigkeit von der Bewertung durchgeführt wird, wobei insbesondere die Menge höher bewerteter Daten weniger reduziert wird.
9. Verfahren nach einem der Ansprüche 4, 6 oder 7, dadurch gekennzeichnet, dass die abgespeicherten Daten wenigstens ein weiteres mal gemäß einem der Ansprüche 3 bis 8 verarbeitet werden (206, 207, 208).
10. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass beim Auswerten (204), insbesondere Durchführen einer EreignisErkennung, der Analyseergebnisse Parameter aus der Gruppe Audio, Infrarot, Radarsignale verwendet werden.
11. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Rohdaten Video und/oder Audiodaten sind.
12. Datenverarbeitungssystem (100) mit: einer Aufnahmeeinrichtung (101) zum Aufnehmen (201) von Rohdaten; wenigstens einer Verarbeitungseinrichtung (102, 104, 106) zum Verarbeiten (202), insbesondere Digitalisieren, Komprimieren und/oder Kodieren, der Rohdaten; zum Auswerten (294) der Analyseergebnisse, insbesondere zum Durchführen einer Ereignis Erkennung, um eine semantische Beschreibung des Inhalts zu erstellen; und zum Verarbeiten (206, 207, 208) der indizierten Daten; einer Analyseeinrichtung (103) zum Analysieren (203), insbesondere Durchführen einer Inhaltsanalyse, der Roh oder der verarbeiteten Daten; einer Indizierungseinrichtung (105) zum Indizieren (205) der verarbeiteten Daten mittels der semantischen Beschreibung.
13. Datenverarbeitungsvorrichtung (100) nach Anspruch 12, dadurch gekennzeichnet, dass wenigstens eine Verarbeitungseinrichtung (106) Bewertungsmittel (107), Speichermittel (108), Reduzierungsmittel (109) und/oder eine Speichereinrichtung (110) aufweist.
14. Computerprogramm mit Programmcodemitteln, um die Schritte eines Verfahrens gemäß einem der Ansprüche 1 bis 11 durchzuführen, wenn das Computerprogramm auf einem Computer oder einer entsprechenden Rechnereinheit, insbesondere einem erfindungsgemäßen Datenverarbeitungssystem (100) gemäß Anspruch 12, ausgeführt wird.
15. Computerprogrammprodukt mit Programmcodemitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um alle Schritte eines Verfahrens nach einem der Ansprüche 1 bis 11 durchzuführen, wenn das Computerprogrammprodukt auf einem Computer oder auf einer entsprechenden Rechnereinheit, insbesondere einem erfϊndungsgemäßen Datenverarbeitungssystem (100) gemäß Anspruch 12, ausgeführt wird.
Description:
Verfahren und System zum Verarbeiten von Daten

Die vorliegende Erfindung betrifft ein Verfahren zum Verarbeiten von Daten, ein Datenverarbeitungssystem, ein Computerprogramm sowie ein Computerprogrammprodukt.

Stand der Technik

Nachfolgend wird im wesentlichen auf Videoarchivierung Bezug genommen, ohne dass die Erfindung auf diese Anwendung beschränkt ist.

Videoüberwachungssysteme im Stand der Technik weisen angeschlossene Archivierungseinrichtungen auf, wie z.B. digitale Videorekorder (DVR) oder Netzwerkvideorekorder (NVR), die eine verteilte Speicherung im Netzwerk bereitstellen. Bei der Überwachung entstehen große Datenmengen, die abgespeichert bzw. archiviert werden müssen. Es existieren daher Strategien zum Reduzieren und Löschen von

Videodaten nach festgelegten Zeiträumen sowie zur Optimierung des benötigten physikalischen Speicherplatzes.

In Überwachungssystemen werden bspw. die Videodaten mit verschiedenen Verfahren, z.B. MPEG-2, MPEG-4, kodiert, wobei typischerweise dieselben Videodaten in unterschiedlichen Qualitäts- und/oder Auflösungsstufen, zeitlich und räumlich, abgespeichert werden. Bei der weiteren zeitlichen Behandlung der abgespeicherten Videodaten wird im allgemeinen das Video mit der höchsten Qualität zuerst, dann nach einem bestimmten Zeitraum das Video mit mittlerer Qualität und zuletzt das Video mit

der geringsten Qualität gelöscht. Dies wird als Erosionsspeicher bzw. Erosionsspeicherverfahren bezeichnet.

Es besteht ein erhöhter Kodier- und Speicheraufwand durch die Kodierung der Videodaten in mehreren verschiedenen Videodatenströmen mit unterschiedlicher

Qualität. Daneben werden bei den Erosionsspeicherverfahren die Videodaten rein zeitgesteuert und damit vollkommen willkürlich reduziert und gelöscht.

Vorteile der Erfindung

Die Erfindung schlägt ein Verfahren mit den Merkmalen des Patentanspruchs 1, ein System mit den Merkmalen des Patentanspruchs 12, ein Computerprogramm sowie ein Computerprogrammprodukt mit den Merkmalen des Patentanspruchs 14 bzw. 15 vor. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.

Bei einem erfindungsgemäßen Verfahren zum Verarbeiten von Daten werden Rohdaten, beispielsweise in einem Mikrofon, einer Videokamera usw., aufgenommen; die Rohdaten verarbeitet, insbesondere digitalisiert, komprimiert und/oder kodiert. Es können insbesondere bekannte Verfahren wie z.B. MPEG, MP3, JPEG, usw. verwendet werden.

Die Rohdaten oder die verarbeiteten Daten werden ebenfalls analysiert, insbesondere wird eine Inhaltsanalyse durchgeführt. Dieser Schritt wird auch als Merkmalsextraktion bezeichnet. Bei Videodaten bietet sich beispielsweise eine Färb-, Helligkeits-, Bewegungs-, Gesichts- oder Personenerkennung an. Dabei werden Merkmale "Farbe", "Helligkeit", "Person", "Gesicht", "Bewegungsrichtung" usw. erstellt. Die

Merkmalsextraktion wird vorzugsweise automatisch, beispielsweise durch Verfahren der Mustererkennung, ausgeführt. Anschließend werden die Analyseergebnisse bzw. Merkmale ausgewertet, insbesondere wird eine Ereignis-Erkennung durchgeführt, um eine semantische Beschreibung des Inhalts, sog. Metadaten, zu erstellen, wobei insbesondere die einzelnen Merkmale betrachtet werden. Die Beschreibung enthält beispielsweise die Kombination bestimmter Werte, wie z.B. Helligkeits- oder Farbwerte, Vektoren oder Koordinaten einer Bewegung. Damit werden beispielsweise bei Videodaten Objekte und deren Bewegungen, Ereignisse oder die Handlungen von Personen beschrieben. Im weiteren Ablauf des erfindungsgemäßen Verfahrens werden

die verarbeiteten Rohdaten mittels der semantischen Beschreibung indiziert, wozu vorzugsweise sogenannte "Smart Indexing"-Verfahren, wie z.B. MPEG-7, verwendet werden. Dabei werden die Videodaten mit den Metadaten kombiniert, insbesondere um eine Such- und Bewertbarkeit bereitzustellen. Schließlich werden die indizierten Daten verarbeitet. Sie werden dazu beispielsweise einem digitalen Videorekorder (DVR) oder einem Netzwerk- Videorekorder (NVR) übergeben. Zur Ausführung aller genannten Verfahrensschritte eignen sich weiterhin insbesondere herkömmliche Computer, Embedded Systems, integrierte Schaltungen oder sonstige Recheneinheiten. Das erfϊndungsgemäße Verfahren ermöglicht vorteilhaft, Daten zusammen mit einer zugehörigen Inhaltsbeschreibung einer weiteren Verarbeitung zur Verfügung zu stellen, wodurch gezielte inhaltsabhängige weitere Verarbeitungsschritte möglich werden.

Es ist besonderes vorteilhaft, wenn bei einem erfindungsgemäßen Verfahren beim Verarbeiten der Rohdaten eine skalierbare Kodierung, insbesondere nach einem MPEG-2, MPEG-4 oder MPEG-21 Standard, durchgeführt wird. Bei einer skalierbaren Kodierung können Dateninhalte nach der Kodierung auf einfache Weise entfernt werden, um z.B. die Datenmenge zu verringern, ohne eine Neukodierung durchführen zu müssen. So können z.B. bei Videodaten aus einem einmal skalierbar kodierten Videodatenstrom - unter Qualitätsverlust - Daten gelöscht werden, wobei der Videodatenstrom weiterhin dekodierbar, also für den Anwender betrachtbar, bleibt. Es bietet sich an, folgende Arten in Alleinstellung oder Kombination zu verwenden. Eine "SNR scalability" wird durch die Kodierung jedes Bildes in mehreren Schichten ("layers") erreicht. Wird nur die unterste Schicht dekodiert, ergibt sich eine schlechte Bildqualität. Durch zusätzliche Dekodierung der darüberliegenden Schichten wird die Qualität schrittweise erhöht. Bei einer "Temporal scalability" werden wenige Bilder pro Zeiteinheit in der untersten Schicht und zusätzliche Bilder pro Zeiteinheit in den höheren Schichten einkodiert. Bei einer "Spatial scalability" wird ein Bild mit verschiedenen Pixel- Auflösungen kodiert. Die "Data partinioning" ermöglicht eine Skalierbarkeit bezüglich der Fehlerresistenz. Die wichtigsten Bestandteile des Datenstromes werden in der untersten Schicht übertragen, weniger wichtige Teile in den höheren Schichten.

Bei einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird beim Verarbeiten der indizierten Daten eine Reduzierung der Menge der indizierten Daten durchgeführt. Damit wird vorteilhafterweise der notwendige Speicherplatz reduziert.

- A -

Dazu können beispielsweise bei skalierbar kodierten Videodaten die örtliche oder zeitliche Auflösung, Färb- oder Audioinformationen, insbesondere partiell, reduziert werden.

Es ist besonders zweckmäßig, wenn bei dem erfindungsgemäßen Verfahren beim

Verarbeiten der indizierten Daten ein Abspeichern der indizierten Daten in einer Speichereinrichtung durchgeführt wird. Somit ist es möglich, die aufgenommenen und verarbeiteten Rohdaten dauerhaft oder eine vorbestimmte Zeitdauer lang zu erhalten.

Besonders bevorzugt ist es, wenn bei dem erfindungsgemäßen Verfahren beim

Verarbeiten der indizierten Daten eine Bewertung der indizierten Daten durchgeführt wird. Durch die Indizierung der Daten ist eine Inhaltsbeschreibung entstanden, die vorteilhaft für eine Bewertung verwendet werden kann. Die Bewertung sollte abhängig von dem Zweck, zu dem die Daten aufgenommen wurden, sein. So könnten beispielsweise Videoszenen mit hohem Bewegungsinhalt höher bewertet werden als

Szenen mit niedrigem Bewegungsinhalt. Sind beispielsweise Gesichter oder Personen detektiert worden, werden diesen Videodaten höher bewertet als Szenen, in denen keine Personen vorhanden sind. Handelt es beispielsweise um Videoüberwachung, wobei unterschiedliche Ereignisse detektiert und indiziert wurden, kann eine Bewertung auf Grundlage dieser Ereignisse durchgeführt werden.

Es erweist sich darüber hinaus als zweckmäßig, wenn bei dem erfindungsgemäßen Verfahren ein Abspeichern der indizierten Daten in einer Speichereinrichtung in Abhängigkeit von der Bewertung durchgeführt wird, wobei die Speichereinrichtung Speicherbereiche mit unterschiedlicher Ausfallsicherheit aufweist, insbesondere RAID-

Arrays, wobei höher bewertete Daten in Speicherbereichen mit höherer Ausfallsicherheit abgespeichert werden. Bei RAID-Arrays sind verschiedene Stufen der Ausfallsicherheit allgemein bekannt. Hier sind beispielhaft die Levels 0, 1, 2, 3, 4, 5, 6, 7, 10, 50 zu nennen, wobei beachtet werden muss, dass vom Zahlenwert eines Levels nicht direkt auf die Qualität oder auf die Funktionalität des entsprechenden RAID-Systems geschlossen werden kann. Die Bedeutung der jeweiligen Levels ist dem Fachmann bekannt. Vorteilhafterweise wird bei der Bewertung eine sog. "event list" (Ereignisliste) mit Hilfe von festgelegten Speicherregeln erstellt. Es bietet sich beispielsweise an, hoch bewertete

Daten auf einem RAID-I System und niedrig bewertete Daten auf einem RAID-O System abzuspeichern.

Besonders bevorzugt ist eine Ausgestaltung des erfindungsgemäßen Verfahrens, in der die Speichereinrichtung als RAID-Array ausgebildet ist und die Speicherbereiche mit unterschiedlicher Ausfallsicherheit innerhalb dieses RAID-Arrays ausgebildet sind. Dabei können vorteilhaft Speicherbereiche mit unterschiedlicher Ausfallsicherheit oder unterschiedlichen Redundanz-Leveln innerhalb eines RAID-Arrays bereitgestellt werden. Die unterschiedlichen Redundanz-Level werden insbesondere durch geeignete Datenverarbeitung erreicht, wie z.B. Reed-Solomon-Codes.

Insbesondere in Kombination mit einer skalierbaren Kodierung können bei beiden vorher genannten Ausgestaltungen somit vorteilhafte Effekte in Bezug auf den Speicherbedarf und die Ausfallsicherheit erreicht werden. Bei einer skalierbaren Kodierung können insbesondere die Inhalte qualitätsbezogen aufgeteilt werden, ohne dass eine aufwendige

Neu- oder Umkodierung erforderlich ist. Dies ist durch eine gezielte Sortierung zu bewerkstelligen. Beispielsweise können Szenen oder Szenenausschnitte mit hoher Bewertung in Speicherbereichen mit hoher Ausfallsicherheit abgespeichert werden, während Szenen oder Szenenausschnitte derselben Videodatenströme mit niedriger Bewertung in Speicherbereichen mit niedrigerer Ausfallsicherheit abgespeichert werden.

Die Verwendung von RAID-Systemen und/oder RAID-Arrays bietet darüber hinaus den Vorteil, dass handelsübliche und daher preisgünstige Festplatten verwendet werden können.

Vorteilhafterweise wird bei dem erfϊndungsgemäßen Verfahren eine Reduzierung der

Menge der indizierten Daten in Abhängigkeit von der Bewertung durchgeführt, wobei insbesondere die Menge höher bewerteter Daten weniger stark reduziert wird. Dies wird beispielsweise bei Videodaten als "Erosion" bezeichnet. Vorteilhafterweise wird bei der Bewertung eine sog. "temporal event list" (zeitliche Ereignisliste) mit Hilfe von festgelegten zeitlichen Erosionsregeln erstellt. Es sei angemerkt, dass sich diese

"temporal event list" von der oben im Rahmen der Speicherstrategie behandelten "event list" unterscheiden kann, aber nicht unterscheiden muss. Mittels dieser "temporal event list" werden die Datenmengen und einhergehend die Qualität der indizierten Videodaten reduziert. Insbesondere in Kombination mit einer skalierbaren Kodierung können

wiederum vorteilhafte Effekte in Bezug auf den Speicherbedarf und die Langzeitaufbewahrung erreicht werden. Bei einer skalierbaren Kodierung können insbesondere die Inhalte qualitätsbezogen aufgeteilt werden, ohne dass eine aufwendige Neu- oder Umkodierung erforderlich ist. Dies ist durch gezielte Löschung von nicht mehr benötigten Datenanteilen zu bewerkstelligen. Beispielsweise können Szenen oder

Szenenausschnitte mit hoher Bewertung in besserer Qualität, d.h. höherer räumlicher, zeitlicher, farblicher, usw. Auflösung erhalten werden als Szenen oder Szenenausschnitte derselben Videodatenströme mit niedriger Bewertung.

In einem bevorzugten Ausführungsbeispiel des erfindungsgemäßen Verfahrens werden die abgespeicherten Daten wenigstens ein weiteres mal gemäß einem der Ansprüche 3 bis 8 verarbeitet. Bei einer Videoüberwachung bietet es sich beispielsweise an, die abgespeicherten Daten in regelmäßigen Abständen erneut zu bewerten und entsprechend zu reduzieren und auf Bereiche mit unterschiedlicher Ausfallsicherheit verteilt abzuspeichern. Damit kann der benötigte Speicherplatz vorteilhaft weiter reduziert werden, wobei wichtige Informationen, bzw. solche, die höher bewertet wurden, in besserer Qualität und über einen längeren Zeitraum zur Verfügung stehen als weniger wichtige.

Es ist zweckmäßig, wenn bei dem erfindungsgemäßen Verfahren beim Auswerten der

Analyseergebnisse, insbesondere beim Durchführen einer Ereignis-Erkennung, Parameter aus der Gruppe Audio-, Infrarot-, Radarsignale verwendet werden. Es bietet sich an, Daten von Bewegungsmeldern, Infrarot- bzw. Wärmesensoren, Ultraschallsensoren usw. zu verwenden, die ebenfalls Indizien für Bewegung, Personen usw. zur Verfügung stellen. Dadurch kann eine Ereigniserkennung vorteilhaft verbessert werden.

Besonders vorteilhaft kann das erfindungsgemäße Verfahren verwendet werden, wenn es sich bei den Rohdaten um Video- und/oder Audiodaten handelt. Es versteht sich, dass daneben auch eine Verarbeitung von anderen Information enthaltenden Daten sinnvoll ist, wie z.B. Texte, Bilder, usw.

Ein erfϊndungsgemäßes Datenverarbeitungssystem weist eine Aufhahmeeinrichtung zum Aufnehmen von Rohdaten, beispielsweise eine Videokamera, und wenigstens eine Verarbeitungseinrichtung zum Verarbeiten, insbesondere Digitalisieren, Komprimieren

und/oder Kodieren, der Rohdaten, zum Auswerten der Analyseergebnisse, insbesondere zum Durchfuhren einer Ereignis-Erkennung, um eine semantische Beschreibung des Inhalts zu erstellen, und zum Verarbeiten der indizierten Daten auf. Es versteht sich, dass die einzelnen Verarbeitungsschritte auch von unterschiedlichen Verarbeitungseinrichtungen durchgeführt werden können, wozu sich beispielsweise die genannten DVR und NVR, ein herkömmlicher Computer, ein Embedded System, eine integrierte Schaltung oder ein sonstige Recheneinheit eignen, auf. Weiterhin weist das Datenverarbeitungssystem eine Indizierungseinrichtung zum Indizieren der verarbeiteten Daten mittels der semantischen Beschreibung auf. Ebenso versteht es sich, dass die Aufnahmeeinrichtung bspw. mit einer Verarbeitungseinrichtung zum Digitalisieren,

Komprimieren und/oder Kodieren kombiniert als digitale Videokamera oder der gleichen ausgeführt sein kann oder dass alle genannten Einheiten zusammen oder in anderen Kombinationen in einem DVR oder NVR ausgeführt sein können, ohne den Rahme dieser Erfindung zu verlassen.

In einer bevorzugten Ausgestaltung des erfindungsgemäßen Systems weist wenigstens eine Verarbeitungseinrichtung Bewertungsmittel, Speichermittel, Reduzierungsmittel und/oder eine Speichereinrichtung, wie z.B. RAID-, NAS-Systeme, auf.

Für die weitere Erläuterung der Funktionsweise und der Vorteile der erfindungsgemäßen

Vorrichtung und des Systems sei explizit auf die Ausführungen zum erfindungsgemäßen Verfahren verwiesen.

Ein erfindungsgemäßes Computerprogramm enthält Programmcodemittel, um das erfindungsgemäße Verfahren durchzuführen, wenn das Computerprogramm auf einem

Computer oder einer entsprechenden Rechnereinheit, insbesondere einer erfindungsgemäßen Datenverarbeitungsvorrichtung oder einem erfindungsgemäßen Datenverarbeitungssystem, ausgeführt wird.

Ein erfindungsgemäßes Computerprogrammprodukt beinhaltet Programmcodemittel, die auf einen computerlesbaren Datenträger gespeichert sind, um ein erfindungsgemäßes Verfahren durchzuführen, wenn das Computerprogrammprodukt auf einen Computer oder auf einer entsprechenden Rechnereinheit, insbesondere einer erfindungsgemäßen Datenverarbeitungsvorrichtung oder einem erfindungsgemäßen

Datenverarbeitungssystem, ausgeführt wird. Geeignete Datenträger sind insbesondere Disketten, Festplatten, Flash-Speicher, EEPROMs, CD-ROMs, u.a.m. Auch ein Download eines Programms über Computernetze (Internet, Intranet usw.) ist möglich.

Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.

Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.

Die Erfindung ist anhand eines Ausführungsbeispiels in der Zeichnung schematisch dargestellt und wird im folgenden unter Bezugnahme auf die Zeichnung ausführlich beschrieben.

Figurenbeschreibung

Figur 1 zeigt eine schematische Darstellung einer bevorzugten Ausführungsform eines erfindungsgemäßen Systems; und

Figur 2 ein Flussdiagramm einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens.

In Figur 1 ist ein bevorzugtes Ausführungsbeispiel eines erfindungsgemäßen

Datenverarbeitungssystems insgesamt mit 100 bezeichnet. Das Datenverarbeitungssystem

100 ist als Videoüberwachungssystem ausgebildet und weist eine Aufnahmeeinrichtung

101 zum Aufnehmen von Rohdaten auf, die im Falle von Videodaten vorzugsweise als Videokamera ausgebildet ist. Die Rohdaten werden von der Videokamera 101 an eine Verarbeitungseinrichtung 102 und eine Analyseeinrichtung 103 übertragen.

Die Verarbeitungseinrichtung 102 ist zum Kodieren der Rohdaten ausgebildet. In der abgebildeten bevorzugten Ausführungsform kodiert die Verarbeitungseinrichtung 102 die Rohdaten skalierbar, insbesondere nach dem MPEG-4 Standard, wodurch Dateninhalte

nach der Kodierung auf einfache Weise verändert oder entfernt werden können, um z.B. die Datenmenge zu verringern, ohne eine Neukodierung durchführen zu müssen.

Die Analyseeinrichtung 103 führt eine Inhaltsanalyse durch. Dabei werden einzelne Merkmale der Videodaten extrahiert, wobei insbesondere Färb-, Helligkeits-,

Bewegungs-, Gesichts- oder Personenmerkmale verwendet werden. Für die Merkmalsextraktion werden automatische Verfahren der Mustererkennung verwendet. Es versteht sich, dass ebenso andere Verfahren verwendet werden können.

Die von der Analyseeinrichtung 103 extrahierten Merkmale werden an eine

Verarbeitungseinrichtung 104 übergeben. Die Verarbeitungseinrichtung 104 führt eine Ereigniserkennung durch, um eine semantische Beschreibung des Inhalts der Videodaten, sog. Metadaten, zu erstellen. Die Beschreibung wird durch Auswerten der einzelnen Merkmale, wie sie von der Analyseeinrichtung 103 übergeben wurden, erstellt. Die Verarbeitungseinrichtung 104 erstellt eine Beschreibung der Projekte und deren

Bewegungen, der Ereignisse und der Handlungen von Personen.

Die von der Verarbeitungseinrichtung 104 erstellten Metadaten werden zusammen mit den von der Verarbeitungseinrichtung 102 kodierten Videodaten einer Indizierungs- einrichtung 105 zur Verfügung gestellt. Die Indizierungseinrichtung 105 indiziert die kodierten Videodaten mittels der semantischen Beschreibung, wozu ein "smart indexing"- Verfahren, wie z.B. MPEG-7, verwendet wird. Durch die Indizierung der Videodaten mittels der Metadaten wird eine Such- und Bewertbarkeit bereitgestellt.

Schließlich werden die indizierten Daten einer Verarbeitungseinrichtung 106 übergeben.

Die Verarbeitungseinrichtung 106 ist in dem dargestellten Ausführungsbeispiel als digitaler Videorekorder (DVR) ausgebildet.

Der DVR 106 weist eine Speichereinrichtung 110 auf, die Speicherbereiche mit unterschiedlicher Ausfallsicherheit 110', 110", 110'" usw. bereitstellt. Die

Speichereinrichtung 110 ist als RAID-Array ausgebildet, das die Speicherbereiche 110', 110", 110'", usw. mit unterschiedlichen Redundanz-Leveln aufweist. Der Speicherbereich 110' des RAID-Arrays 110 weist die höchste, der Speicherbereich 110" eine mittlere und der Speicherbereich 110'" eine niedrige Ausfallsicherheit bzw. Redundanz auf. Die Stufen

der Redundanz werden in diesem Beispiel durch Verwendung eines Reed-Solomon- Codes erreicht.

Weiterhin ist der DVR 106 mit Bewertungsmitteln 107, Speichermitteln 108 und Reduzierungsmitteln 109 ausgestattet, die auf die Bewertungsmittel 107 zugreifen. Es versteht es sich, dass ein DVR oder NVR ebenso im Sinne dieser Erfindung als Vorrichtung oder System ausgebildet sein kann, die bzw. das mit anderen oder allen Einheiten (101 bis 110) ausgestattet sein kann.

Die Speichermittel 108 erstellen zusammen mit den Bewertungsmitteln 107 eine sog.

"event list" (Ereignisliste) mittels vorbestimmter Speicherregeln. In der Ereignisliste werden die Szenen und/oder Szenenausschnitte der Videodaten in Reihenfolge ihrer Bewertung aufgeführt. Die Speichermittel 108 speichern die Szenen und/oder Szenenausschnitte der Videodaten korrespondierend mit ihrer Bewertung in den Speicherbereichen 110', 110", 110'", usw. des RAID-Arrays 110 ab. So werden die

Szenen und Szenenausschnitte mit höchster Bewertung in dem Speicherbereich 110' mit höchster Ausfallsicherheit abgespeichert, usw.

Die Reduzierungsmittel 109 reduzieren die Menge der Videodaten in Abhängigkeit von einer Bewertung, die von den Bewertungsmitteln 107 erstellt wurde. Dabei erstellen die

Reduzierungsmittel 109 eine sog. "temporal event list" (zeitliche Ereignisliste) mittels festgelegter zeitlicher Erosionsregeln. Anhand der zeitlichen Ereignisliste wird die Datenmenge der Videodaten reduziert. Durch die durchgeführte skalierbare Kodierung können die Videodaten von den Reduzierungsmitteln 109 reduziert werden, ohne dass eine aufwendige Neu- oder Umkodierung erforderlich wäre. Anhand der zeitlichen

Ereignisliste können so in vorbestimmten zeitlichen Abständen gezielt nicht mehr benötigte Datenanteile der Videodaten gelöscht werden. Dabei werden Szenen oder Szenenausschnitte mit hoher Bewertung in besserer Qualität (hohe räumliche, zeitliche, farbige, usw. Auflösungen) erhalten, als Szenen oder Szenenausschnitte derselben Videodaten mit niedrigerer Bewertung, d.h. die Szenen oder Szenenausschnitte mit niedrigerer Bewertung werden stärker reduziert.

Die Bewertungsmittel 107 des DVR 106 bewerten die indizierten Daten anhand ihrer Inhaltsbeschreibung. Dabei wird die Bewertung abhängig von dem Zweck, zu dem die

Daten aufgenommen wurden, durchgeführt. Handelt es sich um Videodaten einer Überwachungseinrichtung, werden Videoszenen mit hohem Bewegungsinhalt höher bewertet als Szenen mit niedrigem Bewegungsinhalt. Ebenso werden Szenen mit detektierten Gesichtern oder Personen höher bewertet als Szenen, in denen keine Personen vorhanden sind.

In Figur 2 wird ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens dargestellt. Im Schritt 201 werden die Rohdaten aufgenommen. Dazu kann insbesondere eine Videokamera verwendet werden. Im Schritt 202 werden die aufgenommenen Daten verarbeitet, d.h. digitalisiert, komprimiert und/oder kodiert, wobei eine skalierbare Kodierung verwendet wird. Dieser Schritt könnte auch ganz oder teilweise in der Videokamera erfolgen.

Im Schritt 203 wird eine Inhaltsanalyse der Videodaten durchgeführt. Dabei werden, wie oben erläutert, die einzelnen Merkmale extrahiert. Im Schritt 204 wird auf Grundlage der extrahierten Merkmale eine Ereingiserkennung durchgeführt, wobei eine semantische Beschreibung des Inhalts erstellt wird.

Im Schritt 205 werden die codierten Daten mit der semantischen Beschreibung bzw. den Metadaten zusammengeführt und auf diese Weise indiziert.

Im Verfahrensschritt 206 wird eine Bewertung der indizierten Daten durchgeführt. Die Bewertung erfolgt auf die bereits ausführlich erläuterte Weise. Im Verfahrensschritt 207 werden die indizierten Daten auf Grundlage der Bewertung reduziert und schließlich im Schritt 208 auf Grundlage derselben oder einer weiteren Bewertung abgespeichert.

In Abhängigkeit vom Anwendungszweck des Verfahrens werden die Verfahrensschritte 206 bis 208 nach einem vorbestimmten Zeitraum erneut ausgeführt, wobei bei einer Videoüberwachung die abgespeicherten Daten regelmäßig erneut bewertet und entsprechend reduziert und abgespeichert, d.h. auf Bereiche mit unterschiedlicher

Ausfallsicherheit verteilt werden. Damit wird der zur Videoüberwachung notwendige Speicherplatz vorteilhaft reduziert, wobei wichtige, d.h. mit hoher Bewertung versehene Informationen in besserer Qualität und über einen längeren Zeitraum zur Verfügung stehen als weniger wichtige Informationen.