Verfahren zur automatischen objektiven technischen Qualitätsbewertung des Inhalts von Audio- und/oder Video-Material und zur Herausfilterung qualitätskritischer Sequenzen aus diesem Material

Die Erfindung betrifft ganz allgemein Verfahren zur Bewertung der technischen Qualität von Audio- / Video-Inhalten. Insbesondere betrifft die Erfindung ein Verfahren zur automatisier- ten objektiven Qualitätsmessung von Audio- / Video-Inhalten mit dem Ziel einer automatisierten und objektivierten Herausfilterung solcher Ausschnitte aus dem Audio- / Video-Inhalt, welche einer subjektiven Nachbewertung zugeführt werden müssen. D.h., die Erfindung betrifft in ihrem Kern ein Verfahren, das zur automatischen objektiven technischen Qualitätsbewertung des Inhalts von Audio- und/oder Video-Material und zur Herausfilterung qualitäts- kritischer Sequenzen aus diesem Material dient. Darüber hinaus betrifft die Erfindung eine Vorrichtung zur Durchführung dieses Verfahrens.

Im Stand der Technik wird die Qualität von Audio- / Video-Inhalten gewöhnlich durch subjektive, manuelle Vollkontrolle überprüft. Dies ist sehr zeitaufwendig und fehleranfällig. Ob- jektiv und automatisiert läßt sich die Qualität von multimedialen Inhalten nach dem Stand der Technik nicht mit befriedigender Genauigkeit messen, da die hierfür im Stand der Technik vorhandenen Verfahren und Vorrichtungen nicht in der Lage sind, in jedem Fall Qualitätsmängel von gewollten Stilmitteln wie z.B. Falschfarben, gewolltem Ruckein und dgl. zu unterscheiden.

Im Stand der Technik gibt es verschiedene, zum Teil standardisierte Qualitätsmetriken, die Aussagen über Eigenschaften von Audio- / Video-Inhalten treffen. Diese Metriken werden von kommerziell verfügbaren Soft- und Hardwarelösungen ermittelt und ausgegeben. Die aus dem Stand der Technik bekannten Metriken können verwendet werden, um den Aufwand der subjektiven Qualitätsmessung deutlich zu reduzieren. In vielen Fällen werden dabei als Ergebnis der Messung über die gesamte Spielzeit des Inhalts gemittelte Werte ausgegeben. Diese Angaben sind jedoch für eine Beurteilung der technischen Qualität des Inhalts nicht ausreichend, da kurze Ausschnitte mit stark reduzierter Qualität sich in diesen Werten nicht widerspiegeln, aber durchaus ein Ausschlußkriterium für die Verwendung des Inhalts darstellen

können. Daher ist im Stand der Technik eine nachfolgende Bewertung dieser Abschnitte durch menschliche, d.h. subjektive Bewertung unbedingt erforderlich.

Die durch den Menschen wahrgenommene bzw. empfundene technische Qualität von Audio- / Video-Inhalten läßt sich durch subjektive und durch objektive Meßmethoden ermitteln.

Ein bekanntes Verfahren zur subjektiven Bewertung ist Double Stimulus Continuous Quality Scale (DSCQS). Dies ist ein von der International Telecommunication Union (ITU) empfohlenes Verfahren (vgl. Recommendation ITU-R BT.500-9: „Methodology for the Subjective Assessment of the Quality of Television Pictures", 1998 und ITU-T Recommendation P.910: „Subjective video quality assessment methods for multimedia applications", 1999). Der Vorteil dieses Verfahrens ist eine geringe kontextabhängige Beeinflussung des Ergebnisses. Nachteilig bei diesem Verfahren sind der hohe Aufwand für seine Durchführung und die Höhe der damit verbundenen Kosten.

Auf dem Gebiet der objektiven Bewertung gibt es derzeit keinen Standard, der verbindlich ein Verfahren vorschreibt, um die Qualität von Audio- / Video- Inhalten zu bewerten. Allerdings wurden im Stand der Technik mehrere Verfahren entwickelt, die versuchen, das Human Visual System (HVS) möglichst perfekt abzubilden. Das HVS ist ein Modell, welches die visuelle Wahrnehmung durch den Menschen beschreibt. Zu den letztgenannten Verfahren gehören unter anderem der Ansatz von Webster (vgl. A. A. Webster et al.: „An Objective Video Quality Assessment System Based on Human Perception".- In: Human Vision, Visual Processing, and Digital Display IV, San Jose (CA), 1993, Seiten 15 bis 26.), die Moving Picture Quality Metrie (MPQM) von Van den Branden Lambrecht (vgl. C. J. van den Branden Lambrecht: „A working spatio-temporal model of the human Visual System for image restoration and quality assessment applications".- In: Proc. IEEE Int. Conf. Acoust, Speech, and Signal Processing, 1996, Seiten 2291 bis 2294.) sowie die Gruppe der sogenannten JND (Just Noticable Diffe- rence) basierenden Verfahren.

Weitere aus dem Stand der Technik bekannte Verfahren zur objektiven Qualitätsbewertung von Audio- / Video-Inhalten sind das vollautomatische Video Quality Model (VQM) der National Telecommunications and Information Administration (NTIA) und das Objective Per- ceptual Video Quality Measurement Verfahren von Tektronix, welches auf JND basiert.

Allen vorstehend genannten Verfahren zur objektiven Bewertung der technischen Qualität von Audio- / Video-Inhalten ist jedoch gemeinsam, daß sie keine hohe Zuverlässigkeit bei der Erkennung von technischen Mängeln gewährleisten, da sie nicht in der Lage sind, zwischen tatsächlichen technischen Mängeln und künstlerisch eingesetzten Stilmitteln der Audio- / Vi- 5 deo-Produktion zu unterscheiden.

Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren zur automatischen objektiven technischen Qualitätsbewertung des Inhalts von Audio- und/oder Video-Material und zur Herausfilterung qualitätskritischer Sequenzen bereitzustellen, welches besser als die aus dem 0 Stand der Technik bekannten Verfahren in der Lage ist, zwischen tatsächlichen technischen Mängeln und eingesetzten künstlerischen Stilmitteln der Audio- / Video-Produktion zu unterscheiden. Ferner liegt der Erfindung die Aufgabe zugrunde, eine Vorrichtung zur Durchfuhrung des erfindungsgemäßen Verfahrens bereitzustellen.

15 Erfindungsgemäß wird diese Aufgabe gelöst durch ein Verfahren nach Anspruch 1 und durch eine Vorrichtung nach Anspruch 8.

Die deutlich verbesserte Leistungsfähigkeit des erfindungsgemäßen Verfahrens gegenüber den aus dem Stand der Technik bekannten Verfahren ergibt sich im wesentlichen dadurch, \0 daß nicht nur ein einziges Qualitätsmerkmal einer Zeitreihenanalyse unterworfen wird, sondern daß für mehrere Qualitätsmerkmale Zeitreihenanalysen durchgeführt werden und schließlich sogar eine logische Verknüpfung dieser separaten Zeitreihen erfolgt.

Vorteilhafte und bevorzugte Weiterbildungen des erfindungsgemäßen Verfahrens sind Ge- .5 genstand der Ansprüche 2 bis 7.

Vorteilhafte und bevorzugte Ausführungsbeispiele der Erfindung werden nachfolgend anhand von Figuren erläutert. Es zeigt:

0 Fig. 1 schematisch eine Extrahierung signifikanter Szenen gemäß einem Ausführungsbeispiel eines erfindungsgemäßen Verfahrens und

Fig. 2 schematisch ein Ausführungsbeispiel eines unter Anwendung des erfindungsgemäßen Verfahrens arbeitenden Qualitätskontrollplatzes.

Ein erfindungsgemäßes Verfahren nutzt das Ergebnis einer durchgeführten objektiven Qualitätsbewertung von Audio- / Video-Material. Dies ist eine Meßreihe, bestehend aus n diskreten Meßwerten eines Qualitätsmerkmals oder mehrerer Qualitätsmerkmale, wobei jeder Meßwert einen zeitlichen Bezug zum untersuchten Audio- / Video-Inhalt hat (siehe Fig. 1).

(X ₁ , tι),...,(x _m t„) e A

(Meßreihe mit einer Meßgröße x und n Meßwerten)

(xi, y\, z\, h), ..., (x _n , y„, z _n , t„) € A (Meßreihe mit drei Meßgrößen x, y, z und jeweils n Meßwerten)

Ausdrücklich wird daraufhingewiesen, daß die vorstehend angegebene Meßreihe mit drei Meßgrößen lediglich ein ganz spezielles Ausführungsbeispiel ist. Die Erfindung kann z.B. auch mit einer Meßreihe ausgeführt werden, welche zwei Meßgrößen oder vier Meßgrößen oder auch noch mehr Meßgrößen umfaßt, wobei jede Meßgröße ein Qualitätsmerkmal repräsentiert. Eine solche mehrdimensionale Meßreihe ist natürlich nichts weiter als eine Gesamtheit von zwei, drei, vier oder mehr Meßreihen, die jeweils eine separate Meßgröße repräsentieren, wobei die Meßwerte der einzelnen Meßgrößen zeitsynchron aufgenommen wurden, so wie es in der im vorangegangenen Absatz gezeigten dreidimensionalen Meßreihe als ein Aus- führungsbeispiel dargestellt ist.

Mögliche Meßgrößen (Qualitätsmerkmale) im Videobereich sind unter anderem:

PSNR (Peak Signal to Noise Ratio - Verhältnis des Signal-Spitzenwerts zum Rauschen), - MSE (Mean Square Error - mittlerer quadratischer Fehler),

Blurriness - Grad der „Verschwommenheit", „Unscharfe", Blockiness - Grad der Ausbildung von Blockartefakten, hauptsächlich verursacht durch Kompressionsverfahren, und

Jerkiness - Maß für Ruckein der Videodarstellung, nicht konstante Bildwiederholrate, hauptsächlich verursacht durch übertragungsprobleme.

Diese und weitere Video-Qualitätsmerkmale als solche sind ausführlich beschrieben in:

Winkler, Stefan: Digital Video Quality - Vision Models and Metrics.- John Wiley & Sons

Ltd..- Chichester.- 2005.- ISBN 0-470-02404-6.

Mögliche Meßgrößen (Qualitätsmerkmale) im Audiobereich sind unter anderem:

SNR (Signal to Noise Ratio) - Signal-Rausch- Abstand,

Max Peak - maximaler Audiopegel,

Analog over - Anzeige von übersteuerung bei der Verarbeitung analoger Audiosigna- 5 Ie,

Digital Clipping - Anzeige von übersteuerung bei der Verarbeitung digitaler Audiodaten,

Digital Zero - digitale Nullstellen und

Block repeating - Blockwiederholungen, verursacht beim Einlesen von CDs. 0

Auch diese Audio-Qualitätsmerkmale als solche sind dem Fachmann aus dem Stand der Technik geläufig, so daß sich ein ausführlicheres Eingehen darauf an dieser Stelle erübrigt.

Auf die Menge der Meßwerte werden festgelegte Bedingungen (Regeln R) angewendet, um 15 die zeitlichen Abschnitte des analysierten Materials herauszufütern, die konform zu den Bedingungen sind.

Eine Bedingung repräsentiert den Vergleich eines Meßwertes mit für dessen Meßgröße festgelegten Grenzwert(en), wobei die Bedingung genau dann erfüllt ist, wenn eine Unter- bzw. .0 überschreitung der Grenzwerte gleichbedeutend mit geringerer Audio- / Video-Qualität ist.

Für jede Meßgröße sind entsprechende Grenzwerte definiert.

Rl : hc _u < x < Ix ₀

R3: lz _u ≤z < lz ₀

lx _u unterer Grenzwert für das Merkmal x ho oberer Grenzwert für das Merkmal x 0

Um die Auswirkungen von einmaligen Unter- bzw. überschreitungen von Grenzwerten, die auf Meßfehler zurückzuführen sind oder spontane Ausreißer darstellen, die bei einer Betrachtung durch den Menschen nicht wahrgenommen werden, zu unterdrücken, können die Bedingungen auf mehrere zeitlich aufeinander folgende Meßwerte erweitert werden.

Rl : (Ix ₁₁ < x _m < Ix ₀ ) λ (Ix ₁₁ < x _m +ι < Ix ₀ ) A ... λ (lx _u < x _m+tw < Ix ₀ ) tw definiertes Zeitfenster für das Merkmal x

Bei mehreren in die Auswertung einbezogenen Meßgrößen werden die jeweils definierten Bedingungen logisch miteinander verknüpft.

R = Rl V R2 V R3

Nach Anwendung der Bedingungen steht eine Menge von zeitlichen Koordinaten zur Verfü- gung, die jeweils die Abschnitte repräsentieren, die konform zu den Bedingungen sind und somit als in technischer Hinsicht qualitativ schlecht eingestuft wurden.

(x _a , t _a ),...,(χ _z , t _z ) e B (Filterergebnis mit einer Meßgröße x)

(x _a , y _a , z _a , t _a ), ..., (x _z , y _z , z _z , t _z ) € B (Filterergebnis mit drei Meßgrößen x, y, z)

Anhand dieser Ergebnismenge können die identifizierten Abschnitte des Audio- / Video- Materials direkt anhand der Zeitangaben adressiert werden und somit automatisch einer Person zwecks subjektiver Nachkontrolle zugeleitet werden.

Die beschriebene Erfindung ermöglicht z.B. die Vereinfachung eines Qualitätskontrollprozesses für Audio- / Video-Inhalte. Ein solcher Kontrollprozeß kann, wie in Fig. 2 dargestellt, weitestgehend automatisiert werden. Das System präsentiert dem Qualitätsüberwacher gezielt Szenen, die als mangelhaft erkannt wurden. Dadurch verringert sich der zeitliche Aufwand gegenüber einer manuellen Vollkontrolle erheblich. Außerdem wird der Einfluß subjektiver Ungenauigkeiten wie Ermüdungserscheinungen oder schwankende Aufmerksamkeit, welche während einer manuellen Vollkontrolle nach dem Stand der Technik eine bedeutende Rolle spielen, stark reduziert.

Ein Beispiel einer Anwendung einer erfindungsgemäßen Vorrichtung im Rahmen eines automatisierten Qualitätskontrollplatzes ist in Fig. 2 schematisch dargestellt und wird im folgenden beschrieben.

5 Der auf seine technische Qualität hin zu überprüfende Audio- / Video-Inhalt wird in einem von einem Kontrollsystem der Vorrichtung überwachten Verzeichnis abgelegt. Daraufhin beginnt automatisch die Analyse mit Hilfe der entsprechenden, in das System integrierten Analysetools. Ist diese Analyse beendet, bewertet das System die Ergebnisse gemäß der weiter oben beschriebenen Vorgehensweise. Dazu können entsprechende Grenzwerte im System

10 definiert werden. Diese lassen sich als Bewertungsprofile innerhalb der Anwendung verwalten. Die Ergebnisse werden einerseits visuell als Chart, in welchem Grenzwertverletzungen prominent dargestellt werden, aufbereitet und andererseits als Szenenliste präsentiert. Die Szenen kann der Qualitätskontrolleur auswählen, mittels einer integrierten Abspielmöglichkeit (z.B. Mediaplayer) direkt anschauen und auf einem online bereitgestellten Formular be-

15 werten und dokumentieren.

Bei einem anderen Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung steht ein automatisch überwachtes Eingangsverzeichnis für die Entgegennahme von Video-Dateien bereit. Durch die Anlieferung einer Video-Datei wird automatisch eine objektive Qualitätsana-

20 lyse angestoßen, die als Ergebnis eine Datei mit den Werten der einzelnen Meßgrößen - im konkreten Ausführungsbeispiel Blurriness, Blockiness und Jerkiness - liefert. Im Anschluß an die Qualitätsanalyse wird die Meßwertdatei automatisch ausgewertet. Dabei werden die Meßwerte der einzelnen Meßgrößen mit den für die jeweilige Meßgröße definierten Schwellwerten verglichen, wobei zusätzlich definierte Zeitfenster als Filterkriterium wirken.

>5

Anschließend wird für jede Meßgröße ein Diagramm erzeugt, welches den zeitlichen Verlauf der Meßgröße darstellt. Mittels des erfindungsgemäßen Verfahrens entsprechend den vorab definierten Regeln herausgefundene qualitätskritische Szenen werden deutlich erkennbar hervorgehoben. Li einer automatisch erzeugten Tabelle werden alle als qualitätskritisch einge-

SO stuften Szenen mit zugehörigem Zeitcode aufgelistet. Dabei wird markiert, welches Qualitätsmerkmal für die Einstufung als „qualitätskritisch" ausschlaggebend war und wie stark eine Unter- bzw. überschreitung eines Schwellwertes stattfand. Jede gelistete Szene kann über einen Verweis gestartet und abgespielt werden. Gleichzeitig wird für die ausgewählte Szene ein Formular bereitgestellt, welches eine Bewertung nach der subjektiven Analyse gestattet.

Bereits manuell nachkontrollierte Szenen werden in der Liste optisch markiert. Anhand einer Symbolik ist erkennbar, ob diese Szene auch in der manuellen, d.h. subjektiven, Bewertung als qualitätskritisch eingeschätzt wurde.