Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
APPARATUS FOR DETERMINING DATA IN ORDER TO TEMPORALLY ALIGN TWO DATA SIGNALS
Document Type and Number:
WIPO Patent Application WO/2008/034632
Kind Code:
A1
Abstract:
Disclosed is an apparatus (110) for determining data in order to temporally align a first data signal (Sdeg(t)) and a second data signal (sref (t)), each of which has one or several data values for successive sampling times. Said apparatus (110) comprises a characteristic extracting device (120) for extracting one characteristic (Mi,j,deg) per sampling time or per subsequence of the successive sampling times from the first data signal (Sdeg(t)) within a first search pattern (Sj,k,deg) in order to obtain a first characteristic curve (Mj,deg), and extracting the characteristic (Mi,,j,ref) per sampling time or per subsequence of the successive sampling times from the second data signal (sref (t)) within a second search pattern (Sj,k,ref) in order to obtain a second characteristic curve (Mj,ref), and a device (130) for determining the temporal alignment data based on similarities between the first (Mj,deg) and the second characteristic curve (Mj,ref) by doing a first search for a search pattern (Sj,k,deg) from one of the first and second characteristic curve (Mj,deg; Mj,ref) in the other of the first and second characteristic curve.

Inventors:
KEYHL MICHAEL (DE)
SCHMIDMER CHRISTIAN (DE)
BITTO ROLAND (DE)
Application Number:
PCT/EP2007/008252
Publication Date:
March 27, 2008
Filing Date:
September 21, 2007
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
OPTICOM GMBH (DE)
KEYHL MICHAEL (DE)
SCHMIDMER CHRISTIAN (DE)
BITTO ROLAND (DE)
International Classes:
G10L19/00; H04N17/00; G10L25/69
Foreign References:
EP1104924A12001-06-06
US6751360B12004-06-15
Other References:
RIX A W ET AL: "PESQ - the new ITU standard for end-to-end speech quality assessment", AUDIO ENGINEERING SOCIETY CONVENTION PAPER, NEW YORK, NY, US, 22 September 2000 (2000-09-22), pages 1 - 18, XP002262437
TALLAK S ET AL: "Time delay estimation for objective quality evaluation of low bit-rate coded speech with noisy channel conditions", SIGNALS, SYSTEMS AND COMPUTERS, 1993. 1993 CONFERENCE RECORD OF THE TWENTY-SEVENTH ASILOMAR CONFERENCE ON PACIFIC GROVE, CA, USA 1-3 NOV. 1993, LOS ALAMITOS, CA, USA,IEEE COMPUT. SOC, 1 November 1993 (1993-11-01), pages 1216 - 1219, XP010096209, ISBN: 0-8186-4120-7
Attorney, Agent or Firm:
ZINKLER, Franz et al. (Pullach, DE)
Download PDF:
Claims:
Patentansprüche

1. Vorrichtung (110) zum Bestimmen von Informationen zur zeitlichen Ausrichtung eines ersten Informationssig- nals (s deg (t)) und eines zweiten Informationssignals (S ref (t)), die für aufeinander folgende Abtastzeitpunkte jeweils einen oder mehrere Informationswerte aufweisen, mit

einer Merkmalsextraktionseinrichtung (120) zum Extrahieren eines Merkmals (Mi 7 J, deg ) pro Abtastzeitpunkt o- der pro Teilfolge von Abtastzeitpunkten der aufeinander folgenden Abtastzeitpunkte aus dem ersten Informationssignal (Sd eg (t)) innerhalb eines ersten Suchmus- ters (Sj, k , deg ) , um einen ersten Merkmalsverlauf (M j , deg ) zu erhalten, und zum Extrahieren des Merkmals (Mi,j #ref ) pro Abtastzeitpunkt oder pro Teilfolge von Abtastzeitpunkten der aufeinander folgenden Abtastzeitpunkte aus dem zweiten Informationssignal (s ref (t)) innerhalb ei- nes zweiten Suchmusters (Sj /k/re f) , um einen zweiten Merkmalsverlauf (M j , ref ) zu erhalten; und

einer Einrichtung (130) zum Bestimmen der Informationen zur zeitlichen Ausrichtung basierend auf ähnlich- keiten zwischen dem ersten (Mj, deg ) und dem zweiten Merkmalsverlauf (Mj, ref ) des Merkmals durch eine erste Suche nach einem Suchmuster (Sj /k , deg ) aus einem des ersten und zweiten Merkmalsverlaufs (M j/deg; M j/ref ) des Merkmals in dem anderen des ersten und zweiten Merk- maisverlaufs des Merkmals.

2. Vorrichtung gemäß Anspruch 1, wobei das erste (s deg (t)) und das zweite Informationssignal (s ref (t)) jeweils ein digitales Videosignal ist, das als die Mehrzahl von Informationswerten pro Abtastzeitpunkt die Pixelwerte eines Videobilds aufweist.

3. Vorrichtung gemäß Anspruch 1, wobei das erste (S d eg(t)) und das zweite Informationssignal (s ref (t)) jeweils ein digitales Audiosignal ist, das als den Informationswert pro Abtastzeitpunkt ein Audiosample des digitalen Audiosignals aufweist.

4. Vorrichtung gemäß einem der vorhergehenden Ansprüche, bei der die Suche für ein Suchmuster dann nicht erfolgreich ist, wenn ein Betrag des Maximums einer Kreuzkorrelationsfunktion zwischen dem Suchmuster und dem Merkmalsverlauf des zweiten oder ersten Merkmalsverlaufs für das bestimmte Merkmal zu gering ist.

5. Vorrichtung gemäß Anspruch 4, bei der die Einrichtung (130) zum Bestimmen der Informationen zur zeitlichen

Ausrichtung angepasst ist, um die Informationen zur zeitlichen Ausrichtung basierend auf ähnlichkeiten zwischen einem ersten (Mj,deg) und einem zweiten Merkmalsverlauf (Mj, re f) eines weiteren Merkmals durch eine weitere Suche nach einem Suchmuster (S j , kfdeg ) aus einem des ersten und zweiten Merkmalsverlaufs (M j , deg; M j , ref ) des weiteren Merkmals in dem anderen des ersten und zweiten Merkmalsverlaufs des weiteren Merkmals zu bestimmen, falls die erste Suche nicht erfolgreich war.

6. Vorrichtung gemäß einem der vorhergehenden Ansprüche, bei der die Merkmalsextraktionseinrichtung (120) angepasst ist, um das Merkmal aus einer Mehrzahl von Merk- malen extrahieren, so dass das Merkmal Merkmalseigenschaften aufweist, die im Vergleich zu Merkmalseigenschaften anderer Merkmale auf einen erhöhten Sucherfolg bei der Suche nach dem Suchmuster (Sj,k,deg) aus einem des ersten und zweiten Merkmalsverlaufs (Mj, deg; Mj /rβ f) des Merkmals hinweisen.

7. Vorrichtung gemäß Anspruch 6, bei der die Merkmalsextraktionseinrichtung (120) angepasst ist, um als Merk-

malseigenschaft ein Streuungsmaß des Merkmals zu bestimmen.

8. Vorrichtung gemäß einem der vorhergehenden Ansprüche, wobei das extrahierte Merkmale (M 1/3/d eg; Mi,-,, re f) Ener ¬ gie-, Helligkeits-, Färb-, Kontrast- oder Kanteninformationen betreffen.

9. Vorrichtung gemäß einem der vorhergehenden Ansprüche, wobei das extrahierte Merkmal (Mi,j, deg ; Mi, j , ref ) einer gesamten, pro Abtastzeitpunkt oder pro Teilfolge von Abtastzeitpunkten in dem ersten (S deg (t)) bzw. zweiten Informationssignal (s ref (t)) enthaltenen Energie entspricht.

10. Vorrichtung gemäß einem der vorhergehenden Ansprüche, wobei das extrahierte Merkmal (Mi,j, deg ; Mi, D , ref ) einer pro Abtastzeitpunkt oder Teilfolge von Abtastzeitpunkten in dem ersten (sa e g(t)) bzw. dem zweiten Informati- onssignal (s ref (t)) in einem vorbestimmten Spektralbereich enthaltenen Energie entspricht.

11. Vorrichtung gemäß einem der vorhergehenden Ansprüche, wobei das erste (s deg (t)) und das zweite Informations- signal (s ref (t)) jeweils ein digitales Videosignal ist, das als die Mehrzahl von Informationswerten pro Abtastzeitpunkt die Pixelwerte eines Videobilds aufweist, und wobei das extrahierte Merkmal (Mi, j/de5 ; M x ,j,ref) einem Anteil an Bewegung eines Bildbereichs zwischen zwei aufeinander folgenden Videobildern entspricht .

12. Vorrichtung gemäß einem der Ansprüche 1 bis 10, wobei das erste (s de g(t)) und das zweite Informationssignal (s ref (t)) jeweils ein digitales Videosignal ist, das als die Mehrzahl von Informationswerten pro Abtastzeitpunkt die Pixelwerte eines Videobilds aufweist, und wobei das extrahierte Merkmal (M io , de g; Mi, 3/ref ) auf

Helligkeits-, Färb-, Kontrast- oder Kanteninformatio- nen in einem Bildausschnitt oder über die vollständigen Videobilder hinweg basiert.

13. Vorrichtung gemäß einem der vorhergehenden Ansprüche, wobei die Merkmalsextraktionseinrichtung (120) derart ausgebildet ist, dass eine Gesamtheit von Merkmalen (Mχ, ] , deg ; Mi /:) , ref ) pro AbtastZeitpunkt oder pro Teilfolge von Abtastzeitpunkten weniger umfangreich ist als eine Gesamtheit der Informationswerte des ersten (S deg (t)) bzw. des zweiten Informationssignals (s ref (t)) pro Abtastzeitpunkt bzw. pro Teilfolge von Abtastzeitpunkten, aus denen dieselben extrahiert sind.

14. Vorrichtung gemäß einem der vorhergehenden Ansprüche, wobei die Merkmalsextraktionseinrichtung (120) ausgebildet ist, um für aufeinander folgende Suchmuster (S 3 , k,xxx und 3-,,1( +1 ,XXx) unterschiedliche Merkmale zur Gewinnung eines Merkmalsverlaufs zu verwenden.

15. Vorrichtung gemäß einem der vorhergehenden Ansprüche, wobei zwei zeitlich aufeinander folgende Suchmuster des Merkmals jeweils eine gleiche Zahl von Abtastzeitpunkten bzw. Teilfolgen von Abtastzeitpunkten umfas- sen.

16. Vorrichtung gemäß einem der Ansprüche 1 bis 14, wobei zwei zeitlich aufeinander folgende Suchmuster des Merkmals eine unterschiedliche Zahl von Abtastzeit- punkten bzw. Teilfolgen von AbtastZeitpunkten umfassen.

17. Vorrichtung gemäß einem der vorhergehenden Ansprüche, wobei die Einrichtung (130) zum Bestimmen der Informa- tionen zur zeitlichen Ausrichtung ausgebildet ist, um die ähnlichkeiten zwischen dem ersten (M 3 ,degr S-,,^^) und dem zweiten Merkmalsverlauf (M-,, re f'" S-,,)c,r ef ) des Merkmals mittels einer Kreuzkorrelationsfunktion zwi-

sehen dem ersten und dem zweiten Merkmalsverlauf zu bestimmen.

18. Vorrichtung gemäß Anspruch 17, bei der eine Position des Maximums der Kreuzkorrelationsfunktion zwischen dem ersten (Mj, deg ; Sj /k , deg ) und dem zweiten Merkmalsverlauf (Mj, ref ; Sj,k,ref) des Merkmals eine zeitliche Verschiebung der beiden Merkmalsverläufe zueinander bedeutet.

19. Vorrichtung gemäß Anspruch 17 oder 18, wobei der Betrag des Maximums der Kreuzkorrelationsfunktion zwischen dem ersten (Mj, deg ; S j ^ d eg) und dem zweiten Merkmalsverlauf (Mj,ref»" Sj,ic,ref) des Merkmals ein Maß für die ähnlichkeit der beiden Merkmalsverläufe ist.

20. Vorrichtung gemäß einem der Ansprüche 17 bis 19, wobei die Einrichtung (130) zum Bestimmen der Informationen zur zeitlichen Ausrichtung ausgebildet ist, um eine Diskontinuität des ersten (M j , deg ; S j , k , deg ) bzw. des zweiten Merkmalsverlaufs (Mj, re f; Sj f k,ref) des Merkmals durch ein Auftreten multipler Maxima der Kreuzkorrelationsfunktion zwischen dem ersten und dem zweiten Merkmalsverlauf zu ermitteln, wobei eine Diskontinui- tat einem Fehlen von Informationswerten des ersten relativ zu dem zweiten Informationssignal, oder umgekehrt, zwischen zwei aufeinander folgenden Abtastzeitpunkten entspricht.

21. Vorrichtung gemäß einem der Ansprüche 17 bis 19, wobei die Einrichtung (130) zum Bestimmen der Informationen zur zeitlichen Ausrichtung ausgebildet ist, um eine Diskontinuität des ersten (Mj, deg ; Sj r k, de g) bzw. des zweiten Merkmalsverlaufs (Mj, re f; Sj,k,ref) des Merkmals durch den Wert des Maximums der Kreuzkorrelationsfunktion oder des Betrages der Kreuzkorrelationsfunktion zwischen dem ersten und dem zweiten Merkmalsverlauf zu ermitteln, wobei eine Diskontinuität einem Fehlen von

Informationswerten des ersten relativ zu dem zweiten Informationssignal, oder umgekehrt, zwischen zwei aufeinander folgenden Abtastzeitpunkten entspricht.

22. Vorrichtung gemäß Anspruch 20 oder 21 wobei die Ein ¬ richtung (130) zum Bestimmen der Informationen zur zeitlichen Ausrichtung ferner ausgebildet ist, das erste (M j , deg ; S j/k/deg ) oder das zweite Suchmuster (Mj,ref; Sj,k, re f) an der Stelle der ermittelten Diskonti- nuität in jeweils zwei kleinere Suchmuster aufzuteilen und erneut eine Ausrichtung bzgl. der kleineren Suchmuster durchzuführen .

23. Vorrichtung gemäß Anspruch 1, wobei die Einrichtung (130) zum Bestimmen der Informationen zur zeitlichen

Ausrichtung ausgebildet ist, um die ähnlichkeiten zwischen dem ersten (M j ,de g ; S j , k , deg ) und dem zweiten Merkmalsverlauf (M 11 , ref/ S 3 ,k,ref) des Merkmals basierend auf den mittleren Fehlerquadraten zwischen dem ersten und dem zweiten Merkmalsverlauf zu bestimmen.

24. Vorrichtung gemäß einem der vorhergehenden Ansprüche, die ferner folgendes Merkmal aufweist:

eine Einrichtung zur detaillierteren zeitlichen Ausrichtung des ersten (s de g(t)) und des zweiten (s ref (t)) Informationssignals innerhalb des ersten (S j ,k,deg) bzw. des zweiten Suchmusters (S D , kiref ) basierend auf der Information zur zeitlichen Ausrichtung basierend auf ähnlichkeiten zwischen dem ersten (Mj, deg ) und dem zweiten Merkmalsverlauf (M j , ref ) des Merkmals.

25. Vorrichtung gemäß Anspruch 24, wobei die Einrichtung zur detaillierteren zeitlichen Ausrichtung ausgebildet ist, eine detailliertere zeitliche Ausrichtung mittels Block-Matching- oder SAD-Algorithmen oder Korrelations-Algorithmen oder mittels Phasen-Korrelation inner-

halb eines Zeitraums durchzuführen, der durch die Information zur zeitlichen Ausrichtung vorgegeben ist.

26. Vorrichtung gemäß einem der vorhergehenden Ansprüche, bei der die Information zur zeitlichen Ausrichtung zusätzlich zu einer Beurteilung einer übertragungsqualität einer übertragung zwischen dem ersten (s deg (t)) und dem zweiten Informationssignal (s ref (t)) herangezogen werden kann.

27. Verfahren zum Bestimmen von Informationen zur zeitlichen Ausrichtung eines ersten Informationssignals (Sd e g(t)) und eines zweiten Informationssignals (S r ef(t)), die für aufeinander folgende Abtastzeitpunk- te jeweils einen oder mehrere Informationswerte aufweisen, mit folgenden Schritten:

Extrahieren eines Merkmals (Mi r -,, deg ) pro Abtastzeitpunkt oder pro Teilfolge von Abtastzeitpunkten der aufeinander folgenden Abtastzeitpunkte aus dem ersten Informationssignal (S deg (t)) innerhalb eines ersten Sύchmusters (S D ,k,deg) / um einen ersten Merkmalsverlauf (Mj, deg ) zu erhalten, und zum Extrahieren des Merkmals (M lr j,ref) pro Abtastzeitpunkt oder pro Teilfolge von Abtastzeitpunkten der aufeinander folgenden Abtastzeitpunkte aus dem zweiten Informationssignal (s ref (t)) innerhalb eines zweiten Suchmusters (S-,, k/ref ) , um einen zweiten Merkmalsverlauf (M-, /ref ) zu erhalten; und

Bestimmen der Informationen zur zeitlichen Ausrichtung basierend auf ähnlichkeiten zwischen dem ersten (M-,,deg) und dem zweiten Merkmalsverlauf (M-, /ref ) des Merkmals durch eine erste Suche nach einem Suchmuster (Sj,)c,deg) aus einem des ersten und zweiten Merkmalsver- laufs (M-, (deg; M-,, ref ) des Merkmals in dem anderen des ersten und zweiten Merkmalsverlaufs des Merkmals.

28. Computer-Programm mit einem Programmcode zum Durchführen des Verfahrens zum Bestimmen von Informationen zur zeitlichen Ausrichtung eines ersten Informationssignals und eines zweiten Informationssignals gemäß Patentanspruch 27, wenn das Computer-Programm auf einem Computer abläuft.

Description:

Vorrichtung zum Bestimmen von Informationen zur zeitlichen Ausrichtung zweier Informationssignale

Beschreibung

Die vorliegende Erfindung bezieht sich auf ein Konzept zum Bestimmen von Informationen zur zeitlichen Ausrichtung zweier Informationssignale, insbesondere eines gestörten Informationssignals und eines ungestörten Informationssignals, welches beispielsweise zum Durchführen von so genannten objektiven Messungen zur Qualitätsbeurteilung von Signalen eingesetzt werden kann.

Zur messtechnischen Bewertung der Qualität von codierten Audio- oder Videosignalen werden heute standardisierte perzeptionsbasierte Messverfahren (perceptual measurement) eingesetzt. Bekannte Verfahren sind beispielsweise das so genannte PESQ-Verfahren (PESQ = Perceptual Evaluation of Speech Quality = gehörrichtige Bewertung der Sprachqualität) , das in dem Standardisierungsdokument ITU-T P.862 beschrieben ist. Ein anderes bekanntes Messverfahren zur Qualitätsbeurteilung von Audiosignalen ist das so genannte PEAQ-Verfahren (PEAQ = objective measurement of PErceived Audio Quality = objektive Messung der wahrgenommenen Audioqualität) und ist in dem Standardisierungsdokument ITU- RBS.1387-1 dargestellt. Ein Messverfahren zur Beurteilung von Videosignalen ist in A. P. Hekstra et al., „PVQM - A perceptual video quality measure", in Signal Processing: Image Communications, 2002, Vol. 17, pp. 781-798, Elsevier beschrieben.

Diesen Verfahren bzw. weiteren Verfahren zur Qualitätsbeurteilung von Audio- bzw. Videosignalen ist gemeinsam, dass ein zu testendes bzw. zu beurteilendes Signal, das in der Regel das Ausgangssignal eines Systems oder Netzwerks oder allgemein eines zu untersuchenden Elements ist, mit einem Original- oder auch Referenzsignal, das in der Regel das

Eingangssignal in das zu untersuchende Element ist, verglichen wird.

Zur Bewertung bzw. Beurteilung eines bestimmten übertra- gungsverfahrens bzw. Codierers sind in der Vergangenheit Tests mit Testpersonen durchgeführt worden. Je nach Anwendung handelt es sich dabei beispielsweise um Hörtests zum Testen von gehörangepassten digitalen Codierverfahren bzw. Sehtests zum Testen von digitalen Videocodierverfahren. Obwohl diese Tests im Mittel relativ zuverlässige Ergebnisse liefern, besteht dennoch eine subjektive Komponente. Weiterhin sind solche subjektiven Tests mit einer bestimmten Anzahl von Testpersonen relativ aufwendig und daher relativ teuer. Daher wurden objektive Messverfahren zur Bewertung der Qualität von codierten Sprach-, Audio- oder Videosignalen entwickelt.

Ein Teil eines Setups eines solchen objektiven Messverfahrens ist in Fig. 7 dargestellt. Das ursprüngliche Signal bzw. das Referenzsignal s rβf (t), 104 wird in ein System 100 mit einer übertragungscharakteristik H eingespeist. Am Ausgang des Systems 100 wird ein Signal s deg (t), 102 bereitgestellt, das durch das System 100 modifizierte Signaleigenschaften bzw. Merkmale gegenüber dem Originalsignal s re f(t) aufweist. Das erste Informationssignal S de g(t) und das zweite Informationssignal s re f(t) werden einem Block 110 zugeführt, um die beiden Signale zeitlich auszurichten bzw. zeitlich aneinander anzugleichen. Damit kann sichergestellt werden, dass beispielsweise bei Videosignalen nur jene Bilder bzw. Frames miteinander verglichen werden, die zeitlich zueinander korrespondieren. Die zeitliche Ausrichtung oder Reihenfolge der beiden Signale könnte beispielsweise durch eine Verzögerung, einen Frame-Verlust oder Frame-Wiederholung gestört sein. Für eine Qualitätsbeurtei- lung des gestörten bzw. beeinträchtigten Signals s de g(t) ist es wichtig, dass die zeitliche Ausrichtung an s ref (t) sehr akkurat und exakt ausgeführt wird, da ein anschließender Vergleich von zwei nicht korrespondierenden Frames von

S deg (t) und S ref (t) im Allgemeinen zu einer Unterschätzung der Videoqualität des gestörten Signals s deg (t) führt. Eine Korrelation einer solchen objektiven Qualitätsbeurteilung zu einer subjektiven Qualitätsbeurteilung durch beispiels- weise menschliche Zuschauer wäre dementsprechend gering.

Moderne übertragungsverfahren für z. B. Video-, Audio- oder Sprachsignale verändern häufig die zeitliche Struktur der in einem Datenstrom enthaltenen Information. Dies kann zum Teil beabsichtigt sein, häufiger wird dieses Verhalten aber durch übertragungsstörungen verursacht. Zusätzlich werden die Signale häufig durch übertragung und Quellkodierung gestört. Zahlreiche Anwendungen z.B. der Messtechnik erfordern einen Vergleich des übertragenen Signals S deg (t) mit dem ungestörten Signal s rβf (t). Wie im Vorhergehenden bereits beschrieben wurde, erfordert dieser Vergleich jedoch die korrekte zeitliche Zuordnung der einzelnen Signalabschnitte aus dem ungestörten Signal s ref (t) und dem gestörten Signal S d βg(t). Bei geringen Störungen und verhältnismä- ßig einfach strukturierten Informationsströmen wie z.B. Sprachsignalen können simple Methoden basierend auf einer direkten Kreuzkorrelation der beiden Signale angewandt werden. Bei komplexeren Signalen wie z.B. Videosignalen und starken Störungen, wie sie z.B. im Mobilfunk oder bei Internettelefonie auftreten, sind diese Verfahren nicht zuverlässig anwendbar und zudem äußerst rechenzeitintensiv.

Somit besteht die Aufgabe der vorliegenden Erfindung darin, ein verbessertes Konzept zur zeitlichen Zuordnung einzelner Signalabschnitte eines ersten Informationssignals zu einem zweiten Informationssignal zu schaffen.

Diese Aufgabe wird durch eine Vorrichtung zum Bestimmen von Informationen zur zeitlichen Ausrichtung gemäß Patentan- Spruch 1, ein Verfahren zur Bestimmung von Informationen zur zeitlichen Ausrichtung gemäß Patentanspruch 27 und ein Computer-Programm gemäß Patentanspruch 28 gelöst.

Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, dass eine zeitliche Zuordnung einzelner Signalabschnitte aus einem ersten Informationssignal zu einem zweiten Informationssignal derart erfolgen kann, dass nicht die Informa- tionssignalströme selbst untersucht werden, sondern vielmehr aus den Informationssignalströmen gewonnene Merkmale.

Dazu wird in einem ersten Schritt der erste und der zweite Informationssignalstrom jeweils in Untereinheiten zerlegt.

In einem nächsten Schritt wird jede Untereinheit des ersten und zweiten Informationssignals jeweils durch wenigstens ein Merkmal charakterisiert. Daraus ergeben sich jeweils Merkmalsvektoren, wobei ein Einzelelement eines Merkmals- vektors ein Merkmal einer Untereinheit des Informationssignalstroms darstellt. Die Anzahl der Elemente eines Merkmalsvektors beschreibt die Anzahl der Untereinheiten eines Informationssignalstroms. Dabei kann gemäß Ausführungsbeispielen der vorliegenden Erfindung jede Untereinheit eines Informationssignalstroms durch eine Mehrzahl von Merkmalen charakterisiert werden. Für diesen Fall ergibt sich auch eine Mehrzahl von Merkmalsvektoren, wobei jeder der Merkmalsvektoren ein anderes Merkmal der Mehrzahl von Untereinheiten eines Informationsstroms repräsentiert.

In einem weiteren Schritt wird ein Merkmalsvektor des ersten bzw. gestörten Informationssignals in Suchmuster bzw. Vergleichszeitfenster unterteilt, das mehrere Abtastzeitpunkte bzw. mehrere Teilfolgen von AbtastZeitpunkten des gestörten Informationssignals umfasst. Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung können die Suchmuster bzw. die Vergleichszeitfenster durch Aufteilen des Merkmalsvektors in aquidistante Abschnitte bereitgestellt werden.

In einem weiteren Schritt wird gemäß einem Ausführungsbeispiel der vorliegenden Erfindung eine ähnlichkeit der Suchmuster bzw. Vergleichszeitfenster des gestörten Infor-

mationssignals S de g(t) mit einzelnen Abschnitten eines korrespondierenden Merkmalsvektors des zweiten Informationssignals bzw. des Referenzsignals s ref (t) mittels einer Kreuzkorrelation untersucht. Die Position des Maximums der Kreuzkorrelationsfunktion zwischen dem Suchmuster und dem Merkmalsvektor bestimmt die Verschiebung des Suchmusters innerhalb des Merkmalsvektors. Außerdem ist der Wert des Maximums ein Maß für die übereinstimmung bzw. ähnlichkeit des Suchmusters und dem entsprechenden Vergleichszeitfens- ter bzw. Unterraum aus dem Merkmalsvektor des Referenzsignals s ref (t) .

Falls eine Suche für ein Suchmuster, welches beispielsweise aus einem bestimmten Merkmalsvektor des gestörten Informa- tionssignals s deg (t) gewonnen wurde, nicht erfolgreich ist, kann gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung eine Suche für ein Suchmuster aus einem anderen Merkmalsvektor des gestörten Informationssignals S de g(t) wiederholt werden.

Gemäß einer weiteren Ausführungsform der vorliegenden Erfindung kann ein Suchmuster auch aus dem Merkmalsvektor des Referenzsignals s ref (t) gebildet werden und dieses Suchmuster in dem Merkmalsvektor des gestörten Informati- onssignals s deg (t) gesucht werden.

Gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung kann sich der Bestimmung von Informationen zur zeitlichen Ausrichtung des ersten Informationssignals und des zweiten Informationssignals ein weiterer Schritt zur Bestimmung von noch detaillierteren Informationen zur zeitlichen Ausrichtung anschließen, wobei dabei eine zeitliche Ausrichtung innerhalb der Länge eines Suchmusters betrachtet wird. Für die Bestimmung der noch detaillierte- ren Informationen innerhalb der Länge des Suchmusters können herkömmliche Methoden, wie beispielsweise so genannte Block-Matching-Algorithmen (BMA) oder eine Phasen- Korrelations-Methode herangezogen werden.

Ein Vorteil der vorliegenden Erfindung besteht darin, dass zur zeitlichen Ausrichtung nicht die Informationssignale selbst, sondern vielmehr aus den Informationssignalen gewonnene Merkmale untersucht werden. Das bedeutet für komplexe Informationssignale eine starke Komplexitätsreduktion, wodurch sich ein Vorteil bei der zur Untersuchung notwendigen Rechenzeit erzielen lässt.

Ein weiterer Vorteil der vorliegenden Erfindung besteht darin, dass sich durch die Verwendung von mehreren Merkmalen pro Untereinheit die Zuverlässigkeit des erfindungsgemäßen Konzepts weiter steigern lässt, indem für jede Untereinheit beispielsweise das jeweils geeignetste Merkmal ausgewählt wird. Es kann also eine Steigerung der Genauigkeit erreicht werden, da die Merkmale bzw. die Metainforma- tionen wesentlich spezifischer an eine Aufgabenstellung angepasst werden können, als dies ein direkter Vergleich zweier Informationssignale erlaubt.

Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Zeichnungen näher erläutert. Es zeigen:

Fig. 1 eine Vorrichtung zum Bestimmen von Informationen zur zeitlichen Ausrichtung eines ersten Informationssignals und eines zweiten Informationssignals gemäß einem Ausführungsbeispiel der vorlie- genden Erfindung;

Fig. 2 eine schematische Darstellung eines Ablaufs zur Extraktion von Merkmalswerten eines Informationssignals gemäß einem Ausführungsbeispiel der vor- liegenden Erfindung;

Fig. 3 eine schematische Darstellung zur Erläuterung der Bildung eines Merkmalswertes zu einem Bild-

Informationssignal gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;

Fig. 4 eine schematische Darstellung eines Merkmalsver- laufs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;

Fig. 5 eine Darstellung zur Erläuterung der Bestimmung der Informationen zur zeitlichen Ausrichtung ba- sierend auf einer Kreuzkorrelation zwischen einem ersten und einem zweiten Merkmalsverlauf gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;

Fig. 6 ein Flussdiagramm zur Erläuterung eines Verfahrens zum Bestimmen von Informationen zur zeitlichen Ausrichtung eines ersten Informationssignals und eines zweiten Informationssignals gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und

Fig. 7 ein Blockdiagramm zur Erläuterung einer vollrefe- renzbasierten, intrusiven Messung zur Qualitätsbewertung eines beeinträchtigten Signals.

Bezüglich der nachfolgenden Beschreibung sollte beachtet werden, dass bei den unterschiedlichen Ausführungsbeispie- len gleich oder gleich wirkende Funktionselemente gleiche Bezugszeichen aufweisen und somit die Beschreibungen dieser Funktionselemente in den verschiedenen in den nachfolgend dargestellten Ausführungsbeispielen untereinander austauschbar sind.

Weiterhin sollte beachtet werden, dass im Nachfolgenden die Bedeutungen von dem ersten Informationssignal und dem zweiten Informationssignal gegeneinander austauschbar sind. Das erste Informationssignal könnte entgegen dem Nachfol-

genden also auch das ungestörte Referenzsignal s ref (t) sein, wobei demzufolge das zweite Informationssignal das gestörte Informationssignal s de g(t) wäre.

Fig. 1 zeigt eine Vorrichtung 110 zum Bestimmen von Informationen zur zeitlichen Ausrichtung eines ersten Informationssignals S de ς(t) 102 und eines zweiten Informationssignals s ref (t) 104 mit einer Merkmalsextraktionseinrichtung 120 und einer Einrichtung 130 zum Bestimmen der Informationen zur zeitlichen Ausrichtung.

Das erste Informationssignal s deg (t) und das zweite Informationssignal s ref (t) werden der Merkmalsextraktionseinrichtung 120 zugeführt, damit die Merkmalsextraktionseinrich- tung 120 wenigstens einen Merkmalswert Mi,d eg pro Abtastzeitpunkt i oder pro Teilfolge i von Abtastzeitpunkten aufeinander folgender Abtastzeitpunkte aus dem ersten Informationssignal s deg (t) innerhalb eines ersten Vergleichszeitfensters, das mehrere Abtastzeitpunkte bzw. Teilfolgen umfasst, bereitstellen kann. Ebenso extrahiert die Merkmalsextraktionseinrichtung 120 wenigstens einen Merkmalswert Mi, ref pro AbtastZeitpunkt i oder pro Teilfolge i von Abtastzeitpunkten der aufeinanderfolgenden Abtastzeitpunkte aus dem zweiten Informationssignal s ref (t) inner- halb eines zweiten Vergleichszeitfensters, das mehrere AbtastZeitpunkte bzw. Teilfolgen umfasst.

Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung entspricht das erste Informationssignal s deg (t) einem ge- störten Informationssignal und das zweite Informationssignal s re f(t) entspricht einem ungestörten bzw. Referenzinformationssignal. Die Merkmalsextraktionseinrichtung 120 zerlegt also sowohl den ungestörten als auch den gestörten Informationsstrom in Untereinheiten Ui, re f und U i/deg . Dabei können die Untereinheiten Abtastzeitpunkten oder einer Teilfolge von Abtastzeitpunkten aufeinander folgender Abtastzeitpunkte entsprechen, wobei aufeinander folgende

Abtastzeitpunkte jeweils einen oder mehrere Informationswerte aufweisen.

Handelt es sich bei den Informationssignalen beispielsweise um Videosequenzen, so entspricht eine Untereinheit Ui, ref beispielsweise dem i-ten Bild des ungestörten Referenzsignals s ref (t), wobei das i-te Bild dem i-ten Abtastzeitpunkt entspricht. Wie im Vorhergehenden bereits beschrieben wurde, könnte eine Untereinheit aber auch eine Mehrzahl von Bildern und damit eine Mehrzahl von Abtastzeitpunkten aufweisen.

Handelt es sich bei den beiden Informationssignalen um Audiosignale (Musik- oder Sprachsignale) , so entspricht eine Untereinheit Ui, ref beispielsweise einer bestimmten Anzahl von Samples bzw. Abtastwerten des digitalisierten Referenzaudiostroms .

Jede Untereinheit Ui /XXX („xxx" steht für „deg" bzw. „ref") wird nun in der Merkmalsextraktionseinrichtung 120 durch wenigstens ein Merkmal M i/XXX charakterisiert. Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung extrahiert die Merkmalsextraktionseinrichtung 120 für jede Untereinheit Ui, xxx des ungestörten bzw. des gestörten Informations- Stroms nicht nur ein Merkmal, sondern eine Mehrzahl von Merkmalswerten Mi, j/ref bzw. Mi, j , deg . Dabei bezeichnet der Index j das entsprechende Merkmal der Mehrzahl von Merkmalswerten. Dieser Zusammenhang wird anhand von Fig. 2 näher erläutert.

Dazu zeigt Fig. 2 schematisch einen Ausschnitt 200 eines der beiden Informationssignale s deg (t) bzw. s ref (t), der mit s xxx (t) gekennzeichnet ist. Das Informationssignal s xxx (t) ist in eine Mehrzahl von Untereinheiten Uj ./Xxx zerlegt. Dabei entspricht eine Untereinheit U±, xxx jeweils einem Abtastzeitpunkt i oder aber einer Teilfolge i von Abtastzeitpunkten, wobei aufeinanderfolgende Abtastzeitpunkte jeweils einen oder mehrere Informationswerte aufweisen.

Entspricht eine in Fig. 2 dargestellte Untereinheit Uj., xxx also jeweils einem Abtastzeitpunkt, so weist ein Abtastzeitpunkt in dem in Fig. 2 dargestellten Szenario jeweils vier Informationswerte auf. Entspricht hingegen jeder der in Fig. 2 gezeigten Informationswerte genau einem Abtastzeitpunkt, so entspricht einem Unterabschnitt Ui, xxx eine Teilfolge von jeweils vier Abtastzeitpunkten in dem in Fig. 2 dargestellten Szenario. Es sei bemerkt, dass Fig. 2 nur der Verdeutlichung des erfindungsgemäßen Konzepts dient und daher sehr vereinfacht dargestellt ist. Bei realen Anwendungen, wie beispielsweise der Qualitätsbeurteilung von Videosignalen, wird ein Informationssignal für einen Abtastzeitpunkt eine Vielzahl von Informationswerten aufweisen, die beispielsweise zur Darstellung eines Bildes not- wendig sind.

Wie im Vorhergehenden bereits beschrieben wurde, können den einzelnen Untereinheiten U i(XXX jeweils einen oder einer Mehrzahl von Merkmalswerten Mi, j/Xxx zugeordnet werden. Dabei bezeichnet der Index i die entsprechende Untereinheit und der Index j bezeichnet das entsprechende Merkmal.

Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung kann ein Merkmal beispielsweise die gesamte in der Unter- einheit Ui, xxx enthaltene Energie sein. Besitzt eine Untereinheit Ui, xxx also beispielsweise N Informationswerte, die jeweils eine Energie Ei, n , xxx (n = 1, ..., N) aufweisen, so lässt sich die Gesamtenergie pro Untereinheit i gemäß

bestimmen, wobei „xxx" für „deg" bzw. „ref" steht. Die gesamte Energie kann natürlich noch in eine „gemittelte" Form gebracht werden, indem sie beispielsweise durch die Anzahl N der beitragenden Informationswerte geteilt wird. Statt der Energie kann natürlich auch bei Videos die Helligkeit, die Farbe, eine Farbkomponente, ein Kontrast, eine

Sättigung oder dergleichen verwendet werden. In diesem Fall umfassen die N beitragenden Informationswerte gegebenenfalls auch nicht alle Pixel der Videobilder sondern nur einen Teil derselben, wie z.B. einen zusammenhängenden Bereich, wie z.B. einen rechteckigen Bereich. Diese Vorgehensweise wird exemplarisch für die Helligkeit anhand von Fig. 3 schematisch gezeigt.

Fig. 3 zeigt beispielhaft eine Darstellung von zwei digita- lisierten Bildern 300-1 und 300-2, wobei die einzelnen Informationswerte der beiden Bilder nur jeweils einen Wert von 0 oder 1 (0 = weiß, 1 = schwarz) annehmen können. Wird als Merkmal bzw. Metainformation nicht das jeweilige Bild i selbst, sondern jeweils die darin enthaltene Gesamthellig- keit Ei, xxx - in gemittelter oder nicht gemittelter Form - verwendet, so wird sich für die Gesamthelligkeit Ei, xxx des Bildes 300-1 ein vergleichsweise geringerer Wert ergeben als für die Gesamthelligkeit E 2 , X χχ des Bildes 300-2. Somit können die beiden Bilder 300-1 und 300-2 eindeutig anhand der Gesamthelligkeit E ifXXX ihrer Informationswerte unterschieden werden, wobei in Fig. 3 exemplarisch helle Pixel dunkel dargestellt sind und umgekehrt dunkle Pixel weiß.

Gemäß weiteren Ausführungsbeispielen der vorliegenden Erfindung können Merkmale Mj . , j , xxx auch beispielsweise ein Anteil an Bewegung in einem Bildbereich, Farbwerte, Kontrastwerte, Helligkeitswerte oder eine Energie in einem bestimmten spektralen Bereich usw. sein. Die jeweiligen Merkmalswerte Mi, j/Xκx können für sämtliche Untereinheiten Ui, rθf bzw. U i/deg in Merkmalsvektoren Mi, ref = [M i/1/ref , M i/2 , ref ,

• • • / Mi, j, re f ] T b ZW . Mj , re f = [Mi , j , f , M 2 , j , ref / ■ • - , Mi , j , re f ] T Und ■ • • r Mi, j, <ieg] T bZW . Mj , deg = [ Mi. j . deg ,

M 2 ,j,deg r ..-, Mi,j /d e g ] τ zusaitutiengefasst werden, wobei J die Anzahl von unterschiedlichen Merkmalswerten pro Unterein- heit Ui, xxx und I der Anzahl von Untereinheiten Ui, xxx Bedeutet. Grundsätzlich gilt, dass die Merkmalsvektoren Mj., xxx bzw. M j , xxx wesentlich weniger Informationen enthalten als die gesamten Daten der Untereinheiten Uj . , xxx . Die Merkmals-

vektoren M ifXXX und Mj /XXX können auch zu einer Merkmalsmatrix M xxx zusammengefasst werden, wie es in Fig. 2 angedeutet ist.

Ein Merkmalsvektor M j(XXX wird in einem nächsten Schritt in Vergleichszeitfenster bzw. Suchmuster S j/)ζ/XXX unterteilt, wobei der Index k mehrere Untereinheiten üi, xxx umfassen kann. In der in Fig. 2 gezeigten beispielhaften Darstellung umfasst ein Vergleichszeitfenster bzw. ein Suchmuster S j , k , xxx jeweils zwei Untereinheiten Ui /XXX . Diese Darstellung ist allerdings lediglich exemplarisch und die tatsächlich verwendete Anzahl von Untereinheiten Ui, xxx pro Vergleichszeitfenster S j ,k, XX χ kann im Allgemeinen beliebig gewählt werden. Eine optimale Länge der Suchmuster S j , k , xxx hängt von der einzelnen Anwendung und der Eignung der Merkmalsvektoren ab. Eine Möglichkeit zum Erhalt der Vergleichszeitfenster bzw. der Suchmuster Sj,k, xxx besteht darin, einen Merkmalsvektor Mj, deg des gestörten Informationssignals in äquidistante Abschnitte aufzuteilen, so wie es in Fig. 2 exemplarisch gezeigt ist. Gemäß einem alternativen Ausführungsbeispiel der vorliegenden Erfindung kann aber auch eine Aufteilung in unterschiedliche große nicht äquidistante Suchmuster vorgenommen werden. Die Suchmuster müssen dabei auch nicht direkt aneinandergrenzen bzw. aufeinander- folgen sondern können sich auch überlappen. Die Aufteilung kann durch adaptive Anpassung vorgenommen werden. Insbesondere kann der Merkmalsvektor M j , xxx auch iterativ geteilt werden, um ein Suchmuster Sj,k, XX x zu erhalten.

Wie im Vorhergehenden bereits beschrieben wurde, ist gemäß einem Ausführungsbeispiel der vorliegenden Erfindung ein Suchmuster bzw. ein Vergleichszeitfenster Sj, k ,de g ein Teil bzw. ein Unterraum eines Merkmalsvektors Mj, de g. Dieses Suchmuster wird gemäß einem Ausführungsbeispiel der vorlie- genden Erfindung im Merkmalsvektor M j , ref gesucht. Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung kann zur eigentlichen Suche die Kreuzkorrelationsfunktion (KKF)

eingesetzt werden. Die diskrete Kreuzkorrelationsfunktion zweier zeitdiskreter Signale x[k] und y[k]

φ xy =E^[k]y'[k-λ}}

ist im Allgemeinen ein Maß für ähnlichkeit der beiden Signale x[k] und y[k] für eine zeitliche Verschiebung λ, wobei λ zeitliche Verschiebung in Abtastwerten bedeutet. Weist ein Suchmuster bzw. ein Vergleichszeitfenster S j/kfXXX eine Länge L auf, d.h. umfasst es L Untereinheiten Ui, xxx , und erfolgt eine Unterteilung äquidistant, so setzt sich das Suchmuster aus folgenden Merkmalswerten zusammen:

Sj, k,xxx = [MkL, j, xxx/ • • • , M(k+1)L-1, j, xxx]

Falls zur eigentlichen Suche die Kreuzkorrelationsfunktion

KKF (M j#ref , S j , k , deg , λ) = ∑M iMeg Ml, Jre/

eingesetzt wird, dann kann eine Identifikation von Diskontinuitäten im Verlauf des gestörten Signals s deg (t) durch eine Analyse multipler Maxima der KKF(M j , ref , S j , k , deg ,λ) erfolgen. Falls die KKF also mehr als ein Maximum an verschiedenen zeitlichen Verschiebungen λ aufweist, dann liegt mit hoher Wahrscheinlichkeit eine Diskontinuität des gestörten Signals Sdeg(t) innerhalb des Vergleichszeitfensters bzw. des Suchmusters Sj, k , deg vor, da ein Teil von Sj,ic,deg an einer Position λi des ersten und ein weiterer Teil an der Position λ des zweiten Maximums der KKF gefunden wurde. Des Weiteren kann eine Identifikation von Diskontinuitäten im Verlauf des gestörten Signals s deg (t) durch eine Analyse des Werts des Maximums der Kreuzkorrelationsfunktion KKF (M j/ref , Sj fk)deg , λ) oder des Betrages der Kreuzkorrelationsfunktion KKF (M j , r e f , Sj, k , deg , λ) stattfinden. In diesen Fällen wird gemäß einem Ausführungsbeispiel der vorliegenden Erfindung das Suchmuster S j , k/de g vorteilhaft weiter unterteilt, wobei Sj, k(deg bevorzugt zwischen λi und λ 2 geteilt wird. Daraus resultiert ein iteratives Teilen der Suchfunk-

tion. Dabei ist jedoch zu bemerken, dass, wenn die Länge L der Suchmuster S j , κ , xxx eine bestimmte minimale Größe unterschreitet, die Suche nicht mehr erfolgreich durchgeführt werden kann. In diesem Moment ist die Suche aber bereits so weit eingeschränkt, dass klassische Verfahren wie z.B. Block-Matching oder Phasen-Korrelation wieder mit vertretbarem Aufwand angewandt werden können.

Handelt es sich bei den Informationssignalen s xxx (t) um Videosignale, so ist ein Suchmuster Sj /k#xxx beispielsweise eine Sequenz aus mehreren Einzelbildern. Eine Diskontinuität ist z.B. das Fehlen eines oder mehrerer Bilder aufgrund von Ubertragungsstörungen. Die im Vorhergehenden beschriebenen iterative Aufteilungsmethode des Merkmalsvektors Mj,xxx in Suchmuster Sj f k, xxx führt dazu, dass Sj, k , xxx aus einem Abschnitt vor einer Diskontinuität besteht, während S j , k+ i, xxx aus einem dahinter liegenden Abschnitt besteht.

Handelt es sich bei den Informationssignalen s xxx (t) um Audio- bzw. Sprachsignale, so ist ein Suchmuster S j , k/XXX beispielsweise eine Sequenz aus Untereinheiten Ui, xxx . Eine Diskontinuität ist beispielsweise das Fehlen einer oder mehrerer Untereinheiten Ui, xxx aufgrund von übertragungsstörungen. Die beschriebene iterative Aufteilungsmethoden führen dazu, dass Sj, k/XXX aus dem Abschnitt vor einer Diskontinuität besteht, während S j ^ + i^ xx aus dem dahinter liegenden Abschnitt besteht.

Zur näheren Erläuterung des Aufteilens eines Merkmalsvek- tors Mj, xxx in Suchmuster S j ,i < , XX χ zeigt Fig. 4 schematisch einen Verlauf von Merkmalswerten Mi,j, xxx für aufeinander folgende Unterabschnitte Ui, xxx .

Fig. 4 zeigt einen Verlauf von Merkmalswerten von zwölf aufeinander folgenden Untereinheiten Ui, xxx (i = 1, ..., 12) , wobei die Untereinheiten U 1/XXX einen Abtastzeitpunkt oder eine Teilfolge von Abtastzeitpunkten bedeuten. Die einzelnen in Fig. 4 gezeigten Merkmalswerte werden in einem

Merkmalsvektor M j , xxx für Merkmal j zusammengefasst . In dem in Fig. 4 beispielhaft dargestellten Szenario wird der Merkmalsvektor M j/XXX in äquidistante Abschnitte von jeweils vier Untereinheiten unterteilt, um drei Vergleichszeitfens- ter bzw. Suchmuster S j , k/XXX zu erhalten, die jeweils vier Untereinheiten umfassen, d.h. L=4. Es sei bemerkt, dass Fig. 4 lediglich eine beispielhafte Darstellung ist, und dass eine Unterteilung eines Merkmalsvektors M j , xxx im Allgemeinen auch anders erfolgen kann.

Handelt es sich beispielsweise bei den Informationssignalen um Videosignale, bei den Merkmalswerten Mi, j , xxx um die Gesamtenergie eines Bildes bzw. Frames pro Abtastzeitpunkt i, so umfassen die drei in Fig. 4 gezeigten Suchmuster Sj, k , xxx jeweils einen Gesamtenergieverlauf von vier aufeinander folgenden Frames. Wie im Vorhergehenden bereits beschrieben wurde, kann nun eine zeitliche Position bzw. zeitliche Ausrichtung der vier aufeinander folgenden Frames bzw. eines Suchmusters Sj, κ ,deg bezogen auf den Merkmalsvek- tor Mj, ref des Referenzsignals s ref (t) mittels der Kreuzkorrelationsfunktion KKF (M j , ref , S j/)C/deg ,λ) gefunden werden. Dies stellt also eine grobe zeitliche Ausrichtung von jeweils vier Frames bzw. vier Untereinheiten dar. Umfasst ein Suchmuster im Allgemeinen L Untereinheiten, so findet natürlich eine grobe zeitliche Ausrichtung von L Untereinheiten statt.

Die Kreuzkorrelationsfunktion KKF(Mj, ref , S j , k/deg , λ) ist dabei nur ein Maß für die ähnlichkeit der einzelnen Unterräume der Merkmalsvektoren M j/XXX und kann beispielsweise auch durch andere Verfahren ersetzt werden. Ein weiteres Maß für eine ähnlichkeit der einzelnen Unterräume der Merkmalsvektoren ist gemäß weiteren Ausführungsbeispielen der vorliegenden Erfindung beispielsweise das mittlere Fehlerquadrat. Dementsprechend kann eine grobe zeitliche Ausrichtung auch mit der Methode des kleinsten mittleren quadratischen Fehlers (MMSE = Minimum Mean Squared Error) durchgeführt werden.

Wird die Kreuzkorrelationsfunktion KKF (Mj, re f, Sj,ic, d eg/ λ) als ähnlichkeitsmaß herangezogen, so bestimmt die Position des Maximums der Kreuzkorrelationsfunktion die Verschiebung des Suchmusters S j , k , deg innerhalb des Merkmalsvektors M j , ref . Der Wert des Maximums der Kreuzkorrelationsfunktion KKF(Mj, ref/ Sj,k,degf λ) ist dabei ein Maß für die übereinstimmung von Sj, k , de g und dem entsprechenden Unterraum aus M j , ref . Dieser Zusammenhang ist schematisch in Fig. 5 dargestellt.

Fig. 5 zeigt eine Einrichtung 130 zum Bestimmen der Informationen zur zeitlichen Ausrichtung basierend auf ähnlichkeiten zwischen einem ersten 510 und einem zweiten 520 Merkmalsverlauf gemäß einem Ausführungsbeispiel der vorlie- genden Erfindung.

Der erste Merkmalsverlauf 510 entspricht dabei einem Suchmuster Sj (k/ deg / also einem Ausschnitt aus dem Merkmalsvektor Mj,deg- Der zweite Merkmalsverlauf 520 entspricht dem Merk- malsvektor Mj, ref des j-ten Merkmals des Referenzinformationssignals s ref (t). Die beiden Merkmalsverläufe 510 und 520 werden der Einrichtung 130 zum Bestimmen der Informationen zur zeitlichen Ausrichtung zugeführt. Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung benutzt die Ein- richtung 130 zum Bestimmen der Informationen zur zeitlichen Ausrichtung die Kreuzkorrelationsfunktion KKF(Mj, ref, Sj,ic,deg/λ) der beiden Merkmalsverläufe 510 und 520 als Maß für die ähnlichkeit zwischen den beiden Merkmalsverläufen 510 und 520 bzw. Sj, k , de g und Mj, ref .

Wie es in Fig. 5 schematisch angedeutet ist, kann die Kreuzkorrelationsfunktion der beiden Merkmalsverläufe 510 und 520 bzw. S j , k/deg und M j , ref ein Maximum liefern, dessen Position die zeitliche Verschiebung des Suchmusters S 3 , k , deg innerhalb des Merkmalsvektors Mj, ref bestimmt. Weiterhin ist der Betrag des Maximums der Kreuzkorrelationsfunktion ein Maß für die übereinstimmung des Suchmusters S j , k ,deg und dem entsprechenden Unterraum des Merkmalsvektors Mj, ref . Ein

großer Betrag des Maximums bedeutet also eine sehr gute übereinstimmung, wohingegen ein eher kleiner Wert des Maximums auf eine weniger gute übereinstimmung und damit eine gewisse Unsicherheit hindeutet.

Falls die Suche für ein Suchmuster Sj^degr das aus dem Merkmalsvektor M- j , deg gewonnen wurde, nicht erfolgreich ist, d.h. beispielsweise der Betrag des Maximums der Kreuzkorrelationsfunktion KKF(M j , ref , S jf]Cfc i egf λ) für Merkmal j zu gering ist, dann wird gemäß einem Ausführungsbeispiel der vorliegenden Erfindung die Suche erneut für ein weiteres Merkmal j' wiederholt, sofern jede Untereinheit i durch eine Mehrzahl von Merkmalen charakterisiert wurde. Es wird also Sj',k,deg in Mj' rCef gesucht.

Gemäß weiteren Ausführungsbeispielen der vorliegenden Erfindung kann natürlich auch das Suchmuster 510 aus dem Merkmalsvektor Mj, re f des Referenzsignals gebildet werden, d.h. S-j /k/ref , und in dem Merkmalsvektor M-j, deg des gestörten Signals s deg (t) gesucht werden.

Gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung kann die Merkmalsextraktionseinrichtung 120 ein Merkmal aus einer Mehrzahl von Merkmalen extrahieren, so dass das Merkmal Merkmalseigenschaften aufweist, die im Vergleich zu Merkmalseigenschaften anderer Merkmale auf einen erhöhten Sucherfolg bei der Suche nach einem Suchmuster S j ,] c , xxx aus einem des ersten und zweiten Merkmalsverlaufs bzw. Merkmalsvektors Mj, xxx des Merkmals hinweisen. Dazu kann die Merkmalsextraktionseinrichtung 120 angepasst sein, um als Merkmalseigenschaft beispielsweise ein Streuungsmaß des Merkmals M j/KXX bzw. des Merkmalsvektors M j/XXX zu bestimmen. Gängige Beispiele für Streuungsmaße sind dabei z.B. die Varianz oder die Standardabweichung, wobei auch andere Streuungsmaße denkbar sind.

Weist ein Merkmalsverlauf bzw. Merkmalsvektor M j/XXX eine vergleichsweise hohe Streubreite um seinen Mittelwert auf,

so kann dies als Indiz dafür gesehen werden, das eine Suche für ein Suchmuster S j ,) c , xxx , das aus dem Merkmalsvektor M j , xxx gewonnen wurde, mit erhöhter Wahrscheinlichkeit erfolgreicher verlaufen wird als eine Suche nach einem Suchmuster S' j , k , xxx , das aus einem anderen Merkmalsvektor M' j , xxx gewonnen wurde, der eine geringere Streubreite um seinen Mittelwert aufweist.

Durch das Hinzuziehen von mehreren Merkmalen zur Bestimmung von Informationen zur zeitlichen Ausrichtung des ersten Informationssignals und des zweiten Informationssignals können die Informationen zur zeitlichen Ausrichtung effizient und zügig bestimmt werden. Dabei kann die Wahrscheinlichkeit, ein Ergebnis zu erhalten, gegenüber der Verwen- düng nur eines vorbestimmten Merkmals zur Bestimmung der Informationen zur zeitlichen Ausrichtung deutlich erhöht werden.

Beispielsweise könnte eine Suche nach einem Suchmuster S-), k+ i, deg derart erfolgen, dass die Suche für dasjenige Merkmal j gestartet wird, für das die Suche nachdem zeitlich vorhergehenden Suchmuster S j ^.d eg erfolgreich war bzw. die höchsten Korrelationswerte geliefert hat. Dabei geht man davon aus, dass sich zwischen zwei zeitlich aufeinander folgenden Suchmustern bzw. Vergleichszeiträumen Sj, k , xxx , Sj,k+i,xxx die statistischen Merkmalseigenschaften eines Merkmals j wenig bis gar nicht ändern und das Merkmal j seine Aussagekraft bzw. Sucherfolgswahrscheinlichkeit beibehält. Bei der Betrachtung von weiter auseinander liegenden Vergleichszeiträumen Sj,k,xxx, Sj, k+δk , xxx ist diese Annahme unter Umständen nicht mehr gerechtfertigt, so dass sich Merkmale, die die besten Sucherfolge versprechen, abhängig vom Zeitindex k des Vergleichszeitraums ändern können.

Allgemein bedeutet das, dass für aufeinander folgende Suchmuster bzw. Vergleichszeiträume auch unterschiedliche

Merkmale zur Gewinnung eines Merkmalsverlaufs verwendet werden können

Wie im Vorhergehenden bereits erwähnt wurde, dient das Verfahren zum Bestimmen von Informationen zur zeitlichen Ausrichtung eines ersten Informationssignals und eines zweiten Informationssignals gemäß Ausfuhrungsbeispielen der vorliegenden Erfindung für eine zeitliche Grobsuche, wobei die zeitliche Auflosung von der Lange L der Suchmuster S 3 ,) c XX abhangt. Für eine feinere zeitliche Ausrichtung innerhalb der Lange L des Suchmusters S-,, K)XXX können beispielsweise herkömmliche Methoden wie z.B. Block-Matching- Algorithmen oder Phasen-Korrelation mit vertretbarem Aufwand eingesetzt werden.

Wurde nach dem erfindungsgemaßen Konzept eine zeitliche Ausrichtung samtlicher Suchmuster bzw. Vergleichszeitfenster S-], k , xxx zwischen dem gestörten und dem ungestörten Signal durchgeführt, stehen als Ergebnis Informationen zur Verfugung, die benotigt werden, um die zeitliche Struktur des übertragenen bzw. gestörten Signals S de g(t) wieder an die Struktur des originalen bzw. ungestörten Signals s ref (t) anzupassen. Als Nebeneffekt kann diese zeitliche Information gemäß Ausfuhrungsbeispielen der vorliegenden Erfindung auch zur Beurteilung der Ubertragungsqualitat eingesetzt werden. Wird durch das erfindungsgemaße Verfahren nämlich festgestellt, dass das übertragene bzw. gestörte Signal Sdeς(t) nur wenig verzögert ist oder wenige Fehlstellen aufweist, so kann in diesem Fall davon ausgegangen werden, dass eine Ubertragungsqualitat relativ gut war. Weist ein übertragenes Signal s deg (t) hingegen eine große Verzoge- rungszeit auf oder fehlen entsprechend viele Signalfragmente, d.h. treten viele Diskontinuitäten auf, so deutet dies auf eine relativ schlechte Ubertragungsqualitat hm.

Zusammenfassend zeigt Fig. 6 schematisch ein Flussdiagramm eines Verfahrens zum Bestimmen von Informationen zur zeitlichen Ausrichtung eines ersten Informationssignais und

eines zweiten Informationssignals, welches gemäß einem Ausführungsbeispiel der vorliegenden Erfindung in der Vorrichtung 110 zum Bestimmen von Informationen abläuft.

Das in Fig. 6 dargestellte Flussdiagramm umfasst einen ersten Schritt Sl, einen darauf folgenden Schritt S2, einen weiteren Schritt S3, einen Schritt S4 und einen optionalen Schritt S5.

Bei dem gezeigten Verfahren zum Bestimmen von Informationen zur zeitlichen Ausrichtung wird gemäß einem Ausführungsbeispiel der vorliegenden Erfindung in dem ersten Schritt Sl das erste und das zweite Informationssignal bzw. das gestörte s deg (t) und das ungestörte Informationssignal s ref (t) jeweils in Untereinheiten Ui, xxx unterteilt, wobei die Untereinheiten Abtastzeitpunkten i oder Teilfolgen i von Abtastzeitpunkten entsprechen.

In dem zweiten Schritt S2 wird jede Untereinheit Ui, xxκ durch wenigstens ein Merkmal Mi,j /XXX charakterisiert. Jeder Untereinheit Ui, xxx des ersten und des zweiten Informationssignals wird also ein Merkmal oder eine Mehrzahl von j Merkmalen zugeordnet. Dabei werden die resultierenden Merkmalssätze in Merkmalsvektoren M i/XXX bzw. M j , xxx zusammen- gefasst. Ein Merkmalsvektor Mj, xxx umfasst also beispielsweise jeweils ein charakteristisches Merkmal j für sämtliche Untereinheiten Ui, xxx des ersten bzw. des zweiten Informationssignals .

In dem dritten Schritt S3 wird nun ein Merkmalsvektor M j , xxx bzw. die Mehrzahl von Merkmalsvektoren M xxx zu wenigstens einem der beiden Informationssignale in Suchmuster bzw. Vergleichszeitfenster S jr)c , xxx aufgeteilt. Dabei umfasst ein Vergleichszeitfenster S j)k , xxx beispielsweise mehrere Abtast- Zeitpunkte i bzw. Teilfolgen i von Abtastzeitpunkten.

In dem darauf folgenden Schritt S4 werden die einzelnen Suchmuster S j , k , xxx des einen Informationssignals dann in dem

entsprechenden Merkmalsvektor Mj, XX χ des anderen Informationssignals gesucht, um eine Information zur zeitlichen Ausrichtung basierend auf ähnlichkeiten zwischen dem ersten und dem zweiten Merkmalsverlauf zu erhalten. Dazu kann beispielsweise eine Kreuzkorrelationsfunktion zwischen den beiden Merkmalsverläufen verwendet werden, wie im Vorhergehenden bereits beschrieben wurde.

Nachdem Schritt S4 eine Information zur zeitlichen Ausrich- tung basierend auf ähnlichkeiten zwischen dem ersten S j ,i c , xxx und dem zweiten Merkmalsverlauf Mj, xxx geliefert hat, kann in einem optionalen Schritt S5 diese zeitliche Information genutzt werden, um die beiden Informationssignale weiter, d.h. detaillierter, zeitlich aneinander auszurichten. Dies kann dann beispielsweise mittels herkömmlicher Verfahren wie z. B. Block-Matching oder Phasen-Korrelation geschehen, dann jedoch mit dem Vorteil, dass die Ausrichtung detaillierter lediglich innerhalb eines Verschiebebereiches zwischen dem Suchmuster bzw. dem Merkmalsverlauf des ersten bzw. zweiten Informationssignals entsprechenden Teil des ersten und zweiten Informationssignals durchgeführt werden muss, der in einem vorbestimmten Bereich um den in Schritt S4 erhaltenen Verschiebewert λ liegt. Die detaillierte Ausrichtung in Schritt S5 basiert dabei beispielsweise auf Auffinden von ähnlichkeiten zwischen den Informationswerten der beiden zueinander auszurichtenden Informationssignale, wie z.B. den Pixelwerten der jeweiligen Bilder, oder zumindest einem Teil der Informationswerte pro Untereinheit Ui, X χχ, wie z. B. einem Frame, wobei der Teil dann vorzugs- weise ein größeres Datenvolumen einnimmt als der Merkmalswert Mi, j , XX χ pro Untereinheit Ui, xxx . Beispielsweise wird die Fehlerquadratsumme zwischen den Videosequenzen der Suchmuster bzw. des Merkmalsverlaufs für bildweise Verschiebungen um den groben Verschiebewert λ aus dem Schritt S4 heraus bestimmt, und der feinere Verschiebewert als derjenige Wert bestimmt, der zu dem geringsten Fehlerquadrat führt. Dabei kann der grobe Verschiebewert λ beispielsweise eine Granu- larität von zwei Frames, entsprechend Untereinheiten Ui, xxx

und Merkmalen Mi, j , xxx aus zwei Frames, aufweisen, wohingegen der feinere Verschiebewert beispielsweise eine Granularität von einem Frame aufweist.

Gemäß weiteren Ausführungsformen der vorliegenden Erfindung können in dem in Fig. 6 schematisch gezeigten Verfahren auch einzelne Schritte entfallen bzw. optional sein. Beispielsweise ist Schritt Sl dann optional, wenn sich eine Einteilung in Untereinheiten U 1/XXX schon inhärent aus der Signalstruktur von Sd e g(t) bzw. s ref (t) ergibt, wie es beispielsweise bei Videosequenzen der Fall sein kann, wo den Untereinheiten Uj . , xxx jeweils einzelne Frames bzw. Bilder entsprechen. Auch Schritt S3 kann gemäß Ausführungsformen der vorliegenden Erfindung wegfallen, wenn beispielsweise die Merkmalsvektoren M D/deg und M-, /re£ direkt miteinander korreliert werden, um eine zeitliche Verschiebung λ zwischen Mj, deg und M j , r e f festzustellen, bzw. M j(deg und M j , ref iterativ geteilt werden, um geeignete Suchmuster S- | , k , xxx zu erhalten, wie es im Vorhergehenden bereits beschrieben wurde.

Das erfindungsgemäße Konzept kann also eingesetzt werden, um eine Suche nach ähnlichen Abschnitten aus einem gestörten s d eg(t) und einem ungestörten Datenstrom s ref (t) in zwei Phasen aufzuteilen. In der ersten Phase, einer Grobsuche, werden nicht die Datenströme selbst untersucht, sondern vielmehr aus den Datenströmen gewonnene Merkmale Mi, j/XXX . Durch die damit verbundene Komplexitätsreduktion lässt sich ein großer Vorteil bei der notwendigen Rechenzeit erzielen. Die Zuverlässigkeit lässt sich zudem weiter steigern, indem nicht nur ein Merkmal verwendet wird, sondern vielmehr eine Mehrzahl von Merkmalen und indem für jeden Abschnitt das jeweils geeignetste Merkmal ausgewählt wird. Nachdem auf diese Weise der Suchbereich deutlich eingeschränkt werden kann, kann dann in der zweiten Phase eine Feinsuche erfolgen, bei der herkömmliche Verfahren wie z.B. Block-Matching oder Phasenkorrelation verwendet werden können. Da der

Suchbereich in der zweiten Phase jetzt jedoch klein ist, ist die benötigte Rechenzeit dafür weniger kritisch.

Lediglich vorsichtshalber wird darauf hingewiesen, dass die vorhergehenden Ausführungsbeispiele lediglich des einfacheren Verständnisses halber von einem ungestörten Referenzsignal s ref (t) und einem gestörten Signal s deg (t) als zueinander auszurichtende Signale ausgingen. Die Ausrichtung zweier gestörter oder zweier ungestörter Informationssigna- Ie ist aber ebenfalls möglich. Ferner können, wie im vorhergehenden bereits erwähnt, verschiedene Merkmale zur Verwendung bei der Grobausrichtung herangezogen werden, wie z.B. die (Band) Energie in dem Fall eines Audiosignals und die Helligkeit, die Farbe, der Kontrast oder Kanteninforma- tionen, d.h. Informationen über den hochfrequenten Anteil des Bildes, in dem Fall eines Videosignals. Diese Merkmale können in dem Fall eines Videosignals über den gesamten Bildbereich hinweg gewonnen werden oder nur über einen oder mehrere Ausschnitte hinweg, wobei sich wiederum in dem Fall der ausschnittweisen Gewinnung und der Extraktion mehrerer Merkmale die Extraktionsausschnitte verschiedener Merkmale unterschiedlich sein können. Ferner bildeten die in dem Zusammenhang mit der Grobausrichtung genannten Möglichkeiten für ein ähnlichkeitsmaß, nämlich die Kreuzkorrelation und der RMSE, nur exemplarische Beispiele für die ähnlichkeitssuche und es existieren natürlich andere Möglichkeiten, wie z.B. SDA- (squared absolute difference) Methoden. ähnliches gilt für die Feinausrichtung. Die in dem Zusammenhang mit der Feinausrichtung genannten Möglichkeiten für ein ähnlichkeitsmaß, nämlich das Block-Matching und die Phasenkorrelation, stellen ebenfalls nur exemplarische Beispiele neben anderen Möglichkeiten dar, wie z.B. SDA- (squared absolute difference) Methoden. Ferner wird lediglich vorsichtshalber darauf hingewiesen, dass unter dem Begriff „Audiosignal" alle Signale verstanden werden sollen, die akustische Informationen betreffen, also nicht nur Musikstücke sondern ferner auch Sprachsingale.

Gemäß Ausführungsbeispielen der vorliegenden Erfindung ist die Zielsetzung der vorliegenden Erfindung, nicht aus einem beliebigen Signal eine genau definierte zeitliche Struktur zu erzeugen, sondern es geht vielmehr darum, die zeitliche Struktur eines gestörten Signals s deg (t) an die Struktur eines originalen, ungestörten Signals s re f(t) anzupassen, also quasi den originalen Zustand wiederherzustellen. In der Technik sind hierzu Verfahren bekannt, die allesamt großen Einschränkungen unterworfen sind, da sie entweder in Gegenwart von starken Störungen versagen oder nur auf bestimmte Signale angewandt werden können. Hinzu kommt, dass bei bekannten Verfahren der Rechenaufwand prohibitiv hoch ist. Der fundamentale Unterschied zwischen bekannten und dem erfindungsgemäßen Konzept ist der übergang von einer Analyse der eigentlichen Signalinformationen (große Datenmenge) zu einer Analyse von Metainformationen (Merkmalsvektoren, geringe Datenmenge) . Mit der dadurch verbundenen Reduktion des Rechenaufwandes geht auch eine Steigerung der Genauigkeit einher, da die Metainformationen wesentlich spezifischer an die Aufgabenstellung angepasst werden können, als dies ein direkter Vergleich zweier Informationsblöcke erlaubt.

Anders ausgedrückt schaffen die Ausführungsbeispiele also ein Verfahren, welches geeignet ist zur Zuordnung von ähnlichen Abschnitten zweier oder mehrerer Informationsströme, selbst bei diskontinuierlichem Verlauf der Informationsströme. Die Informationsströme werden in Abschnitte unterteilt, wobei jeder Abschnitt durch eines oder mehrere Merkmale beschrieben werden kann. Dies bedingt eine Reduktion der Information, die zur späteren Analyse notwendig ist. Die Abschnitte des einen Informationsstroms werden in dem nicht unterteilten Merkmalsvektor des anderen Informationsstroms mit Hilfe einer ähnlichkeitsanalyse zur Grobsu- che gesucht. Dabei kann eines oder mehrere Merkmale zur Suche eingesetzt werden. Alternativ dazu kann gemäß einem Ausführungsbeispiel der vorliegenden Erfindung eine Aufteilung auch für beide Merkmalsvektoren beider Informations-

ströme in Abschnitte erfolgen. Wurde mit der ähnlichkeitsanalyse der Merkmalsvektoren eine zeitliche Zuordnung der beiden Informationsströme erzielt, können herkömmliche Methoden zur Feinsuche bzw. zur feinen zeitliche Zuordnung der Informationsströme herangezogen werden.

Gemäß Ausführungsbeispielen der vorliegenden Erfindung kann die Information über die Veränderung der zeitlichen Zuordnung durch die übertragung zur Beurteilung der Qualität der übertragung angewendet werden. Hervorzuheben ist dabei, dass das erfindungsgemäße Konzept unabhängig von der Art der Information ist. Die Suche nach ähnlichen Datenstromab- schnitten erfolgt nicht anhand der Daten selbst, sondern über die Analyse von aus den Daten gewonnenen Metainforma- tionen bzw. Merkmalen.

Abhängig von den Gegebenheiten kann das erfindungsgemäße Verfahren zum Bestimmen der Informationen zur zeitlichen Ausrichtung eines ersten Informationssignals und eines zweiten Informationssignals in Hardware oder in Software implementiert werden. Die Implementierung kann auf einem digitalen Speichermedium, insbesondere einer Diskette oder CD mit elektronisch auslesbaren Steuersignalen erfolgen, die so mit einem programmierbaren Computersystem zusammen- wirken können, dass das Verfahren ausgeführt wird. Allgemein besteht die Erfindung somit auch in einem Computer- Programm-Produkt mit einem auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des erfindungsgemäßen Verfahrens, wenn das Computer-Programm- Produkt auf einem Rechner abläuft. In anderen Worten ausgedrückt kann die Erfindung somit als ein Computer-Programm mit einem Programmcode zur Durchführung des Verfahrens zum Bestimmen von Informationen zur zeitlichen Ausrichtung eines ersten Informationssignals und eines zweiten Informa- tionssignals realisiert werden, wenn das Computer-Programm auf einem Computer abläuft.