Die vorliegende Erfindung betrifft ein Verfahren zur Daten- kompression für Video-Übertragungen nach dem Oberbegriff des Patentanspruches 1.

Solche Verfahren sind bekannt aus JP 10304355 (Dl) und US 6,091,767 (D2) . Dl bildet den nächstliegenden Stand der Technik. D2 beschreibt ein Verfahren, bei dem Informationen über den Betrachter eines Videobildes, z.B. seine relative Position zum Bildschirm und den Bereich des Bildes, den er betrachtet, an den Encoder gesendet werden. Der Encoder passt aufgrund dieser Informationen das Codierungsverfahren an. So kann ein Betrachter, der sich weit vom Bildschirm entfernt befindet, keine feinen Details mehr erkennen; also müssen diese auch nicht übertragen werden. Der gleiche Effekt tritt auf, wenn der Benutzer vor einem LCD-Display mit engem Betrachtungswinkel das Bild zu sehr von einer seitlichen Position anstatt senkrecht vor dem Display betrachtet. In Dl wird die Position auf dem Bildschirm bestimmt, welchen der Betrachter beobachtet, und die Kompression wird darauf abgestimmt. Die Kompression wird mit zunehmendem Abstand zum beobachteten Punkt erhöht. Dabei wird jedoch nicht auf die physiologischen Eigenschaften des menschlichen Auges Rück- sieht genommen.

Die Aufgabe der Erfindung ist es, die Kompressionsrate im Vergleich zu verbreiteten Verfahren weiter zu erhöhen, ohne dass der Betrachter eine Verschlechterung der Bildqualität wahrnimmt . Die Lösung der Aufgabe ist wiedergegeben im kennzeichnenden Teil des Patentanspruches 1 hinsichtlich ihrer wesentlichen Merkmale, sowie in den abhängigen Ansprüchen hinsichtlich weiterer vorteilhafter Merkmale. Anhand der Figuren wird das Verfahren näher erläutert.

Es zeigen :

Fig. 1: Eine schematische Darstellung der Anordnung, Fig. 2: Ein Diagramm Sehschärfe und Bildauflösung, Fig. 3: Eine schematische Darstellung der Anordnung für ein modifiziertes Verfahren.

Das vorliegende Verfahren basiert auf den physiologischen Eigenschaften des menschlichen Auges:

Auf der Netzhaut (Retina) nimmt die Dichte der Photorezeptoren (Sehzellen) und damit auch die Sehschärfe rapide mit steigendem Sehwinkel ab. Der Sehwinkel ist der Winkel zwischen einem Bildpunkt und dem optischen Zentrum der Retina, der Fovea. Die ausgezogene Linie in Figur 2 zeigt den Zusammenhang zwischen Sehwinkel Δφ und relativer Sehschärfe S. Das höchste Auflösungsvermögen des Auges entspricht etwa 1 ' (1 Bogenminute = 1/60°). Der Bereich, der hochauflösend er- fasst wird, ist sehr klein: Er beschränkt sich auf einen Blickwinkel von etwa 0,1°, was bei einem Betrachtungsabstand von 50 cm einer kreisförmigen Fläche von 0.6 mm ² entspricht. Dieser Bereich wird vom Auge durch sequentielles Variieren der Blickrichtung um jeweils etwa 0.02° abgetastet. Bereits in einem Abstand vom Zentrum der Fovea von 2,5° ist die Auflösung des Auges nur noch etwa halb so gross. Bis zu diesem Abstand, was bei 50 cm Betrachtungsabstand einer Fläche mit einem Durchmesser von ca. 43 mm entspricht, wird der Bereich noch als scharf empfunden. Im hochauflösenden Bereich werden Veränderungen nur langsam erfasst, das erwähnte Abtasten erfolgt etwa fünf mal in der Sekunde. In den Randbereichen der Retina wird ein Bild zwar relativ unscharf abgebildet, es werden aber sehr schnelle Änderungen (ca. 50 Hz) wahrgenom- men.

Für das erfindungsgemässe Verfahren wird der Schnittpunkt der mit der Ziffer 8 bezeichneten Augachsen eines Betrachters 1 auf einem betrachteten Bildschirm 3 bestimmt. Dieser Schnitt-

punkt wird Fixpunkt 9 genannt und bezeichnet den Punkt auf dem Bildschirm, den der Benutzer 1 fixiert.

Die Bitrate hängt quadratisch von der Auflösung eines Bildes ab. Um eine hohe Kompression erreichen zu können, soll die Auflösung eines Bildes möglichst stark verringert werden, ohne dass ein Benutzer eine Qualitätsminderung feststellen kann. Dies wird erreicht, indem nicht für das gesamte Bild die gleiche Kompressionsrate verwendet wird, sondern die Kompression an das Auflösungsvermögen des Auges angepasst wird. Die Auflösung des Bildes wird in gleichem Masse mit zunehmendem Abstand vom Fixpunkt reduziert, wie die Sehschärfe S des Auges abnimmt (Die gestrichelte Linie in Figur 2 stellt die relative Auflösung des Bildes im Verhältnis zum Abstand vom Fixpunkt 9 dar) . Auf diese Weise können vom Fixpunkt 9 ent- fernte Bereiche immer unschärfer dargestellt werden, je weiter sie vom Fixpunkt 9 entfernt liegen, ohne dass der Betrachter 1 dies wahrnimmt. Durch die Anpassung der Zunahme der Kompressionsrate an die Sehschärfe S und weitere im Folgenden beschriebenen Massnahmen zur Optimierung des Verfah- rens bezüglich der Eigenschaften des menschlichen Sehens wird die gesamte Kompression im Vergleich zu dem in Dl geschilderten Verfahren weiter erhöht. Durch die optimale Anpassung an das menschliche Auge kann dies erfolgen, ohne dass der Betrachter eine Verschlechterung der Bildqualität wahrnimmt. Die Datenmenge und entsprechend die für eine Übertragung benötigte Bandbreite kann so drastisch reduziert werden. Da das Auge in den Randbereichen schnelle Veränderungen wahrnehmen kann, ist eine hohe Bildrate (mindestens 50 Hz) notwendig, um ein einigermassen flackerfreies Bild zu erhalten. Diese Rate kann im Empfängergerät durch rechnerische Interpolation in mehreren (z.B. 10) Schritten zwischen zwei Bildübertragungen erreicht werden. Es ist auf diese Weise nicht notwendig, 50 Bilder pro Sekunde zu übertragen; die Übertragungsrate kann

so weiter um beispielsweise einen Faktor 10 reduziert werden. Durch die genaue Bestimmung des Fixpunktes 9 (nach bekannten Verfahren) , die eine präzisere Methode darstellt, als die sensorische Ermittlung der Position oder der Bewegung des Be- trachters 1, sowie eine Fixpunkt-Nachführung auf dem Bildschirm, die weniger als 0,2 Sekunden beansprucht (also schneller erfolgt als das Auge abtasten kann) , kann der benötigte hochauflösende Bereich sehr klein gehalten werden, was die Bitrate weiter verringert. Bereiche des Bildes, die sich im Vergleich zum vorherigen Bild nicht oder nur sehr wenig verändern, müssen nicht erneut übertragen werden; das Reduzieren von redundanten Daten als bekanntes Verfahren kann mit dem erfindungsgemässen Verfahren kombiniert werden. Eine Bildstabilisierungssoftware wie sie in Videokameras häufig eingesetzt wird, kann auch in der erfindungsgemässen Anordnung eingesetzt werden: Auf diese Weise wird erreicht, dass das Bild ruhiger erscheint und dadurch Veränderungen des Bildes, die durch leichte Kamerabewegungen entstanden sind, eliminiert werden. Ein erneutes Übertragen des Bildes aufgrund dieser Veränderungen entfällt, was einer weiteren Datenreduktion entspricht.

Für das Lesen von Text ist es vorteilhaft, einen ellipsenför- migen Bereich (längste Achse in Leserichtung) anstatt eines kreisförmigen scharf zu übermitteln. Wenn der scharf dargestellte Bereich auf dem Bildschirm 3 etwas neben dem Fixpunkt 9 liegt (durch Mess- oder Rechenfehler) , folgt das Auge 7 dem scharfen Bereich, welcher ständig in die Richtung des Fehlervektors wegdriftet, springt aber immer wieder zum anfänglichen Fixpunkt 9 zurück. Durch das Detektieren dieser spezifischen Augenbewegung kann eine Drift laufend ermittelt und korrigiert werden (adaptive Servo- Regelung) , was es ebenfalls ermöglicht, den scharfen Bereich optimal klein zu halten.

Zwei Personen,. Betrachter A 1 und Betrachter B 1' führen ein bilaterales Video-Telefonie-Gespräch. Die Augachsen 8 des einen Betrachters A 1 schneiden sich im Fixpunkt 9 auf dem Bildschirm 3, auf den er blickt. Eine oder mehrere Kameras 2 nehmen das Bild des Betrachters A 1 mit voller Bandbreite auf. Ein angeschlossener Computer 6 berechnet die kartesi- schen Koordinaten des Fixpunktes 9 des Betrachters A 1 auf dem Bildschirm 3 anhand der im Bild enthaltenen Informationen (oder nach einem anderen bekannten Verfahren) , und übermit- telt diese über einen Sender 4 an den Empfänger 5' des Betrachters B 1'. Der Computer 6' des Betrachters B 1' komprimiert den für Betrachter A 1 bestimmten Bildinhalt digital. Dabei wird die Kompressionsrate dem Auflösungsvermögen des Auges angepasst, das heisst, das Bild wird mit zunehmendem Abstand Δφ vom Fixpunkt 9 immer stärker komprimiert (Figur 2: die gepunktete Linie entspricht der relativen Auflösung). Die so komprimierten Bilder werden an Betrachter A 1 übermittelt und auf seinem Bildschirm 3, da die Kompression auf seinen Fixpunkt 9 bezogen erfolgte, perfekt auf ihn abgestimmt dargestellt. Umgekehrt liefert der Computer 6' von Benutzer B 1' gleichzeitig die Fixpunktkoordinaten für die selektive Komprimierung des Video-Signals, das dieser erhalten soll. Zusätzlich zu den Koordinaten des Fixpunktes können weitere Daten über den Empfänger der Bilder respektive dessen Geräte mit übertragen werden. Verwendet beispielsweise Betrachter B 1 ^Λ einen Bildschirm 3 ^λ mit geringerer Auflösung als der eines Computerbildschirms, wie ein Handydisplay oder ein Handheld, so kann die Auflösung des übertragenen Bildes darauf abgestimmt werden. Die Einrichtungen beider Benutzer sind äquiva- lent; die Kompression funktioniert für bilaterale Kommunikation optimal: Ein dritter Betrachter (ohne eigenen Bildschirm mit Kamera) mit einem anderen Fixpunkt nimmt das Bild mit der unscharfen Umgebung wahr. Die Bestimmung des Fixpunktes 9

muss nicht unbedingt (aber kann) aus dem Bild der Kamera 2 erfolgen, die die Bilder aufnimmt, die übertragen werden sollen. Erfindungsgemäss ist auch die Verwendung anderer Systeme, beispielsweise zusätzlicher Kameras oder Lasermessung zur Bestimmung des Fixpunktes 9.

Fig. 3 zeigt eine modifizierte Anordnung für das Verfahren bei mehr als zwei Teilnehmern. Bedingung für ein einwandfreies Funktionieren des Verfahrens ist, dass jeder Teilnehmer einen eigenen Bildschirm mit Kamera verwendet. Führen bei- spielsweise drei Betrachter A IIa, B IIb, und C 11c eine Konferenz, so wird der Bildschirm 13 jedes Betrachters 11 zweigeteilt und darauf die Bilder der jeweils anderen beiden Betrachter 11 in je einer Bildschirmhälfte dargestellt (Dargestellt in Fig. 3 auf dem Bildschirm 13a des Betrachters A IIa) . Die Koordinaten des Fixpunkts 19a des Betrachters A werden an die Empfänger 15b, 15c der anderen Teilnehmer übertragen. Fixiert der Betrachter A IIa einen Teil des Bildes des Betrachters B IIb, so wird dieses mit der beschriebenen Methode komprimiert und das Bild von Betrachter C 11c, das in diesem Moment nicht betrachtet wird, unscharf übertragen. Gegebenenfalls kann der Betrachter C 11c, dessen Bild gerade nicht betrachtet wird, auf seinem Bildschirm eine entsprechende Information erhalten. Jeder Betrachter 11 erhält ein auf ihn abgestimmtes Bild. Dies bedingt, dass der Computer lβa eines Teilnehmers A IIa über genügend Rechenleistung verfügen muss, um ein Bild für die anderen Betrachter B IIb und C llc nach den jeweiligen Fixpunkten 19b und 19c separat zu berechnen. Diese Bedingung gilt für die Computer der anderen Betrachter analog. Das oben beschriebene fixpunktadaptive Verfahren kann anderen Kompressionsverfahren überlagert werden. Beispielsweise kann ein veränderungsabhängiges Kompressionsverfahren (~100-fach) mit einem vektoriellen Gegenstand- serkennungs-Kompressionsverfahren (~20-fach) und dem fixpunk-

tadaptiven Kompressionsverfahren (>10-fach) kombiniert werden. So kann ein Fernsehbild, welches unkomprimiert 6 MHz Bandbreite benötigt, mit lediglich ~300 Hz Bandbreite übertragen werden (6000 kHz / 100 / 20 / 10 = 0.3 kHz). Bei der Verwendung eines veränderungsabhängigen Kompressionsverfahrens werden nur Bildteile übermittelt, die sich im Vergleich zum letzten Bild verändert haben. Bereiche, die einmal scharf übertragen und dargestellt wurden, können scharf bleiben, auch wenn der Betrachter 1 diese nicht mehr fixiert. Mit der Zeit werden so grossere Bereiche scharf dargestellt. Erst wenn eine erneute Übertragung eines Bereiches nötig wird, weil sich in diesem etwas wesentlich verändert hat, wird dieser, wenn er nicht gerade fixiert wird, wieder unscharf übertragen und dargestellt. Alternativ zur Verwendung eines Computerbildschirms mit Kamera können andere Systeme mit analogem Funktionsumfang verwendet werden, beispielsweise ein Handy mit eingebauter Kamera oder ein Headset. Die Verwendung eines Headsets eröffnet eine weitere interessante Möglichkeit, die bei der Verwendung ei- nes gewöhnlichen Bildschirmes viel mehr Aufwand erfordert: Bilder können so übertragen werden, dass beim Betrachter der Eindruck eines dreidimensionalen Bildes mit grossem Detailreichtum entsteht. Dies kann beispielsweise dadurch erreicht werden, dass zwei Displays 3 (oder ein zweigeteiltes Display 3) verwendet werden, die ähnlich wie Brillengläser angeordnet sind. Wird in einem Display 3 ein im Vergleich zum anderen leicht parallel verschobener Bildausschnitt dargestellt, entsteht durch die Art, wie das Menschliche Gehirn Bilder verarbeitet, der Eindruck einer dreidimensionalen Umgebung. Um ein möglichst realistisches dreidimensionales Bild zu erhalten, werden die beiden Bildausschnitte vorzugsweise von zwei, ungefähr mit Augenabstand (ca. 10cm) nebeneinander aufgestellten Kameras 2 aufgenommen. Eine Kamera 2 nimmt das Bild für

das linke Auge 7 (das auf dem linken Display 3 dargestellt wird) auf,- die andere das Bild für das rechte Auge 7. Durch den leicht unterschiedlichen Betrachtungswinkel der beiden Kameras 2, der dem menschlichen Sehen nachempfunden ist, ent- steht beim Zusammenfügen der beiden Bilder im Hirn des Betrachters 1 ein besonders realistischer, dreidimensionaler Eindruck. Die Darstellung kann auch auf andere Weise als auf zwei Displays erfolgen, Methoden zur Erzeugung von dreidimensionalen Eindrücken aus Bildern sind bekannt. Meist sind die- se jedoch mit Nachteilen wie erhöhtem technischem Aufwand und damit höheren Kosten oder Einbussen in der Bildqualität verbunden. Die oben beschriebene Anordnung mit einem Headset stellt eine verhältnismässig einfach zu realisierende Möglichkeit dar, andere technische Möglichkeiten sollen jedoch nicht ausgeschlossen werden. Dies gilt auch für die Aufnahme der entsprechenden Bilder: Der Effekt, dass aus zwei leicht unterschiedlichen Bildern der Eindruck einer dreidimensionalen Gestalt entsteht, kann technisch auch anders als mit zwei nebeneinander platzierten Kameras erzeugt werden, beispiels- weise durch den Einsatz von (beweglichen) Prismen oder Spiegeln. Wird der Abstand der Kameras erhöht, kann der Eindruck von mehr Tiefe erzeugt werden.

Die Verzerrung des Bildes des Gesichts, die entsteht, wenn eine Kamera 2 auf dem Headset nahe am Gesicht angebracht ist, kann softwaremässig oder auch optisch korrigiert werden. Die Kamera 2 oder die Kameras 2 müssen aber nicht auf dem Headset befestigt werden. Eine feststehende Kamera 2 etwas vom Benutzer 1 entfernt hat den Vorteil, dass auf dem Bild ein mehr oder weniger konstanter Hintergrund zu sehen ist, was die Kompression vereinfacht. Ausserdem entfällt die genannte Verzerrung des Bildes ganz oder ist zumindest weniger stark. Bei einer solchen Konfiguration ist es vorteilhaft, wie oben beschrieben, nicht die selben Kameras 2 für die Aufnahme der zu

übertragenden Bilder und für die Bestimmung des Fixpunktes 9 zu verwenden. Werden die Kameras oder die Kamera für die Bestimmung des Fixpunktes auf dem Headset angebracht, haben sie freie Sicht auf die Augen 7 des Betrachters 1. Sie können die Position der Pupillen und der Augachsen 8 aufnehmen, wodurch der Fixpunkt 9 auf den Displays 3 berechnet werden kann. Für die Bestimmung des Fixpunktes 9 können, wie bereits erwähnt, auch andere Methoden, wie die Messung der Positionen der Augachsen 8 mittels Laser, verwendet werden. Die etwas weiter entfernt angebrachte Kamera 2 liefert ein unverzerrtes Bild des Betrachters 1 mit dem Headset.

Werden für das erfindungsgemässe Verfahren fernsteuerbare Kameras 2 verwendet, kann sich ein Betrachter A 1, indem er die Kamera 2 bei seinem Video-Gesprächspartner B 1 ^Λ bewegt oder den Zoom verändert, auch in dessen Umgebung umschauen. So kann beispielsweise die Kamera auf ein Dokument gerichtet werden, das Betrachter B l ^λ Betrachter A 1 zeigen möchte, ohne dass Betrachter B 1 ^Λ dieses aufwändig und unbequem vor die Kamera 2 halten muss. Die Steuerung kann über die Erfassung des Fixpunktes 9 erfolgen, beispielsweise so, dass die Kamera 2 zu schwenken beginnt, wenn dieser Fixpunkt 9 eine gewisse Zeit am Rand des Bildes liegt, oder, wie von zahlreichen Webcams bekannt, über den Computer des Betrachters 1. Diese Möglichkeit stellt eine zusätzliche komfortable Option des er- findungsgemässen Verfahrens dar.