Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD AND DEVICE FOR TRANSFORMING AN IMAGE BLOCK CONSISTING OF BLOCK PIXELS
Document Type and Number:
WIPO Patent Application WO/2001/033827
Kind Code:
A2
Abstract:
The invention relates to a method and a device for transforming an image block comprising block pixels disposed in a predefined figure, whereby block pixels are transformed into said predefined figure by using of an invertable image.

Inventors:
RIEGEL THOMAS (DE)
Application Number:
PCT/DE2000/003752
Publication Date:
May 10, 2001
Filing Date:
October 24, 2000
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
SIEMENS AG (DE)
RIEGEL THOMAS (DE)
International Classes:
G06T9/00; H04N19/60; (IPC1-7): H04N/
Attorney, Agent or Firm:
SIEMENS AKTIENGESELLSCHAFT (Postfach 22 16 34 München, DE)
Download PDF:
Claims:
Patentansprüche
1. Verfahren zur Transformation eines Bildblocks aus Bild blockpunkten in eine vorgegebene Figur, d a d u r c h g e k e n n z e i c h n e t, daß die Bildblockpunkte unter Verwendung einer invertierbaren Ab bildung transformiert werden.
2. Verfahren nach Anspruch 1, dadurchgekennzeichnet,daß die vorgegebene Figur eine Dreiecksform beschreibt.
3. Verfahren nach Anspruch 2, d a d u r c h g e k e n n z e i c h n e t, daß die Dreiecksform einen rechten Winkel aufweist.
4. Verfahren nach Anspruch 2 oder 3, dadurchgekennzeichnet,daß die Dreiecksform durch einen ersten Wert und durch einen zweiten Wert beschrieben wird.
5. Verfahren nach Anspruch 4, dadurchgekennzeichnet,daß der erste Werte eine erste Seitenlänge der Dreiecksform be schreibt und der zweite Wert eine zweite Seitenlänge der Dreiecksform beschreibt.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurchgekennzeichnet,daß Eckpunkte des transformierten Bildblocks eineindeutig Eck punkten des Bildblocks zugeordnet werden.
7. Verfahren nach einem der Ansprüche 1 bis 6, d a d u r c h g e k e n n z e i c h n e t, daß dem transformierten Bildblock eine Farbinformation zugeordnet wird.
8. Verfahren nach einem der Ansprüche 1 bis 7, dadurchgekennzeichnet,daß den Bildblockpunkten und/oder den transformierten Bildblock punkten Codierungsinformation zugewiesen wird.
9. Verfahren nach einem der Ansprüche 1 bis 8, dadurchgekennzeichnet,daß der transformierte Bildblock codiert wird.
10. Verfahren nach Anspruch 4 und Anspruch 8, dadurchgekennzeichnet,daß der transformierte Bildblock unter Verwendung der Codierungs information und/oder unter Verwendung des ersten Wertes und des zweiten Wertes mit einer formangepaßten Transformati onscodierung codiert werden.
11. Verfahren nach Anspruch 10, dadurchgekennzeichnet,daß zur Codierung eine formangepaßte DiskreteCosinusTrans formation (DCT) eingesetzt wird.
12. Verfahren nach Anspruch 11, d a d u r c h g e k e n n z e i c h n e t, daß zur Codierung eine ShapeAdaptive DiskreteCosinusTrans formation (SADCT) eingesetzt wird.
13. Verfahren nach Anspruch 12, d a d u r c h g e k e n n z e i c h n e t, daß zur Codierung eine TriangleAdaptive DiskreteCosinusTrans formation (TADCT) eingesetzt wird.
14. Anordnung zur Transformation eines Bildblocks aus Bild blockpunkten in eine vorgegebene Figur, d a d u r c h g e k e n n z e i c h n e t, d a die Anordnung einen Prozessor aufweist, der derart eingerich tet ist, daß die Bildblockpunkte unter Verwendung einer in vertierbaren Abbildung transformierbar sind.
Description:
Beschreibung Verfahren und Anordnung zur Transformation eines Bildblocks aus Bildblockpunkten Die Erfindung bezieht sich auf eine Anordnung und ein Verfah- ren zur Transformation eines Bildblocks aus Bildblockpunkten in eine vorgegebene Figur. Eine solche Anordnung und ein sol- ches Verfahren werden üblicherweise bei einer Codierung und Decodierung eines digitalisierten Bildes aus Bildblöcken ein- gesetzt.

Es ist bekannt, ein solches Verfahren und eine solche Anord- nung im Rahmen einer Codierung und Decodierung eines digita- lisierten Bildes entsprechend einem der Bildcodierungsstan- dards H. 261 [1], H. 263 [2] oder MPEG2 [3], welche auf dem Prinzip einer blockbasierten Bildcodierung basieren, einzu- setzen. Zur blockbasierten Bildcodierung wird gemäß [3] das Verfahren einer blockbasierten Diskreten Cosinus Transforma- tion (DCT) verwendet.

Ein weiterer Ansatz zur Bearbeitung eines digitalisierten Bildes, bei dem ein Bildblock entsprechend dem Bildcodie- rungsstandard MPEG4 transformiert wird, ist das sogenannte Prinzip der objektbasierten Bildcodierung, wie es aus [3] be- kannt ist.

Bei der objektbasierten Bildcodierung erfolgt eine Segmentie- rung einer Bildvorlage in Bildblöcke entsprechend in einer Szene vorkommenden Objekten und eine separate Codierung jedes dieser Objekte.

Komponenten einer üblichen Anordnung zu einer Bildcodierung, wie sie auch aus [7] bekannt sind, und einer Bilddecodierung sind aus Figur 7 zu entnehmen.

In Figur 7 ist eine Kamera 701 dargestellt, mit der Bilder aufgenommen werden. Die Kamera 701 kann eine beliebige analo- ge Kamera 701 sein, die Bilder einer Szene aufnimmt und die Bilder entweder selbst digitalisiert und die digitalisierten Bilder zu einem ersten Rechner 702, der ihr gekoppelt ist, überträgt oder die Bilder analog zu dem ersten Rechner 702 überträgt. In dem ersten Rechner 702 werden die digitalisier- ten Bilder verarbeitet bzw. die analogen Bilder in digitali- sierte Bilder umgewandelt und die digitalisierten Bilder ver- arbeitet.

Die Kamera 701 kann eine digitale Kamera 701 sein, mit der direkt digitalisierte Bilder aufgenommen und dem ersten Rech- ner 702 zur Weiterverarbeitung zugeführt werden.

Der erste Rechner 702 kann auch als eine eigenständige Anord- nung ausgestaltet sein, mit der die im Folgenden beschriebe- nen Verfahrensschritte durchgeführt werden, beispielsweise als eine eigenständige Computerkarte, die in einem weiteren Rechner installiert ist.

Unter dem ersten Rechner 702 ist im Allgemeinen eine Einheit zu verstehen, die eine Bildsignalverarbeitung gemäß dem im Folgenden beschriebenen Verfahren durchführen kann, bei- spielsweise ein mobiles Endgerät (Mobiltelefon mit einem Bildschirm).

Der erste Rechner 702 weist eine Prozessoreinheit 704 auf, mit der die im Weiteren beschriebenen Verfahrensschritte der Bildcodierung und Bilddecodierung durchgeführt werden. Die Prozessoreinheit 704 ist über einen Bus 705 mit einem Spei- cher 706 gekoppelt, in dem eine Bildinformation gespeichert wird.

Allgemein können die im weiteren beschriebenen Verfahren so- wohl in Software als auch in Hardware oder auch teilweise in Software und teilweise in Hardware realisiert werden.

Nach erfolgter Bildcodierung in dem ersten Rechner 701 und nach einer Ubertragung der codierten Bildinformation über ein Ubertragungsmedium 707 zu einem zweiten Rechner 708 wird in dem zweiten Rechner 708 die Bilddecodierung durchgeführt.

Der zweite Rechner 708 kann den gleichen Aufbau wie der erste Rechner 701 haben. Damit weist der zweite Rechner 708 auch einen Prozessor 709 auf, der mit einem Bus 711 mit einem Speicher 710 gekoppelt ist.

In Figur 6 ist eine Anordnung in Form eines Prinzipschalt- bilds zur Bildcodierung bzw. Bilddecodierung dargestellt. Die dargestellte Anordnung kann im Rahmen einer blockbasierten und, wie im Weiteren näher erläutert, im Rahmen einer objekt- basierten Bildcodierung verwendet werden.

Bei der blockbasierten Bildcodierung wird ein digitalisiertes Bild 601 in üblicherweise quadratische Bildblöcke 620 der Größe 8x8 Bildpunkte 602 oder 16x16 Bildpunkte 602 aufgeteilt und der Anordnung 603 zur Bildcodierung zugeführt.

Einem Bildpunkt 602 ist üblicherweise Codierungsinformation eindeutig zugeordnet, beispielsweise Helligkeitsinformation (Luminanzwerte) und/oder Farbinformation (Chrominanzwerte).

Bei der blockbasierten Bildcodierung wird zwischen verschie- denen Bildcodierungsmodi unterschieden.

Bei einer sogenannten Intra-Bildcodierung wird jeweils das digitalisierte Bild 601 mit der den Bildpunkten 602 des digi-

talisierten Bildes 601 zugeordneten Codierungsinformation co- diert und übertragen.

Bei einer sogenannten Inter-Bildcodierung wird jeweils nur eine Differenzbildinformation zweier zeitlich aufeinanderfol- genden digitalisierten Bildern 601 codiert und übertragen.

Die Differenzinformation ist nur sehr klein, falls Bewegungen von Bildobjekten in den zeitlich aufeinanderfolgenden digita- lisierten Bildern 601 gering sind. Sind die Bewegungen groß, so entsteht sehr viel Differenzinformation, die schwer zu co- dieren ist. Aus diesem Grund wird, wie es aus [3] bekannt ist, eine"Bild-zu-Bild"-Bewegung (Bewegungsschätzung) gemes- sen und vor der Ermittlung der Differenzinformation kompen- siert (Bewegungskompensation).

Für die Bewegungsschätzung und die Bewegungskompensation, wie sie aus [3] bekannt sind, gibt es unterschiedliche Verfahren.

Für die blockbasierte Bildcodierung wird meist ein sogenann- tes"Block-Matching-Verfahren"eingesetzt. Es beruht darauf, daß ein zu codierender Bildblock mit gleich großen Referenz- bildblöcken eines Referenzbildes verglichen wird. Als Krite- rium für eine Übereinstimmungsgüte zwischen dem zu codieren- den Block und jeweils einem Referenzbildblock wird üblicher- weise die Summe der absoluten Differenzen einer Codierungsin- formation, die jeweils jedem Bildpunkt zugeordnet wird, ver- wendet. Auf diese Weise wird eine Bewegungsinformation für den Bildblock, beispielsweise ein Bewegungsvektor, ermittelt, welche Bewegungsinformation mit der Differenzinformation übertragen wird.

Zum Umschalten zwischen der Intra-Bildcodierung und der In- ter-Bildcodierung sind zwei Schaltereinheiten 604 vorgesehen.

Zur Durchführung der Inter-Bildcodierung ist eine Subtrakti-

onseinheit 605 vorgesehen, in der die Differenz der Bildin- formationen zweier zeitlich aufeinanderfolgender digitali- sierter Bilder 601 gebildet wird. Die Bildcodierung wird über eine Bildcodierungs-Steuereinheit 606 gesteuert. Die zu co- dierenden Bildblöcke 620 bzw. Differenzbildblöcke werden je- weils einer Transformationscodierungseinheit 607 zugeführt.

Die Transformationscodierungseinheit 607 wendet auf die den Bildpunkten 602 zugeordnete Codierungsinformation eine Trans- formationscodierung, beispielsweise eine Diskrete Cosinus Transformation (DCT), an.

Allgemein kann jedoch zur Bildcodierung jede beliebige Trans- formationscodierung, beispielsweise eine Diskrete Sinus Transformation oder eine Diskrete Fourier Transformation, an- gewendet werden.

Durch die Transformationscodierung werden Spektralkoeffizien- ten (Transformationskoeffizienten) gebildet. Die Spektral- koeffizienten werden in einer Quantisierungseinheit 608 quan- tisiert und einem Bildcodierungsmultiplexer 621,-beispiels- weise zu einer Kanalcodierung und/oder zu einer Entropieco- dierung, zugeführt. In einer internen Rekonstruktionsschleife werden die quantisierten Spektralkoeffizienten in einer in- versen Quantisierungseinheit 609 invers quantisiert und in einer inversen Transformationscodierungseinheit 610 einer in- versen Transformationscodierung unterzogen.

Ferner wird im Fall der Inter-Bildcodierung in einer Ad- diereinheit 611 Bildinformation des jeweiligen zeitlich vor- angegangenen Bildes hinzuaddiert. Die auf diese Weise rekon- struierten Bilder werden in einem Speicher 612 gespeichert.

In dem Speicher 612 ist zur einfacheren Darstellung eine Ein- heit zu der Bewegungskompensation 613 symbolisch dargestellt.

Ferner ist ein Schleifenfilter (Loopfilter) 614 vorgesehen, das mit dem Speicher 612 sowie der Subtraktionseinheit 605 verbunden ist.

Dem Bildcodierungsmultiplexer 621 wird zusätzlich zu einer übertragenden Bildinformation 622 ein Modusindex zugeführt, mit dem jeweils angegeben wird, ob eine Intra-Bildcodierung oder Inter-Bildcodierung vorgenommen wurde.

Ferner werden dem Bildcodierungsmultiplexer 621 Quantisie- rungsindizes 616 für die Spektralkoeffizienten zugeführt.

Ein Bewegungsvektor wird jeweils einem Bildblock 620 und/oder einem Makroblock 623, der beispielsweise vier Bildblöcke 620 aufweist, zugeordnet und dem Bildcodierungsmultiplexer 621 zugeführt.

Ferner ist eine Informationsangabe zum Aktivieren bzw. Deak- tivieren des Schleifenfilters 614 vorgesehen. Nach Übertra- gung der Bildinformation über ein Ubertragungsmedium 618 kann in einem zweiten Rechner 619 die Decodierung der übertragenen Information erfolgen. Hierzu ist in dem zweiten Rechner 619 eine Bilddecodierungseinheit 625 vorgesehen, die beispiels- weise den Aufbau einer Rekonstruktionsschleife der in der Fi- gur 6 dargestellten Anordnung aufweist.

Aus [4] ist eine formangepaßte Transformationscodierung, wie sie im Speziellen im Rahmen einer objektbasierten Bildcodie- rung auf Randbildblöcke oder Bildblöcke, die nur teilweise relevante Codierungsinformation beinhalten, angewendet wird, bekannt. Die unter Verwendung einer formangepaßten Transfor- mationscodierung codierten Randbildblöcke zeichnen sich da- durch aus, daß nur die Bildpunkte codiert werden, die einem Objekt zugeordnet sind bzw. für das Objekt relevante Codie- rungsinformation aufweisen.

Das in [4] beschriebene Verfahren ist eine sogenannte forman- gepaßte Diskrete Cosinus Transformation (Shape-Adaptive DCT, SA-DCT).

Im Rahmen einer SA-DCT werden die einem Bildobjekt zugeordne- ten Transformationskoeffizienten derart bestimmt, daß Bild- punkte eines Randbildblocks, die nicht zu dem Bildobjekt ge- hören, ausgeblendet werden. Auf die verbleibenden Bildpunkte wird dann zunächst spaltenweise eine eindimensionale DCT an- gewendet, deren Lange der Zahl der verbleibenden Bildpunkte in der jeweiligen Spalte entspricht. Die resultierenden Transformationskoeffizienten werden horizontal ausgerichtet und anschließend in einer weiteren eindimensionalen DCT in horizontaler Richtung mit entsprechender Lange unterzogen.

Die aus [4] bekannte Vorschrift der SA-DCT geht von einer Transformationsmatrix DCT-N mit folgendem Aufbau aus : mit p, k = 0 o N-1.

Mit N wird eine Größe des zu transformierenden Bildvektors bezeichnet, in dem die transformierten Bildpunkte enthalten sind.

Mit DCT-N wird eine Transformationsmatrix der Größe NxN be- zeichnet.

Mit p, k werden Indizes bezeichnet mit p, k e [0, N-1].

Nach der SA-DCT wird jede Spalte des zu transformierenden Bildblocks gemäß der Vorschrift

vertikal transformiert. Danach wird die gleiche Vorschrift auf die resultierenden Daten in horizontaler Richtung ange- wendet.

In der Computer-Grafik werden verschiedene Methoden zur Dar- stellung eines Objekts auf einem Bildschirm verwendet.

Eine Methode zur Darstellung eines Objekts ist das sogenannte Texture Mapping.

Aus [5] ist ein solches Texture Mapping bekannt.

Im Rahmen des Texture Mapping wird ein digitales Bild aus Bildpunkten, welche jeweils eine Helligkeitsinformation (Lu- minanzwerte) und/oder eine Farbinformation (Chrominanzwerte) des darzustellenden Objekts beinhaltet, auf eine Oberfläche eines dreidimensionalen Modells des darzustellenden Objekts abgebildet.

Das dreidimensionale Modell 301 des darzustellenden Objekts, welches Modell 301 in Figur 3 dargestellt ist, besteht aus einer räumlichen dreiecksförmigen Gitterstruktur 301, wobei die Eckpunkte 302 der Dreiecke 303 als Punkte 304 in einem kartesischen Koordinatensystem 305 vorliegen.

Die Koordinaten der Eckpunkte werden zusammen mit einer Strukturinformation gespeichert, welche Strukturinformation jeweils eine Zugehörigkeit eines Eckpunkts 302 zu dem jewei- ligen, zugehörigen Dreieck 303 beschreibt.

Jedem Dreieck 303 ist, wie es in Figur 3 dargestellt ist, je- weils eine sogenannte blockförmige Strukturkarte 306 zugeord-

net, die aus rechteckig bzw. blockförmig angeordneten Bild- punkten 307 aufgebaut ist. Jedem Bildpunkt 307 ist üblicher- weise eine Helligkeitsinformation (Luminanzwerte) und/oder eine Farbinformation (Chrominanzwerte) zugeordnet.

Dem Dreieck 303 wird derart die Helligkeits-oder Farbinfor- mation zugeordnet, daß jeweils einem Eckpunkt 302 und 308 des Dreiecks 303 und 309 ein zugehöriger Bildpunkt 307 der zuge- hörigen Strukturkarte 306 zugeordnet ist.

Die Lage eines Eckpunkts 308 des Dreiecks 309 wird durch die Angabe von Koordinaten (ui, vi) 310 in einem zweidimensionalen Koordinatensystem (u, v) 311, welches der Strukturkarte 306 zugeordnet ist, festgelegt. Üblicherweise werden die Koordi- naten (ui, vi) 310 normiert.

Über eine Transformationsvorschrift (Zuweisung bzw. Zuwei- sungsschlüssel) wird jedem Eckpunkt 302 von jedem Dreieck 303 des dreidimensionalen Modells 301 ein entsprechender Punkt 310, üblicherweise wieder ein Eckpunkt, in der zugehörigen Strukturkarte 306 zugewiesen. Darüber hinaus wird eine Textu- rinformation gespeichert, welche jeweils eine Zugehörigkeit eines Eckpunkts eines Dreiecks in der Strukturkarte zu dem jeweiligen, zugehörigen Dreieck beschreibt.

Ferner werden, wie es in Figur 4 dargestellt ist, alle Struk- turkarten 401 zu einem digitalisierten Bild 402, einer soge- nannten Superstrukturkarte 402, zusammengefaßt, indem die einzelnen Strukturkarten 401 zeilen-und spaltenweise ange- ordnet werden. Gegebenenfalls müssen die Strukturkarten 401, die eine fur die Darstellung des Objekts relevante Codie- rungsinformation beinhalten, mit Strukturkarten 404, die kei- ne für die Darstellung des Objekts relevante Codierungsinfor- mation beinhalten, ergänzt werden.

Aus [5] ist ferner bekannt, daß eine derartige Superstruktur- karte, wie sie im Rahmen eines Texture Mapping erzeugt wird, bei einer Bildübertragung codiert und decodiert wird.

Dabei erfolgt üblicherweise die Codierung und/oder Decodie- rung einer Superstrukturkarte unter Verwendung einer blocko- rientierten Transformation im Intra-Bildcodierungsmodus, wie sie oben beschrieben wurde.

Die beschriebene Vorgehensweise bei der Bearbeitung eines di- gitalen Bildes, insbesondere bei der Transformation eines Bildblocks, ist hinsichtlich einer niedrigeren, für eine Übertragung anzustrebenden Datenrate oder einer höheren Bild- qualität wenig effizient.

Somit liegt der Erfindung das Problem zugrunde, ein Verfahren und eine Anordnung zur Transformation eines Bildblocks aus Bildblockpunkten anzugeben, mit denen eine effizientere Bear- beitung eines digitalisierten Bildes möglich wird.

Das Problem wird durch das Verfahren sowie die Anordnung mit den Merkmalen gemäß den unabhängigen Ansprüchen gelöst.

Bei dem Verfahren zur Transformation eines Bildblocks aus Bildblockpunkten wird der Bildblock in eine vorgegebene Figur transformiert, wobei die Bildblockpunkte unter Verwendung ei- ner invertierbaren Abbildung transformiert werden.

Bei der Anordnung zur Transformation eines Bildblocks aus Bildblockpunkten ist ein Prozessor vorgesehen, der derart eingerichtet ist, daB der Bildblock in eine vorgegebene Figur transformierbar ist, wobei die Bildblockpunkte unter Verwen- dung einer invertierbaren Abbildung transformiert werden.

Dabei ist unter einer invertierbaren Abbildung eine Abbildung zu verstehen, deren inverse Abbildung im mathematischen Sinn eindeutig ist (eineindeutig).

Der besondere Vorteil der Erfindung liegt darin, daß bei ei- ner Codierung eines unter Verwendung einer invertierbaren Ab- bildung transformierten Bildblocks keine zusätzliche Textu- rinformation gespeichert bzw. codiert werden muß.

Durch die erfindungsgemäße Vorgehensweise wird eine Codierung eines digitalisierten Bildes im Vergleich zu den oben be- schriebenen bekannten Codierungsverfahren vereinfacht.

Bei einer Übertragung eines auf erfindungsgemäße Weise co- dierten digitalisierten Bildes müssen weniger Informationen übertragen werden. Damit kann eine maximale Übertragungskapa- zität eines Ubertragungskanals effektiver ausgenützt werden, d. h. es kann eine größere Nutzdatenmenge übertragen werden.

Bevorzugte Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.

In einer Weiterbildung, die eine Vereinfachung des Verfahrens bewirkt, beschreibt die vorgegebene Figur eine Dreiecksform.

Bevorzugt weist die Dreiecksform einen rechten Winkel auf.

Darüber hinaus ist es zweckmäßig, die Dreiecksform unter Ver- wendung eines ersten Wertes und eines zweiten Wertes zu be- schreiben. Dabei kann der erste Wert eine erste Seitenlänge der Dreiecksform und der zweite Werte eine zweite Seitenlänge der Dreiecksform beschreiben.

In einer weiteren Ausgestaltung wird ein Eckpunkt des Bild- blocks derart einem Eckpunkt des transformierten Bildblocks zugeordnet, daß die Zuordnung invertierbar bzw. eineindeutig ist.

Für eine Vereinfachung einer Codierung bzw. einer Decodierung eines digitalisierten Farbbildes aus Bildblöcken ist es zweckmäßig, dem transformierten Bildblock eine Farbinformati- on zuzuordnen. Diese Zuordnung kann unter Verwendung eines dritten Wertes erfolgen.

In einer Ausgestaltung wird einem Bildblockpunkt eine Codie- rungsinformation, üblicherweise eine Helligkeitsinformation und/oder eine Farbinformation, zugeordnet. Unter Verwendung der Codierungsinformation wird der Bildblock bzw. der trans- formierte Bildblock anschließend codiert.

Bevorzugt erfolgt die Codierung zusätzlich unter Verwendung des ersten, zweiten und dritten Wertes.

Es ist vorteilhaft, einen transformierten Bildblock unter Verwendung einer formangepaßten Transformationscodierung zu codieren und/oder mit einer inversen formangepaßten Transfor- mationscodierung zu decodieren. Dadurch wird eine effektive Codierung und/oder Decodierung des digitalisierten Bildes er- reicht.

Eine Vereinfachung ergibt sich, wenn in einer Weiterbildung zur Codierung eine Shape-Adaptive Diskrete-Cosinus- Transformation (SA-DCT) und/oder zur Decodierung eine inverse SA-DCT eingesetzt werden/wird.

Eine weitere Vereinfachung ergibt sich, wenn zur Codierung eine Triangle-Adaptive Diskrete-Cosinus-Transformation (TA- DCT) und/oder zur Decodierung eine inverse TA-DCT eingesetzt werden/wird.

Ein Ausführungsbeispiel der Erfindung ist in Figuren darge- stellt und wird im Weiteren näher erläutert.

Es zeigen :

Figur 1 Anordnung zur Bildcodierung und Bilddecodierung mit einer Aufnahme eines Objekts mittels einer Kamera und einer Darstellung des Objekts auf einem Bildschirm Figur 2 Schematische Darstellung der Vorgehensweise zur Bild- codierung und Bilddecodierung mit einer Aufnahme eines Objekts mittels einer Kamera und einer Darstellung des Objekts auf einem Bildschirm Figur 3 dreiecksförmige Gitterstruktur des dreidimensionalen Modells mit einer zugehörigen Strukturkarte Figur 4 Darstellung einer Superstrukturkarte Figur 5 Darstellung einer Transformation einer Strukturkarte auf eine dreiecksförmige, rechtwinklige Strukturkarte Figur 6 Skizze einer Anordnung zur blockbasierten Bildcodie- rung bzw. Bilddecodierung Figur 7 Anordnung zur Bildcodierung bzw. Bilddecodierung mit einer Kamera, zwei Rechnern und einem Übertragungsmedi- um In Figur 1 ist eine Anordnung zu einer Bildcodierung und ei- ner Bilddecodierung mit einer Aufnahme eines Objekts mittels einer Kamera und einer Darstellung des Objekts auf einem Bildschirm dargestellt.

In Figur 1 ist eine Kamera 101 dargestellt, mit der Bilder eines Objekts 152 aufgenommen werden. Die Kamera 101 ist eine analoge Farbkamera, die Bilder des Objekts 152 aufnimmt, und die Bilder in analoger Form zu einem ersten Rechner 102 über- trägt. In dem ersten Rechner 102 werden die analogen Bilder in digitalisierte Bilder umgewandelt, wobei Bildpunkte der digitalisierten Bilder eine Farbinformation des Objekts 152 beinhalten, und die digitalisierten Bilder bearbeitet.

Das Objekt 152 ist zentriert auf einem Objektträger 153 ange- ordnet. Die relative Lage des Objektträgers 153 bezüglich der Kamera 101 ist fest vorgegeben. Durch Rotation des Ob-

jektträger 153 um dessen Zentrum kann das Objekt 152 derart bewegt werden, so daß sich bei gleichbleibenden Abstand des Objekts 152 zu der Kamera 101 der Blickwinkel, unter den die Kamera 101 das Objekt 152 aufnimmt, kontinuierlich verändert.

Der erste Rechner 102 ist als eine eigenständige Anordnung in Form einer eigenständigen Computerkarte, die in den ersten Rechner 102 installiert ist, ausgestaltet, mit welcher Compu- terkarte die im Folgenden beschriebenen Verfahrensschritte durchgeführt werden.

Der erste Rechner 102 weist einen Prozessor 104 auf, mit dem die im Weiteren beschriebenen Verfahrensschritte der Bildco- dierung durchgeführt werden. Die Prozessoreinheit 104 ist über einen Bus 105 mit einem Speicher 106 gekoppelt, in dem eine Bildinformation gespeichert wird.

Das im Weiteren beschriebene Verfahren zu der Bildcodierung ist in Software realisiert. Sie ist in dem Speicher 106 ge- speichert und wird von dem Prozessor 104 ausgeführt.

Nach erfolgter Bildcodierung in dem ersten Rechner 101 und nach einer Übertragung der codierten Bildinformation über ein Ubertragungsmedium 107 zu einem zweiten Rechner 108, wird in dem zweiten Rechner 108 die Bilddecodierung durchgeführt. An- schließend wird unter Verwendung der decodierten Bildinforma- tion des Objekts 152 ein Modell des Objekts 152 auf einem mit dem zweiter Rechner 108 verknüpften Bildschirm 155 darge- stellt.

Der zweite Rechner 108 hat den gleichen Aufbau wie der erste Rechner 101. Der zweite Rechner 108 weist auch einen Prozes- sor 109 auf, welcher Prozessor mit einem Bus 111 mit einem Speicher 110 gekoppelt ist.

Das im Weiteren beschriebene Verfahren zu der Bilddecodierung ist in Software realisiert. Sie ist in dem Speicher 110 ge- speichert und wird von dem Prozessor 109 ausgeführt.

In Figur 2 ist die Vorgehensweise für eine Bearbeitung eines digitalisierten Bildes im Rahmen einer Codierung und einer Decodierung mit einer Aufnahme eines Objekts mittels einer Kamera und einer Darstellung des Objekts auf einem Bildschirm schematisch _ Diese Vorgehensweise für die Codierung und die Decodierung wird durch die in Figur 1 dargestellte und die oben beschrie- bene Anordnung realisiert.

1. Schritt Aufnahme des Objekts (201) Unter Verwendung der Kamera 101 werden, wie es in [7] be- schrieben ist, Bilder des Objekts 152, welches in vorgegeben Rotationswinkeln mittels des Objektträgers 153 in seiner Lage bezüglich der Kamera 101 rotiert wird, aufgenommen. Die Bil- der werden in analoger Form zu dem ersten Rechner 102 über- tragen.

Vor der Durchführung der Aufnahme des Objekts 152 wird die Kamera 101, wie es in [7] beschrieben ist, kalibriert, wobei eine räumliche Geometrie der Anordnung sowie die Aufnahmepa- rameter der Kamera 101, beispielsweise die Brennweite der Ka- mera 101, bestimmt werden.

Die Geometriedaten sowie die Kameraparameter werden zu dem ersten Rechner 102 übertragen.

2. Digitalisieren der Bilder (202)

In dem ersten Rechner 102 werden die analogen Bilder in digi- talisierte Bilder 103 umgewandelt und die digitalisierten Bilder 103 bearbeitet.

3. Bildbearbeitung (203) Die Bearbeitung der digitalisierten Bilder 103 erfolgt nach dem Verfahren einer Automatischen Dreidimensionalen Modell- bildung unter Verwendung mehrerer Bilder eines Objekts, wie es in [7] beschrieben ist.

Im Rahmen des Verfahrens der Automatischen Dreidimensionalen Modellbildung unter Verwendung mehrerer Bilder eines Objekts werden zwei Verfahrensschritte durchgeführt : In dem ersten Schritt des Verfahrens wird mittels eines Ver- fahrens zur Bestimmung einer Kontur eines Objekts in einem digitalisierten Bild, wie es in [7] beschrieben ist, unter Verwendung der Kameraparameter und der digitalisierten Bilder 103 ein Volumenmodell 301 des Objekts 152 ermittelt.

Das Volumenmodell 301 des Objekts 152, wie es in Figur 3 dar- gestellt ist, wird unter Verwendung einer räumlichen drei- ecksförmigen Gitterstruktur 301, wobei die Eckpunkte 302 der Dreiecke 303 als Punkte 304 in einem kartesischen Koordina- tensystem 305, beschrieben.

Das Volumenmodell 301 wird unter Verwendung der Eckpunkte 302 und einer Strukturinformation gespeichert. Dazu werden die Eckpunkte 302 der Gitterdreiecke 301 jeweils numeriert. Die drei Nummern der zu einem i-ten Gitterdreieck 303 zugehörigen Eckpunkte 302 werden jeweils als ein i-tes Nummerntripel (Nummer d. ersten Eckpunkts/Nummer d. zweiten Eck- punkts/Nummer d. dritten Eckpunkt) i (i : Index für ein Gitter- dreieck) gespeichert.

In dem zweiten Schritt des Verfahrens wird unter Verwendung der digitalisierten Bilder 103 sowie der in Bildpunkten der digitalisierten Bilder 103 beinhalteten Farbinformation für jedes Dreieck 303 jeweils eine sogenannte Strukturkarte 306 bzw. 502 bestimmt.

Die Strukturkarte 306 bzw. 502 ist aus blockförmig, quadra- tisch angeordneten Bildpunkten 307 bzw. 513 aufgebaut. Eine Seitenlänge des quadratischen Bildblocks weist fünf Bildpunk- te 307 bzw. 513 auf. Jeder Bildpunkt 307 beinhaltet eine Farbinformation (Chrominanzwerte) des Objekts 152.

Einem Gitterdreieck 303 wird die Farbinformation zugeordnet, indem jeweils einem Eckpunkt 302 des Gitterdreiecks 303 ein zugehöriger Bildpunkt 308 der zugehörigen quadratischen Strukturkarte 306 zugeordnet ist.

Diejenigen Bildpunkte der quadratischen Strukturkarte 306 bzw. 502, welche Bildpunkte eine für die Darstellung des Ob- jekts 152 relevante Farbinformation beinhalten, werden zu ei- ner neuen dreiecksförmigen Strukturkarte 503 aus Bildpunkten transformiert. Die Transformation, welche in Fig. 5 darge- stellt ist und im Folgenden erläutert wird, erfolgt unter Verwendung einer invertierbaren Abbildung.

Durch die Verwendung einer invertierbaren Abbildung für die Transformation ist es nicht mehr notwendig, eine Texturinfor- mation, wie sie aus dem im vorhergehenden beschrieben Stand der Technik bekannt ist, zu speichern, zu codieren und/oder zu übertragen.

Die Bildpunkte 506 der neuen dreiecksförmigen Strukturkarte 510 sind derart angeordnet, daß sie ein rechtwinkliges und gleichschenkliges Dreieck bilden, wobei ein Schenkel jeweils fünf Bildpunkte 506 aufweist.

Die Transformation wird derart durchgeführt, daß die Bild- punkte, die Eckbildpunkte 504,507,508 des Dreiecks 505 in der quadratischen Strukturkarte 502 sind (i-tes Nummerntri- pel), mit Bildpunkten, die Eckbildpunkte 507,511,512 der dreiecksförmigen Strukturkarte 510 sind, übereinstimmen.

Der in dem i-ten Nummerntripel erstgenannte Eckpunkt 508 wird dabei in den Eckpunkt 507 der-dreiecksförmigen Strukturkarte 510 transformiert, in welchem Schenkel der dreiecksförmigen Strukturkarte 510 einen rechten Winkel einschließen.

Der in dem i-ten Nummerntripel zweitgenannte Eckpunkt 509 wird dabei auf den Eckpunkt 512 der dreiecksförmigen Struk- turkarte 510 transformiert, der auf dem rechten Schenkel liegt. Der in dem i-ten Nummerntripel drittgenannte Eckpunkt 504 wird auf den Eckpunkt 511 der dreiecksförmigen Struktur- karte 510 transformiert, der auf dem linken Schenkel liegt.

Die Bildpunkte 501, welche innerhalb des durch das i-te Num- merntripel aufgespannten Dreiecks liegen, werden derart transformiert, daß Verhältnisse von Abständen a : b : c des Bild- punkts 501 jeweils zu den Eckpunkten 504,508,509 des Drei- ecks 505 in der quadratischen Strukturkarte 502 den Verhält- nissen der Abstände a : b : c des Bildpunktes 506 jeweils zu den Eckbildpunkten 507,511,512 der dreiecksförmigen Struk- turkarte 510 entsprechen.

Im Rahmen der Transformation müssen gegebenenfalls Bildpunkte durch eine lineare Extrapolation oder eine lineare Interpola- tion von Werten, die die Farbinformation beinhalten, erzeugt oder gegebenenfalls Bildpunkte gelöscht werden.

Es ist anzumerken, daß die beschrieben Transformation der Bildpunkte bzw. die Abbildung der Bildpunkte nur eine Mög-

lichkeit für eine invertierbare Abbildung darstellt. Es ist klar, daß jede invertierbare Abbildung, beispielsweise eine lineare Abbildung oder eine Drehung bzw. lineare Streckung, für die Transformation der Bildpunkte verwendet werden kann.

4. Codierung (204) Für eine Codierung einer dreiecksförmigen Strukturkarte wird eine sogenannte Triangle-Adaptive Diskrete-Cosinus- Transformation (TA-DCT) verwendet. Dieses Verfahren zur Co- dierung eines digitalisierten Bildes basiert auf dem Verfah- ren einer Shape-Adaptive Diskrete-Cosinus-Transformation (SA- DCT), wie es in [4] beschrieben ist.

Im Rahmen einer TA-DCT werden die einem Bildobjekt zugeordne- ten Transformationskoeffizienten derart bestimmt, daß Bild- punkte eines Randbildblocks, die nicht zu dem Bildobjekt ge- hören, ausgeblendet werden. Auf die verbleibenden Bildpunkte wird dann zunächst spaltenweise eine eindimensionale DCT an- gewendet, deren Lange der Zahl der verbleibenden Bildpunkte in der jeweiligen Spalte entspricht. Die resultierenden Transformationskoeffizienten werden anschließend einer weite- ren eindimensionalen DCT in horizontaler Richtung mit ent- sprechender Lange unterzogen.

Das Verfahren der TA-DCT geht von einer Transformationsmatrix DCT-N mit folgendem Aufbau aus : mit p, k = 0- N-l.

Mit N wird eine Größe des zu transformierenden Bildvektors bezeichnet, in dem die transformierten Bildpunkte enthalten sind.

Mit DCT-N wird eine Transformationsmatrix der Größe NxN be- zeichnet.

Mit p, k werden Indizes bezeichnet mit p, k e [0, N-1].

Nach der TA-DCT wird jede Spalte des zu transformierenden Bildblocks gemäß der Vorschrift vertikal transformiert. Danach wird die gleiche Vorschrift auf die resultierenden Daten in horizontaler Richtung ange- wendet.

Unter Verwendung der Triangle-Adaptive Diskrete-Cosinus- Transformation (TA-DCT) werden alle dreiecksförmigen Struk- turkarten codiert.

5. Übertragung (205) Die unter Verwendung der TA-DCT codierte Bildinformation (Bildinformation der dreiecksförmigen Strukturkarten) wird zusammen mit Daten des Volumenmodells des Objekts sowie der Strukturinformation des Volumenmodells an den zweiten Rechner 108 über ein Ubertragungsmedium 107 übertragen.

6. Decodierung (206) Nach Übertragung wird eine Bilddecodierung durchgeführt.

Dazu werden die Spektralkoeffizienten cj einer inversen TA- DCT zugeführt.

Bei der inversen TA-DCT im Rahmen der Bildcodierung im Intra- Bildcodierungsmodus werden Bildpunkte xj aus den Spektral- koeffizienten cj nach folgender Vorschrift (4) gebildet : wobei die Transformationsmatrix DCT-N folgendem Aufbau auf- weist : mit p, k = 0 o N-1. wobei mit : -N eine Größe des zu transformierenden Bildvektors bezeich- net wird, in dem die zu transformierenden Bildpunkte enthal- ten sind ; - [DCT-N (p, k)] eine Transformationsmatrix der Größe NxN be- zeichnet wird ; -p, k Indizes bezeichnet werden mit p, k e [0, N-1] ; -mit ()-1 eine Inversion einer Matrix bezeichnet wird.

Unter Verwendung der ermittelten Bildpunkte xj werden die dreiecksförmigen Strukturkarten, deren Bildpunkte die Farbin- formation des darzustellenden Objekts beinhalten, rekonstru- iert.

7. Darstellung des Objekts (207) Unter Verwendung der dreiecksförmigen Strukturkarten, den Da- ten des Volumenmodells des Objekts 152, der Strukturinforma- tion des Volumenmodells sowie durch Anwendung der inversen

Transformation auf die dreiecksförmigen Strukturkarten wird, wie es in [6] beschrieben ist, das Modell des Objekt 152 auf dem Bildschirm 108 dargestellt.

Im Folgenden werden Alternativen des beschriebenen Ausfüh- rungsbeispiels angegeben.

Anstelle der dreiecksförmigen, rechtwinkligen und gleich- schenkligen Strukturkarte kann eine beliebige, dreiecksförmi- ge und rechtwinkligen Strukturkarte verwendet werden.

Eine solche dreiecksförmige und rechtwinklige Strukturkarte wird durch einen ersten Wert, welcher die Anzahl von Bild- punkten einer ersten Dreiecksseite der Strukturkarte angibt, und einem zweiten Wert, welcher die Anzahl von Bildpunkten einer zweiten Dreiecksseite der Strukturkarte angibt, be- schrieben. Der erste Wert und der zweite Wert werden für jede Strukturkarte gespeichert und übertragen.

In einer weiteren Alternative des Ausführungsbeispiels kann den dreiecksförmigen, rechtwinkligen Strukturkarten jeweils ein dritter Wert zugewiesen werden, der eine Anzahl von Farb- kanälen, welche für eine Farbdarstellung eines zu einer Strukturkarte zugehörigen Gitterdreiecks des darzustellenden Objekts verwendet werden, angibt. Der dritte Wert wird für alle dreiecksförmigen, rechtwinkligen Strukturkarten gespei- chert und übertragen.

Im Rahmen dieses Dokuments sind folgende Dokumente zitiert : [1] D. Le Gall,"The Video Compression Standard for Multime- dia Applications", Communications of ACM, Vol. 34, No.

4, S. 47-58, April 1991 [2] G. Wallace,"The JPEG Still Picture Compression Stan- dard", Communications of ACM, Vol. 34, No. 4, S. 31-44, April 1991 [3] De Lameillieure, J., et al.,"MPEG-2-Bildcodierung für das digitale Fernsehen", in FERNSEH-UND KINO-TECHNIK, 48. Jahrgang, Nr. 3/1994,1994 [4] T. Sikora, B. Makai,"Shape Adaptive DCT for Generic Co- ding of Video", IEEE Transactions on Circuits and Sy- stems for Video Technology, Vol. 5, S. 59-62, Feb. 1995 [5] J. D. Foley, et al.,"Computer graphics : principles and practise", 2nd ed., Adison-Wesley, ISBN 0-20112110-7, S.

741-744 [6] PANORAMA-Technical Support, erhältlich am 12. Oktober 1998 unter : http ://www. tnt. uni- hannover. de/project/eu/panorama/TS. html [7] W. Niem, et al.,"Mapping texture from multiple Camera Views onto 3D Objekt Models for Computer Animation", Proc. of International Workshop on Stereoscopic and Three Dimensional Imaging, 6.-8.9.1998, Santorini, Gree- ce, 1998