Verfahren und Vorrichtung zur Erzeugung eines hoch aufgelösten Bildes für faseroptische Systeme

Beschreibung

Die vorliegende Erfindung befasst sich mit einer Vorrichtung und einem Verfahren, welche die Möglichkeit schaffen, mittels faseroptischer Systeme hoch aufgelöste Bilder zu erzeugen und insbesondere damit, wie die Auflösung von bildgebenden Systemen, bei der ein Bild mittels eines Bündels von mehreren geordneten Lichtleitern auf einen Sensor abgebildet wird, gesteigert werden kann.

Optische Systeme, bei denen ein Bild über eine Optik auf einen bildgebenden Sensor transferiert wird, sind vielfach im Einsatz. Ohne den bildgebenden Einsatz von Endoskopen wären heute viele Anwendungen unter anderem im Bereich der Diagnostik, Inspektion, Qualitätssicherung und Forschung undenkbar. Dabei werden zum einem linsenoptische Systeme verwendet, also Systeme mit einem starren Aufbau innerhalb dessen das Bild durch eine Linsenanordnung ähnlich einem Objektiv einer Kamera auf den Sensor übertragen wird. Zum anderen kommen faseroptische Systeme zum Einsatz, die aus einer großen Anzahl geordneter lichtleitender in einem Bündel zusammengefasster Fasern bestehen, wobei das Licht durch die Vielzahl von Fasern auf einen Sensor geleitet wird.

Die derzeitige Präferenz für linsenoptische Systeme liegt unter anderem in deren Bildqualität begründet. Wo ein im wortwörtlichen Sinne weitaus „ flexiblerer" Einsatz gefordert ist (kleiner, schwieriger Zugang) muss auf hochwertige halbstarre oder biegsame Endoskope (Fiberskope) mit geringen Arbeitsdurchmessern und Glasfaser-Bildleitern zurückgegriffen werden. Beim Einsatz eines solchen faseroptischen Systems aus mehreren Bildleitern wird typischerweise je

einzelnem verwendeten Bildleiter ein einzelner Bildpunkt bzw. ein einzelner Intensitätswert übertragen. Da bei vertretbaren Durchmessern des gesamten Faserbündels keine beliebig große Anzahl von einzelnen Fasern möglich ist und einzelne Fasern nicht mit beliebig kleinen Durchmessern hergestellt werden können, behindert bislang vor allem die schlechte Auflösung der übertragenen Bilddaten und die architekturbedingte Wabenstruktur eines solchen Systems einen adäquaten Einsatz dieser Geräte.

Der Bildleiter hochwertiger Fiberskope besteht aus einem regelmäßig geordneten Bündel von etwa 5000 bis 8000 Einzelfasern. Verglichen mit der Auflösung einer herkömmlichen Bewegtbildkamera (z.B. VGA: 640 x 480 > 300000 Bildpunkte bzw. Pixel) liegt dieser Wert damit weit unterhalb des Grenzwertes für sinnvolle Anwendungen. Typischerweise wird das mittels der Einzelfasern transportierte Bildsignal mit einer solchen herkömmlichen Bewegtbildkamera beobachtet. Die einzelnen Lichtleiter weisen meist eine Ummantelung auf, so dass sich aus der Ummantelung störende Strukturen in dem beobachteten Bild ergeben, die beispielsweise durch Tiefpassfilter geglättet oder adaptiv durch spektrale Maskierung reduziert werden können. Um die durch die wabenför- mige Struktur eingeführten und zur Beurteilung eines Bildes höchst störenden Strukturen zu entfernen, existieren bereits Lösungen, die auf der Basis von zunächst lokalisierten Faserzentren ein wabenfreies Bild auf der Grundlage der Helligkeitsinformation an den Faserzentren interpolieren. Ebenso wie die Glättung der wabenförmigen Ummantelungs- Strukturen oder durch deren Maskierung im Fourierraum haben diese Verfahren jedoch den Nachteil, dass sie zwar die Darstellungsqualität des aufgenommenen Bildes erhöhen, jedoch keine tatsächliche Auflösungssteigerung des Bildes erreichen.

Ein Problem, das es generell zu lösen gilt, wird in der deutschen Patentschrift DE 4318140 Al behandelt. Dort wird beschrieben, wie die Zentren der Lichtpunkte die durch die

einzelnen Glasfasern auf einen höher auflösenden Sensor abgebildet werden dadurch bestimmt werden können, dass eine geeignete Funktion an die Helligkeitsverteilung, die auf dem zweidimensionalen Sensor von einer einzelnen Lichtleit- faser erzeugt wird, angepasst wird. Die Patentschrift zeigt, wie auf der Basis der angepassten Faserkoordinaten eine Zuordnung der Lage der Fasern auf der Eingangsseite des Lichtfaserbündels zu der Position der von den Fasern auf dem Sensor hervorgerufenen Lichtpunkte möglich ist.

Die dem Stand der Technik entsprechenden Verfahren zur Bildbearbeitung eines mittels eines faseroptischen Systems aufgenommenen Bildes haben dabei den Nachteil, dass zwar die Darstellungsqualität bzw. die subjektive Wahrnehmungs- qualität der Aufnahmen durch die dem Stand der Technik entsprechenden Verfahren verbessert wird, diese jedoch keine tatsächliche Auflösungssteigerung bewirken, da zur Verbesserung der Auflösung das Einbringen zusätzlicher (BiId-) Information notwendig ist.

Ist die Geometrie der beobachteten Szene bzw. das Auftreten bestimmter geometrischer Formen innerhalb der Szene bereits im Vorhinein bekannt, kann dieses Vorwissen je Einzelaufnahme eingebracht werden, um die Auflösung tatsächlich zu erhöhen (z.B. durch Anwendung von kantenerhaltender Filter) . Ist beispielsweise bekannt, dass innerhalb der Aufnahme ein gerade verlaufender Intensitätssprung verläuft, kann durch geeignetes Anwenden eines Filters der Verlauf der Kante in der Aufnahme mit höherer Präzision als der Auflösung eines einzelnen Bildpunktes bestimmt werden. Bei fiberoptischen Systemen, die zur Diagnose eingesetzt werden, ist jedoch das Objekt bzw. die Form des zu beobachtenden Objektes a priori meist nicht bekannt, so dass derartige Verfahren nicht generell möglich sind.

Prinzipiell kann die Informationsdifferenz bzw. die Informationsredundanz mehrerer aufeinanderfolgender Aufnahmen aus variierenden Betrachtungspositionen oder -richtungen

kombiniert werden, um ein Bild zu rekonstruieren, das eine höhere Auflösung besitzt als eine Einzelaufnahme. Für herkömmliche Videosequenzen, also aufeinanderfolgende Einzelbilder, die aus einem rechtwinkligem Gitter aus Bildpunkten bestehen, werden solche Verfahren unter dem Sammelbegriff „Superresolution" angewendet. Darüber hinaus gibt es erste Ansätze zur Erweiterung des Verfahrens zur Auflösungssteigerung für Bildpunkte, die in beliebigen Gitterstrukturen, also in nicht-rechwinkligen Koordinaten, vorliegen.

Der vorliegenden Erfindung liegt die Aufgabe zugrunde, eine Vorrichtung und ein Verfahren zu schaffen, mittels derer eine effektive Auflösungssteigerung für mittels faseroptischer Systeme aufgenommene Bilder effizienter ermöglicht wird.

Diese Aufgabe wird durch ein Verfahren gemäß Patentanspruch 1 und durch eine Vorrichtung gemäß Patentanspruch 11 gelöst .

Der vorliegenden Erfindung liegt dabei die Erkenntnis zugrunde, dass ein hoch aufgelöstes Bild mittels eines Faserbündels aus einer Mehrzahl von Lichtleitern und eines Sensors, der an der Sensorseite des Faserbündels angeordnet ist, erzeugt werden kann, wenn mittels des Sensors eine Folge von Intensitätsbildern aufgenommen wird und wenn basierend auf den Intensitätsbildern und auf zusätzlichen Lageinformationen, welche den Abbildungsort eines jeden Lichtleiters auf dem Sensor angeben, aus den Intensitäts- bildern zunächst Niedrigauflösungsbilder erzeugt werden, so dass auf Grundlage der Niedrigauflösungsbilder eine Bewegungsverfolgung erfolgen kann, die durch Identifikation und überlagerung redundant aufgenommener Bildbereiche das Erzeugen eines hoch aufgelösten Hochauflösungsbildes ermög- licht. Durch das Erzeugen der Niedrigauflösungsbilder, deren Bildinformation durch jeweils einen Bildpunkt je Abbildungsort eines Lichtleiters gegeben ist, wird es möglich, wabenstrukturfreie Bilder niedriger Auflösung zu erzeugen,

anhand derer eine Bewegungsverfolgung zwischen aufeinander folgenden Aufnahmen möglich wird. Für das Erzeugen der Niedrigauflösungsbilder ist also die Lageinformation, die den Abbildungsort eines jeden Lichtleiters auf dem Sensor angibt, erforderlich. Aufgrund der durchgeführten Bewegungsverfolgung können identische Stellen eines Bildes in aufeinanderfolgenden Aufnahmen identifiziert werden, so dass aufgrund der eindeutig zuordenbaren, redundanten Bildinformation mittels überlagerung der Einzelbilder eine tat- sächliche Auflösungssteigerung ermöglicht wird.

Bei einem Ausführungsbeispiel der vorliegenden Erfindung wird das Bild mittels eines faseroptischen Systems bestehend aus vielen einzelnen Lichtleiterfasern auf einen bild- gebenden Sensor derart abgebildet, dass der von einer einzelnen Faser auf der Oberfläche des Sensors verursachte Intensitätsverlauf eine räumliche Ausdehnung hat, die größer ist als ein einzelnes lichtempfindliches Element bzw. Pixel des Sensors. Dies hat den Vorteil, dass die Lageinformati- on, die den Abbildungsort des Lichtleiters auf dem Sensor angibt, deutlich genauer als die geometrische Ausdehnung eines Pixels bestimmt werden kann, da diese durch Schwerpunktbildung bzw. Anpassen einer geeigneten Funktion an den Intensitätsverlauf, der mittels mehrerer Pixel gemessen wird, bestimmt wird.

Den selben statistischen Effekt macht man sich bei der Bewegungskompensation zu Nutze, da bei der Detektion der Bewegung jeweils mehrere zusammengehörige Bildpunkte verwen- det werden, so dass eine Abschätzung eines Bewegungsvektors von Bild zu Bild mit einer Genauigkeit erfolgen kann, die die ursprüngliche Auflösung, d.h. die Abstände benachbarter Bildpunkte, übersteigt.

Bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung wird zumindest einmal, beispielsweise nach der Herstellung des Systems aus Lichtleiter und Sensor, eine Eichung des Systems derart durchgeführt, dass die Faser-

Zentren bzw. die Zentren der Lichtverteilung, die eine Faser bei Beleuchtung der Faser auf dem Sensor verursacht, bestimmt werden. Dazu wird das objektseitige Ende der Faser beispielsweise bevorzugt homogen beleuchtet, so dass sich auf dem Sensor für jede Einzelfaser eine Intensitätsverteilung ergibt, die annährend kreisförmig ist und deren Schwerpunkt das Zentrum der Abbildung der Faser auf dem Sensor bezeichnet. Die Zentren der Abbildung werden mathematisch geeignet bestimmt bzw. gefittet und als Lageinfor- mationen gespeichert.

Wird nun eine Aufnahme mittels des Sensors durchgeführt, kann aus einem Intensitätsbild des Sensors ein Niedrigauf- lösungsbild errechnet werden, welches die von jedem einzel- nen Lichtleiter übermittelte Bildinformation in Form eines Intensitätswertes speichert. Bei Farbaufnahmen sind selbstverständlich auch die Speicherung von drei oder mehr Intensitätswerten je Lichtleiter möglich, um die Farbinformation zu erhalten. Ein einzelnes Niedrigauflösungsbild enthält somit eine Anzahl von Bildpunkten, die einzelnen Lichtleitern zugeordnet sind und die nicht in einem rechtwinkligen Gitter angeordnet sein müssen. Aufgrund der Erzeugung nur eines einzelnen Bildpunktes je Lichtleiter wird die waben- förmige Struktur der Lichtleiteranordnung, wie sie auf den einzelnen Sensoraufnahmen mit höherer Auflösung sichtbar ist, erfolgreich unterdrückt.

Dadurch wird insbesondere die Bewegungserkennung in aufeinanderfolgenden Aufnahmen ermöglicht, so dass erfindungsge- maß eine freibestimmbare Anzahl von aufeinanderfolgenden Aufnahmen dazu verwendet werden kann, eine Bewegung an Stellen des Bildes bzw. eine Translationsbewegung des gesamten Bildes zu detektieren und dazugehörige Bewegungsvektoren abzuleiten. Wie bereits oben gesagt, kann dabei die Bewegungsschätzung mit einer Genauigkeit durchgeführt werden, welche die ursprüngliche Bildauflösung übersteigt.

Dabei kann die Bewegungsschätzung zum einen entweder auf Basis des unregelmäßigen Gitters der einzelnen Lichtpunkte je Bildleiter durchgeführt werden. Alternativ dazu kann, da die Wabenstruktur aus dem Bild bereits eliminiert wurde, auf Basis des unregelmäßigen Gitters durch Interpolation ein regelmäßiges, rechteckiges Gitter von Bildpunkten, beispielsweise aber nicht notwendigerweise in der Auflösung des verwendeten Sensors, erzeugt werden. Eine Möglichkeit der Interpolation ist dabei beispielsweise, die Intensi- tätswerte für jedes Pixel des regelmäßigen Gitters durch barizentrische Gewichtung der drei dem abgetasteten Pixel nächstliegenden Intensitätswerte zu gewinnen. Die Barizentrische Gewichtung basiert darauf, dass die Intensitätswerte der drei nächstliegenden Punkte, also derjenigen Punkte die ein Dreieck bilden, innerhalb dessen sich das abgetastete Pixel befindet, mit der Entfernung zum betreffenden Punkt gewichtet und überlagert werden, um den Intensitätswert für das abgetastete Pixel zu bestimmen.

Um einen tatsächlichen Auflösungsgewinn zu erzielen, werden erfindungsgemäß die detektierten Bewegungen der Einzelbilder bezüglich eines frei wählbaren Referenzbildes oder Referenzzeitpunktes rücktransformiert und überlagert. Dadurch ergibt sich eine Abbildung, die mehr Bildpunkte beinhaltet, als ein Einzelbild. Die Auflösungssteigerung ergibt sich nunmehr dadurch, dass die Bewegungsvektoren mit einer Genauigkeit bestimmt werden können, die höher als die ursprüngliche Auflösung bzw. der ursprüngliche Abstand zwei benachbarter Bildpunkte ist. In dem überlagerten Bild exis- tieren also für bewegte Objekte mehrere Bildpunkte aus unterschiedlichen aufeinander folgenden Aufnahmen, die um weniger als die intrinsische Auflösung einer einzelnen Aufnahme verschoben sein können, so dass sich bei einer Kombination der Aufnahmen eine erhöhte Auflösung des rekon- struierten Bildes ergibt. Erfindungsgemäß wird somit entweder ein Standbild erzeugt oder aber auch eine Bildsequenz bzw. ein Film, in dem jeweils einige aufeinanderfolgende

Einzelbilder dazu verwendet werden, ein Bild des Films oder der Bildsequenz zu erzeugen.

Es wird somit eine Möglichkeit geschaffen, mittels eines flexiblen faseroptischen Systems sowohl Untersuchungen durchzuführen, bei denen die Verwendung von hoch aufgelösten Einzelbildern erforderlich ist, als auch Untersuchungen, die das Beobachten eines Vorgangs in Echtzeit erfordern. Insbesondere bei endoskopischen medizinischen Unter- suchungen werden somit neue Diagnosemöglichkeiten erschlossen, die das Verwenden eines möglichst dünnen und flexiblen Bildleiters bei gleichzeitiger hoher Auflösung der Bilder erfordern.

Die vorliegende Erfindung überwindet also mit Verfahren der „Auflösungssteigerung" für bewegte Bildsequenzen (Superre- solution) die Informationsgrenze, deren Kalkulation sich bislang auf Betrachtung von Einzelbildern bezog. Dies ähnelt dem Verhalten des menschlichen Auges beim Arbeiten mit Fiberskopen. Eine derartige Auflösungssteigerung eröffnet sowohl für die personelle Anwendung von Endoskopen, z.B. im Bereich der Sichtprüfung als auch für die rechnergestützte Weiterverarbeitung der Daten neue interessante Anwendungsgebiete für die flexible Endoskopie. Insbesondere in sol- chen Bereichen, die bislang wegen ihrer hohen Anforderung an die Auflösung den starren linsenoptischen Endoskopen vorbehalten war.

Die vorgestellte modifizierte Anwendung der Auflösungsstei- gerung lässt sich im Rahmen der Produktionsmöglichkeiten mit nahezu jeglicher Bauform (Auflösung, Sensorik zur Digitalisierung und ähnliches) von faseroptischen übertragungssystemen realisieren und findet ihren Anwendungsbereich von der hochqualitativen Nachbearbeitung von Aufnahmen bis hin zur schnellen Echtzeitaufbereitung von Sequenzen.

Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend, bezugnehmend auf die beiliegenden Figuren, erläutert. Es zeigen:

Fi.g. 1 eine Vorrichtung zum Erzeugen eines Hochauflösungsbildes;

Fig. 2 die Abbildung von Lichtfasern auf quadratische lichtempfindliche Pixel;

Fig. 3 Flussdiagramm für das erfindungsgemäße Verfahren;

Fig. 4 experimentell bestimmte Auflösungssteigerung; und

Fig. 5 ein weiteres Beispiel für die erzielbare Auflösungssteigerung.

Fig. 1 zeigt ein Beispiel für ein System mit einer erfindungsgemäßen Vorrichtung zum Erzeugen eines Hochauflösungs- bilds bzw. eine Auswerteeinrichtung 100. Gezeigt ist darüber hinaus ein Faserbündel 102 und ein Sensor 104, der mit der erfindungsgemäßen Auswerteeinrichtung verbunden ist, so dass diese zum einen die Belichtungszeitpunkte des Sensors 104 steuern kann, sowie zum anderen die Bilddaten des Sen- sors 104 auslesen kann.

Ein Bild oder Objekt wird von dem Faserbündel 102, das aus einer Mehrzahl einzelner Lichtleiter 106 besteht, auf dem Sensor 104 abgebildet.

Die Abbildungssituation der einzelnen Lichtleiter auf dem Sensor ist anhand von Fig. 2 detailliert dargestellt, bei der die annährend kreisförmigen Intensitätsverteilungen (beispielsweise Intensitätsverteilung 110) gezeigt sind, wie sie sich auf der quadratischen Pixelmatrix 112 beispielsweise eines CCD-Sensors überlagern.

Die Funktionsweise des erfindungsgemäßen Verfahrens zum Erzeugen eines Hochauflösungsbildes bzw. der erfindungsgemäßen Vorrichtung zum Erzeugen eines Hochauflösungsbildes soll nun im Folgenden anhand der Figuren 1 und 2 erläutert werden.

Wie es in Fig. 2 am Beispiel der kreisförmigen Intensitätsverteilung 110 beispielhaft gezeigt ist, belichtet eine einzelne Lichtfaser eine Mehrzahl von Pixeln der Pixelmat- rix 112, wobei einzelne Pixel vollständig von der Faser beleuchtet werden und die Pixel am Rand der kreisförmigen Intensitätsverteilung 110 nur teilweise beleuchtet werden, so dass sich selbst bei vollständig homogener Beleuchtung der Faser und bei idealisiertem Lichttransport durch die Faser an den Rändern des Faserbildes Pixel befinden, die nur teilweise beleuchtet werden, also eine Intensität aufnehmen, die geringer ist als diejenige des Pixels im Zentrum. Darüber hinaus kann am Rand des kreisförmigen Querschnitts einer Lichtleitungsfaser aufgrund der optischen Eigenschaf- ten der Faser die Intensität zusätzlich abnehmen.

Gemäß des erfindungsgemäßen Verfahrens existiert zu der Anordnung aus dem Faserbündel 102 und dem Sensor 104 ein Satz von Lageinformationen, welche den Abbildungsort der Licht- leiter auf dem Sensor angeben. Der Abbildungsort ist dabei so zu verstehen, dass dieser das Zentrum des von einem einzelnen Lichtleiter bestrahlten Bereichs auf dem Sensor angibt. Als Beispiele für die Zentren, die in den Lageinformationen angegeben sind, sind in Fig. 2 die Punkte 114a, 114b und 114c gezeigt.

Die Bestimmung der Lageinformationen erfolgt dabei zumindest einmal, wenn die Anordnung aus dem Faserbündel 102 und dem Sensor 104 mechanisch am sensorseitigem Ende des Faser- bündeis 102 fest miteinander verbunden sind, so dass die relative Orientierung des Faserbündels 102 und des Sensors 104 sich im Laufe der Benutzung der Anordnung nicht mehr verändern kann. Alternativ dazu kann der Sensor 104 und Fa-

serbündel 102 auch trennbar miteinander verbunden sein, so dass bei jedem neuen Verbinden des Faserbündels 102 und des Sensors 104 eine Bestimmung der Lageinformationen durchgeführt werden muss. Die Punkte 114a bis 114c, die das Zent- rum der Lichtverteilungen einzelner Fasern auf dem Sensor 104 angeben, werden dabei beispielsweise so bestimmt, dass das Faserbündel auf seiner Objektseite beleuchtet wird (vorzugsweise beispielsweise homogen beleuchtet) und dass die Abbildungsorte 114a bis 114c der Lichtleiter auf dem Sensor dadurch bestimmt werden, dass für die einzelnen kreisförmigen Intensitätsverteilungen der Schwerpunkt der Intensitätswerte bestimmt und dieser dann als Abbildungsort in der zu speichernden Lageinformation verwendet wird. Alternativ dazu kann eine mathematische Funktion, beispiels- weise eine Gaußförmige Funktion an die den einzelnen Lichtleitern korrespondierenden Intensitätsverteilungen ange- passt werden, um aus den Parametern der Anpassung den Abbildungsort zu bestimmen.

Zur eigentlichen Erzeugung des Hochauflösungsbildes mittels des Faserbündels 102 und des Sensors 104 wird zunächst von der Vorrichtung zum Erzeugen eines Hochauflösungsbildes 100 der Sensor 104 derart angesteuert, dass dieser eine Folge von aufeinanderfolgenden Intensitätsbildern aufnimmt.

Basierend auf den einzelnen Intensitätsbildern und den Lageinformationen wird von der Vorrichtung zum Erzeugen eines Hochauflösungsbildes 100 zunächst von jedem Intensitätsbild ein Niedrigauflösungsbild abgeleitet. Dabei wird zunächst für jede einzelne Faser ein Bildpunkt mit dazugehörigem Intensitätswerten bestimmt, so dass das resultierende Niedrigauflösungsbild zunächst eine Anzahl von Bildpunkten aufweist, die der Anzahl der Lichtleiter 106 des Faserbündels 102 entspricht. Alternativ kann natürlich auch eine gerin- gere Anzahl von Bildpunkten erzeugt werden. Zur Bestimmung der den Abbildungsorten 114a bis 114c entsprechenden Intensitätswerten kann dabei beispielsweise bevorzugt über die kreisförmige Intensitätsverteilung integriert werden, um

die gesamte von einem einzelnen Lichtleiter transportierte Intensität zu erfassen. Das so erzeugte Bild weist daher keine wabenförmige Struktur mehr auf, wie sie in Fig. 2 zu erkennen ist, da die Ummantelungen der einzelnen Lichtfa- sern bzw. der zwischen den einzelnen Lichtleitern verbleibende Platz nicht beleuchtet wird. Ein erfindungsgemäß erzeugtes Bild besteht also aus zu den Faserzentren korrespondierenden einzelnen Bildpunkten, die keinerlei derartige Wabenstruktur aufweisen und nicht notwendiger Weise in ei- nem gleichmäßigen rechtwinkligen Gitter angeordnet sind. Darüber hinaus ist der Abstand benachbarter Bildpunkte größer als der Abstand benachbarter lichtempfindlicher Pixel des Sensors 104.

Das Bild, welches zu einzelnen Faserzentren korrespondierende Bildpunkte aufweist kann nun entweder als Niedrigauf- lösungsbild direkt weiterverwendet werden oder es kann, da die Wabenstruktur innerhalb des Bildes bereits entfernt ist, auf der Basis dieses Bildes ein Niedrigauflösungsbild durch Interpolation gewonnen werden, welches den Vorteil einer gleichmäßigen Anordnung von Bildpunkten besitzt. Dazu können die Bildpunkte 114a bis 114c beispielsweise mit einem Gitter 112, wie es in Fig. 2 zu sehen ist, abgetastet werden, wobei für jedes Pixel des Gitters 112 die Intensi- tätswerte durch Interpolation der drei nächst benachbarten Abbildungsorte bzw. deren zugeordneter Intensitätswerte gewonnen werden. Im Beispiel von Fig. 2 bilden die drei Abbildungsorte 114a bis 114c ein Dreieck, so dass für die quadratischen Pixel innerhalb dieses Dreiecks die Intensi- tätswerte aus einer gewichteten Superposition der drei Intensitätswerte der Abbildungsorte 114a bis 114c gewonnen werden. Beispielsweise kann diese Gewichtung barizentrisch erfolgen, d.h. die Intensitätswerte an den Abbildungsorten werden mit dem Abstand der jeweiligen Abbildungsorte zum zu interpolierenden Pixel gewichtet und superponiert . Alternativ kann ein Niedrigauflösungsbild erzeugt werden, welches den Vorteil der regelmäßig angeordneten Pixel aufweist, und das somit eine mathematisch einfachere Nachbearbeitung des

Bildes ermöglicht. Dabei ist die Pixelgröße, mit der das Bild der Abbildungsorte abgetastet wird, nicht vorgegeben sondern frei wählbar und an die jeweiligen Bedürfnisse bzw. Rahmenbedingungen anpassbar.

Um nun zu einer tatsächlichen Auflösungssteigerung zu gelangen, wird mittels der erfindungsgemäßen Vorrichtung zum Erzeugen eines Hochauflösungsbilds 100 eine Bewegungsschätzung zwischen den einzelnen Aufnahmen der Folge von Nied- rigauflösungsbildern durchgeführt, wobei unerheblich ist, ob die Niedrigauflösungsbilder rechtwinklig abgetastete Pixeldarstellungen besitzen oder im Gitter der Abbildungsorte vorliegen. Bei der von der Vorrichtung zum Erzeugen eines Hochauflösungsbildes 100 durchgeführten Bewegungsverfolgung werden die einzelnen aufeinander folgenden Niedrigauflösungsbilder dahingehend verglichen, ob entweder das gesamte Bild bzw. Teilbereiche des Bildes an anderen geometrischen Orten aufeinanderfolgender Bilder nachgewiesen werden können, ob sich also Teile des Bildes bzw. das ganze Bild re- lativ zur vorhergehenden Aufnahme auf dem Sensor 104 bewegt haben. Dabei ist zu beachten, dass die Abbildungsorte 114a bis 114c sich selbstverständlich nicht auf dem Sensor 104 bewegen, da das Faserbündel 102 bezüglich des Sensors 104 starr angeordnet ist. Eine Bewegung wird somit also auf- grund von sich an den Abbildungsorten 114a bis 114c ändernden Lichtintensitäten detektiert. Sind beispielsweise in zwei aufeinanderfolgenden Aufnahmen einander korrespondierende Bildbereiche identifiziert, die sich gegeneinander verschoben haben, kann ein Bewegungsvektor definiert wer- den, der die Bewegung des Bildbereiches von einem Bild zu dem darauf folgenden Bild angibt. Aufgrund derselben Argumente, mit denen die Bestimmung der Faserzentren mit einer Genauigkeit erfolgen kann, die höher ist als die Größe eines einzelnen Pixels des Sensors 104, kann die Relativbewe- gung einander korrespondierender Bildbereiche mit einer Genauigkeit bestimmt werden, die diejenige der ursprünglichen Bildauflösung, also des Abstands benachbarter Abbildungsorte, übersteigt.

Um nun die Auflösung tatsächlich zu steigern, wird von der Vorrichtung zum Erzeugen eines Hochauflösungsbildes 100 eine Rücktransformation der bewegten Objekte zu einem Refe- renzzeitpunkt beispielsweise auf ein vorhergehendes Bild durchgeführt und die Intensitätswerte der einzelnen, rücktransformierten Niedrigauflösungsaufnahmen werden überlagert. Dadurch werden Bildbereiche, die sich im Laufe der Folge von Niedrigauflösungsbildern verändert bzw. bewegt haben, neue Bildpunkte hinzugefügt, die aufgrund der höheren Genauigkeit der Bewegungsvektoren nicht im ursprünglichen Bildraster liegen müssen. Diese Situation ist anhand der gestrichelt dargestellten Bildpunkte 116a bis 116c in Fig. 2 verdeutlicht. Die durch Rücktransformation und an- schließende Superposition neu hinzugefügten Bildpunkte 116a bis 116c haben den Effekt, als würde im ursprünglichen Bild das zu beobachtende Objekt mit einer höheren Auflösung beobachtet, als sie der Sensor bzw. die Anordnung aus Sensor und Lichtleitern intrinsisch ermöglicht.

Durch die erfindungsgemäße Vorrichtung zum Erzeugen eines Hochauflösungsbildes 100 bzw. das erfindungsgemäße Verfahren zum Erzeugen des Hochauflösungsbildes wird es also ermöglicht, mittels der Verarbeitung einer Folge von aufge- nommenen Intensitätsbildern unter Berücksichtigung von Lageinformationen ein Hochauflösungsbild zu erzeugen, welches eine höhere Auflösung hat als ein einzelnes, zugrundeliegendes Intensitätsbild.

Die erfindungsgemäße Vorrichtung bzw. das erfindungsgemäße Verfahren kann dabei so angewendet werden, dass entweder ein einzelnes stehendes Bild erzeugt wird, oder dass eine fortlaufende Folge von Bildern, also eine Bildsequenz oder ein Film mit gesteigerter Auflösung erzeugt wird. Dabei kann die Anzahl der einzelnen Intensitätsaufnahmen, die zur Erzeugung eines Hochauflösungsbildes herangezogen werden, frei an die jeweiligen Gegebenheiten angepasst werden. Ein Kriterium kann dabei beispielsweise die gewünschte Auflö-

sungssteigerung sein, bzw. die Verzögerung, die sich aufgrund der Aufnahme mehrerer Bilder zwangsläufig einstellt, bis ein Hochauflösungsbild erzeugt ist. Die Verzögerung kann beispielsweise dann relevant sein, wenn eine Echtzeit- beobachtung mittels des erfindungsgemäßen Verfahrens ermöglicht werden soll, wobei naturgemäß eine Reihe von Intensitätsaufnahmen durchgeführt und bearbeitet werden müssen, bis das erste Hochauflösungsbild der Bildsequenz auf einem Bildschirm sichtbar gemacht werden kann.

In einer Erweiterung der oben beschriebenen Ausführungsform der vorliegenden Erfindung kann das Hochauflösungsbild in einer beliebig wählbaren Auflösung abgetastet werden, wobei das Abtastgitter beispielsweise der physikalischen Auflö- sung eines Bildschirms zur Darstellung des Ergebnisses entsprechen kann. Die Abtastung kann dabei beispielsweise bevorzugt durch barizentrische Interpolation analog zur Erzeugung des barizentrisch interpolierten Niedrigauflösungs- bildes erfolgen.

Anhand von Fig. 3 sind im Folgenden noch einmal die aufeinanderfolgenden Schritte zur Durchführung des erfindungsgemäßen Verfahrens dargestellt. Um ein Hochauflösungsbild zu erzeugen, ist zunächst in einem Bildaufnahmeschritt 150 ei- ne Folge von Intensitätsbildern aufzunehmen. Wie es oben beschrieben ist, werden in dem Erzeugungsschritt 152 Niedrigauflösungsbilder aus den Intensitätsbildern unter Zuhilfenahme von Lageinformationen, die einen Abbildungsort der Lichtleiter 106 auf dem Sensor 104 angeben, erzeugt. Im darauf folgenden Bewegungserkennungsschritt 154 werden die aufeinanderfolgenden Niedrigauflösungsbilder analysiert und es werden für bewegte Teile des Bildes bzw. für den Fall, dass sich das gesamte Bild bewegt hat, relative Bewegungsvektoren bestimmt. Im Syntheseschritt 156 wird das Hochauf- lösungsbild aus den Niedrigauflösungsbildern dadurch kombiniert, dass die detektierten Bewegungen zurücktransformiert werden und die rücktransformierten Bilder einander überlagert werden.

In einem zusätzlich, optionalen Abtastschritt 158 kann das erzeugte Hochauflösungsbild in beispielsweise rechtwinkligem Koordinatengitter abgetastet werden, um es auf einem externen Anzeigegerät auszugeben.

Fig. 4 zeigt experimentelle Ergebnisse, wie sie durch das Anwenden des erfindungsgemäßen Verfahrens erzielt werden können. Dargestellt ist das Resultat einer Bearbeitung von Aufnahmen aus einem flexiblen Endoskop mit Glasfaser- Bildleiter. Dabei zeigt Fig. a das Originalbild, das vom Sensor am proximalen Ende des Endoskops aufgezeichnet wurde. Fig. b zeigt wie durch barizentrische Interpolation ein Bild erzeugt werden kann, dessen Wabenmuster reduziert, bzw. unterdrückt ist. Die Figuren c bis e zeigen von links nach rechts die Anwendung des erfindungsgemäßen Verfahrens mit zunehmender Komplexität. In Fig. c ist das Ergebnis bei Nutzung von fünf Einzelbildern, in Fig. d das Ergebnis bei Nutzung von zehn Einzelbildern und in Fig. e das Ergebnis bei Nutzung von fünfzehn Einzelbildern zur Auflösungssteigerung dargestellt. Wie es anhand der Figuren zu sehen ist, wird die Auflösung bei Erhöhung der Anzahl der zur Bestimmung des Hochauflösungsbildes verwendete Niedrigauflösungs- bilder kontinuierlich besser.

Fig. 5 zeigt ein weiteres Beispiel, wie durch die Anwendung des erfindungsgemäßen Verfahrens die Lesbarkeit einer Schrift, die mittels eines faseroptischen Endoskops aufgezeichnet wurde, verbessert werden kann. In Fig. a ist dabei ein vergrößerter Ausschnitt einer Aufnahme nach der Reduktion der Wabenstruktur dargestellt, wobei die Figur b den selben Ausschnitt nach Anwendung des erfindungsgemäßen Verfahrens zeigt. Wie es anhand der beiden Figuren eindeutig zu erkennen ist, kann durch das erfindungsgemäße Verfahren die Auflösung real gesteigert werden, da Teile der Schriften erst in Fig. b lesbar werden. Dabei hat das erfindungsgemäße Verfahren den großen Vorteil, dass Informationen ü- ber die Struktur des beobachteten Gegenstandes nicht be-

kannt sein müssen, um die Auflösungssteigerung zu erzielen. Im Falle einer Geraden 200, wie sie beispielsweise in Fig. a zu sehen ist, wäre eine Auflösungssteigerung auch durch einen auf die Erkennung von Geraden abgestimmten Filter möglich, der durch Anpassung (Fit) einer geeigneten Funktion die Gerade 200 innerhalb des Bildausschnittes mit hoher Genauigkeit finden könnte. Solche dem Stand der Technik entsprechenden Verfahren würden jedoch nicht die runden Formen und komplizierten Muster der Schriftzeichen erkennen können, wie es mittels des erfindungsgemäßen Verfahrens nun möglich ist.

Wie es anhand der Abbildungen 4 und 5 zu sehen ist, wurden die präsentierten Verfahren mit unterschiedlichem Bildmate- rial mit lesbarem und unlesbarem, strukturiertem und unstrukturiertem sowie transversal bzw. longitudinal verschobenem Inhalt untersucht und verglichen. Abgesehen wurde von extrem strukturschwachen Szenen, die keinen Beitrag zur Be- wegungsdetektion liefern und damit für die Erhöhung der räumlichen Auflösung keinen Ansatz bieten. Als Einflussgrößen wurden insbesondere die Anzahl der verwendeten Bilder um ein Basisbild herum und die unterschiedliche Struktur im Bild auf das subjektive Empfinden hin untersucht. Implementierung des Verfahrens für die Nachbearbeitung von fi- berskopischen Bildmaterial bestätigen die deutliche Zunahme von Details (lesbare Schrift, Kanten, Strukturen) bei Kombination von mehreren Einzelaufnahmen.

Das Verfahren eignet sich sowohl für transversale als auch für longitudinale Bewegung der Endoskopspitze und ist robust gegenüber nicht homogener Bewegung innerhalb der Aufnahmen .

Zusammenfassend lässt sich sagen, dass sich die Algorithmik des hier übertragenen Verfahrens in die Klasse der Auflösungssteigerung im Ortsbereich mit Interpolation aus ungleich verteilten Rastern einteilen lässt. Eine modulare Trennung zwischen der Lokalisation von Bildinformation, der

interpolierten Bewegungsschätzung, der Generierung eines hoch auflösenden Gitters und dessen kartesische Abtastung mit barizentrischer Erweiterung von Stützstellen ermöglicht die separate Nutzung und Umsetzung der jeweils eingesetzten Verfahren in Soft- und Hardware. Die Anpassung und Optimierung des Verfahrens auf beliebige Gitterstrukturen zur Gewinnung höher aufgelöster Bildinformation bietet drei wesentliche Vorteile:

1. Zur Generierung des höher aufgelösten Bildes werden statt kartesisch interpolierten Aufnahmen, wie sie herkömmlich durch den Auflösungsunterschied Videokamera-Glasfaserbündel vorliegen, direkt die Helligkeit der Faserzentren verwendet.

2. Konstruktiv bedingte Abweichungen der hexagonalen Struktur eines Faserbündels haben keinen negativen Einfluss auf das Ergebnis.

3. Das Verfahren ist robust gegenüber nicht-globalen Bewegungen, wie sie insbesondere bei weitwinkligen Objektiven in der Endoskopie beobachtet werden.

Das Verfahren kann durch Parallelisierung von Prozess- schritten in Signalprozessortechnik realisiert werden und damit als Modul zur Auflösungssteigerung direkt zwischen der digitalisierenden Sensorik nach der Faseroptik und einer Anzeige/Wiedergabe oder Weiterverarbeitung eingesetzt werden.

Zusammenfassend lässt sich das erfindungsgemäße Verfahren zur Auflösungssteigerung durch die Kombination der nachfolgend beschriebenen fünf Schritte charakterisieren:

1. Lokalisierung der Faserzentren des Bildleiters. Dieser Schritt kann durch Anwendung eines modifizierten Maximum-Filters unterstützt werden.

2. Erzeugung von Nachbarschaftsbeziehungen, beispielsweise durch Triangulierung und Bereitstellung als geordnetes Dreiecksgitter.

3. Berechnung der globalen bzw. lokalen Bewegungsfelder zwischen den Aufnahmen eines Abschnitts der fiberskopischen Bildsequenz. Dieser Schritt kann durch einen Vorverarbeitungsschritt, z.B. Interpolation des Bildmaterials, unterstützt werden.

4. Kombination eines Basisbilds mit den Intensitäten der Faserzentren weiterer Bilder des Abschnitts der Bildsequenz, beispielsweise durch Einbringen der Bewegungsinvertierten Intensitäten von Faserzentren als Stützstellen in ein vorbereitetes HR-Gitter (High-Resolution-Gitter) .

5. Konvertierung des kombinierten hoch aufgelösten Bildes in die erforderliche Darstellung, z.B. durch kartesische Abtastung in ein Abbild mit rechteckig verteilten/angeordneten Bildpunkten. Die Intrapola- tion kann durch barizentrische Gewichtung der Grauwertverteilung zwischen den enthaltenen Stützstellen aufbereitet werden.

Obwohl anhand der beschriebenen Ausführungsbeispiele ein Sensor nahegelegt wird, dessen Auflösung hoch ist, bei dem also der Abstand benachbarter lichtempfindlicher Elemente verglichen mit dem Abstand benachbarter Faserzentren auf dem Sensor gering ist, ist eine deutlich größere Auflösung des Sensors verglichen mit der intrinsischen Auflösung des Faserbündels zwar vorteilhaft, jedoch nicht zwingend erforderlich. Die vorteilhafte Implementierung des erfindungsgemäßen Verfahrens ist auch mit Sensoren, deren Auflösung in einer ähnlichen Größenordung wie die intrinsische Auflösung des Faserbündels liegt, durchführbar.

Obwohl in den beschriebenen Ausführungsbeispielen der vorliegenden Erfindung eine Abtastung von Bildern, um aus ungeordneten Aufnahmen Aufnahmen mit geordneter gitterförmi- ger Pixelstruktur zu erhalten mittels barizentrischer Ge- wichtung durchgeführt wurde, ist auch jedwede andere Art der Abtastung geeignet, um das erfindungsgemäße Verfahren zu implementieren.

Darüber hinaus sind in den Ausführungsbeispielen der vor- liegenden Erfindung überwiegend Sensoren und rechtwinklig angeordnete, rechteckige lichtsensitive Flächen dargestellt, wie dies beispielsweise bei CCDs der Fall ist. Eine solche Anforderung ist in keiner Weise Voraussetzung für die Implementierung des erfindungsgemäßen Verfahrens. Wenn- gleich zur Bewegtbildaufnahme überwiegend CCDs und CMOS- Sensoren verwendet werden, sind jedwede anderen lichtempfindlichen Sensorarrays ebenso geeignet, das erfindungsgemäße Verfahren zu implementieren, wie beispielsweise Arrays aus Fotodioden und anderen fotosensitiven Elementen wie Fo- tokathoden und Fotoelektronenvervielfacher.

Wenngleich zur Bestimmung der Faserzentrenpositionen, also der Abbildungsorte der Lichtleiter auf dem Sensor eine möglichst homogene Beleuchtung des Faserbündels vorteilhaft ist, ist eine Bestimmung der Faserzentren auch mittels einer inhomogenen Beleuchtung durchführbar.

Zur Bestimmung der Intensitätswerte der Niedrigauflösungs- bilder ist es vorteilhaft, wie es anhand der Ausführungs- beispiele beschrieben ist, über die gesamte von einer einzelnen Faser beleuchtete Fläche eine Integration der Intensitäten durchzuführen. Dabei kann alternativ und zur Genauigkeitssteigerung auch eine abweichende Lichtsensitivität einzelner Pixel des Sensors berücksichtigt werden, die bei- spielweise zusätzlich zu den Abbildungsorten in den Lageinformationen gespeichert werden kann, wenn diese bei homogener Beleuchtung des Faserbündels 102 im Schritt der Ka-

libration und Bestimmung der Abbildungsorte mit den Abbildungsorten gespeichert werden.

Obwohl das erfindungsgemäße Konzept in den vorhergehenden Abschnitten überwiegend in Anwendung auf faseroptische endoskopische Systeme diskutiert wurde, versteht es sich von selbst, dass dieses darüber hinaus überall dort anwendbar ist, wo eine Auflösungssteigerung eines vignettierten Bildes erzielt werden soll.

Abhängig von den Gegebenheiten kann das erfindungsgemäße Verfahren Erzeugen eines Hochauflösungsbildes in Hardware oder in Software implementiert werden. Die Implementierung kann auf einem digitalen Speichermedium, insbesondere einer Diskette oder CD mit elektronisch auslesbaren Steuersignalen erfolgen, die so mit einem programmierbaren Computersystem zusammenwirken können, dass das erfindungsgemäße Verfahren Erzeugen eines Hochauflösungsbildes ausgeführt wird. Allgemein besteht die Erfindung somit auch in einem Computer-Programm-Produkt mit einem auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des erfindungsgemäßen Verfahrens, wenn das Computer- Programm-Produkt auf einem Rechner abläuft. In anderen Worten ausgedrückt kann die Erfindung somit als ein Computer- Programm mit einem Programmcode zur Durchführung des Verfahrens realisiert werden, wenn das Computer-Programm auf einem Computer abläuft.