Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD AND DEVICE FOR A 3D MEASUREMENT OF THE SKIN SURFACE AND SKIN LAYERS CLOSE TO THE SURFACE
Document Type and Number:
WIPO Patent Application WO/2014/183860
Kind Code:
A1
Abstract:
The invention relates to a method for a 3D measurement of the skin surface and skin layers close to the surface using a confocal sensor which is arranged in a handheld device and which comprises an integrated color camera. A sensor head of the handheld device is moved towards the skin area to be examined by the operator, and a color image of the skin surface is captured. The sensor then automatically switches to a confocal operation in which an image stack is captured, wherein the image stack, which extends into the skin interior, consists of a plurality of confocal images that are generated by a simultaneous detection of all the pixels required for a complete image, and the entire region which extends axially into the interior of the skin is scanned layer by layer in the Z direction. An analysis is carried out after the measurement data is captured such that a 3D image of the topography of the skin is generated. Furthermore, sectional images of the skin and of a skin volume to a depth of multiple millimeters is calculated from the captured image stack, and the images generated in this manner are displayed on a monitor.

Inventors:
WEBER MARK (DE)
VALENTIN JÜRGEN (DE)
GRIGAT MARCUS (DE)
Application Number:
PCT/EP2014/001274
Publication Date:
November 20, 2014
Filing Date:
May 12, 2014
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
NANOFOCUS AG (DE)
International Classes:
A61B5/00; A61B5/107; G01B11/06; G01B11/24; G01B21/00
Foreign References:
EP1607041A22005-12-21
Other References:
"A Window into the Skin. Confocal Laser Scanning Microscopy - In Vivo Histology for Cellular Level Skin Analyses in Cosmetic Research and Dermopharmacy VivaScope Pigmentation and Whitening Aging Inflammatory Cutaneous Status Aesthetic Dermatology Wound Healing and Scars Penetration Antiperspirants", 1 April 2011 (2011-04-01), XP055134671, Retrieved from the Internet [retrieved on 20140813]
CHRISTOPHER L ARRASMITH ET AL: "MEMS-based handheld confocal microscope for in-vivo skin imaging References and links scan mirror for single-point control of beam deflection and focus", J. INVEST. DERMATOL. SEMIN. CUTAN. MED. SURG. DERMATOLOGY DERMATOL. BR. J. DERMATOL. DERMATOL. SURG. OPT. EXPRESS J. MICROELECTROMECH. SYST. OPT. LETT. OPTICS EXPRESS J. MICROELECTROMECH. SYST. J. MICROLITH. MICROFAB. MICROSYST. APPL. OPT. OPT. EXPRE, 11 February 2010 (2010-02-11), pages 293 - 303, XP055134422, Retrieved from the Internet [retrieved on 20140812]
LOEWKE, KEVIN ET AL: "Real-time image mosaicing with a hand-held dual-axes confocal microscope", SPIE, PO BOX 10 BELLINGHAM WA 98227-0010 USA, vol. 6851, 5 February 2008 (2008-02-05), pages 68510F-1 - 68510F-9, XP040432815, DOI: 10.1117/12.764322
Attorney, Agent or Firm:
SCHNEIDERS & BEHRENDT (DE)
Download PDF:
Claims:
Patentansprüche

1. Verfahren zur 3 D-Vermessung der Hautoberfläche und oberflächennaher Hautschichten mittels eines in einem Handgerät angeordneten konfokalen Sensors mit integrierter Farbkamera, wobei das Handgerät mit einem

Sensorkopf von der Bedienperson an die zu untersuchende Stelle der Haut herangefahren und ein Farbbild der Hautoberfläche aufgenommen wird, wonach der Sensor automatisch auf Konfokalbetrieb umgeschaltet wird, in welchem ein aus einer Vielzahl von durch simultane Erfassung aller für ein komplettes Bild erforderlichen Bildpunkte generierten Konfokalbildern bestehender ins Hautinnere hineinreichender Bildstapel aufgenommen wird und der gesamte axial ins Innere der Haut reichende Bereich Schicht für Schicht in Z-Richtung durchgescannt wird, wobei nach der

Messdatenaufnahme eine Auswertung derart erfolgt, dass ein 3 D-Bild der Topographie der Haut erstellt wird, desweiteren aus dem aufgenommenen Bildstapel Schnittbilder der Haut und des Hautvolumens in mehrere Millimeter Tiefe errechnet und die so generierten Bilder an einem Monitor angezeigt werden.

2. Verfahren nach Anspruch 1 ,

dadurch gekennzeichnet, dass durch wiederholte Aufnahme das Messfeld erweitert und die einzelnen Aufnahmestapel zu einem Gesamtbild zusammengesetzt werden (Stitching).

Verfahren nach Anspruch 2,

dadurch gekennzeichnet,

dass nach Abschluss einer Stapelaufnahme ein Signal für die Bedienperson zur Aufnahme des nächsten Bildstapels erfolgt.

Verfahren nach einem der Ansprüche 1 bis 3,

dadurch gekennzeichnet,

dass zur Generierung eines Schnittbilds in Echtzeit gezielt konfokal auf eine bestimmte Hauttiefe fokussiert und eine kontinuierliche Reihe (Stream) von Bildern aufgenommen wird.

Vorrichtung zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 4, bestehend aus einem in einem tragbaren Gehäuse angeordneten

konfokalen Sensor (A) mit einem stationär angeordneten Mikrolinsenarray (5), wobei der konfokale Sensor (A) eine monochromatische Strahlungsquelle (13) aufweist, bestehend weiter aus einer Farbübersichtskamera (B) mit einer Weißlicht-Strahlungsquelle (12), wobei die Kamera mittels eines Strahlteilers (3) in den Messweg zuschaltbar ist und sowohl Kamera (B) als auch

Konfokalsensor (A) mit einer Signalauswerteeinheit verbunden ist.

Vorrichtung nach Anspruch 5,

dadurch gekennzeichnet,

dass der Konfokalsensor (A) einen CCD- oder CMOS-Matrixsensor (8) und auch die Farbübersichtskamera (B) einen Matrix-Sensor (11) aufweist.

Vorrichtung nach einem der vorhergehenden Ansprüche,

dadurch gekennzeichnet,

dass die Strahlungsquelle (13) des Konfokalsensors (A) eine im Bereich zwischen 800 und 950 nm emittierende Infrarotquelle ist.

Vorrichtung nach Anspruch 7, dadurch gekennzeichnet,

dass die Wellenlänge 850 nm oder 940 nm beträgt.

Description:
Verfahren und Vorrichtung zur 3 D-Vermessung der Hautoberfläche und oberflächennaher Hautschichten

Die Erfindung betrifft ein Verfahren zur 3 D-Vermessung der Hautoberfläche und oberflächennaher Hautschichten mittels eines in einem Handgerät angeordneten konfokalen Sensors mit integrierter Farbkamera.

Bekannt ist es, dass die Konfokaltechnik eingesetzt wird, um im industriellen Bereich die Topographie der Oberfläche von Materialien zu messen. Aus dem biologischen Bereich ist die Konfokalmikroskopie ebenfalls bekannt, nämlich für die Aufnahme von Schnittbildern von bestimmten Oberflächen, die aufgrund der hohen

Tiefendiskriminierung der angewandten Technik, meistens mit Fluoreszenzmarkern, durchgeführt wird. Darüber hinaus ist bekannt, dass mit infrarotem Licht in die Hautstruktur hineingeleuchtet werden kann und innerhalb dieser mikroskopisch beobachtet werden kann.

In der US 2010/0214562 A1 ist ein Gerät beschrieben, mit dessen Hilfe die

Hautoberfläche oder oberflächennahe Hautschichten Punkt für Punkt nacheinander abgescannt wird/werden und so ein aus diesen Punkten zusammengesetztes Bild generiert wird.

Ein ähnliches Gerät ist aus der US 2007/0263 226 A1 bekannt. Hier werden pinhole- ähnliche Modulatorarrays eingesetzt, wobei bei jeder Messung beispielsweise fünf Punkte auf der Haut gleichzeitig gescannt werden können. Danach wird das Array lateral verschoben und weitere fünf Punkte werden gescannt. Beide Geräte und die mit Ihnen geführten Verfahren haben somit den Nachteil, dass eine schnelle Messung nicht möglich ist, was zum einen dem erforderlichen Lateral- Scann und zum anderen der schwachen Lichtausbeute geschuldet ist. Somit erscheinen beide bekannte Geräte in der Handhabung unbefriedigend, da durch die Langsamkeit der Messung und durch die Lichtschwäche Verwackelungen zu erwarten sind.

Darüber hinaus sind in der Medizin tomographische Verfahren sowie

Punktierungsverfahren bekannt, um im tieferen Bereich der Haut Untersuchungen durchführen zu können.

Tomographische Verfahren sind aufwendig und kostspielig. Die

Punktierungsmethode, beispielsweise zur Diagnose von Hautkrebs hat den Nachteil, dass Karzinome geöffnet werden müssen und somit ein erhöhtes Risiko der weiteren Ausbreitung durch Streuung entsteht.

Der Erfindung liegt die Aufgabe zugrunde, mit einem einzigen Gerät ein Verfahren ausführen zu können, mit dessen Hilfe sowohl die Hautoberfläche in vivo

dreidimensional vermessen als auch in vivo die Struktur der Haut einige Millimeter tief bestimmt werden kann, wobei die Aufnahmegeschwindigkeit und die

Lichtausbeute unter größtmöglicher Vermeidung beweglicher Elemente gegenüber dem Stand der Technik deutlich erhöht ist.

Die Erfindung löst diese Aufgabe durch ein Verfahren zur 3 D-Vermessung der Hautoberfläche und oberflächennaher Hautschichten mittels eines in einem

Handgerät angeordneten konfokalen Sensors mit integrierter Farbkamera, wobei das Handgerät mit einem Sensorkopf von der Bedienperson an die zu untersuchende Stelle der Haut herangefahren und ein Farbbild der Hautoberfläche aufgenommen wird, wonach der Sensor automatisch auf Konfokalbetrieb umgeschaltet wird, in welchem ein aus einer Vielzahl von durch simultane Erfassung aller für ein

komplettes Bild erforderlichen Bildpunkte generierten Konfokalbildern bestehender ins Hautinnere hineinreichender Bildstapel aufgenommen wird und der gesamte axial ins Innere der Haut reichende Bereich Schicht für Schicht in Z-Richtung durchgescannt wird, wobei nach der Messdatenaufnahme eine Auswertung derart erfolgt, dass ein 3 D-Bild der Topographie der Haut erstellt wird, desweiteren aus dem aufgenommenen Bildstapel Schnittbilder der Haut und des Hautvolumens in mehrere Millimeter Tiefe errechnet und die so generierten Bilder an einem Monitor angezeigt werden.

Die Aufgabe wird ferner durch eine Vorrichtung zur Durchführung des Verfahrens gelöst, bestehend aus einem in einem tragbaren Gehäuse angeordneten konfokalen Sensor mit einem stationär angeordneten Mikrolinsenarray , wobei der konfokale Sensor eine monochromatische Strahlungsquelle aufweist, bestehend weiter aus einer Farbübersichtskamera mit einer Weißlicht-Strahlungsquelle, wobei die Kamera mittels eines Strahlteilers in den Messweg zuschaltbar ist und sowohl Kamera als auch Konfokalsensor mit einer Signalauswerteeinheit verbunden ist. Diese kann mit einem externen Monitor verbunden sein.

Es handelt sich somit um einen in der Hand zu haltenden Messkopf, der auf die Hautoberfläche aufgesetzt wird und dort innerhalb weniger Sekunden eine

vollständige Charakterisierung durchführen kann, nämlich:

- Aufnahme eines Farbbildes

- Messung der 3 D-Struktur der Hautoberfläche

- 3 D-Aufnahme (Kontrastbild) der inneren Hautstruktur.

Mittels der im Sensor integrierten Farbübersichtskamera und eines

angeschlossenen Monitors wird zunächst durch ein mehrere Millimeter großes Messfeld die betreffende Hautstelle aufgesucht. Vereinfacht wird dies durch die sehr kompakten Abmessungen des Sensorkopfs, dessen Dimension die Messfeldgröße nicht wesentlich übersteigt. Hierdurch wird zunächst mit Hilfe der visuellen

Beobachtung der Sensorkopf an die gewünschte Stelle herangeführt und dann mittels dem Life-Farb-Monitorbild der zu untersuchende Bereich angefahren. Da das Bild vom Sensorkopf aus bis einige Millimeter (etwa 5 mm) Entfernung scharf ist, kann auf die Haut aufgesetzt oder in geringem Abstand darüber hinweg bewegt werden. Ist der betreffende Bereich gefunden, so wird der Sensor innerhalb weniger

Millisekunden auf den konfokalen Betrieb umgeschaltet, der innerhalb weniger Sekunden einen aus vielen hundert Konfokalbildern bestehenden Bildstapel aufnimmt (typisch sind 200 bis 1000 Bilder). Dabei wird durch den Einsatz eines stationär angeordneten Mikrolinsenarrays in Echtzeit durch simultane Aufnahme der für das Bild erforderlichen Anzahl von Bildpunkten jeweils ein Bild für diesen Stapel erzeugt. Während der Bildaufnahme sorgt ein im Sensor befindlicher Scanner dafür, dass der gesamte axiale Messbereich (Z-Richtung) durchfahren wird. Der

aufgenommene Bildstapel besteht aus äquidistanten Einzelbildern.

Der Einsatz eines Mikrolinsenarrays hat darüber hinaus den Vorteil, dass es dadurch, dass es auch Teil des optischen Systems an sich ist, zur Kompaktheit des Gerätes beiträgt.

Nach der Messdatenaufnahme erfolgt dreierlei Auswertung:

1. Die Position des obersten (dem Sensorkopf am nächsten liegenden)

Reflexes wird ausgewertet. Hieraus ergibt sich die 3 D-Topographie.

2. Es werden wie bei der Computertomographie Schnittbilder durch die

Hautstruktur gelegt. Diese können hinsichtlich Struktur und Konstrast analysiert werden.

3. Das zuvor aufgenommene Farbbild wird als Overlay der 3 D-Topographie dargestellt. So können auffällige Pigmentierungen mit der vorliegenden 3 D- Topographie mikroskopisch überlagert werden.

Durch mehrmalige Aufnahme kann das Messfeld automatisch erweitert werden (siehe Anspruch 2). Nach Abschluss der Stapelaufnahme folgt dann ein z. B.

akustisches Signal, welches der Bedienperson signalisiert, dass eine neue seitlich versetzte Stapelaufnahme gefahren werden kann. Die verschiedenen Aufnahmen können dann -ähnlich wie beim Stitching- zu einem Gesamtbild zusammengesetzt werden. Gemäß Anspruch 4 ist vorgesehen, dass zusätzlich nach der oben beschriebenen Auswertung durch Fokussierung auf einen interessanten Tiefenschnitt ein

Highspeed-EchtzeitBild erzeugt werden, z. B. zur Messung der Durchblutung spezieller Bereiche.

Gemäß Anspruch 6 ist vorgesehen, dass der Konfokalsensor einen Matrixsensor in CMOS- oder CCD-Technik aufweist, ebenso die Farbübersichtskamera.

Zum„Blick" ins Innere der Haut verfügt der Konfokalsender über eine

monochromatische Strahlungsquelle, in diesem Fall eine Infrarot-Strahlungsquelle, die im Bereich zwischen 800 und 950 nm strahlt, wobei gemäß Anspruch 8 als Messwellenlänge 850 nm oder 940 nm gewählt wird.

Angewendet werden kann das erfindungsgemäße Gerät in der Krebsdiagnostik zur Früherkennung, Beobachtung und zur Diagnose von Veränderungen. Darüber hinaus können kosmetische Effekte beobachtet werden, wie z.B. die Eindringtiefe kosmetischer Präparate sowie der Tiefeneffekt der Behandlung. Auch Dicke und Struktur bei Brandverletzungen oder bei Hauttransplantationen können ermittelt werden, wobei die Untersuchtungsergebnisse dank der erfindungsgemäßen Technik mittels eines einzigen Gerätes innerhalb von wenigen Sekunden erhalten werden.

Die Erfindung wird im folgenden anhand der Figuren 1 und 2 dargestellt und erläutert:

Es zeigen:

Fig. 1 schematisch den optischen Aufbau des erfindungsgemäßen Gerätes; Fig. 2 ausführlichere Darstellung des Aufbaus des Konfokalsensors Fig. 3 Ablaufdiagramm der Messung In der Figur 1 ist schematisch der optische Aufbau des erfindungsgemäßen Gerätes dargestellt. Es besteht im Wesentlichen aus den Gruppen A und B, wobei in der Gruppe A der konfokale Messaufbau und in der Gruppe B eine digitale Farbkamera dargestellt ist.

Mit dem Bezugszeichen 1 ist die Objektebene (in diesem Fall die Hautoberfläche) bezeichnet. Im Gerät selber ist mit dem Bezugszeichen 2 eine Fokussierlinse bezeichnet, die das von der kollimierten Strahlungsquelle 13 ausgesendete monochromatische Licht (infrarot) sowie das von der ebenfalls kollimierten

Weißlichtquelle 12 stammende Licht auf die Objektebene 1 fokussiert. Das von der Objektebene reflektierte Licht wird über eine weitere Fokussierlinse 4 und dem in der Zwischenbildebene angeordneten Mikrolinsenarray 5 durch die Abbildungsoptik 7, die aus den Elementen 21 , 22, 23 aus Figur 2 besteht, auf einem CCD-Matrixsensor 8 abgebildet, bzw. über den Strahlteiler 3 und die Abbildungsoptik 10 auf den

Matrixsensor 11 (Kamera).

Die Linse 4 ist das einzige bewegliche Teil der Anordnung, da sie für die

Fokussierung bei der schichtweisen Bildaufnahme verantwortlich ist.

Wie aus Figur 2 hervorgeht, handelt es sich bei 5 um ein rechteckiges oder ein quadratisches Mikrolinsenarray, das stationär im Strahlengang angeordnet ist und es erlaubt, dass simultan in Echtzeit ein komplettes„Schichtbild" aufgenommen werden kann. Derartige Mikrolinsenarrays haben sehr kleine Linsenabstände (z. B. 30 μητι), wobei die Linsen typischerweise rund und in einer quadratischen oder hexagonalen Packung angeordnet sind. In der in Figur 2 dargestellten Anordnung, die eine zentrale Komponente des konfokalen Messsystems darstellt, wird das Licht der Lichtquelle 13 von einer Kollektorlinse 14 über einen Strahlteiler 6 als paralleles Licht auf das Mikrolinsenarray 5 projiziert. Die Mikrolinsen 5 erzeugen viele verkleinerte Abbilder der Lichtquelle. Die Fokussiereinheit 16 (Bezugszeichen 2 und 4 aus

Figur 1) bildet die Foki der Mikrolinsen auf das Objekt 19 ab. Das vom Objekt 19 reflektierte Licht wird über die zuvor beschriebenen Elemente 16, 5 und 6 über die Fokussieroptik 23 auf die Blendenöffnung 21 fokussiert und über die Linse 22 auf den CCD-Sensor gerichtet. Der Öffnungsdurchmesser der Blende 21 ist so gewählt, dass er der Emissionsfläche der Lichtquelle 13 entspricht.

In der Gruppe B ist zwischen der Farbkamera 1 und einem Strahlteiler 9 die

Fokussieroptik 10 angeordnet. Über den Strahlteiler 9 wird das Licht der Weißlicht- Strahlungsquelle 12 in den optischen Weg des Konfokalsensors A eingelenkt, wo es mittels des halbdurchlässigen Spiegels 3 (Strahlteiler) auf die Objektebene 1 des Objektes 19 gerichtet wird.

In der Figur 3 ist der zeitliche Ablauf einer Messung dargestellt. Wobei hier mit der Mode 100 angedeutet wird, dass eine Aufnahme eines Life-Farbbildstreams des Messobjektes 19 mittels der Farbkamera (Gruppe B) erfolgt, wobei die Dauer dieser Aufnahme anwendergesteuert ist (Übersichtsbild).

Im Modus 200 wird vom Kameramodus auf den Konfokalmodus umgeschaltet. Es erfolgt eine schnelle Konfokalmessung mit Tiefenscan (angedeutet durch den schrägen Verlauf). Dabei wird die Fokusebene 1 durch das gesamte Volumen des Messobjektes 19 geschoben.

Hieraus ergibt sich während der Messung zunächst ein Übersichtsbild der

Hautoberfläche, wonach dann durch die konfokale Messung die 3 D-Topographie der Hautoberfläche bis in mehrere Millimeter Tiefe erfolgt.

Durch die Verwendung einer Infrarotlichtquelle kann während der konfokalen

Messung ins Innere der Haut geschaut werden, wobei wie oben angegeben jeweils durch axiales Scannen ein Stapel Bilder erzeugt wird. In der nicht dargestellten Auswerteeinheit werden die gemessenen Daten in Schichtbildern der Haut (auch volumenmäßig) berechnet und auf einem ebenfalls nicht dargestellten (externen) Monitor angezeigt.

Im weiteren Verlauf (Mode 100) kann erneut ein Life- Farbbild dargestellt werden, während in der Mode 300 schließlich konfokal auf eine bestimmte Tiefe fokussiert wird und ein Stream von Bildern aufgenommen wird. Mit der Messung in Mode 300 kann z. B. in bestimmter Tiefe die Blutzirkulation in Echtzeit dargestellt und/ oder ausgewertet werden.