Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
CONTROLLING AND CONFIGURING UNIT AND METHOD FOR CONTROLLING AND CONFIGURING A MICROSCOPE
Document Type and Number:
WIPO Patent Application WO/2017/178313
Kind Code:
A1
Abstract:
The invention relates to a method for controlling and/or configuring a microscope. One method step in involves generating a virtual reality in which at least artificial control elements are represented for controlling the microscope and components of the microscope. A further method step involves detecting user inputs carried out by an operator of the microscope in the virtual reality in relation to the represented control elements and/or in relation to the represented components of the microscope. According to the invention, the user inputs are used to control and/or configure the microscope. The invention also relates to a controlling and/or configuring unit for a microscope.

Inventors:
GAIDUK ALEXANDER (DE)
WOLLESCHENSKY RALF (DE)
ILIOPOULOS PAVLOS (DE)
Application Number:
PCT/EP2017/058188
Publication Date:
October 19, 2017
Filing Date:
April 06, 2017
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
ZEISS CARL MICROSCOPY GMBH (DE)
International Classes:
G06F3/01
Foreign References:
US20150032414A12015-01-29
US20100248200A12010-09-30
US20100248200A12010-09-30
US20130125027A12013-05-16
US20130036371A12013-02-07
US8621368B22013-12-31
US20120188256A12012-07-26
US20150118987A12015-04-30
US20150016777A12015-01-15
DE19637756A11997-04-30
DE202009017670U12010-04-29
US20150032414A12015-01-29
DE60130264T22008-05-21
US20150085095A12015-03-26
US20140088941A12014-03-27
Other References:
DOMBECK; DANIEL A ET AL.: "Functional imaging of hippocampal place cells at cellular resolution during virtual navigation", NATURE NEUROSCIENCE, vol. 13, 2010, pages 1433 - 1440
"Neuroscience", 25 September 2015, CARL ZEISS MICROSCOPY GMBH
"Zeiss Axio Scan.Z1", July 2013, CARL ZEISS MICROSCOPY GMBH
Attorney, Agent or Firm:
ENGEL, Christoph K. et al. (DE)
Download PDF:
Claims:
Patentansprüche

1. Verfahren zum Steuern und/oder Konfigurieren eines

Mikroskops; folgende Schritte umfassend:

Erzeugen einer virtuellen Realität, in welcher zumindest synthetische Steuerelemente zum Steuern des Mikroskops und Komponenten des Mikroskops dargestellt werden; Erfassen von Nutzereingaben, welche ein Bediener des Mikroskops in der virtuellen Realität in Bezug auf die dargestellten Steuerelemente und/oder in Bezug auf die dargestellten Komponenten des Mikroskops tätigt; und Verwenden der Nutzereingaben zum Steuern und/oder zum Konfigurieren des Mikroskops.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die virtuelle Realität als eine erweiterte Realität erzeugt wird, in welcher neben den synthetischen Steuerelementen auch reale Steuerelemente und reale Komponenten des

Mikroskops dargestellt werden.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass Aufnahmen einer realen Probe gemeinsam mit den

dargestellten Komponenten des Mikroskops und den

Steuerelementen in der virtuellen Realität dargestellt werden .

4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Probe weiterhin taktil wiedergegeben wird, sodass der

Bediener eine mikroskopische Wiedergabe der Probe taktil und haptisch wahrnehmen kann.

5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch

gekennzeichnet, dass zum Erzeugen der virtuellen Realität eine Virtual-Reality-Brille, eine Augmented-Reality-Brille, eine Mixed-Reality Brille, ein Virtual-Reality-Headset , ein Augmented-Reality-Headset oder ein Mixed-Reality-Headset verwendet wird.

6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch

gekennzeichnet, dass das Erzeugen und das Darstellen der virtuellen Realität in einer räumlichen Abhängigkeit von einer Position des Bedieners erfolgen.

7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch

gekennzeichnet, dass in der virtuellen Realität weiterhin Hilfeinformationen dargestellt werden, die durch Texte, Fehlermeldungen, durch Warnungen, durch Anleitungsvideos, durch einen helfenden Avatar und/oder durch eine

interaktive Führung des Bedieners gebildet sind.

8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die Hilfeinformationen unabhängig von einer Position und einer Blickrichtung des Bedieners dargestellt werden.

9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch

gekennzeichnet, dass in der virtuellen Realität weiterhin Mikroskopaufnahmen des Mikroskops dargestellt werden.

10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch

gekennzeichnet, dass die Steuerelemente und/oder

Komponenten des Mikroskops in Abhängigkeit von einem Ablauf der interaktiven Führung und/oder in Abhängigkeit von einem Nutzungszustand und/oder einem Einstellungszustand und/oder einem Konfigurationszustand des Mikroskops dargestellt werden .

11. Verfahren nach einem der Ansprüche 1 bis 10, dadurch

gekennzeichnet, dass die Nutzereingaben unter Verwendung eines realen Handlungsobjektes getätigt werden.

12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass das Handlungsobjekt durch einen mit einer Markierung versehenen, passiven Handschuh, durch eine 3D-Maus, durch einen Datenhandschuh oder durch einen Flystick gebildet ist .

13. Verfahren nach einem der Ansprüche 1 bis 12, dadurch

gekennzeichnet, dass die Steuerelemente ein oder mehrere Steuerelemente zum Ein- und Ausschalten des Mikroskops, ein oder mehrere Steuerelemente zum Einstellen einer

Mikroskopbeleuchtung des Mikroskops, ein oder mehrere

Steuerelemente zum Einstellen von Aufnahmeparametern des Mikroskops, ein oder mehrere Steuerelemente zum Steuern eines Aufnahmevorganges des Mikroskops, ein oder mehrere Steuerelemente zum Bewegen eines Mikroskoptisches des

Mikroskops, ein oder mehrere Steuerelemente zum Navigieren in Mikroskopbildern des Mikroskops, ein oder mehrere

Steuerelemente zum zeitlichen Navigieren innerhalb einer Bildsequenz oder innerhalb einer Einzelbildfolge des

Mikroskops und/oder ein oder mehrere Steuerelemente zum Überblenden zweier Mikroskopaufnahmen des Mikroskops umfassen .

14. Verfahren nach einem der Ansprüche 1 bis 13, dadurch

gekennzeichnet, dass es weiterhin einen Schritt umfasst, in welchem eine haptische Rückmeldung an den Bediener gegeben wird, während der Bediener die Nutzereingaben in der virtuellen Realität tätigt.

15. Steuer- und/oder Konfiguriereinheit für ein Mikroskop;

umfassend :

- eine Anzeige zum Erzeugen einer virtuellen Realität, in welcher zumindest synthetische Steuerelemente zum Steuern des Mikroskops und Komponenten des Mikroskops darstellbar sind;

mindestens ein Eingabegerät zur Erfassen von

Nutzereingaben, welche ein Bediener des Mikroskops in der virtuellen Realität in Bezug auf die dargestellten Steuerelemente und/oder in Bezug auf die dargestellten Komponenten des Mikroskops tätigt; und

eine Steuer- und/oder Konfigurierelektronik zum Steuern und/oder zum Konfigurieren des Mikroskops entsprechend den Nutzereingaben.

Description:
Steuer- und Konfiguriereinheit sowie Verfahren zum Steuern und

Konfigurieren eines Mikroskops

Die vorliegende Erfindung betrifft zunächst ein Verfahren zum

Steuern und/oder Konfigurieren eines Mikroskops. Das Verfahren kann beispielsweise durch einen Arbeitsablauf zum Steuern und/oder Konfigurieren des Mikroskops in einer vermischten Realität gebildet sein. Die Erfindung betrifft weiterhin eine Steuer- und/oder Konfiguriereinheit für ein Mikroskop.

Die US 2010/0248200 AI zeigt ein System zur Erzeugung einer virtuellen Realität für Lehranwendungen in der Medizin. Die US 2013/0125027 AI lehrt ein System zur Erzeugung einer virtuellen Realität, in welcher mehrere zueinander entfernte Teilnehmer agieren können.

Aus der US 2013/0036371 AI ist ein Verfahren zur Erzeugung einer virtuellen Realität bekannt, bei welchem virtuelle und reale Ansichten überlagert werden.

Die US 8,621,368 B2 zeigt ein Verfahren zur Interaktion in einer virtuellen Realität.

Aus der US 2012/0188256 AI ist ein Verfahren zur Verknüpfung einer realen und einer virtuellen Welt bekannt, bei welchem virtuelle Objekte in der virtuellen Welt gesteuert werden. Die US 2015/0118987 AI lehrt ein Verfahren zur Auswahl von

Netzwerkressourcen unter Nutzung von Zeichenketten zur

Initialisierung einer Kommunikation mit der jeweiligen

Netzwerkressource . Die US 2015/0016777 AI zeigt einen ebenen Wellenleiter, welcher mehrere optische Strahlengänge ermöglicht und

beispielsweise für Head-Mounted Displays verwendet werden kann .

In dem wissenschaftlichen Artikel von Dombeck, Daniel A. et al . : „Functional imaging of hippocampal place cells at

cellular resolution during Virtual navigation" in Nature

Neuroscience 13, Seiten 1433-1440 (2010), ist ein Verfahren zur Visualisierung der Aktivität von Nervenzellen im

Hippocampus beschrieben.

Auf der jährlichen Tagung der Society for Neuroscience am 25. September 2015 in Chicago (USA) präsentierte die Carl Zeiss

Microscopy GmbH eine dreidimensionale Visualisierung von zuvor aufgenommenen und nachbearbeiteten Mikroskopaufnahmen mithilfe eines Virtual-Reality-Headsets . In dem Produktblatt der Carl Zeiss Microscopy GmbH: „Zeiss

Axio Scan. ZI" vom Juli 2013 wird eine Vorrichtung zur

virtuellen Mikroskopie von virtuellen Südes beschrieben. Die Vorrichtung stellt einen Scanner dar, mit welchem reale Proben in einer sehr hohen Auflösung digitalisiert werden können. Die entstehenden großen Datenmengen stehen für eine spätere

Analyse, Visualisierung und Bewertung zur Verfügung. Es kann ein Zugriff auf die Daten über das Internet erfolgen.

Das Computerspiel „Disassembly 3D" simuliert das Zerlegen von verschiedenen Objekten. Es können Schrauben, Bolzen, Muttern und andere Einzelteile mit den bloßen Händen entfernt werden. Das zu zerlegende Objekt ist beispielsweise durch ein

Mikroskop gebildet. Aus der DE 196 37 756 AI ist eine multifunktionelle

Steuereinheit für ein optisches Mikroskop bekannt, die in einer einzigen Hand festhaltbar ist und bevorzugt die Form einer Computermaus aufweist.

Die DE 20 2009 017 670 Ul zeigt eine Mikroskop-Steuereinheit mit manuell betätigbaren walzenförmigen Bedienelementen zur x/y-Verstellung eines Kreuztisches und wahlweise der

z-Verstellung der Fokuseinrichtung des Mikroskops.

Zur Steuerung von Mikroskopen werden gemäß dem Stand der Technik spezielle Tastaturen und Mäuse sowie berührungsfähige Anzeigen verwendet. Diese Steuergeräte sind teilweise mit Einstellrädern ausgestattet.

Die US 2015/0032414 AI beschreibt ein Verfahren zum

dreidimensionalen Vermessen eine Probe mit einem Laser- Scanning-Mikroskop . Eine Steuereinrichtung dient u. a. zur physischen Steuerung der Probe und auch des Lasers. Zur

Darstellung der mikroskopierten Probe wird eine virtuelle Realität genutzt. Der Nutzer kann innerhalb der virtuellen Realität die Ansichten auf die Probe auswählen und verändern, wofür ihm eine 3D-Eingabeeinrichtung zur Verfügung steht. Der Nutzer kann eine virtuelle Konfiguration des Mikroskops auswählen, an welche die reale Konfiguration des Mikroskops angepasst wird.

Die DE 601 30 264 T2 zeigt ein Verfahren zum Steuern eines Mikroskops während eines chirurgischen Eingriffes unter

Nutzung einer erweiterten Realität. In der US 2015/0085095 AI ist ein System zur chirurgischen Visualisierung beschrieben, welches physische und virtuelle Benutzerschnittstellen aufweist. Die US 2014/0088941 AI lehrt ein System zur Simulation von chirurgischen Abläufen, in welchem eine virtuelle Realität mit einer haptischen Erweiterung erzeugt wird.

Die Aufgabe der vorliegenden Erfindung besteht ausgehend vom Stand der Technik darin, die komplexe Bedienung, Steuerung und/oder Konfiguration von Mikroskopen zu erleichtern. Dies soll beispielsweise auch das Erlernen der technischen Funktion von Mikroskopen, insbesondere von deren Hardware und von

Arbeitsabläufen beim Bedienen des Mikroskops erleichtern. Auch soll das Entwickeln und das Prototyping von Mikroskopen dadurch erleichtert werden.

Die genannte Aufgabe wird gelöst durch ein Verfahren gemäß dem beigefügten Anspruch 1 sowie durch eine Steuer- und/oder

Konfiguriereinheit gemäß dem beigefügten nebengeordneten

Anspruch 15.

Das erfindungsgemäße Verfahren dient zum Steuern und/oder zum Konfigurieren eines Mikroskops und stellt insoweit ein

Verfahren zum Bedienen, zum Steuern und/oder zum Konfigurieren des Mikroskops dar. Bei dem Mikroskop handelt es sich

bevorzugt um ein reales Mikroskop oder alternativ bevorzugt um ein virtuelles Mikroskop. Das virtuelle Mikroskop ist

synthetisch und durch Software in einem Rechner ausgebildet. Bei dem physischen realen Mikroskop handelt es sich bevorzugt um ein digitales Mikroskop, bei welchem eine elektronische Bildwandlung erfolgt, wobei das aufgenommene Bild in Form von digitalen Daten weiterverarbeitet und zur Anzeige auf einer elektronischen Bildwiedergabeeinrichtung gebracht wird. Bei dem physischen realen Mikroskop kann es sich aber auch um ein Mikroskop einer anderen Bauart oder mit einem anderen

Funktionsprinzip handeln.

Das erfindungsgemäße Verfahren umfasst einen Schritt, in welchem eine virtuelle Realität erzeugt und dargestellt wird. Die virtuelle Realität wird visuell und bevorzugt auch

akustisch dargestellt. Die virtuelle Realität ist

dreidimensional und wird bevorzugt auch dreidimensional dargestellt. In dieser virtuellen Realität werden

Steuerelemente zum Steuern des Mikroskops dargestellt, wobei die Steuerelemente zumindest synthetische Steuerelemente umfassen. Die dargestellten Steuerelemente repräsentieren Einstellmöglichkeiten bzw. Auswahlmöglichkeiten für Parameter und/oder Funktionen des Mikroskops. In dieser virtuellen

Realität werden ergänzend zumindest Komponenten des Mikroskops dargestellt. Bei den Komponenten des Mikroskops handelt es sich insbesondere um Baugruppen oder Funktionseinheiten des Mikroskops.

In einem weiteren Schritt des Verfahrens erfolgt ein Erfassen von Nutzereingaben, welche ein Bediener des Mikroskops in der virtuellen Realität in Bezug auf die dargestellten

Steuerelemente und/oder in Bezug auf die dargestellten

Komponenten des Mikroskops tätigt. Die Nutzereingaben können beispielsweise optisch, akustisch, haptisch, mechanisch oder elektromagnetisch erfasst werden. Die Nutzereingaben können beispielsweise unter Verwendung von Methoden zur Bilderkennung und/oder zur Spracherkennung erfasst werden. Die

Nutzereingaben können beispielsweise durch eine Geste oder aber durch ein Berühren oder ein Verändern eines Objektes getätigt werden. In einem weiteren Schritt des Verfahrens erfolgt ein Verwenden der Nutzereingaben zum Steuern, zum Bedienen und/oder zum Konfigurieren des Mikroskops, sodass das Mikroskop

entsprechend den in der virtuellen Realität getätigten

Nutzereingaben betrieben bzw. konfiguriert wird. Das

Konfigurieren umfasst insbesondere ein Zusammenfügen und/oder ein Trennen von Komponenten des Mikroskops, d. h. eine Montage bzw. eine Demontage des Mikroskops.

Ein besonderer Vorteil des erfindungsgemäßen Verfahrens besteht darin, dass es die erweiterten Möglichkeiten der virtuellen Realität nutzt, um den Bediener oder Entwickler eines Mikroskops zu unterstützen. Hierdurch können Kosten für die Einweisung des Bedieners oder für Prototypen eingespart werden. Auch kann das Verfahren bei der Entwicklung von

Mikroskopen angewendet werden, um eine optimale Bedienung des Mikroskops zu schaffen. Das Verfahren kann auch zu

Schulungszwecken oder zur Durchführung von Untersuchungen an Mikroskopen angewendet werden. Derartige Schulungen bzw.

Untersuchungen können in vielen Anwendungsfeldern auf der Basis von unterschiedlichen zuvor mit realen Mikroskopen von realen Proben erstellten Aufnahmen durchgeführt werden. Bei bevorzugten Ausführungsformen des erfindungsgemäßen

Verfahrens wird die virtuelle Realität als eine erweiterte Realität oder als eine vermischte Realität erzeugt und

dargestellt. In der erweiterten bzw. vermischten Realität werden neben den synthetischen Steuerelementen auch reale Steuerelemente des Mikroskops und reale Komponenten des

Mikroskops dargestellt. Für die Darstellung der realen

Steuerelemente des realen Mikroskops werden am realen

Mikroskop vorhandene Steuerelemente in der erweiterten bzw. vermischten Realität abgebildet. Für die Darstellung der Komponenten des realen Mikroskops werden am realen Mikroskop vorhandene Komponenten in der erweiterten bzw. vermischten Realität abgebildet. Die Darstellung der synthetischen

Steuerelemente wird synthetisch generiert; insbesondere in einem Computer. Die Komponenten des virtuellen Mikroskops werden synthetisch generiert; insbesondere in einem Computer. Die erweiterte bzw. vermischte Realität zeichnet sich dadurch aus, dass neben synthetischen Elementen auch natürliche

Elemente dargestellt bzw. abgebildet werden. Die synthetische

Elementen und die natürlichen Elemente werden gemeinsam in der erweiterten bzw. vermischten Realität dargestellt bzw.

abgebildet . Bei alternativ bevorzugten Ausführungsformen des

erfindungsgemäßen Verfahrens werden in der virtuellen Realität ausschließlich synthetische Inhalte dargestellt, sodass die Steuerelemente ebenfalls vollständig durch die synthetischen Steuerelemente gebildet sind.

Das Verfahren kann beispielsweise durch einen Arbeitsablauf zum Steuern und/oder Konfigurieren des Mikroskops in einer vermischten Realität gebildet sein. Das Mikroskop befindet sich somit weder ausschließlich in der realen Welt, noch ausschließlich in der virtuellen Welt. Der Bediener kann das in der vermischen Realität befindliche Mikroskop innerhalb der realen Welt wahrnehmen, wobei alle Beschränkungen der realen Welt wirken. Dies erleichtert beispielsweise das Erlernen der Verwendung und Bedienung des Mikroskops mit unterschiedlichen Ausstattungen und Konfigurationen. Bevorzugt erfolgt eine

Datenkommunikation mit dem realen Mikroskop, sodass

beispielsweise die mit dem realen Mikroskop aufgenommenen Aufnahmen der Probe zu den Darstellungen des Mikroskops übertragen und ebenfalls dargestellt werden können. Zudem erfolgt bevorzugt eine Datenkommunikation zur Übertragung von Analysedaten. Bevorzugt erfolgt eine Datenkommunikation mit Endgeräten mehrerer Nutzer, welche gemeinsam die Aufnahmen der Probe und/oder die Analysedaten nutzen können.

Bei bevorzugten Ausführungsformen des erfindungsgemäßen

Verfahrens wird das reale Mikroskop mit den synthetischen Steuerelementen in der virtuellen Realität dargestellt, wobei die synthetischen Steuerelemente in der Darstellung bevorzugt reale Steuerkomponenten des Mikroskops ersetzen. Die

synthetischen Steuerelemente ersetzen in der Darstellung bevorzugt eine reale Steuereinheit des Mikroskops.

Beispielsweise kann eine reale Steuereinheit, welche eine komplexe Bedienung aufweist und entsprechendes Fachwissen erfordert, in der Darstellung durch einfache synthetische Steuerelemente ersetzt werden, deren Bedienung kein oder kaum Fachwissen erfordert. Bevorzugt werden die synthetischen

Steuerelemente nicht gleichzeitig, sondern in Abhängigkeit von einem Bedienungsablauf, in Abhängigkeit von einem Ablauf einer interaktiven Führung und/oder in Abhängigkeit von einem

Nutzungszustand und/oder einem Einstellungszustand und/oder einem Konfigurationszustand des Mikroskops dargestellt. Die Bedienung des Mikroskops ist bei dieser Ausführungsform innerhalb der erweiterten Realität deutlich erleichtert. Die einfachen synthetischen Steuerelemente sind bevorzugt durch ein Schaltelement zum Ein- und Ausschalten des Mikroskops, durch einen Auslöser zum Aufnehmen eines Überblicksbildes, durch einen Auslöser zum Aufnehmen eines mikroskopischen

Bildes, durch einen Auslöser zum Aufnehmen eines

Hochkontrastbildes, durch ein Steuerelement zum Bewegen eines Mikroskoptisches des Mikroskops, durch ein Steuerelement zum Initiieren einer groben Autofokuseinstellung, durch ein Steuerelement zum Initiieren eines feinen Autofokuseinstellung und/oder durch ein Steuerelement zum Initiieren der Ausgabe eines Berichtes gebildet. Bei bevorzugten Ausführungsformen des erfindungsgemäßen

Verfahrens wird das gesamte Mikroskop dargestellt,

insbesondere das gesamte reale Mikroskop bzw. das gesamte virtuelle Mikroskop. Bei bevorzugten Ausführungsformen des erfindungsgemäßen

Verfahrens werden Aufnahmen einer realen Probe, die mit dem Mikroskop, mit einem anderen Mikroskop oder mit verschiedenen Mikroskopen aufgenommen wurden, gemeinsam mit dem Mikroskop und den Steuerelementen in der virtuellen Realität

dargestellt. Alternativ oder ergänzend können reale

Steuerelemente dargestellt werden. Auf diese Weise kann das Mikroskop oder ein Arbeitsablauf beim Bedienen des Mikroskops simuliert werden, um Erfahrungen mit dem Mikroskop zu sammeln. Somit können kosten- und zeiteffiziente Untersuchungen des Mikroskops einschließlich dessen Ausstattungen und Anwendungen durchgeführt werden. Zudem ist eine effiziente Entwicklung des Mikroskops einschließlich dessen Hard- und Software und

Dienstmerkmalen ermöglicht. Bei einer weiteren bevorzugten Ausführungsform wird die Probe nicht lediglich visuell dargestellt, wofür die Probe ergänzend auch taktil wiedergegeben wird, sodass der Bediener eine mikroskopische Wiedergabe der Probe taktil und haptisch wahrnehmen kann. Somit kann der Bediener die Probe in

vergrößerter Form taktil und haptisch wahrnehmen, d. h.

insbesondere durch seine Finger bzw. seine Hand erspüren.

Mikroskopische Proben, welche weder mit dem menschlichen Auge, noch mit dem menschlichen Tastsinn wahrnehmbar sind, können bei dieser Ausführungsform der Erfindung sowohl visuell als auch taktil und haptisch wahrgenommen werden. Die taktile Wiedergabe der Probe korrespondiert bevorzugt räumlich zur visuellen mikroskopischen Darstellung der Probe, sodass die visuelle Wahrnehmung des Bedieners und die taktile und/oder haptische Wahrnehmung des Bedieners grundsätzlich

zusammenpassen, wodurch ein hoher Grad an Immersion erzielt wird. Der Bediener kann die vergrößerte visuelle Darstellung der Probe auch taktil und haptisch wahrnehmen, sodass er beispielsweise einen visuell vergrößert dargestellten Teil der

Probe auch ertasten kann. Die taktile Wiedergabe erfolgt bevorzugt auf einem Wiedergabetisch, welcher technische Mittel zur taktilen Wiedergabe aufweist, wobei die visuelle

Darstellung bevorzugt ebenfalls auf diesem Tisch erfolgt. Die taktile Wiedergabe der Probe korrespondiert bevorzugt räumlich und zeitlich zur visuellen Darstellung der Probe. Die taktile Wiedergabe der Probe umfasst die Wiedergabe der Topologie der Probe; insbesondere die vergrößerte Wiedergabe der Topologie der Probe. Die taktile Wiedergabe der Probe umfasst bevorzugt auch die Wiedergabe von physikalischen und/oder chemischen

Eigenschaften der Oberfläche der Probe. Die physikalischen Eigenschaften umfassen bevorzugt eine Festigkeit der

Oberfläche, Reibungseigenschaften der Oberfläche, eine

Körperfarbe der Oberfläche, eine Rauheit der Oberfläche, eine Weichheit der Oberfläche und/oder eine Temperatur der

Oberfläche der Probe. Somit kann der Bediener unterschiedliche Eigenschaften der Probe durch ein Ertasten der Wiedergabe der Probe taktil und/oder haptisch wahrnehmen. Beispielsweise kann der Bediener mit einem Finger innerhalb der virtuellen

Realität über die taktile Wiedergabe gleiten, wodurch er nicht nur die Topologie der Probe, sondern auch weitere

Oberflächeneigenschaften der Probe haptisch wahrnehmen kann. Die taktile Wiedergabe der Probe erfolgt bevorzugt interaktiv, sodass gleichzeitig haptische Nutzereingaben erfasst werden.

Zum Erzeugen und dreidimensionalen Darstellen der virtuellen Realität bzw. der erweiterten Realität wird bevorzugt eine dreidimensionale Anzeige, besonders bevorzugt eine Virtual- Reality-Brille, eine Augmented-Reality-Brille oder eine Mixed- Reality-Brille verwendet, welche der Bediener auf seinem Kopf vor den Augen trägt. Hierfür können aber andere Head-Mounted Displays oder eine Projektion z. B. in einer CAVE verwendet werden. In einem einfachen Fall können auch eine oder mehrere zweidimensionale Anzeigen verwendet werden. Bei weiteren bevorzugten Ausführungsformen wird zum Erzeugen und

dreidimensionalen Darstellen der virtuellen Realität bzw. der erweiterten Realität ein Virtual-Reality-Headset , ein

Augmented-Reality-Headset oder ein Mixed-Reality-Headset verwendet .

Das Erzeugen und das dreidimensionale Darstellen der

virtuellen Realität bzw. der erweiterten Realität erfolgen bevorzugt in einer räumlichen Abhängigkeit von einer Position des Bedieners . Alternativ oder ergänzend erfolgen das Erzeugen und das dreidimensionale Darstellen der virtuellen Realität bzw. der erweiterten Realität bevorzugt in einer räumlichen Abhängigkeit von einer Position des Mikroskops.

Bei bevorzugten Ausführungsformen des erfindungsgemäßen

Verfahrens werden in der virtuellen Realität bzw. in der erweiterten Realität neben den Steuerelementen auch

Komponenten des Mikroskops oder das gesamte Mikroskop

dargestellt . Bei bevorzugten Ausführungsformen des erfindungsgemäßen

Verfahrens werden in der virtuellen Realität bzw. in der erweiterten Realität neben den Steuerelementen auch

Mikroskopaufnahmen dargestellt, die mit dem Mikroskop

aufgenommen wurden. Die Darstellung der Mikroskopaufnahmen erfolgt, um dem Bediener die Steuerung er erleichtern bzw. zu ermöglichen .

Bei besonders bevorzugten Ausführungsformen des

erfindungsgemäßen Verfahrens werden in der virtuellen Realität bzw. in der erweiterten Realität auch Hilfeinformationen dargestellt. Die Hilfeinformationen geben dem Bediener eine Hilfe zur Steuerung des Mikroskops. Die Hilfeinformationen werden bevorzugt unabhängig von einer Position und einer

Blickrichtung des Bedieners dargestellt. Die

Hilfeinformationen umfassen bevorzugt Texte, Fehlermeldungen, Symbole, wie Pfeilsymbole, Warnungen, Anleitungsvideos und/oder einen helfenden Avatar. Die Hilfeinformationen umfassen bevorzugt auch akustische Hilfeinformationen, beispielsweise in Form von natürlicher oder synthetischer

Sprache .

Bei besonders bevorzugten Ausführungsformen des

erfindungsgemäßen Verfahrens erfolgt in der virtuellen

Realität bzw. in der erweiterten Realität eine interaktive

Führung des Bedieners, um ihm die Steuerung und/oder die

Bedienung und/oder die Konfiguration des Mikroskops zu lehren und/oder zu erleichtern. Insoweit erfolgt ein E-Learning innerhalb des erfindungsgemäßen Verfahrens. Durch die

interaktive Führung wird der Bediener beim Steuern bzw. beim

Bedienen bzw. beim Konfigurieren des Mikroskops angeleitet. Innerhalb der interaktiven Führung werden in der virtuellen Realität bzw. in der erweiterten Realität bevorzugt

Mikroskopaufnahmen dargestellt, um das Anleiten des Bedieners zu unterstützen. Diese Mikroskopaufnahmen wurden bevorzugt mit dem Mikroskop aufgenommen.

Die Steuerelemente und/oder die Komponenten des Mikroskops werden innerhalb der interaktiven Führung bevorzugt in

Abhängigkeit von einem Ablauf der interaktiven Führung

dargestellt, sodass diese nicht statisch dargestellt werden.

Die einzelnen Steuerelemente und/oder die einzelnen

Komponenten des Mikroskops werden somit in Abhängigkeit von einem Zustand der sich zeitlich verändernden interaktiven Führung und/oder in Abhängigkeit von Nutzereingaben des

Bedieners dargestellt, nicht dargestellt oder verändert dargestellt .

Die Steuerelemente und/oder die Komponenten des Mikroskops werden bevorzugt in Abhängigkeit von einem Nutzungszustand und/oder in Abhängigkeit von einem Einstellungszustand

und/oder in Abhängigkeit von einem Konfigurationszustand des Mikroskops dargestellt. Die einzelnen Steuerelemente und/oder die einzelnen Komponenten des Mikroskops werden somit in

Abhängigkeit von dem sich zeitlich verändernden

Nutzungszustand und/oder in Abhängigkeit von dem sich zeitlich verändernden Einstellungszustand des Mikroskops und/oder in Abhängigkeit von dem sich ändernden Konfigurationszustand dargestellt, nicht dargestellt oder verändert dargestellt. Entsprechend erfolgen bevorzugt ein Einblenden und/oder ein Ausblenden der Steuerelemente bzw. ein Einblenden und/oder ein

Ausblenden der einzelnen Komponenten des Mikroskops abhängig von dem Nutzungszustand und/oder abhängig von dem Einstellungszustand und/oder abhängig von dem

Konfigurationszustand des Mikroskops.

Das Konfigurieren des Mikroskops umfasst bevorzugt ein

Zusammenfügen und/oder ein Trennen von Komponenten des

Mikroskops, d. h. eine Montage bzw. eine Demontage des

Mikroskops. Bevorzugt wird mindestens eine physische

Mikroskopgrundplatte verwendet, um das in der virtuellen Realität darzustellende Mikroskop zu konfigurieren. Auf der realen Mikroskopgrundplatte können die in der virtuellen

Realität dargestellten Komponenten des Mikroskops virtuell angeordnet werden. Auf der Mikroskopgrundplatte befinden sich bevorzugt Markierungen, welche dem Bediener zeigen, wo die dargestellten Komponenten des Mikroskops anzuordnen sind. Die Mikroskopgrundplatte weist bevorzugt bestimmte

Oberflächeneigenschaften, wie beispielsweise eine sich örtlich ändernde Rauheit auf, welche dem Bediener die Orientierung erleichtern . Die Nutzereingaben sind bevorzugt durch Gesten des Bedieners gebildet. Eine der Gesten ist bevorzugt durch ein Zeigen mit einem Finger oder mit einer Hand des Bedieners gebildet. Diese Geste führt bevorzugt dazu, dass der Bereich der vergrößert dargestellten Probe, auf welchen der Bediener zeigt, markiert oder nochmals vergrößert dargestellt wird. Eine weitere der

Gesten ist bevorzugt durch ein Bewegen des Finger oder der Hand des Bedieners entlang einer Kreisbahn gebildet. Diese Geste führt bevorzugt dazu, dass die vergrößerte Darstellung der Probe gedreht wird. Eine weitere der Gesten ist bevorzugt durch ein Gehen des Bedieners vorwärts oder rückwärts in Bezug auf die Darstellung der Probe gebildet. Diese Geste führt bevorzugt dazu, dass die Vergrößerung und/oder die Auflösung der Darstellung der Probe erhöht bzw. verringert wird. Bei besonders bevorzugten Ausführungsformen des

erfindungsgemäßen Verfahrens werden die Nutzereingaben unter Verwendung eines realen Handlungsobjektes getätigt. Das reale Handlungsobjekt wird vom Bediener zum Tätigen der

Nutzereingaben verwendet. Das reale Handlungsobjekt kann als ein Totem angesehen werden. Dabei kann eine Form, eine Farbe, ein Muster und/oder eine Bewegung des Handlungsobjektes zur Kodierung einer mit der Nutzereingabe zu übertragenden

Information genutzt werden. Das Handlungsobjekt kann durch ein passives oder durch ein aktives Objekt gebildet sein.

Bevorzugt ist das Handlungsobjekt durch einen Handschuh gebildet, welcher eine Markierung besitzt und als solcher passiv ist. Der Bediener kann aufgrund des Handschuhes auf seiner Hand erkannt werden und ein Bewegen des Handschuhes kann eine Nutzereingabe darstellen. Das Handlungsobjekt ist bei weiteren bevorzugten Ausführungsformen durch eine 3D-Maus, durch einen Datenhandschuh oder durch einen Flystick gebildet. Derartige aktive Handlungsobjekte stellen Eingabegeräte dar und sind bei Anwendungen der virtuellen Realität bzw.

erweiterten Realität etabliert. Über die 3D-Maus, den

Datenhandschuh bzw. den Flystick kann der Bediener

Nutzereingaben tätigen. Bei bevorzugten Ausführungsformen des erfindungsgemäßen

Verfahrens umfassen die Steuerelemente mindestens ein

Steuerelement zum Ein- und Ausschalten des Mikroskops und bevorzugt mindestens ein Steuerelement zum Unterbrechen des Betriebes des Mikroskops.

Bei bevorzugten Ausführungsformen des erfindungsgemäßen

Verfahrens umfassen die Steuerelemente ein oder mehrere

Steuerelemente zum Einstellen einer Mikroskopbeleuchtung des Mikroskops. Die Steuerelemente zum Einstellen der Mikroskopbeleuchtung des Mikroskops umfassen bevorzugt

mindestens ein Steuerelement zum Ein- und Ausschalten der Mikroskopbeleuchtung, mindestens ein Steuerelement zur Wahl von Parametern der Mikroskopbeleuchtung, mindestens ein

Steuerelement zur Auswahl eines Modus der Mikroskopbeleuchtung und/oder mindestens ein Steuerelement zur Auswahl einer Quelle der Mikroskopbeleuchtung. Bei bevorzugten Ausführungsformen des erfindungsgemäßen

Verfahrens umfassen die Steuerelemente ein oder mehrere

Steuerelemente zum Einstellen von Aufnahmeparametern bzw.

Belichtungsparametern des Mikroskops. Die Steuerelemente zum Einstellen der Aufnahmeparameter bzw. der Belichtungsparameter umfassen bevorzugt mindestens ein Steuerelement zum Einstellen einer Aufnahmezeit bzw. einer Belichtungszeit, mindestens ein Steuerelement zum Einstellen einer Aufnahmekorrektur,

mindestens ein Steuerelement zur Wahl einer automatischen Aufnahme bzw. einer automatischen Belichtung, mindestens ein Steuerelement zum Einstellen einer Aufnahmegeschwindigkeit, mindestens ein Steuerelement zum Einstellen einer

Aufnahmequalität und/oder mindestens ein Steuerelement zum Einstellen eines Aufnahmemodus . Bei bevorzugten Ausführungsformen des erfindungsgemäßen

Verfahrens umfassen die Steuerelemente ein oder mehrere

Steuerelemente zum Steuern eines Aufnahmevorganges bzw. eines Belichtungsvorganges des Mikroskops. Die Steuerelemente zum Steuern des Aufnahmevorganges bzw. des Belichtungsvorganges umfassen bevorzugt mindestens ein Steuerelement zum Starten des Aufnahmevorganges bzw. des Belichtungsvorganges,

mindestens ein Steuerelement zum Beenden des Aufnahmevorganges bzw. des Belichtungsvorganges, mindestens ein Steuerelement zum Unterbrechen des Aufnahmevorganges bzw. des

Belichtungsvorganges, mindestens ein Steuerelement zum

Aufnehmen eines Einzelbildes, mindestens ein Steuerelement zum Aufnehmen einer Bildsequenz und/oder mindestens ein

Steuerelement zum Aufnehmen einer Einzelbildfolge.

Bei bevorzugten Ausführungsformen des erfindungsgemäßen

Verfahrens umfassen die Steuerelemente ein oder mehrere

Steuerelemente zum Bewegen eines Mikroskoptisches des

Mikroskops. Die Steuerelemente zum Bewegen des

Mikroskoptisches umfassen bevorzugt mindestens ein

Steuerelement zum Einstellen einer x-, y- oder z-Position des Mikroskoptisches und/oder mindestens ein Steuerelement zum Einstellen einer Drehung und/oder einer Neigung des

Mikroskoptisches.

Bei bevorzugten Ausführungsformen des erfindungsgemäßen

Verfahrens umfassen die Steuerelemente ein oder mehrere

Steuerelemente zum Einstellen von Mikroskopierparametern des Mikroskops. Die Steuerelemente zum Einstellen der

Mikroskopierparameter des Mikroskops umfassen bevorzugt mindestens ein Steuerelement zum Einstellen eines Kontrastes und/oder mindestens ein Steuerelement zur Auswahl von

MikroskopierOptionen .

Bei bevorzugten Ausführungsformen des erfindungsgemäßen

Verfahrens umfassen die Steuerelemente mindestens ein

Steuerelement zum Navigieren in zweidimensionalen

Mikroskopbildern, mindestens ein Steuerelement zum Navigieren in dreidimensionalen Mikroskopbildern und/oder mindestens ein

Steuerelement zum Umschalten zwischen zweidimensionalen

Mikroskopbildern und dreidimensionalen Mikroskopbildern. Bei bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens umfassen die Steuerelemente mindestens ein

Steuerelement zum zeitlichen Navigieren innerhalb einer Bildsequenz und/oder mindestens ein Steuerelement zum zeitlichen Navigieren innerhalb einer Einzelbildfolge.

Bei bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens umfassen die Steuerelemente mindestens ein

Steuerelement zum Überblenden zweier zweidimensionaler Mikroskopaufnahmen und/oder mindestens ein Steuerelement zum

Anzeigen von Korrelationen zwischen zwei überblendeten zweidimensionalen Mikroskopaufnahmen .

Bei bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens umfassen die Steuerelemente mindestens ein

Steuerelement zum Überblenden zweier dreidimensionaler Mikroskopaufnahmen und/oder mindestens ein Steuerelement zum Anzeigen von Korrelationen zwischen zwei überblendeten dreidimensionalen Mikroskopaufnahmen .

Bei bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens umfassen die Steuerelemente mindestens ein

Steuerelement zum Navigieren in einem Archiv von

Mikroskopaufnahmen und/oder mindestens ein Steuerelement zum Speichern von Mikroskopaufnahmen.

Bei bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens umfassen die Steuerelemente mindestens ein

Steuerelement zum Anschließen eines externen Gerätes an das Mikroskop. Bei bevorzugten Ausführungsformen des erfindungsgemäßen

Verfahrens umfassen die Steuerelemente mindestens ein

Steuerelement zum Aktualisieren von Software des Mikroskops. In der virtuellen Realität bzw. in der erweiterten Realität erhält der Bediener visuelle Rückmeldungen, insbesondere visuelle Rückmeldungen zu seinen Nutzereingaben oder in Bezug auf die interaktive Führung. Bevorzugte Ausführungsformen des erfindungsgemäßen Verfahrens umfassen weiterhin einen Schritt, in welchem auch mindestens eine akustische Rückmeldung an den

Bediener gegeben wird; insbesondere während er die

Nutzereingaben in der virtuellen Realität tätigt oder während der interaktiven Führung. Hierfür dient ein Lautsprecher oder ein Kopfhörer. Weitere bevorzugte Ausführungsformen des erfindungsgemäßen Verfahrens umfassen weiterhin einen Schritt, in welchem mindestens eine haptische Rückmeldung an den

Bediener gegeben wird; insbesondere während er die

Nutzereingaben in der virtuellen Realität tätigt oder während der interaktiven Führung. Hierfür dient beispielsweise ein entsprechend ausgestatteter Datenhandschuh. Die haptische

Rückmeldung wird bevorzugt auf eine Hand des Bedieners

gerichtet. Die haptische Rückmeldung umfasst bevorzugt eine aktive Kraftrückkopplung, die auch als Force Feedback

bezeichnet wird. Somit erhält der Bediener eine Kraft als Rückmeldung.

Die visuelle Rückmeldung, die akustische Rückmeldung und/oder die haptische Rückmeldung ist bevorzugt abhängig von einem Status des Mikroskops, abhängig von einem Status einer

Komponente des Mikroskops und/oder abhängig von einem Status eines Ablaufes im Mikroskop. Die visuelle Rückmeldung, die akustische Rückmeldung und/oder die haptische Rückmeldung, aber insbesondere die haptische Rückmeldung wird bevorzugt durch das Handlungsobjekt an den Bediener gegeben. Das Handlungsobjekt ist bevorzugt durch eine haptisch rückmeldungsfähige 3D-Maus, durch einen haptisch rückmeldungsfähigen Datenhandschuh oder durch einen haptisch rückmeldungsfähigen Flystick gebildet.

Die erfindungsgemäße Steuer- und/oder Konfiguriereinheit ist für ein Mikroskop vorgesehen und dient zum Steuern und/oder zum Konfigurieren des Mikroskops. Die erfindungsgemäße Steuer- und/oder Konfiguriereinheit umfasst eine Anzeige zum Erzeugen und Darstellen einer virtuellen Realität. In dieser virtuellen Realität sind Steuerelemente zum Steuern des Mikroskops und Komponenten des Mikroskops darstellbar, wobei die

Steuerelemente zumindest synthetische Steuerelemente umfassen. Die darstellbaren Steuerelemente repräsentieren Parameter und/oder Funktionen des Mikroskops. Die Anzeige ist bevorzugt durch eine dreidimensionale Anzeige gebildet. Die

dreidimensionale Anzeige ist bevorzugt durch eine Virtual-

Reality-Brille, eine Augmented-Reality-Brille oder eine Mixed- Reality-Brille gebildet, welche der Bediener auf seinem Kopf vor den Augen trägt. Die Anzeige kann aber auch durch ein anderes Head-Mounted Display oder durch Projektoren z. B. in einer CAVE gebildet sein. In einem einfachen Fall kann die

Anzeige durch eine zweidimensionale Anzeige gebildet sein. Die Anzeige kann aber auch bevorzugt durch ein Virtual-Reality- Headset, ein Augmented-Reality-Headset oder ein Mixed-Reality- Headset gebildet sein.

Die erfindungsgemäße Steuer- und/oder Konfiguriereinheit umfasst weiterhin mindestens ein Eingabegerät zur Erfassen von Nutzereingaben, welche ein Bediener des Mikroskops in der virtuellen Realität in Bezug auf die dargestellten Steuerelemente und/oder in Bezug auf die dargestellten

Komponenten des Mikroskops tätigt. Das mindestens eine

Eingabegerät ist bevorzugt durch einen optischen Sensor gebildet, welcher den Bediener und Gesten des Bedieners erkennt. Das mindestens eine Eingabegerät ist bevorzugt durch einen Orts- und/oder Lagesensor gebildet, welcher am Bediener angeordnet ist. Das mindestens eine Eingabegerät ist bevorzugt durch ein Computereingabegerät gebildet; insbesondere durch eine 3D-Maus, durch einen Datenhandschuh oder durch einen

Flystick. Das mindestens eine Eingabegerät umfasst bevorzugt eine aktive Kraftrückkopplung.

Die erfindungsgemäße Steuer- und/oder Konfiguriereinheit umfasst weiterhin eine Steuer- und/oder Konfigurierelektronik zum Steuern und/oder Konfigurieren des Mikroskops entsprechend den getätigten Nutzereingaben. Die Steuer- und/oder

Konfigurierelektronik ist bevorzugt durch einen Rechner bzw. durch einen Computer gebildet.

Die erfindungsgemäße Steuer- und/oder Konfiguriereinheit ist bevorzugt zur Ausführung des erfindungsgemäßen Verfahrens konfiguriert. Die erfindungsgemäße Steuer- und/oder

Konfiguriereinheit ist bevorzugt zur Ausführung einer der beschriebenen bevorzugten Ausführungsformen des

erfindungsgemäßen Verfahrens konfiguriert. Im Übrigen weist die erfindungsgemäße Steuer- und/oder Konfiguriereinheit bevorzugt auch die Merkmale auf, die im Zusammenhang mit dem erfindungsgemäßen Verfahren und dessen bevorzugten

Ausführungsformen angegeben sind.

Weitere Einzelheiten und Weiterbildungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsformen der Erfindung, unter Bezugnahme auf die Zeichnung .

Die einzige Fig. veranschaulicht zwei bevorzugte

Ausführungsformen der Erfindung. Bei der Ausführungsform I dient ein reales Mikroskop (R) zur Aufnahme einer realen Probe (R) . Erfindungsgemäß erfolgen ein Steuern und/oder ein

Konfigurieren des realen Mikroskops durch Nutzereingaben in einer virtuellen Realität (V) . Bei der Ausführungsform II dient ein virtuelles Mikroskop (V) zur Aufnahme einer

virtuellen Probe (V), was in einem Rechner erfolgt.

Erfindungsgemäß erfolgen ein Steuern und/oder ein

Konfigurieren des virtuellen Mikroskops durch Nutzereingaben in einer erweiterten Realität (V/R) .

Nachfolgend ist ein bevorzugter Ablauf des erfindungsgemäßen Verfahrens beispielhaft beschrieben. In einer erweiterten Realität wird eine zu mikroskopierende Probe dargestellt.

Beispielsweise wird auch eine Hand eines Bedieners

dargestellt, welche die zu mikroskopierende Probe hält. In der erweiterten Realität wird die zu mikroskopierende Probe anschließend vergrößert dargestellt. Der Bediener kann

innerhalb der erweiterten Realität mit seiner realen Hand bzw. Finger auf einen ihn interessierenden Bereich der vergrößerten Darstellung zeigen, was beispielsweis dazu führt, dass dieser

Bereich markiert wird oder nochmals vergrößert dargestellt wird. Weiterhin kann der Bediener durch eine Geste mit seinem realen Finger entlang einer weitgehend beliebigen Kreisbahn die vergrößerte Darstellung der Probe drehen, wodurch er den ihn interessierenden Bereich zur Darstellung bringen kann.

Weiterhin werden in der erweiterten Realität Markierungen auf der vergrößerten Darstellung der Probe dargestellt. Die

Markierungen sind beispielweis durch Buchstaben gebildet. Wird die vergrößerte Darstellung der Probe in der erweiterten Realität gedreht, so werden auch die Darstellungen der

Markierungen gedreht. Die Markierungen repräsentieren dann unterschiedliche Perspektiven. Die Bewegung des in der erweiterten Realität befindlichen Bedieners stellt eine Nutzereingabe dar. Bewegt sich der Bediener nach vorn, so erhöht sich die Vergrößerung bzw. die Auflösung der

Darstellung der Probe. Bewegt sich der Bediener nach hinten, so verringert sich die Vergrößerung bzw. die Auflösung der Darstellung der Probe.