WOLLESCHENSKY RALF (DE)
ILIOPOULOS PAVLOS (DE)
US20150032414A1 | 2015-01-29 | |||
US20100248200A1 | 2010-09-30 | |||
US20100248200A1 | 2010-09-30 | |||
US20130125027A1 | 2013-05-16 | |||
US20130036371A1 | 2013-02-07 | |||
US8621368B2 | 2013-12-31 | |||
US20120188256A1 | 2012-07-26 | |||
US20150118987A1 | 2015-04-30 | |||
US20150016777A1 | 2015-01-15 | |||
DE19637756A1 | 1997-04-30 | |||
DE202009017670U1 | 2010-04-29 | |||
US20150032414A1 | 2015-01-29 | |||
DE60130264T2 | 2008-05-21 | |||
US20150085095A1 | 2015-03-26 | |||
US20140088941A1 | 2014-03-27 |
"Neuroscience", 25 September 2015, CARL ZEISS MICROSCOPY GMBH
"Zeiss Axio Scan.Z1", July 2013, CARL ZEISS MICROSCOPY GMBH
Patentansprüche 1. Verfahren zum Steuern und/oder Konfigurieren eines Mikroskops; folgende Schritte umfassend: Erzeugen einer virtuellen Realität, in welcher zumindest synthetische Steuerelemente zum Steuern des Mikroskops und Komponenten des Mikroskops dargestellt werden; Erfassen von Nutzereingaben, welche ein Bediener des Mikroskops in der virtuellen Realität in Bezug auf die dargestellten Steuerelemente und/oder in Bezug auf die dargestellten Komponenten des Mikroskops tätigt; und Verwenden der Nutzereingaben zum Steuern und/oder zum Konfigurieren des Mikroskops. 2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die virtuelle Realität als eine erweiterte Realität erzeugt wird, in welcher neben den synthetischen Steuerelementen auch reale Steuerelemente und reale Komponenten des Mikroskops dargestellt werden. 3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass Aufnahmen einer realen Probe gemeinsam mit den dargestellten Komponenten des Mikroskops und den Steuerelementen in der virtuellen Realität dargestellt werden . 4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Probe weiterhin taktil wiedergegeben wird, sodass der Bediener eine mikroskopische Wiedergabe der Probe taktil und haptisch wahrnehmen kann. 5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass zum Erzeugen der virtuellen Realität eine Virtual-Reality-Brille, eine Augmented-Reality-Brille, eine Mixed-Reality Brille, ein Virtual-Reality-Headset , ein Augmented-Reality-Headset oder ein Mixed-Reality-Headset verwendet wird. 6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass das Erzeugen und das Darstellen der virtuellen Realität in einer räumlichen Abhängigkeit von einer Position des Bedieners erfolgen. 7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass in der virtuellen Realität weiterhin Hilfeinformationen dargestellt werden, die durch Texte, Fehlermeldungen, durch Warnungen, durch Anleitungsvideos, durch einen helfenden Avatar und/oder durch eine interaktive Führung des Bedieners gebildet sind. 8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die Hilfeinformationen unabhängig von einer Position und einer Blickrichtung des Bedieners dargestellt werden. 9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass in der virtuellen Realität weiterhin Mikroskopaufnahmen des Mikroskops dargestellt werden. 10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die Steuerelemente und/oder Komponenten des Mikroskops in Abhängigkeit von einem Ablauf der interaktiven Führung und/oder in Abhängigkeit von einem Nutzungszustand und/oder einem Einstellungszustand und/oder einem Konfigurationszustand des Mikroskops dargestellt werden . 11. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass die Nutzereingaben unter Verwendung eines realen Handlungsobjektes getätigt werden. 12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass das Handlungsobjekt durch einen mit einer Markierung versehenen, passiven Handschuh, durch eine 3D-Maus, durch einen Datenhandschuh oder durch einen Flystick gebildet ist . 13. Verfahren nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass die Steuerelemente ein oder mehrere Steuerelemente zum Ein- und Ausschalten des Mikroskops, ein oder mehrere Steuerelemente zum Einstellen einer Mikroskopbeleuchtung des Mikroskops, ein oder mehrere Steuerelemente zum Einstellen von Aufnahmeparametern des Mikroskops, ein oder mehrere Steuerelemente zum Steuern eines Aufnahmevorganges des Mikroskops, ein oder mehrere Steuerelemente zum Bewegen eines Mikroskoptisches des Mikroskops, ein oder mehrere Steuerelemente zum Navigieren in Mikroskopbildern des Mikroskops, ein oder mehrere Steuerelemente zum zeitlichen Navigieren innerhalb einer Bildsequenz oder innerhalb einer Einzelbildfolge des Mikroskops und/oder ein oder mehrere Steuerelemente zum Überblenden zweier Mikroskopaufnahmen des Mikroskops umfassen . 14. Verfahren nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass es weiterhin einen Schritt umfasst, in welchem eine haptische Rückmeldung an den Bediener gegeben wird, während der Bediener die Nutzereingaben in der virtuellen Realität tätigt. 15. Steuer- und/oder Konfiguriereinheit für ein Mikroskop; umfassend : - eine Anzeige zum Erzeugen einer virtuellen Realität, in welcher zumindest synthetische Steuerelemente zum Steuern des Mikroskops und Komponenten des Mikroskops darstellbar sind; mindestens ein Eingabegerät zur Erfassen von Nutzereingaben, welche ein Bediener des Mikroskops in der virtuellen Realität in Bezug auf die dargestellten Steuerelemente und/oder in Bezug auf die dargestellten Komponenten des Mikroskops tätigt; und eine Steuer- und/oder Konfigurierelektronik zum Steuern und/oder zum Konfigurieren des Mikroskops entsprechend den Nutzereingaben. |
Konfigurieren eines Mikroskops
Die vorliegende Erfindung betrifft zunächst ein Verfahren zum
Steuern und/oder Konfigurieren eines Mikroskops. Das Verfahren kann beispielsweise durch einen Arbeitsablauf zum Steuern und/oder Konfigurieren des Mikroskops in einer vermischten Realität gebildet sein. Die Erfindung betrifft weiterhin eine Steuer- und/oder Konfiguriereinheit für ein Mikroskop.
Die US 2010/0248200 AI zeigt ein System zur Erzeugung einer virtuellen Realität für Lehranwendungen in der Medizin. Die US 2013/0125027 AI lehrt ein System zur Erzeugung einer virtuellen Realität, in welcher mehrere zueinander entfernte Teilnehmer agieren können.
Aus der US 2013/0036371 AI ist ein Verfahren zur Erzeugung einer virtuellen Realität bekannt, bei welchem virtuelle und reale Ansichten überlagert werden.
Die US 8,621,368 B2 zeigt ein Verfahren zur Interaktion in einer virtuellen Realität.
Aus der US 2012/0188256 AI ist ein Verfahren zur Verknüpfung einer realen und einer virtuellen Welt bekannt, bei welchem virtuelle Objekte in der virtuellen Welt gesteuert werden. Die US 2015/0118987 AI lehrt ein Verfahren zur Auswahl von
Netzwerkressourcen unter Nutzung von Zeichenketten zur
Initialisierung einer Kommunikation mit der jeweiligen
Netzwerkressource . Die US 2015/0016777 AI zeigt einen ebenen Wellenleiter, welcher mehrere optische Strahlengänge ermöglicht und
beispielsweise für Head-Mounted Displays verwendet werden kann .
In dem wissenschaftlichen Artikel von Dombeck, Daniel A. et al . : „Functional imaging of hippocampal place cells at
cellular resolution during Virtual navigation" in Nature
Neuroscience 13, Seiten 1433-1440 (2010), ist ein Verfahren zur Visualisierung der Aktivität von Nervenzellen im
Hippocampus beschrieben.
Auf der jährlichen Tagung der Society for Neuroscience am 25. September 2015 in Chicago (USA) präsentierte die Carl Zeiss
Microscopy GmbH eine dreidimensionale Visualisierung von zuvor aufgenommenen und nachbearbeiteten Mikroskopaufnahmen mithilfe eines Virtual-Reality-Headsets . In dem Produktblatt der Carl Zeiss Microscopy GmbH: „Zeiss
Axio Scan. ZI" vom Juli 2013 wird eine Vorrichtung zur
virtuellen Mikroskopie von virtuellen Südes beschrieben. Die Vorrichtung stellt einen Scanner dar, mit welchem reale Proben in einer sehr hohen Auflösung digitalisiert werden können. Die entstehenden großen Datenmengen stehen für eine spätere
Analyse, Visualisierung und Bewertung zur Verfügung. Es kann ein Zugriff auf die Daten über das Internet erfolgen.
Das Computerspiel „Disassembly 3D" simuliert das Zerlegen von verschiedenen Objekten. Es können Schrauben, Bolzen, Muttern und andere Einzelteile mit den bloßen Händen entfernt werden. Das zu zerlegende Objekt ist beispielsweise durch ein
Mikroskop gebildet. Aus der DE 196 37 756 AI ist eine multifunktionelle
Steuereinheit für ein optisches Mikroskop bekannt, die in einer einzigen Hand festhaltbar ist und bevorzugt die Form einer Computermaus aufweist.
Die DE 20 2009 017 670 Ul zeigt eine Mikroskop-Steuereinheit mit manuell betätigbaren walzenförmigen Bedienelementen zur x/y-Verstellung eines Kreuztisches und wahlweise der
z-Verstellung der Fokuseinrichtung des Mikroskops.
Zur Steuerung von Mikroskopen werden gemäß dem Stand der Technik spezielle Tastaturen und Mäuse sowie berührungsfähige Anzeigen verwendet. Diese Steuergeräte sind teilweise mit Einstellrädern ausgestattet.
Die US 2015/0032414 AI beschreibt ein Verfahren zum
dreidimensionalen Vermessen eine Probe mit einem Laser- Scanning-Mikroskop . Eine Steuereinrichtung dient u. a. zur physischen Steuerung der Probe und auch des Lasers. Zur
Darstellung der mikroskopierten Probe wird eine virtuelle Realität genutzt. Der Nutzer kann innerhalb der virtuellen Realität die Ansichten auf die Probe auswählen und verändern, wofür ihm eine 3D-Eingabeeinrichtung zur Verfügung steht. Der Nutzer kann eine virtuelle Konfiguration des Mikroskops auswählen, an welche die reale Konfiguration des Mikroskops angepasst wird.
Die DE 601 30 264 T2 zeigt ein Verfahren zum Steuern eines Mikroskops während eines chirurgischen Eingriffes unter
Nutzung einer erweiterten Realität. In der US 2015/0085095 AI ist ein System zur chirurgischen Visualisierung beschrieben, welches physische und virtuelle Benutzerschnittstellen aufweist. Die US 2014/0088941 AI lehrt ein System zur Simulation von chirurgischen Abläufen, in welchem eine virtuelle Realität mit einer haptischen Erweiterung erzeugt wird.
Die Aufgabe der vorliegenden Erfindung besteht ausgehend vom Stand der Technik darin, die komplexe Bedienung, Steuerung und/oder Konfiguration von Mikroskopen zu erleichtern. Dies soll beispielsweise auch das Erlernen der technischen Funktion von Mikroskopen, insbesondere von deren Hardware und von
Arbeitsabläufen beim Bedienen des Mikroskops erleichtern. Auch soll das Entwickeln und das Prototyping von Mikroskopen dadurch erleichtert werden.
Die genannte Aufgabe wird gelöst durch ein Verfahren gemäß dem beigefügten Anspruch 1 sowie durch eine Steuer- und/oder
Konfiguriereinheit gemäß dem beigefügten nebengeordneten
Anspruch 15.
Das erfindungsgemäße Verfahren dient zum Steuern und/oder zum Konfigurieren eines Mikroskops und stellt insoweit ein
Verfahren zum Bedienen, zum Steuern und/oder zum Konfigurieren des Mikroskops dar. Bei dem Mikroskop handelt es sich
bevorzugt um ein reales Mikroskop oder alternativ bevorzugt um ein virtuelles Mikroskop. Das virtuelle Mikroskop ist
synthetisch und durch Software in einem Rechner ausgebildet. Bei dem physischen realen Mikroskop handelt es sich bevorzugt um ein digitales Mikroskop, bei welchem eine elektronische Bildwandlung erfolgt, wobei das aufgenommene Bild in Form von digitalen Daten weiterverarbeitet und zur Anzeige auf einer elektronischen Bildwiedergabeeinrichtung gebracht wird. Bei dem physischen realen Mikroskop kann es sich aber auch um ein Mikroskop einer anderen Bauart oder mit einem anderen
Funktionsprinzip handeln.
Das erfindungsgemäße Verfahren umfasst einen Schritt, in welchem eine virtuelle Realität erzeugt und dargestellt wird. Die virtuelle Realität wird visuell und bevorzugt auch
akustisch dargestellt. Die virtuelle Realität ist
dreidimensional und wird bevorzugt auch dreidimensional dargestellt. In dieser virtuellen Realität werden
Steuerelemente zum Steuern des Mikroskops dargestellt, wobei die Steuerelemente zumindest synthetische Steuerelemente umfassen. Die dargestellten Steuerelemente repräsentieren Einstellmöglichkeiten bzw. Auswahlmöglichkeiten für Parameter und/oder Funktionen des Mikroskops. In dieser virtuellen
Realität werden ergänzend zumindest Komponenten des Mikroskops dargestellt. Bei den Komponenten des Mikroskops handelt es sich insbesondere um Baugruppen oder Funktionseinheiten des Mikroskops.
In einem weiteren Schritt des Verfahrens erfolgt ein Erfassen von Nutzereingaben, welche ein Bediener des Mikroskops in der virtuellen Realität in Bezug auf die dargestellten
Steuerelemente und/oder in Bezug auf die dargestellten
Komponenten des Mikroskops tätigt. Die Nutzereingaben können beispielsweise optisch, akustisch, haptisch, mechanisch oder elektromagnetisch erfasst werden. Die Nutzereingaben können beispielsweise unter Verwendung von Methoden zur Bilderkennung und/oder zur Spracherkennung erfasst werden. Die
Nutzereingaben können beispielsweise durch eine Geste oder aber durch ein Berühren oder ein Verändern eines Objektes getätigt werden. In einem weiteren Schritt des Verfahrens erfolgt ein Verwenden der Nutzereingaben zum Steuern, zum Bedienen und/oder zum Konfigurieren des Mikroskops, sodass das Mikroskop
entsprechend den in der virtuellen Realität getätigten
Nutzereingaben betrieben bzw. konfiguriert wird. Das
Konfigurieren umfasst insbesondere ein Zusammenfügen und/oder ein Trennen von Komponenten des Mikroskops, d. h. eine Montage bzw. eine Demontage des Mikroskops.
Ein besonderer Vorteil des erfindungsgemäßen Verfahrens besteht darin, dass es die erweiterten Möglichkeiten der virtuellen Realität nutzt, um den Bediener oder Entwickler eines Mikroskops zu unterstützen. Hierdurch können Kosten für die Einweisung des Bedieners oder für Prototypen eingespart werden. Auch kann das Verfahren bei der Entwicklung von
Mikroskopen angewendet werden, um eine optimale Bedienung des Mikroskops zu schaffen. Das Verfahren kann auch zu
Schulungszwecken oder zur Durchführung von Untersuchungen an Mikroskopen angewendet werden. Derartige Schulungen bzw.
Untersuchungen können in vielen Anwendungsfeldern auf der Basis von unterschiedlichen zuvor mit realen Mikroskopen von realen Proben erstellten Aufnahmen durchgeführt werden. Bei bevorzugten Ausführungsformen des erfindungsgemäßen
Verfahrens wird die virtuelle Realität als eine erweiterte Realität oder als eine vermischte Realität erzeugt und
dargestellt. In der erweiterten bzw. vermischten Realität werden neben den synthetischen Steuerelementen auch reale Steuerelemente des Mikroskops und reale Komponenten des
Mikroskops dargestellt. Für die Darstellung der realen
Steuerelemente des realen Mikroskops werden am realen
Mikroskop vorhandene Steuerelemente in der erweiterten bzw. vermischten Realität abgebildet. Für die Darstellung der Komponenten des realen Mikroskops werden am realen Mikroskop vorhandene Komponenten in der erweiterten bzw. vermischten Realität abgebildet. Die Darstellung der synthetischen
Steuerelemente wird synthetisch generiert; insbesondere in einem Computer. Die Komponenten des virtuellen Mikroskops werden synthetisch generiert; insbesondere in einem Computer. Die erweiterte bzw. vermischte Realität zeichnet sich dadurch aus, dass neben synthetischen Elementen auch natürliche
Elemente dargestellt bzw. abgebildet werden. Die synthetische
Elementen und die natürlichen Elemente werden gemeinsam in der erweiterten bzw. vermischten Realität dargestellt bzw.
abgebildet . Bei alternativ bevorzugten Ausführungsformen des
erfindungsgemäßen Verfahrens werden in der virtuellen Realität ausschließlich synthetische Inhalte dargestellt, sodass die Steuerelemente ebenfalls vollständig durch die synthetischen Steuerelemente gebildet sind.
Das Verfahren kann beispielsweise durch einen Arbeitsablauf zum Steuern und/oder Konfigurieren des Mikroskops in einer vermischten Realität gebildet sein. Das Mikroskop befindet sich somit weder ausschließlich in der realen Welt, noch ausschließlich in der virtuellen Welt. Der Bediener kann das in der vermischen Realität befindliche Mikroskop innerhalb der realen Welt wahrnehmen, wobei alle Beschränkungen der realen Welt wirken. Dies erleichtert beispielsweise das Erlernen der Verwendung und Bedienung des Mikroskops mit unterschiedlichen Ausstattungen und Konfigurationen. Bevorzugt erfolgt eine
Datenkommunikation mit dem realen Mikroskop, sodass
beispielsweise die mit dem realen Mikroskop aufgenommenen Aufnahmen der Probe zu den Darstellungen des Mikroskops übertragen und ebenfalls dargestellt werden können. Zudem erfolgt bevorzugt eine Datenkommunikation zur Übertragung von Analysedaten. Bevorzugt erfolgt eine Datenkommunikation mit Endgeräten mehrerer Nutzer, welche gemeinsam die Aufnahmen der Probe und/oder die Analysedaten nutzen können.
Bei bevorzugten Ausführungsformen des erfindungsgemäßen
Verfahrens wird das reale Mikroskop mit den synthetischen Steuerelementen in der virtuellen Realität dargestellt, wobei die synthetischen Steuerelemente in der Darstellung bevorzugt reale Steuerkomponenten des Mikroskops ersetzen. Die
synthetischen Steuerelemente ersetzen in der Darstellung bevorzugt eine reale Steuereinheit des Mikroskops.
Beispielsweise kann eine reale Steuereinheit, welche eine komplexe Bedienung aufweist und entsprechendes Fachwissen erfordert, in der Darstellung durch einfache synthetische Steuerelemente ersetzt werden, deren Bedienung kein oder kaum Fachwissen erfordert. Bevorzugt werden die synthetischen
Steuerelemente nicht gleichzeitig, sondern in Abhängigkeit von einem Bedienungsablauf, in Abhängigkeit von einem Ablauf einer interaktiven Führung und/oder in Abhängigkeit von einem
Nutzungszustand und/oder einem Einstellungszustand und/oder einem Konfigurationszustand des Mikroskops dargestellt. Die Bedienung des Mikroskops ist bei dieser Ausführungsform innerhalb der erweiterten Realität deutlich erleichtert. Die einfachen synthetischen Steuerelemente sind bevorzugt durch ein Schaltelement zum Ein- und Ausschalten des Mikroskops, durch einen Auslöser zum Aufnehmen eines Überblicksbildes, durch einen Auslöser zum Aufnehmen eines mikroskopischen
Bildes, durch einen Auslöser zum Aufnehmen eines
Hochkontrastbildes, durch ein Steuerelement zum Bewegen eines Mikroskoptisches des Mikroskops, durch ein Steuerelement zum Initiieren einer groben Autofokuseinstellung, durch ein Steuerelement zum Initiieren eines feinen Autofokuseinstellung und/oder durch ein Steuerelement zum Initiieren der Ausgabe eines Berichtes gebildet. Bei bevorzugten Ausführungsformen des erfindungsgemäßen
Verfahrens wird das gesamte Mikroskop dargestellt,
insbesondere das gesamte reale Mikroskop bzw. das gesamte virtuelle Mikroskop. Bei bevorzugten Ausführungsformen des erfindungsgemäßen
Verfahrens werden Aufnahmen einer realen Probe, die mit dem Mikroskop, mit einem anderen Mikroskop oder mit verschiedenen Mikroskopen aufgenommen wurden, gemeinsam mit dem Mikroskop und den Steuerelementen in der virtuellen Realität
dargestellt. Alternativ oder ergänzend können reale
Steuerelemente dargestellt werden. Auf diese Weise kann das Mikroskop oder ein Arbeitsablauf beim Bedienen des Mikroskops simuliert werden, um Erfahrungen mit dem Mikroskop zu sammeln. Somit können kosten- und zeiteffiziente Untersuchungen des Mikroskops einschließlich dessen Ausstattungen und Anwendungen durchgeführt werden. Zudem ist eine effiziente Entwicklung des Mikroskops einschließlich dessen Hard- und Software und
Dienstmerkmalen ermöglicht. Bei einer weiteren bevorzugten Ausführungsform wird die Probe nicht lediglich visuell dargestellt, wofür die Probe ergänzend auch taktil wiedergegeben wird, sodass der Bediener eine mikroskopische Wiedergabe der Probe taktil und haptisch wahrnehmen kann. Somit kann der Bediener die Probe in
vergrößerter Form taktil und haptisch wahrnehmen, d. h.
insbesondere durch seine Finger bzw. seine Hand erspüren.
Mikroskopische Proben, welche weder mit dem menschlichen Auge, noch mit dem menschlichen Tastsinn wahrnehmbar sind, können bei dieser Ausführungsform der Erfindung sowohl visuell als auch taktil und haptisch wahrgenommen werden. Die taktile Wiedergabe der Probe korrespondiert bevorzugt räumlich zur visuellen mikroskopischen Darstellung der Probe, sodass die visuelle Wahrnehmung des Bedieners und die taktile und/oder haptische Wahrnehmung des Bedieners grundsätzlich
zusammenpassen, wodurch ein hoher Grad an Immersion erzielt wird. Der Bediener kann die vergrößerte visuelle Darstellung der Probe auch taktil und haptisch wahrnehmen, sodass er beispielsweise einen visuell vergrößert dargestellten Teil der
Probe auch ertasten kann. Die taktile Wiedergabe erfolgt bevorzugt auf einem Wiedergabetisch, welcher technische Mittel zur taktilen Wiedergabe aufweist, wobei die visuelle
Darstellung bevorzugt ebenfalls auf diesem Tisch erfolgt. Die taktile Wiedergabe der Probe korrespondiert bevorzugt räumlich und zeitlich zur visuellen Darstellung der Probe. Die taktile Wiedergabe der Probe umfasst die Wiedergabe der Topologie der Probe; insbesondere die vergrößerte Wiedergabe der Topologie der Probe. Die taktile Wiedergabe der Probe umfasst bevorzugt auch die Wiedergabe von physikalischen und/oder chemischen
Eigenschaften der Oberfläche der Probe. Die physikalischen Eigenschaften umfassen bevorzugt eine Festigkeit der
Oberfläche, Reibungseigenschaften der Oberfläche, eine
Körperfarbe der Oberfläche, eine Rauheit der Oberfläche, eine Weichheit der Oberfläche und/oder eine Temperatur der
Oberfläche der Probe. Somit kann der Bediener unterschiedliche Eigenschaften der Probe durch ein Ertasten der Wiedergabe der Probe taktil und/oder haptisch wahrnehmen. Beispielsweise kann der Bediener mit einem Finger innerhalb der virtuellen
Realität über die taktile Wiedergabe gleiten, wodurch er nicht nur die Topologie der Probe, sondern auch weitere
Oberflächeneigenschaften der Probe haptisch wahrnehmen kann. Die taktile Wiedergabe der Probe erfolgt bevorzugt interaktiv, sodass gleichzeitig haptische Nutzereingaben erfasst werden.
Zum Erzeugen und dreidimensionalen Darstellen der virtuellen Realität bzw. der erweiterten Realität wird bevorzugt eine dreidimensionale Anzeige, besonders bevorzugt eine Virtual- Reality-Brille, eine Augmented-Reality-Brille oder eine Mixed- Reality-Brille verwendet, welche der Bediener auf seinem Kopf vor den Augen trägt. Hierfür können aber andere Head-Mounted Displays oder eine Projektion z. B. in einer CAVE verwendet werden. In einem einfachen Fall können auch eine oder mehrere zweidimensionale Anzeigen verwendet werden. Bei weiteren bevorzugten Ausführungsformen wird zum Erzeugen und
dreidimensionalen Darstellen der virtuellen Realität bzw. der erweiterten Realität ein Virtual-Reality-Headset , ein
Augmented-Reality-Headset oder ein Mixed-Reality-Headset verwendet .
Das Erzeugen und das dreidimensionale Darstellen der
virtuellen Realität bzw. der erweiterten Realität erfolgen bevorzugt in einer räumlichen Abhängigkeit von einer Position des Bedieners . Alternativ oder ergänzend erfolgen das Erzeugen und das dreidimensionale Darstellen der virtuellen Realität bzw. der erweiterten Realität bevorzugt in einer räumlichen Abhängigkeit von einer Position des Mikroskops.
Bei bevorzugten Ausführungsformen des erfindungsgemäßen
Verfahrens werden in der virtuellen Realität bzw. in der erweiterten Realität neben den Steuerelementen auch
Komponenten des Mikroskops oder das gesamte Mikroskop
dargestellt . Bei bevorzugten Ausführungsformen des erfindungsgemäßen
Verfahrens werden in der virtuellen Realität bzw. in der erweiterten Realität neben den Steuerelementen auch
Mikroskopaufnahmen dargestellt, die mit dem Mikroskop
aufgenommen wurden. Die Darstellung der Mikroskopaufnahmen erfolgt, um dem Bediener die Steuerung er erleichtern bzw. zu ermöglichen .
Bei besonders bevorzugten Ausführungsformen des
erfindungsgemäßen Verfahrens werden in der virtuellen Realität bzw. in der erweiterten Realität auch Hilfeinformationen dargestellt. Die Hilfeinformationen geben dem Bediener eine Hilfe zur Steuerung des Mikroskops. Die Hilfeinformationen werden bevorzugt unabhängig von einer Position und einer
Blickrichtung des Bedieners dargestellt. Die
Hilfeinformationen umfassen bevorzugt Texte, Fehlermeldungen, Symbole, wie Pfeilsymbole, Warnungen, Anleitungsvideos und/oder einen helfenden Avatar. Die Hilfeinformationen umfassen bevorzugt auch akustische Hilfeinformationen, beispielsweise in Form von natürlicher oder synthetischer
Sprache .
Bei besonders bevorzugten Ausführungsformen des
erfindungsgemäßen Verfahrens erfolgt in der virtuellen
Realität bzw. in der erweiterten Realität eine interaktive
Führung des Bedieners, um ihm die Steuerung und/oder die
Bedienung und/oder die Konfiguration des Mikroskops zu lehren und/oder zu erleichtern. Insoweit erfolgt ein E-Learning innerhalb des erfindungsgemäßen Verfahrens. Durch die
interaktive Führung wird der Bediener beim Steuern bzw. beim
Bedienen bzw. beim Konfigurieren des Mikroskops angeleitet. Innerhalb der interaktiven Führung werden in der virtuellen Realität bzw. in der erweiterten Realität bevorzugt
Mikroskopaufnahmen dargestellt, um das Anleiten des Bedieners zu unterstützen. Diese Mikroskopaufnahmen wurden bevorzugt mit dem Mikroskop aufgenommen.
Die Steuerelemente und/oder die Komponenten des Mikroskops werden innerhalb der interaktiven Führung bevorzugt in
Abhängigkeit von einem Ablauf der interaktiven Führung
dargestellt, sodass diese nicht statisch dargestellt werden.
Die einzelnen Steuerelemente und/oder die einzelnen
Komponenten des Mikroskops werden somit in Abhängigkeit von einem Zustand der sich zeitlich verändernden interaktiven Führung und/oder in Abhängigkeit von Nutzereingaben des
Bedieners dargestellt, nicht dargestellt oder verändert dargestellt .
Die Steuerelemente und/oder die Komponenten des Mikroskops werden bevorzugt in Abhängigkeit von einem Nutzungszustand und/oder in Abhängigkeit von einem Einstellungszustand
und/oder in Abhängigkeit von einem Konfigurationszustand des Mikroskops dargestellt. Die einzelnen Steuerelemente und/oder die einzelnen Komponenten des Mikroskops werden somit in
Abhängigkeit von dem sich zeitlich verändernden
Nutzungszustand und/oder in Abhängigkeit von dem sich zeitlich verändernden Einstellungszustand des Mikroskops und/oder in Abhängigkeit von dem sich ändernden Konfigurationszustand dargestellt, nicht dargestellt oder verändert dargestellt. Entsprechend erfolgen bevorzugt ein Einblenden und/oder ein Ausblenden der Steuerelemente bzw. ein Einblenden und/oder ein
Ausblenden der einzelnen Komponenten des Mikroskops abhängig von dem Nutzungszustand und/oder abhängig von dem Einstellungszustand und/oder abhängig von dem
Konfigurationszustand des Mikroskops.
Das Konfigurieren des Mikroskops umfasst bevorzugt ein
Zusammenfügen und/oder ein Trennen von Komponenten des
Mikroskops, d. h. eine Montage bzw. eine Demontage des
Mikroskops. Bevorzugt wird mindestens eine physische
Mikroskopgrundplatte verwendet, um das in der virtuellen Realität darzustellende Mikroskop zu konfigurieren. Auf der realen Mikroskopgrundplatte können die in der virtuellen
Realität dargestellten Komponenten des Mikroskops virtuell angeordnet werden. Auf der Mikroskopgrundplatte befinden sich bevorzugt Markierungen, welche dem Bediener zeigen, wo die dargestellten Komponenten des Mikroskops anzuordnen sind. Die Mikroskopgrundplatte weist bevorzugt bestimmte
Oberflächeneigenschaften, wie beispielsweise eine sich örtlich ändernde Rauheit auf, welche dem Bediener die Orientierung erleichtern . Die Nutzereingaben sind bevorzugt durch Gesten des Bedieners gebildet. Eine der Gesten ist bevorzugt durch ein Zeigen mit einem Finger oder mit einer Hand des Bedieners gebildet. Diese Geste führt bevorzugt dazu, dass der Bereich der vergrößert dargestellten Probe, auf welchen der Bediener zeigt, markiert oder nochmals vergrößert dargestellt wird. Eine weitere der
Gesten ist bevorzugt durch ein Bewegen des Finger oder der Hand des Bedieners entlang einer Kreisbahn gebildet. Diese Geste führt bevorzugt dazu, dass die vergrößerte Darstellung der Probe gedreht wird. Eine weitere der Gesten ist bevorzugt durch ein Gehen des Bedieners vorwärts oder rückwärts in Bezug auf die Darstellung der Probe gebildet. Diese Geste führt bevorzugt dazu, dass die Vergrößerung und/oder die Auflösung der Darstellung der Probe erhöht bzw. verringert wird. Bei besonders bevorzugten Ausführungsformen des
erfindungsgemäßen Verfahrens werden die Nutzereingaben unter Verwendung eines realen Handlungsobjektes getätigt. Das reale Handlungsobjekt wird vom Bediener zum Tätigen der
Nutzereingaben verwendet. Das reale Handlungsobjekt kann als ein Totem angesehen werden. Dabei kann eine Form, eine Farbe, ein Muster und/oder eine Bewegung des Handlungsobjektes zur Kodierung einer mit der Nutzereingabe zu übertragenden
Information genutzt werden. Das Handlungsobjekt kann durch ein passives oder durch ein aktives Objekt gebildet sein.
Bevorzugt ist das Handlungsobjekt durch einen Handschuh gebildet, welcher eine Markierung besitzt und als solcher passiv ist. Der Bediener kann aufgrund des Handschuhes auf seiner Hand erkannt werden und ein Bewegen des Handschuhes kann eine Nutzereingabe darstellen. Das Handlungsobjekt ist bei weiteren bevorzugten Ausführungsformen durch eine 3D-Maus, durch einen Datenhandschuh oder durch einen Flystick gebildet. Derartige aktive Handlungsobjekte stellen Eingabegeräte dar und sind bei Anwendungen der virtuellen Realität bzw.
erweiterten Realität etabliert. Über die 3D-Maus, den
Datenhandschuh bzw. den Flystick kann der Bediener
Nutzereingaben tätigen. Bei bevorzugten Ausführungsformen des erfindungsgemäßen
Verfahrens umfassen die Steuerelemente mindestens ein
Steuerelement zum Ein- und Ausschalten des Mikroskops und bevorzugt mindestens ein Steuerelement zum Unterbrechen des Betriebes des Mikroskops.
Bei bevorzugten Ausführungsformen des erfindungsgemäßen
Verfahrens umfassen die Steuerelemente ein oder mehrere
Steuerelemente zum Einstellen einer Mikroskopbeleuchtung des Mikroskops. Die Steuerelemente zum Einstellen der Mikroskopbeleuchtung des Mikroskops umfassen bevorzugt
mindestens ein Steuerelement zum Ein- und Ausschalten der Mikroskopbeleuchtung, mindestens ein Steuerelement zur Wahl von Parametern der Mikroskopbeleuchtung, mindestens ein
Steuerelement zur Auswahl eines Modus der Mikroskopbeleuchtung und/oder mindestens ein Steuerelement zur Auswahl einer Quelle der Mikroskopbeleuchtung. Bei bevorzugten Ausführungsformen des erfindungsgemäßen
Verfahrens umfassen die Steuerelemente ein oder mehrere
Steuerelemente zum Einstellen von Aufnahmeparametern bzw.
Belichtungsparametern des Mikroskops. Die Steuerelemente zum Einstellen der Aufnahmeparameter bzw. der Belichtungsparameter umfassen bevorzugt mindestens ein Steuerelement zum Einstellen einer Aufnahmezeit bzw. einer Belichtungszeit, mindestens ein Steuerelement zum Einstellen einer Aufnahmekorrektur,
mindestens ein Steuerelement zur Wahl einer automatischen Aufnahme bzw. einer automatischen Belichtung, mindestens ein Steuerelement zum Einstellen einer Aufnahmegeschwindigkeit, mindestens ein Steuerelement zum Einstellen einer
Aufnahmequalität und/oder mindestens ein Steuerelement zum Einstellen eines Aufnahmemodus . Bei bevorzugten Ausführungsformen des erfindungsgemäßen
Verfahrens umfassen die Steuerelemente ein oder mehrere
Steuerelemente zum Steuern eines Aufnahmevorganges bzw. eines Belichtungsvorganges des Mikroskops. Die Steuerelemente zum Steuern des Aufnahmevorganges bzw. des Belichtungsvorganges umfassen bevorzugt mindestens ein Steuerelement zum Starten des Aufnahmevorganges bzw. des Belichtungsvorganges,
mindestens ein Steuerelement zum Beenden des Aufnahmevorganges bzw. des Belichtungsvorganges, mindestens ein Steuerelement zum Unterbrechen des Aufnahmevorganges bzw. des
Belichtungsvorganges, mindestens ein Steuerelement zum
Aufnehmen eines Einzelbildes, mindestens ein Steuerelement zum Aufnehmen einer Bildsequenz und/oder mindestens ein
Steuerelement zum Aufnehmen einer Einzelbildfolge.
Bei bevorzugten Ausführungsformen des erfindungsgemäßen
Verfahrens umfassen die Steuerelemente ein oder mehrere
Steuerelemente zum Bewegen eines Mikroskoptisches des
Mikroskops. Die Steuerelemente zum Bewegen des
Mikroskoptisches umfassen bevorzugt mindestens ein
Steuerelement zum Einstellen einer x-, y- oder z-Position des Mikroskoptisches und/oder mindestens ein Steuerelement zum Einstellen einer Drehung und/oder einer Neigung des
Mikroskoptisches.
Bei bevorzugten Ausführungsformen des erfindungsgemäßen
Verfahrens umfassen die Steuerelemente ein oder mehrere
Steuerelemente zum Einstellen von Mikroskopierparametern des Mikroskops. Die Steuerelemente zum Einstellen der
Mikroskopierparameter des Mikroskops umfassen bevorzugt mindestens ein Steuerelement zum Einstellen eines Kontrastes und/oder mindestens ein Steuerelement zur Auswahl von
MikroskopierOptionen .
Bei bevorzugten Ausführungsformen des erfindungsgemäßen
Verfahrens umfassen die Steuerelemente mindestens ein
Steuerelement zum Navigieren in zweidimensionalen
Mikroskopbildern, mindestens ein Steuerelement zum Navigieren in dreidimensionalen Mikroskopbildern und/oder mindestens ein
Steuerelement zum Umschalten zwischen zweidimensionalen
Mikroskopbildern und dreidimensionalen Mikroskopbildern. Bei bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens umfassen die Steuerelemente mindestens ein
Steuerelement zum zeitlichen Navigieren innerhalb einer Bildsequenz und/oder mindestens ein Steuerelement zum zeitlichen Navigieren innerhalb einer Einzelbildfolge.
Bei bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens umfassen die Steuerelemente mindestens ein
Steuerelement zum Überblenden zweier zweidimensionaler Mikroskopaufnahmen und/oder mindestens ein Steuerelement zum
Anzeigen von Korrelationen zwischen zwei überblendeten zweidimensionalen Mikroskopaufnahmen .
Bei bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens umfassen die Steuerelemente mindestens ein
Steuerelement zum Überblenden zweier dreidimensionaler Mikroskopaufnahmen und/oder mindestens ein Steuerelement zum Anzeigen von Korrelationen zwischen zwei überblendeten dreidimensionalen Mikroskopaufnahmen .
Bei bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens umfassen die Steuerelemente mindestens ein
Steuerelement zum Navigieren in einem Archiv von
Mikroskopaufnahmen und/oder mindestens ein Steuerelement zum Speichern von Mikroskopaufnahmen.
Bei bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens umfassen die Steuerelemente mindestens ein
Steuerelement zum Anschließen eines externen Gerätes an das Mikroskop. Bei bevorzugten Ausführungsformen des erfindungsgemäßen
Verfahrens umfassen die Steuerelemente mindestens ein
Steuerelement zum Aktualisieren von Software des Mikroskops. In der virtuellen Realität bzw. in der erweiterten Realität erhält der Bediener visuelle Rückmeldungen, insbesondere visuelle Rückmeldungen zu seinen Nutzereingaben oder in Bezug auf die interaktive Führung. Bevorzugte Ausführungsformen des erfindungsgemäßen Verfahrens umfassen weiterhin einen Schritt, in welchem auch mindestens eine akustische Rückmeldung an den
Bediener gegeben wird; insbesondere während er die
Nutzereingaben in der virtuellen Realität tätigt oder während der interaktiven Führung. Hierfür dient ein Lautsprecher oder ein Kopfhörer. Weitere bevorzugte Ausführungsformen des erfindungsgemäßen Verfahrens umfassen weiterhin einen Schritt, in welchem mindestens eine haptische Rückmeldung an den
Bediener gegeben wird; insbesondere während er die
Nutzereingaben in der virtuellen Realität tätigt oder während der interaktiven Führung. Hierfür dient beispielsweise ein entsprechend ausgestatteter Datenhandschuh. Die haptische
Rückmeldung wird bevorzugt auf eine Hand des Bedieners
gerichtet. Die haptische Rückmeldung umfasst bevorzugt eine aktive Kraftrückkopplung, die auch als Force Feedback
bezeichnet wird. Somit erhält der Bediener eine Kraft als Rückmeldung.
Die visuelle Rückmeldung, die akustische Rückmeldung und/oder die haptische Rückmeldung ist bevorzugt abhängig von einem Status des Mikroskops, abhängig von einem Status einer
Komponente des Mikroskops und/oder abhängig von einem Status eines Ablaufes im Mikroskop. Die visuelle Rückmeldung, die akustische Rückmeldung und/oder die haptische Rückmeldung, aber insbesondere die haptische Rückmeldung wird bevorzugt durch das Handlungsobjekt an den Bediener gegeben. Das Handlungsobjekt ist bevorzugt durch eine haptisch rückmeldungsfähige 3D-Maus, durch einen haptisch rückmeldungsfähigen Datenhandschuh oder durch einen haptisch rückmeldungsfähigen Flystick gebildet.
Die erfindungsgemäße Steuer- und/oder Konfiguriereinheit ist für ein Mikroskop vorgesehen und dient zum Steuern und/oder zum Konfigurieren des Mikroskops. Die erfindungsgemäße Steuer- und/oder Konfiguriereinheit umfasst eine Anzeige zum Erzeugen und Darstellen einer virtuellen Realität. In dieser virtuellen Realität sind Steuerelemente zum Steuern des Mikroskops und Komponenten des Mikroskops darstellbar, wobei die
Steuerelemente zumindest synthetische Steuerelemente umfassen. Die darstellbaren Steuerelemente repräsentieren Parameter und/oder Funktionen des Mikroskops. Die Anzeige ist bevorzugt durch eine dreidimensionale Anzeige gebildet. Die
dreidimensionale Anzeige ist bevorzugt durch eine Virtual-
Reality-Brille, eine Augmented-Reality-Brille oder eine Mixed- Reality-Brille gebildet, welche der Bediener auf seinem Kopf vor den Augen trägt. Die Anzeige kann aber auch durch ein anderes Head-Mounted Display oder durch Projektoren z. B. in einer CAVE gebildet sein. In einem einfachen Fall kann die
Anzeige durch eine zweidimensionale Anzeige gebildet sein. Die Anzeige kann aber auch bevorzugt durch ein Virtual-Reality- Headset, ein Augmented-Reality-Headset oder ein Mixed-Reality- Headset gebildet sein.
Die erfindungsgemäße Steuer- und/oder Konfiguriereinheit umfasst weiterhin mindestens ein Eingabegerät zur Erfassen von Nutzereingaben, welche ein Bediener des Mikroskops in der virtuellen Realität in Bezug auf die dargestellten Steuerelemente und/oder in Bezug auf die dargestellten
Komponenten des Mikroskops tätigt. Das mindestens eine
Eingabegerät ist bevorzugt durch einen optischen Sensor gebildet, welcher den Bediener und Gesten des Bedieners erkennt. Das mindestens eine Eingabegerät ist bevorzugt durch einen Orts- und/oder Lagesensor gebildet, welcher am Bediener angeordnet ist. Das mindestens eine Eingabegerät ist bevorzugt durch ein Computereingabegerät gebildet; insbesondere durch eine 3D-Maus, durch einen Datenhandschuh oder durch einen
Flystick. Das mindestens eine Eingabegerät umfasst bevorzugt eine aktive Kraftrückkopplung.
Die erfindungsgemäße Steuer- und/oder Konfiguriereinheit umfasst weiterhin eine Steuer- und/oder Konfigurierelektronik zum Steuern und/oder Konfigurieren des Mikroskops entsprechend den getätigten Nutzereingaben. Die Steuer- und/oder
Konfigurierelektronik ist bevorzugt durch einen Rechner bzw. durch einen Computer gebildet.
Die erfindungsgemäße Steuer- und/oder Konfiguriereinheit ist bevorzugt zur Ausführung des erfindungsgemäßen Verfahrens konfiguriert. Die erfindungsgemäße Steuer- und/oder
Konfiguriereinheit ist bevorzugt zur Ausführung einer der beschriebenen bevorzugten Ausführungsformen des
erfindungsgemäßen Verfahrens konfiguriert. Im Übrigen weist die erfindungsgemäße Steuer- und/oder Konfiguriereinheit bevorzugt auch die Merkmale auf, die im Zusammenhang mit dem erfindungsgemäßen Verfahren und dessen bevorzugten
Ausführungsformen angegeben sind.
Weitere Einzelheiten und Weiterbildungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsformen der Erfindung, unter Bezugnahme auf die Zeichnung .
Die einzige Fig. veranschaulicht zwei bevorzugte
Ausführungsformen der Erfindung. Bei der Ausführungsform I dient ein reales Mikroskop (R) zur Aufnahme einer realen Probe (R) . Erfindungsgemäß erfolgen ein Steuern und/oder ein
Konfigurieren des realen Mikroskops durch Nutzereingaben in einer virtuellen Realität (V) . Bei der Ausführungsform II dient ein virtuelles Mikroskop (V) zur Aufnahme einer
virtuellen Probe (V), was in einem Rechner erfolgt.
Erfindungsgemäß erfolgen ein Steuern und/oder ein
Konfigurieren des virtuellen Mikroskops durch Nutzereingaben in einer erweiterten Realität (V/R) .
Nachfolgend ist ein bevorzugter Ablauf des erfindungsgemäßen Verfahrens beispielhaft beschrieben. In einer erweiterten Realität wird eine zu mikroskopierende Probe dargestellt.
Beispielsweise wird auch eine Hand eines Bedieners
dargestellt, welche die zu mikroskopierende Probe hält. In der erweiterten Realität wird die zu mikroskopierende Probe anschließend vergrößert dargestellt. Der Bediener kann
innerhalb der erweiterten Realität mit seiner realen Hand bzw. Finger auf einen ihn interessierenden Bereich der vergrößerten Darstellung zeigen, was beispielsweis dazu führt, dass dieser
Bereich markiert wird oder nochmals vergrößert dargestellt wird. Weiterhin kann der Bediener durch eine Geste mit seinem realen Finger entlang einer weitgehend beliebigen Kreisbahn die vergrößerte Darstellung der Probe drehen, wodurch er den ihn interessierenden Bereich zur Darstellung bringen kann.
Weiterhin werden in der erweiterten Realität Markierungen auf der vergrößerten Darstellung der Probe dargestellt. Die
Markierungen sind beispielweis durch Buchstaben gebildet. Wird die vergrößerte Darstellung der Probe in der erweiterten Realität gedreht, so werden auch die Darstellungen der
Markierungen gedreht. Die Markierungen repräsentieren dann unterschiedliche Perspektiven. Die Bewegung des in der erweiterten Realität befindlichen Bedieners stellt eine Nutzereingabe dar. Bewegt sich der Bediener nach vorn, so erhöht sich die Vergrößerung bzw. die Auflösung der
Darstellung der Probe. Bewegt sich der Bediener nach hinten, so verringert sich die Vergrößerung bzw. die Auflösung der Darstellung der Probe.
Next Patent: ANELLATED 3-PHENYL TETRAMIC ACID DERIVATIVES HAVING A HERBICIDAL EFFECT