Lernen mittels Tangible-Augmented-Reality

Mittels Augmented Reality (AR)-Technologie können Nutzer die reale Welt sehen, während zeitgleich digitale Zusatzinformationen in die vorhandene Umgebung projiziert werden. Also eine Erweiterung der realen Welt durch eine computerunterstützte Darstellung. Heute wird dazu häufig direkt das Smartphone genutzt. Wir stellen Ihnen nun eine Unterklasse der AR vor, die real greifbare, in der Realität vorhandene Objekte in eine AR-Anwendung miteinbezieht: Tangible-AR.

Mit Tangible-AR ergeben sich neue Möglichkeiten für die Vermittlung medizinischer Inhalte und deren Darstellung.Das Beispiel im Foto (unten) kombiniert Augmented Reality mit einem haptisch wahrnehmbaren Objekt. In diesem Fall handelt es sich um ein vereinfachtes Hautmodell aus dem 3D-Drucker. Über das Smartphone werden simultan eine virtuelle Interaktion und eine greifbare Erfahrung ermöglicht. Die Strukturen des Hautmodells werden dabei durch Beschriftung, Farbgebung oder Animationen augmentiert. Anstelle dieses Modells könnten beliebig auch andere Gegenstände eingesetzt werden. Diese Technologie kann in der medizinischen Wissensvermittlung eingesetzt werden, verschiedene Lernszenarien werden bereits untersucht.

(Bildquelle: health&media GmbH, entstammt dem Forschungsprojekt VR-AR-Med2. Dieses Projekt (HA-Projekt-Nr.: 690/19-10) wird im Rahmen der Innovationsförderung Hessen aus Mitteln der LOEWE – Landes-Offensive zur Entwicklung Wissenschaftlich-ökonomischer Exzellenz, Förderlinie 3: KMU-Verbundvorhaben gefördert.)

Augmented Reality – Durchbruch dank Telekom?

Über den Einsatz von Augmented Reality in der medizinischen Ausbildung hatten wir in diesem Blog schon mehrfach diskutiert. Aber so recht wollte sich diese Technologie noch nicht flächendeckend durchsetzen.

AR-Elemente können leicht via Smartphone betrachtet werden, ein Mixed-Reality-Erlebnis bedarf aber auch einer Mixed-Reality-Brille, welche dann die Mixed-Reality- und Augmented-Reality-Anwendungen in die reale Umgebung integrieren kann. Nun ist die Microsoft Hololens 2 ganz sicher ein hervorragendes Produkt, mit ca. 3.000 EUR aber auch nicht für jeden erschwinglich.

Die Telekom geht nun einen Schritt nach vorn und bietet die Mixed-Realty-Brille Nreal Light für ca. 800 EUR an.

Aus der Telekom Pressemitteilung vom 17.03.: Nreal Light ist eine Mixed-Reality-Brille. Sie verbindet Augmented-Reality- und Mixed-Reality-Anwendungen. Die 106 Gramm leichte Brille ist dank der ergonomischen Passform für den täglichen Einsatz zuhause oder mobil gedacht. Das Nreal-Betriebssystem Nebula garantiert die flüssige Wiedergabe digitaler Inhalte im dreidimensionalen Raum, gespiegelt vom Smartphone. Diese Inhalte werden mit einer Auflösung von 1080p pro Auge in den Brillendisplays dargestellt. Nutzer sehen dabei weiterhin ihre Umgebung und interagieren darin völlig frei. Für das perfekte immersive audiovisuelle Erlebnis sorgen drei integrierte Kameras mit Umgebungserkennung und Bewegungsfreiheit in sechs Freiheitsgraden (6DoF), duale Raumklang-Lautsprecher sowie duale Mikrofone für bequeme Sprachsteuerung.

Das hört sich aus technischer Sicht vielversprechend an. Wir warten gespannt auf erste Erfahrungen im medizinisch-gesundheitlichen Umfeld.

AR in der Medizin

Augmented Reality (AR) findet mittlerweile in vielen Bereichen Anwendung. Im Einzelhandel, im Automobilbau, beim Spielen – und eben auch in der Medizin. Die Anfänge dieser Technologie reichen bis in die 60er Jahre zurück, im Jahr 2020 wird der AR-Gerätemarkt wohl über 1 Mrd. EUR liegen. In jedem Bereich können die Nutzer mithilfe der AR-Technologie die reale Welt sehen und digitale Informationen in die vorhandene Umgebung projizieren und kommen so zur „erweiterten Realität“.

Bei welchen medizinischen Tätigkeiten finden sich denn heute schon AR-Anwendungen? Unserer Meinung nach stechen derzeit zwei Anwendungsbereiche für (angehende) Ärzte besonders hervor:

AR in der Chirurgie. Augmented Reality ermöglicht es Chirurgen, die individuelle Anatomie ihrer Patienten genauer zu erkennen, indem sie ihre MRT-Daten und CT-Scans in ein AR-Headset eingeben und eine spezifische Patientenanatomie auf den Patientenkörper projizieren, vor und während der OP. Anatomische Strukturen können sichtbar gemacht werden und die AR so eine Entscheidungshilfe bei Injektionen und Inzisionen darstellen. Und: der Chirurg kann während der OP über den AR-Screen auf elektronische Patientendaten zugreifen.

AR in der Ausbildung. Das wesentliche Merkmal der Verwendung von AR in der Ausbildung besteht darin, Patienteninteraktionen oder chirurgische Behandlungen zu simulieren. Diagnosestellungen können genauer erlernt werden, die Teilnahme an einer AR-Trainings-OP verzeiht Fehler. Die Ausbilder können mithilfe von AR-Technologien kontinuierlich beobachten und Feedback geben. Der AR-basierte Ausbildungsverlauf kann einem festgelegten Ablauf folgen und verliert die Abhängigkeit vom Sektionssaal.

Bevor die AR eine zukünftige Rolle im medizinischen Alltag spielen kann, muss allerdings die Akzeptanz der Technologie gegeben sein. Das hängt oftmals von ganz banalen Dingen ab: Sitzt die Hardware sicher und bequem? Kann sie leicht desinfiziert werden? Sind die AR-Produkte intuitiv zu benutzen? Und: kann sich die AR nicht nur im OP-Saal sondern auch in der Arztpraxis durchsetzen?

Im nächsten Teil unserer AR-Reihe werden wir anhand von Beispielen konkrete Anwendungen vorstellen.