Lernen mittels Tangible-Augmented-Reality

Mittels Augmented Reality (AR)-Technologie können Nutzer die reale Welt sehen, während zeitgleich digitale Zusatzinformationen in die vorhandene Umgebung projiziert werden. Also eine Erweiterung der realen Welt durch eine computerunterstützte Darstellung. Heute wird dazu häufig direkt das Smartphone genutzt. Wir stellen Ihnen nun eine Unterklasse der AR vor, die real greifbare, in der Realität vorhandene Objekte in eine AR-Anwendung miteinbezieht: Tangible-AR.

Mit Tangible-AR ergeben sich neue Möglichkeiten für die Vermittlung medizinischer Inhalte und deren Darstellung.Das Beispiel im Foto (unten) kombiniert Augmented Reality mit einem haptisch wahrnehmbaren Objekt. In diesem Fall handelt es sich um ein vereinfachtes Hautmodell aus dem 3D-Drucker. Über das Smartphone werden simultan eine virtuelle Interaktion und eine greifbare Erfahrung ermöglicht. Die Strukturen des Hautmodells werden dabei durch Beschriftung, Farbgebung oder Animationen augmentiert. Anstelle dieses Modells könnten beliebig auch andere Gegenstände eingesetzt werden. Diese Technologie kann in der medizinischen Wissensvermittlung eingesetzt werden, verschiedene Lernszenarien werden bereits untersucht.

(Bildquelle: health&media GmbH, entstammt dem Forschungsprojekt VR-AR-Med2. Dieses Projekt (HA-Projekt-Nr.: 690/19-10) wird im Rahmen der Innovationsförderung Hessen aus Mitteln der LOEWE – Landes-Offensive zur Entwicklung Wissenschaftlich-ökonomischer Exzellenz, Förderlinie 3: KMU-Verbundvorhaben gefördert.)

Google: KI für den Hautpatienten

Das Thema Künstliche Intelligenz (KI) ist uns in diesem Blog schon häufiger begegnet. Zweifelsohne besteht das Potenzial, Ärzte bei der Betreuung von Patienten zu unterstützen – dies wurde z.B. schon beim Brustkrebs-Screening oder der Tuberkulose-Erkennung gezeigt. Wir hatten auch schon früher über die Anwendung von KI im dermatologischen Umfeld und die Bemühungen von Google berichtet.

Google setzt nun KI ein, um den Patienten mit seiner Smartphone-Kamera in den Prozess einzubinden. Das „KI-gestützte Dermatologie-Assistenz-Tool“ benötigt drei Fotos von der Haut, den Haaren oder den Nägeln aus verschiedenen Blickwinkeln. Dann werden dem User Fragen gestellt, die bei der Eingrenzung helfen sollen (Hauttyp, Dauer der Symptome etc.). Die Künstliche Intelligenz analysiert, greift auf Informationen zu fast 300 Erkrankungen zurück und erstellt eine Liste „passender“ Erkrankungen. Laut Google Health verfügt die Datenbank über etwa 65.000 Bilder und Falldaten von diagnostizierten Hauterkrankungen, Millionen von kuratierten Bildern von Hautproblemen und Tausende von Beispielen gesunder Haut.

Das Tool soll (noch) nicht den Arzt ersetzen und soll keine Diagnosen stellen – nur Informationen anbieten. Google verzeichnet pro Jahr fast zehn Milliarden Suchanfragen zu dermatologischen Themen; eine gute Grundlage für dieses KI-Konzept. Wer sich für das Tool interessiert, findet hier weitere Informationen.

Aktueller Beitrag zum Thema: Development and Assessment of an Artificial Intelligence–Based Tool for Skin Condition Diagnosis by Primary Care Physicians and Nurse Practitioners in Teledermatology Practices JAMA Netw Open. 2021;4(4):e217249. doi:10.1001/jamanetworkopen.2021.7249