Der Assistenzroboter Garmi wird immer vielfältiger und intelligenter. Wie die Forschenden aus dem Munich Institute of Robotics and Machine Intelligence (MIRMI) der TUM auf der Robotikmesse ICRA 2024 in Yokohama in Japan zeigen, versteht der Roboter nicht nur diverse Kommandos per ChatGPT, sondern setzt so unterschiedliche Aufgaben und Fertigkeiten wie das Greifen von Gegenständen, sicheres Manövrieren und die Kommunikation mit Patientinnen und Patienten autonom um. Zudem vermittelt er Live-Gespräche mit Ärztinnen und Ärzten, die telemedizinische Untersuchungen vornehmen. »Garmi‘ ist nun in der Lage, diverse Einzelfähigkeiten, die wir ihm in den letzten Jahren beigebracht haben, sicher und auf Zuruf über ChatGPT auszuführen«, erläutert der Leiter des Geriatronik-Projekts Dr. Abdeldjallil Naceri.

Mensch-Roboter-Interaktion

Dafür verbinden die Forschenden diverse technologische Innovationen miteinander: Ein digitaler Zwilling kommt zum Einsatz, um die Bewegungen des Roboters vor der realen Interaktion mit dem Menschen in einer Simulation durchzuprobieren und so Zusammenstöße zu vermeiden. Künstliche Intelligenz (KI) trägt dazu bei, dass Garmi Tassen und Gläser greifen und herüberreichen kann, ohne Flüssigkeit zu verschütten. Und ChatGPT übernimmt als Bindeglied die Kommunikation zwischen Roboter, Patientinnen und Patienten, Physiotherapeutinnen und Physiotherapeuten sowie Ärztinnen und Ärzten.

Besonders in drei Bereichen haben die Forschenden der TUM große Fortschritte erzielt:

1. Geschicklichkeit – Greifen und präzise aus der Ferne bewegen
Damit Garmi ähnlich wie Menschen greifen kann, haben die Forschenden eine Kamera, einen Roboterarm mit sieben Gelenken und künstlicher Hand sowie künstliche Intelligenz zusammengebracht. Zunächst macht die Kamera ein Bild von dem Objekt, das Garmi greifen soll, und identifiziert es über den Einsatz von neuronalen Netzen als Tasse, Flasche oder Ball. Da die Kamera das Objekt nur von einer Seite sieht, ergänzt das System nicht-sichtbare Bereiche etwa einer Tasse, indem es das Gesehene mit anderen Bildern vergleicht, und rekonstruiert das vollständige 3D-Objekt. Die Wahrscheinlichkeiten, mit denen das Objekt so dargestellt wird, wie es in Wirklichkeit aussieht, stellen die Forschenden in einer farblich abgestuften Grafik dar, einer ‚Heatmap‘. So lässt sich die ideale Position für die Hand ermitteln, die etwa eine Tasse greifen soll. In neun von zehn Fällen ist das komplexe System nun dazu in der Lage. »Wenn es mit einer Tasse klappt, kann unser System das auf alle anderen Tassenformen übertragen«, sagt Naceri.

Um erforschen zu können, ob Ärztinnen und Ärzte per Teleoperation mit Patientinnen und Patienten zusammenarbeiten können, dachten sich die Forschenden einen besonderen Versuchsaufbau aus. Dafür zeichneten sie auf einem digitalen Grafik-Tablet einfache Formen. Garmi wurde ebenfalls mit einem Stift in einer Hand und mit einer Kamera in der anderen ausgestattet. Einen Raum entfernt sollte Garmi auf eine Leinwand übertragen, was die Forschenden zuvor gezeichnet haben – also eine einfache Zeichnung in ein komplexes robotisches System projizieren. Es stellte sich heraus, dass die besten Kreise, Quadrate und Dreiecke dann entstanden, wenn Garmi die Kamera autonom einsetzte, eine Erkenntnis, die künftig in die Zusammenarbeit zwischen behandelnden Medizinerinnen und Mediziner und Patientinnen und Patienten einfließt. Denn beispielsweise bei einer Ultraschalluntersuchung geht es darum, den Ultraschallkopf möglichst präzise aufzusetzen, oder bei einer Reha-Übung, Bewegungen richtig auszuführen.

In einer neuen Forschungsarbeit zeigen die Forschenden, wie Werkzeuge an einem Gegenstand vorbeimanövriert werden können. Die Herausforderung besteht darin, einerseits die Abstände im Auge zu behalten und andererseits die Beweglichkeit des Roboterarms mit allen seinen Gelenken richtig einzuschätzen. Gelingt das, kann der Roboter sogar entgegenfliegenden Bällen ausweichen.

2. Sicherheit: Ein taktiler Roboter reagiert innerhalb von 1 ms

Garmi verarbeitet Informationen mit einer Taktung von 1 ms. Dies betrifft die Wahrnehmung, Interaktion und Navigation gleichermaßen. Die Kraftsensoren der Roboterarme registrieren geringste Berührungen und reagieren sofort. Stößt ein Mensch versehentlich gegen den Arm des Roboters, bleibt er aus Sicherheitsgründen innerhalb von 1 ms stehen. Um Unfälle auszuschließen, treffen Mensch und Roboter zunächst als digitale Zwillinge in einem virtuellen Umfeld aufeinander. Das ist unerlässlich, denn der Assistenzroboter kann in der Wohnung eines Pflegeheims theoretisch bis zu 20 km/h schnell werden. In der Computersimulation registriert Garmi mithilfe der Safety Motion Unit über seine Sensoren, wenn ihm eine Person zu nah kommt, und bewegt sich langsamer. Entfernt sich die Person, bewegt er sich wieder schneller.

3. Sprache: ChatGPT nutzt Liste an Kommandos

Das KI-Tool ChatGPT funktioniert als Übersetzer zwischen Technik und Mensch. Es hat diverse Kommandos wie »Starte die Reha«, »Zeig mir das Wetter von morgen« oder »Ruf den Arzt an« gelernt, und Garmi nutzt dieses Tool, um mit Patientinnen und Patienten zu kommunizieren. Aktuell haben die Forschenden eine Liste von 15 bis 20 Kommandos, die bestimmte Aktionen triggern. »Potenziell können wir sie beliebig erweitern«, sagt Robotik-Forscher Naceri, »das MIRMI gehört damit zu den ersten Instituten, in denen Roboter und Menschen mithilfe von ChatGPT miteinander interagieren.«

Mit menschlicher Umgebung umgehen

Der neue universelle Garmi wird nun in einer Musterwohnung in Garmisch-Partenkirchen aktiv. Das Hauptforschungsfeld wird die Weiterentwicklung von Händen sein, die immer feinere Aufgaben übernehmen können. Bis Garmi letztlich in Pflegeheimen zum Einsatz kommt, werden noch einige Jahre vergehen. »Es ist wie mit dem autonomen Auto«, sagt Naceri, »es sind schon große Fortschritte gemacht worden, doch fehlen noch ein paar Details, um es im Umfeld des Menschen einsetzen zu können.«