Das Trackingsystem des Fraunhofer IPA dokumentiert Handbewegungen mit 3D-Bildverarbeitung automatisch, wertet sie intelligent aus und erspart so die manuelle Dokumentation bei Versuchen.

© Fraunhofer IPA

Bei der Dokumentation von Versuchen zählt jedes Detail. Neben den selbstverständlichen Informationen wie Bezeichnung und Menge der Substanzen oder der Temperatur können unbewusste Bewegungen und Gewohnheiten eine wichtige Rolle spielen. Dies zu dokumentieren, ist nicht nur extrem zeitaufwendig, es können sich auch Fehler einschleichen oder Informationen weggelassen werden. „Wir haben eine Kundin, die die Angewohnheit hatte, beim Pipe­ttieren die Proben zu durchmischen. Dafür hat sie intuitiv schnell und wiederholt die Pipette betätigt. Das stand am Ende nicht im Protokoll, war jedoch essenziell für die erfolgreiche Durchführung. Das Experiment konnte nicht von ihren Kollegen wiederholt werden. Bis die entscheidende Bewegung erkannt wurde, mussten wir den Versuch oft wiederholen und vorführen lassen“, erinnert sich Marc Andre Daxer, Wissenschaftler am Fraunhofer IPA.

Das Trackingsystem des Fraunhofer IPA will es den Labormitarbeitern leichter machen: Eine intelligente 3D-Kamera, die über einer Sterilbank angebracht ist, zeichnet ihre Handbewegungen lückenlos auf und leitet die Daten live an ein Informationssystem weiter. Hier werden sie mit Bewegungserkennungs-Algorithmen ausgewertet, klassifiziert und in ein Protokoll überführt. Das System erfasst somit die einzelnen Prozessschritte genau. Da das Trackingsystem mit einfacher Soft- und Hardware auskommt, eignet es sich auch für kleine Labore.

Der Labor-Roboter

Eine weitere Entwicklung des Fraunhofer-Instituts namens ‚TeachIT‘ ermöglicht es, Labor-Roboter automatisiert einzulernen. Normalerweise erfolgt das Einlernen derart, dass sich ein Mitarbeiter neben den Roboter stellt und mit ihm die Greifbewegungen von Hand abfährt. Der Roboter speichert die Koordinaten in seiner Datenbank und erlernt dadurch die Bewegung. „Bis ein Roboter einen neuen Prozess sicher beherrscht, dauert es je nach Aufgabenstellung ein bis zwei Tage. Das ist an sich nicht schlimm, jedoch variieren die Prozesse in Laboren so oft, dass es sich hier meistens nicht lohnt“, so Daxer. Mit der TeachIT-Lösung beherrscht der Roboter seine neue Aufgabe in wenigen Minuten: Dafür werden die Multititerplatten in der Arbeitsfläche mit Barcodes ausgestattet. Eine 3D-Kamera am Roboterarm erkennt die Markierung und zeigt dem Roboter, wohin er greifen muss. Normalerweise müsste der Roboter bei jeder Änderung eines Arbeits-Set-ups neu eingelernt werden. Mit TeachIT hingegen erfasst er die neuen Objekte und deren Position selbstständig.

Labore virtuell planen

Auch Mixed Reality lässt sich nutzbringend im Labor einsetzen. Hierfür wurde im Fraunhofer IPA eine Microsoft-Holo- Lens-Brille mit den CAD-Daten von Laborgeräten und -anlagen ausgestattet. Auf diese Weise können sich Mitarbeiter Dinge im Labor anzeigen lassen, die noch gar nicht errichtet sind. Dies funktioniert vor Ort, aber auch von überall auf der Welt. Sinnvoll ist diese Technologie zum Beispiel dann, wenn eine neue Anlage geplant wird: „Wir können gemeinsam mit dem Kunden die typischen Arbeitsabläufe schon vorher durchspielen und Optimierungen noch zur Planungszeit vornehmen“, erklärt Daxer. Auch Wartung und Reparaturen von Laboranlagen werden durch Mixed Reality erleichtert, da sich die Techniker bereits im Vorfeld überlegen können, wie ein defektes Bauteil auszutauschen ist. So reduziert sich die vor Ort benötigte Zeit.