Mit dem Finger über den Bildschirm wischen, Daumen und Zeigefinger in der sogenannten Pinch-Geste auseinanderziehen oder einfach mit dem Finger einen Screen an einem bestimmten Punkt berühren: Heutzutage sind dies ganz gewöhnliche Gesten im Umgang mit IT-basierten Produkten – egal ob Smartphone, Tablet Computer, PCs für unterwegs, öffentliche Automaten oder Museums-Installationen. Mit Wischbewegungen lassen sich Objekte verschieben, Anwendungen verschwinden oder werden wieder sichtbar. User blättern mittels Gesten in Medienverzeichnissen und -angeboten oder lassen sich per Zoom Details anzeigen.

Diese Interaktionen gehören zum Standard-Repertoire aktueller Interaktionsmechanismen – nichts geht mehr ohne Touch, besser noch Multitouch.

In fast allen Kulturkreisen hat die Verwendung von Gesten innerhalb sehr kurzer Zeit im alltäglichen Umgang mit elektronischen Verbrauchsgütern Einzug gehalten – eine Erfolgsgeschichte in der Entwicklung des Mensch-Maschine-Dialogs, die vergleichbar ist mit dem Übergang von der auf Tastatureingabe beschränkten Interaktion hin zur direkten Manipulation mittels Maus oder anderer Zeige-Instrumente. Die Verwendung von Gesten im Umgang mit computerbasierten Systemen wird damit zur Selbstverständlichkeit. Mit jeder neuen Generation von Smartphones, Tablets oder Spielkonsolen ändern sich die Erwartungen der Nutzer an die User Experience künftiger Produkte. Neben den bekannten Usability-Kriterien und wachsenden Anforderungen an die visuelle Ästhetik tritt nun die Wahl des Interaktionsmediums mit in den Vordergrund bei der Gestaltung der User Experience.

Was bedeutet dies für industrielle Anwendungen? Welche Szenarien erscheinen sinnvoll? Bieten Gesten einen Mehrwert bei Anlagenplanung, Maschinensteuerung, Monitoring und Wartung oder geraten Hersteller industrieller Investitionsgüter einfach in Zugzwang, im State of the Art der User Experience nachzuziehen?

Maschinen mit Gesten steuern

Die Verfügbarkeit industriell einsetzbarer Touchscreens, die den hohen Anforderungen hinsichtlich ihrer Einsatz-bedingungen – wie Lichtverhältnisse, Schmutz oder Bediensituation – gerecht werden, hat signifikant zu Änderungen in einer nutzerzentrierten HMI-Entwicklung beigetragen. Am häufigsten finden im industriellen Umfeld derzeit noch resistive Touchscreens Anwendung – beispielsweise erlaubt ihre drucksensitive Oberfläche eine Bedienung mit Handschuhen. Beim Stichwort „Multitouch“ stoßen resistive Touchscreens allerdings an ihre technischen Grenzen. Deshalb kommen hier zunehmend neue Technologien ins Spiel, wie beispielsweise Projected Capacitive Touch (PCAP) oder Infrarot. Bei diesen Technologien genügen bereits leichte Berührungen, um eine Funktion auszulösen. Darüber hinaus ist der Einsatz auf Touch-Technologie basierender Anwendungen auch in explosionsgeschützten Umgebungen denkbar: Möglich machen dies hochstabile Entwicklungen wie zum Beispiel der 24-Zoll-GFG-Ultra-Touchscreen von Interelectronix, dessen kratz-, säure-, chemikalien- und temperaturbeständige Oberfläche einen Einsatz in den Ex-Bereichen 1/2 für Gas und 21/22 für Staub zulässt.

Auf Nummer sicher: Kritische Funktionen lassen sich bei Multitouch-Systemen wie „zenon“ beispielsweise durch Zweihandgesten realisieren.

© Copa-Data

Diskussionen, ob eine Maus an einem Steuerungspult ein geeignetes Eingabeinstrument darstellt, oder ob besser Trackball, Foot-Mouse oder andere Zeigeinstrumente verwendet werden sollten, werden durch die kontinuierliche Weiterentwicklung von Touch-Technologien hinfällig. Alles, was zur Steuerung einer Applikation nötig ist, lässt sich direkt auf dem entsprechenden Bildschirm anzeigen. Weitere Hilfsmittel zur Eingabe sind überflüssig. Im Ergebnis entstehen mehr Freiräume für die Nutzer und eine deutlich effizientere Bedienung. Ob beim Engineering, an der Maschine, bei Wartungsaufgaben, bei der Prozessvisualisierung oder am Leitstand – in kaum einem industriellen Anwendungsbereich wird nicht bereits auf Touch-Technologien gesetzt.

Der Übergang vom einzelnen Button-Touch zur gestenbasierten Interaktion scheint gut vorbereitet. Mit Multitouch-Lösungen lassen sich unter anderem auch Sicherheitsanforderungen an ein Bedienpanel erfüllen, wie beispielsweise beim gezielt für den Einsatz im industriellen Umfeld entwickelten Multitouch-System „zenon“ von Copa-Data deutlich wird. Sicherheitskritische Aktionen können hier erst durch das zusätzliche Drücken eines Buttons zur Entriegelung ausgelöst werden. Seit 2011 kooperieren Copa-Data und die Firma User Interface Design (UID) in der Entwicklung zenonbasierter Multitouch-Oberflächen.

Vom Wischen zum Winken

Das Touch-Interface des „SurfMax“ von Carl Zeiss OIM visualisiert den Prüfprozess von Oberflächen in Echtzeit und ermöglicht die Steuerung direkt am Prüfgerät.

© Carl Zeiss OIM

Gestenbasierte Steuerung in den bisher genannten Beispielen setzt immer das Vorhandensein eines Screens voraus, der die Berührungen und Gesten der Anwender erkennt und an die jeweilige Anwendung übermittelt.
„Mehr Raum“ lässt sich durch den Einsatz von Virtual-Reality-Technologien (VR) gewinnen: Damit ist bei der Anlagenkonzeption und -planung ein realistischer Eindruck der künftigen Anlage und der dazugehörenden Arbeitsstationen vermittelbar. Als VR-Kompetenzzentrum und Netzwerk bietet beispielsweise das „Virtual Dimensions Center“ in Fellbach bei Stuttgart eine Plattform für aktuelle Entwicklungen und Trends rund um das Thema Virtual Engineering.

Im virtuellen Raum dienen Naviga­tionsgesten der Bewegung und Orien­tierung. Für ihre Übermittlung an das VR-System wird in der Regel ein Datenhandschuh eingesetzt. Wie sich räumliche Navigationsgesten zur Steuerung von Robotern verwenden lassen könnten, zeigt ein Video zu einer Studie des finnischen Unternehmens Fastems, die den Einsatz von Gestensteuerung für Industriemaschinen unter die Lupe nimmt: Durch lotsenähnliche Bewegungen lässt ein Maschinenbediener einen Roboter aus seiner Box bis zu dem von ihm gewünschten Punkt heranfahren (http://www.youtube.com/watch?v=kalo57_hWsQ).

Für Digital Natives – also Menschen, die im Internet zu Hause immer online und mit digitalen Medien und Technologien bestens vertraut sind – sind Navigationsgesten wie Wischen und Pinchen selbstverständliche Aktionen. Sie werden ohne große Überlegungen ausgeführt – wie Radfahren oder einen Gang höher schalten beim Autofahren. Unter Berücksichtigung der demographischen, medienkulturellen und technologischen Entwicklungen liegt es daher nahe, diese Interaktionstechniken für die Navigation auch im industriellen Einsatz verfügbar zu machen.

Aber: Gesten können interkulturell unterschiedlich verstanden werden. Inwieweit dies auch für die gestenbasierte Interaktion zutrifft, war Gegenstand einer weltweiten Studie, die UID gemeinsam mit den International UX Partners (IUXP) im Jahr 2010 durchführte. Das Ergebnis: Bei der Nutzung von Gesten zur Bedienung von Multitouch-Oberflächen ließen sich keine kulturellen Unterschiede ermitteln. Unter anderem wurden in der Studie die am häufigsten verwendeten Gesten ermittelt: Etwa 37 % der Studienteilnehmer verwendeten die Geste „nach links wischen“, um die Aktion „zurück“ auszulösen.

Spielkonsolen als Wegbereiter

Das Equipment für eine gestenbasierte Steuerung ist überschaubar: Neben einem Computer kommt ein Monitor zum Einsatz, der sowohl visuellen Input als auch Feedback zur Gestensteuerung geben kann – und weiterhin natürlich auch zur Anzeige von Werten und Prozess- oder Maschinenvisualisierungen dient. Die Erfassung der Gesten erfolgt über Kameras.

Was im heimischen Wohnzimmer mit der Spielkonsole „Nintendo Wii“ begann, wurde von Herstellern wie Sony („Playstation Move“) und Microsoft („Kinect“ für Xbox 360) weiterentwickelt. Letztere kam auch im Beispiel von Fastems zum Einsatz. Im Gegensatz zur Wii ist bei Kinect kein weiteres Steuergerät nötig – die Bedienung funktioniert vollständig über die Körperbewegungen des Nutzers. So lässt sich prinzipiell die gesamte Maus-Interaktion (Bewegung, Selektion) durch Gesten ersetzen. Darüber hinaus ermöglicht Kinect auch eine Spracheingabe; hierbei wird gleichzeitig die Richtung des Schalls erfasst, was gerade im industriellen Umfeld ein relevanter Sicherheitsfaktor sein kann. Ein weiterer Aspekt ist die Präzision, mit der eine Geste vom System erkannt werden kann. Besonders bei sicherheitsrelevanten Arbeitsschritten spielt die exakte Differenzierung der für die Steuerung benötigten Gesten eine große Rolle.

Einen großen Schritt nach vorn macht hier das jüngst vorgestellte 3D-Gestenerkennungssystem „Leap“ des Herstellers Leap Motion. Die Hardware – kaum größer als ein USB-Stick – soll Gesten um das Hundertfache präziser erkennen als Kinect oder Wii und sogar Fingerbewegungen im Hundertstel-Millimeter-Bereich wahrnehmen können. Dabei unterscheidet das System neben vertikalen und horizontalen Gesten auch räumliche Bewegungen (vor und zurück).

Multimodal in die Zukunft

„Nach links wischen“ (zurück), „Über mehrere Objekte wischen“ (Mehrfachauswahl) und „Nach oben wischen“ (nach unten scrollen) sind Gesten, die weltweit am häufigsten für die genannten Aktionen verwendet werden.

© UID

Die neuen Entwicklungen eröffnen spannende Perspektiven für den Einsatz der räumlichen Gestensteuerung im industriellen Umfeld. Denkbar sind die neuen Systeme als Ergänzung bestehender Eingabemöglichkeiten – gänzlich ersetzen werden sie diese jedoch nicht; man denke nur an die exakte Eingabe von Zahlenwerten. Hier wird auch weiterhin die direkte Interaktion mit einem frei projizierten oder auf einem Monitor angezeigten 2D-Interface – ob mit Tastatureingabe, Single- oder Multitouch – eine wichtige Rolle spielen.

Spracherkennungssysteme, die über Smartphone-Steuerungen, Spielkonsolen oder Automotive HMI ihren Weg in die Privathaushalte finden, haben wie die Gestensteuerung das Potenzial, zum allgemein anerkannten und genutzten Interaktionsmedium zu werden. Eine Herausforderung der industriellen HMI-Entwicklung liegt darin, verschiedene Interaktionsmodalitäten anzubieten, diese zu kombinieren und abhängig von der Nutzungssituation für die Menschen die optimale Steuerung bereitzustellen. So könnte beispielsweise das Einlernen von Robotern künftig über Sprechen und Zeigen erfolgen.

Autoren:
Andreas Beu ist Director of Marketing bei der Münchner Geschäfts­stelle von UID und Vorstandsmitglied des VDMA-Fachverbands „Software”.
Dr. Joachim Machate verantwortet als Director of User Experience Design die benutzerzentrierte Gestaltung von Human-Machine-Interfaces bei UID.
Anna Schäffler ist User Experience Designer bei UID.