Vor zwölf Jahren machte das iPhone von Apple mit einem neuen Bedienkonzept Furore. Die Tastatur wurde durch einen Touchscreen ersetzt, die gesamte Vorderseite des Geräts füllt ein riesiger Bildschirm mit einer bislang nicht da gewesenen Pixeldichte. Die Bedienung erfolgt via Touchscreen mit projiziertkapazitivem Feld, das auch mehrere Touch-Ereignisse gleichzeitig erkennen und auswerten kann. Sinnvoll einzusetzen ist diese Technologie nur mit einer völlig neuen Art der Benutzerführung über Software. Tippen, Sliden und andere Gesten mit einem oder zwei Fingern steuern unterschiedliche Funk­tionen.

Seit dieser Produktvorstellung hat sich die Welt der Ein- und Ausgabe gewandelt. Aus der punktuellen Berührung des Touchscreens, die genau eine Aktion auslöste, wurden Gesten mit einem oder mehreren Fingern, die komplexe Aktionen auslösen. ‚Drag and Drop‘ oder ‚Pinch‘ funktionieren aus dem Handgelenk, ohne umständlich über Menüs Objekte auszuwählen und eine Aktion zuzuordnen. Diese Umstellung verlangt eine völlig neue darunterliegende Software und damit ein neues Bedienkonzept.

Aber Aktionen müssen nicht immer durch Berühren eines dem Bildschirm vorgelagerten Touchscreens initiiert werden; ebenso ist es denkbar, Bewegungen vor dem Bildschirm auszuwerten. Gleich mehrere Technologien nutzen diese Idee: Für Gesten ohne besondere Anforderung an die Genauigkeit eignen sich 3D-Touchsysteme: Sie bestimmen die Positionen durch eine Änderung in einem elektrischen Feld. Für eine qualitative Bestimmung ‚Lauter/Leiser‘, ‚Höher/Tiefer‘, ‚Zoom in/Zoom out‘ genügt die Auflösung dieser Systeme.

Alternativen zum Touchscreen

Soll die Position genauer ausgewertet werden, kommen Kameras ins Spiel, die beispielsweise den Händen des Bedieners folgen. Perfektion hinsichtlich der Auflösung der Position bieten die Steuergeräte für AR/VR-Brillen, die im System eine feinfühlige Steuerung erlauben.

Einen anderen Ansatz verfolgt das ‚Eye Tracking‘: Hier ist das System nach einer kurzen Lernphase in der Lage, die Pupillen des Bedieners mit Hilfe von Kameras zu verfolgen. Der ‚Mausklick‘ erfolgt durch Blinzeln. Nach einer Eingewöhnung kann der Bediener das System ohne den Einsatz der Hände bedienen. Anwendungen sind überall dort, wo die Hände gerade nicht frei sind – zum Beispiel bei einer Operation oder bei der Montage eines Gerätes – oder steril bleiben müssen.

Ein weiterer Trend ist die Sprachsteuerung, wie Apple, Google und Amazon es vormachen: Das Abrufen von Informationen aus dem Internet oder die Steuerung von Geräten im heimischen Wohnzimmer funktionieren auf Zuruf. Dahinter steckt eine künstliche Intelligenz, die in einer Serverfarm des Anbieters steckt.

Etwas einfacher ist die Spracheingabe, die mehr oder weniger strikten Syntaxregeln folgt. Sie findet sich zum Beispiel in Navigationssystemen von Personenkraftwagen im Stil von „Bitte geben Sie die Adresse ein in der Form Stadt, Straße und Hausnummer“. Das Parsing – also das Zuordnen der eingegebenen Worte zu Feldern in der Datenbank – und das Ausführen der gewünschten Aktion kann ein lokaler Controller durchführen.

Die Visualisierung

Auf der anderen Seite der Interaktion steht die Ausgabe, die zumeist ein Display erledigt. Auch dort schreitet die Technik voran. Wiederum getrieben durch die Stückzahlen des Massenmarktes erscheinen OLED mit brillanter Darstellung und einer durch den enormen Kontrast hervorragenden Bildqualität. In bestimmten Anwendungen – etwa bei der Darstellung von Bildern mit hohem Kontrast bei bildgebenden Verfahren in der Medizin – scheinen sie der LCD-Technologie den Rang abzulaufen. Jedoch unterliegen sie prinzipbedingt einem Alterungsprozess, der durch ein Nachlassen der Helligkeit sichtbar wird. TFT kontert mit Quantum Dots, die unter Namen wie ‚QLED‘ in den Markt drängt und einen hohen Farbumfang mit leuchtenden Farbtönen verspricht. Noch im Laborstadium befinden sich Schirme mit Mikro-LEDs, die der LED-Technologie zu einer Renaissance verhelfen und sie von der reinen Lichtquelle für TFTs zur Bildquelle an die Front rücken lässt. Die Fertigung großer Bildschirme mit hoher Auflösung ist fertigungstechnisch für die Serie noch nicht gelöst, Prototypen zeigen jedoch das große Potenzial, das diese Technologie aufweist.

Doch zurück zum Human Machine Interface: Nicht eine Technologie allein führt zum Erfolg, sondern die Kombination. So muss ein HMI eine schlüssige Eingabefunktion anbieten, die viele Sinnesorgane anspricht. Zu den Touchsystemen kommt die haptische Rückmeldung, die dem Bediener über den Tastsinn auf direktem Wege die erfolgreiche Eingabe signalisiert. Sie könnte auch akustisch über einen Piepser erfolgen, wobei dies in lauter Umgebung unter Umständen im Lärmpegel untergeht. Das Display stellt die gewünschten Informationen mit hoher Auflösung ergonomisch dar. Einen ganz entscheidenden Anteil hat jedoch die Benutzerführung, die die Software beziehungsweise das Graphical User Interface (GUI) vornimmt. Die GUI legt fest, wie Informationen präsentiert werden, durch Farben, Formen, Anordnung auf dem Bildschirm und Darstellung in Relation zueinander. 

Die nächste Revolution

Der Mensch-Maschine-Kommunikationskanal ist multisensuell: sehen und gesehen werden – mit Bildausgabe und ­Eye-Tracking; hören und gehört werden – mit Tonausgabe und Spracheingabe; tasten und fühlen – mit Touchscreen und haptischem Feedback.

© Adobe Stock / undrey, Hy-Line Computer Components

Der Begriff HMI 5.0 beschreibt also die umfassende Interaktion des Menschen mit dem System mittels aller Sinne. Neue Methoden kommen auf den Markt, zum Beispiel für die Eingabe die Erkennung von 3D-Gesten, die Spracherkennung, das Eye Tracking. Für die Ausgabe steigt die Bedeutung der haptischen Rückmeldung, die das Manko gängiger Touchscreens kompensiert, und die dreidimensionale Visualisierung mit Hologrammen oder Brillen. Durch leistungsfähigere Grafikkarten sind Brillen für AR und VR bezahlbar geworden. Zunächst getrieben durch Computerspiele, haben VR-Brillen ihre Berechtigung bereits im Simulator-Training gefunden, wo sie den Bediener optisch und akustisch in eine realistische Szene versetzen. Insgesamt ist also der Kommunikationskanal zwischen Mensch und Maschine breiter geworden: sehen und gesehen werden – mit Bildausgabe und Eye-Tracking; hören und gehört werden – mit Tonausgabe und Spracheingabe; tasten und fühlen – mit Touchscreen und haptischem Feedback. Nur riechen und schmecken fehlen noch. 

Ist Touchbedienung also noch State of the Art? Diese Frage lässt sich eindeutig mit ‚Ja‘ beantworten. Denn trotz vieler neuer Technologien wird der Touchscreen noch längere Zeit den Ton angeben. Eine wichtige Rolle darüber hinaus wird die umfassende, multisensuelle Kommunikation des Menschen mit dem Computer spielen, die sich nicht nur auf Tastatur/Touchscreen und Bildschirm beschränkt. Auch wenn einigen Technologien noch nicht der breite Durchbruch gelungen ist, stehen sie als Werkzeug bereit, dem Anwender eine neue User Experience zu ermöglichen. Mit ihrer Unterstützung ist er gut vorbereitet, wenn es um die Implementierung von Software für Künstliche Intelligenz oder Machine Learning geht.

Autor:
Rudolf Sosnowsky ist Leiter Technik bei Hy-Line Computer Components in ­Unterhaching.