Nach den Smartphones und deren Multitouch-Bedienung läuten Spielkonsolen die nächste Evolutionsstufe bei der Bedienung ein, wenn auch noch ganz leise: Sonys Wii und Microsofts Xbox nutzen längst Sensoren, mit denen Benutzer ohne Maus, Tastatur oder Touch-Displays mit dem System interagieren können. Iconics gehörte zu den wenigen Unternehmen, die eine Vorab-Version des aktuellen Kinect-Sensors und des dazugehörenden SDK (Software Development Kit) testen durften. Er unterscheidet sich von dem Kinect-Sensor der Spielekonsole lediglich durch die USB-Schnittstelle und die separate Stromversorgung. Die aktuelle SDK-Version 1.5 lässt sich einfach in .Net-Programmierumgebungen einbinden und bietet mittlerweile eine ausreichende Unterstützung aller wichtigen Funktionen des Kinect-Sensors. Ein Team von erfahrenen Programmierern kreierte innerhalb von zwei Wochen eine Pilot-Installation, die erstmals auf der Achema vorgestellt wurde. Das Feedback bestätigte die Entscheidung, die nächste Version der Scada-Software Genesis64 standardmäßig mit Kinect-Unterstützung auszuliefern.

Sehen und hören in 3D

Kinect ermöglicht die Steuerung von HMI/Scada-Applikationen mit Gesten und Sprache parallel zur klassischen Bedienung mittels Maus und Tastatur.

Der Sensor besteht aus einer Stereokamera und einem hochempfindlichen Stereo-Mikrofon, die Objekte und Geräuschquellen im Raum erkennen. Darüber hinaus verfügt das System über zwei Motoren für die horizontale und vertikale Ausrichtung des Sensors. Zur Abstandsmessung und Erfassung von Tiefeninformationen der Objekte nutzt das System Infrarotlicht und arbeitet dabei ähnlich wie der Autofokus von Kameras. Es wird behauptet, dass das System bei 2 m Abstand eine Distanz mit 1 cm Genauigkeit messen kann und eine Auflösung von 3 mm erreicht. Das Tiefenbild hat eine Auflösung von 640 × 480 Pixel (Standard-VGA), das Farbbild 1600 × 1200 Pixel.

Mithilfe von zwei Kameras, Stereomikrofon und Infrarot-Entfernungsmessung erkennt der Kinect-Sensor Personen und deren Bewegungen.

© Iconics

Ein Chip wandelt die Bilddaten in ein Tiefenfeld, das zusammen mit dem Farbbild korreliert wird: Jedes Pixel erhält seine ungefähre Tiefe zugeordnet. Diese so genannte Tiefenfeld-Karte und das Farbbild überträgt der Sensor anschließend über die USB-Schnittstelle zum PC. Pa­rallel zu den Bildinformationen erfasst der Chip die Audiosignale des Stereomikrofons und ermittelt daraus die Entfernung und die Position der Geräuschquelle. Das Kinect-SDK transformiert die übermittelten Daten in ein virtuelles 3D-Bild und stellt es für die weitere Bearbeitung oder Auswertung der Scada-Software oder anderen Tools zur Verfügung.

Innerhalb eines definierten Bereichs von etwa 5 m erkennt Kinect eine oder mehrere Personen. Die Körpererkennung (Skeletal-Tracking) kann zwei vollständige Skeletals und vier weitere Personen gleichzeitig detektieren. Das „Seated-“ oder auch „10-joint Skeletal Tracking“ stellt sicher, dass Kopf, Hals und Arme von stehenden und sitzenden Nutzern erfasst werden. Die Interaktion erfolgt mit einer Reihe von Standardgesten, die Microsoft in den Human Interface Guide­lines (HIG) beschreibt.

Zoomfunktionen werden beispielsweise durch Öffnen oder Schließen der Arme ausgelöst. Das Öffnen der geschlossenen Hand mit einem oder allen Fingern entspricht einem Mausklick. Über die Sprach- und Gesichtserkennung ist die Bedienung der Sicherheitsfunktionen möglich. Ein Security-Log-On mit Name und Passwort erfolgt nun nicht mehr über die Tastatur, sondern mithilfe der Gesichtserkennung in Verbindung mit einem Stimmabgleich.

Das Kinect-SDK ist mittlerweile so präzise, dass zum Beispiel die Mundform des Nutzers erfasst und übertragen werden kann. Das Gleiche gilt für Gesichtsmimik und die Erkennung einzelner Finger.

Es ist durchaus realistisch, dass der Kinect-Sensor auch in Laptops, PCs und den Tablet-PCs von Microsoft Einzug findet – und sich somit als Standard für die Eingabe etablieren könnte, wie einst die Maus. Die nächste Version des Kinect-Sensors erfährt weitere Verbesserungen im Bereich Audio und Kamera und wird eine noch exaktere Erkennung von Personen und deren Bewegungen erlauben.