Um eine optimale Erfassung der Bewegungen zu ermöglichen, wird die Myestro-Box in einiger Höhe über dem verbundenen Display montiert.

© elektroniknet.tv

Acht Mitarbeiter haben in einem kleinen Büro in Ulm ein Gerät entwickelt, das bisher einzigartig ist. Die Myestro-Gestensteuerung ist eine kleine Box, die auf einen Bildschirm montiert werden kann und anschließend dessen Bedienung übernimmt. Über zwei gewöhnliche CMOS-Bildsensoren erfasst sie die Bewegungen des Benutzers, der vor dem Display steht, und wandelt diese in Mausgesten um. Damit lassen sich dann alle Anwendungen berührungslos steuern – von Computerprogrammen wie PowerPoint bis hin zu öffentlichen Anzeige- und Werbetafeln. Auf letzteren liegt das Hauptaugenmerk der Entwickler: "Mit diesen Bildschirmen kann man im Prinzip nichts machen, außer draufschauen. Werbeanalysen zeigen aber, dass Menschen sich deutlich besser an etwas erinnern können, wenn sie aktiv mit dem Medium interagiert haben. Unsere Idee ist nun, die vielen tausend Bildschirme in S-Bahn-Stationen oder Kaufhäusern interaktiv nutzbar zu machen. Und das ohne umständliche Anmeldung oder Zusatzgerät", erklärt Dr. David Wenger, Geschäftsführer von Myestro Interactive.

Die digitale Beschilderung (Digital Signage), der man beispielsweise an Flughäfen oder auf öffentlichen Plätzen begegnet, könnte also bald mehr sein als animierte Plakate. Doch wie wird das eigentlich technisch realisiert?

Dank Rubber Stereo Technologie für draußen geeignet

Bekannte Gestensteuerungs-Systeme wie Microsoft Kinect oder Leap Motion nutzen einen Infrarotsensor, um Eingabebewegungen abzugreifen. Dieser sendet infrarotes Licht aus und misst entweder die reflektierte Strahlung (Structured Light) oder die Dauer der Reflexion (Time of Flight), um den Ort eines bestimmten Merkmals ausfindig zu machen. Aus diesen Daten lassen sich dann die Bewegungsrichtung und die Geschwindigkeit ableiten. Dieses Verfahren ist sehr aufwändig und funktioniert nur in recht dunklen Räumen zuverlässig. Denn bei zu viel Sonneneinstrahlung würde das ausgesendete infrarote Licht untergehen.

Weil die Software modellfrei arbeitet und nur beliebige faustgroße Objekte zur Bedienung heranzieht, kann man die Bildschirminhalte auch bewegen, wenn man die Hände nicht frei hat.

© elektroniknet.tv

An dieser Stelle unterscheidet sich Myestro grundlegend von der Konkurrenz. Hier sind zwei CMOS-Bildsensoren verbaut, welche die Merkmale des erfassten Gebiets direkt im Bild verfolgen und deren Geschwindigkeit messen. Die Software errechnet aus den Daten zusammenhängende Merkmalsschwärme, die dann bei entsprechenden Gesten die programmierten Interaktionen auslösen. Dahinter steckt statistische Bildverarbeitung. Im Code ist also nicht – wie sonst üblich – das Modell eines Menschen hinterlegt, sondern die Anwendung reagiert auf Bewegungen kartoffelgroßer Merkmalsschwärme. Das hat den Vorteil, dass Myestro auch dann funktioniert, wenn keine idealtypische Körperform vorliegt. Das ist nützlich, da man das Gerät auch mit einem Gegenstand in der Hand bedienen kann. Behinderte Menschen, die beispielsweise einen amputierten Arm haben, erkennt das System ebenfalls problemlos.

Myestro erhebt die nötigen Daten innerhalb eines frei konfigurierbaren, dreidimensionalen Aktionsraums. Diese virtuelle Box kann sich in bis zu 15 Metern Entfernung befinden und wird von den Entwicklern als »SpacePad« bezeichnet. "Bei einem normalen Schaufenster mit einem 50-Zoll-Display wäre das ein Gebiet von etwa 60x80cm in einem bis drei Metern Abstand«´", so Wenger. Derzeit würden nur zwei Hände zugelassen, allerdings sind den Anwendern bei der Entwicklung von entsprechenden Benutzer-Schnittstellen keine Grenzen gesetzt. Theoretisch wären bis zu fünf parallele Anwender gleichzeitig realisierbar, wenngleich das in der Praxis kaum von Nutzen sein dürfte.

Technische Details, Bedienung, Anwendungsfälle

Die Technik

Erfasst werden die Bewegungen des Benutzers durch zwei Aptina MT9M021 CMOS-Sensoren. Diese liefern ein Schwarz-Weiß-Bild mit einer Auflösung von 1280 x 960 Pixeln.

Im Gegensatz zu Leap Motion findet die Datenverarbeitung bei Myestro direkt im Gerät selbst statt, um die Rechenleistung des verbundenen Computers zu schonen. Die Rechenaufgaben übernimmt ein Embedded-Computer mit einem Intel Core i3-Prozessor (3217U mit 1,8 GHz). Die Berechnungen werden durch das OpenCL 1.2 Framework auf die integrierte Intel HD4000 GPU wie auch auf die CPU aufgeteilt. Komplettiert wird die Hardware von zwei 2GB DDR3-Arbeitsspeichern von Kingston (1600MHz) und einer 30GB SSD-Festplatte von Intel (525 Series). Als Betriebssystem kommt Windows Embedded 8 zum Einsatz. Die vollständig ausgewerteten Gesten-Daten werden über Ethernet oder WLAN an einen oder mehrere angemeldete Geräte gestreamt. Sie benötigen Dank der Vorverarbeitung keine weiteren Berechnungen und können direkt verwendet werden.

In der Myestro-Box stecken ein Intel Core i3 mit 1,8 GHz, zwei Kingston DDR3-RAM-Module zu je 2GB und eine Intel SSD 525 Series mit einer Kapazität von 30GB. Hinzu kommen die CMOS-Senosren, welche von Aptina stammen.

© elektroniknet.tv

Wie funktioniert die Bedienung?

Zur Steuerung der Bildschirminhalte zieht Myestro lediglich die bewegten, faustgroßen Elemente innerhalb der virtuellen Box (SpacePad) heran. Wenn sich beispielsweise noch ein abgestellter Kinderwagen oder ein zweiter Beobachter in der gescannten Zone befinden, tut dies der Bedienung keinen Abbruch. Wenn ein unbeteiligter Passant zwischen Bildschirm und SpacePad vorbeiläuft, verschwindet der Mauszeiger kurz und ist anschließend wieder verfügbar.

Wenn auf dem verbundenen Computer die mitgelieferte Software läuft, wird Myestro direkt als Eingabegerät erkannt und kann für die Steuerung der Inhalte verwendet werden. Neben Windows 7 und 8 arbeitet man in Ulm derzeit an einer direkten Ansteuerung für Mac, die im Januar fertig sein soll. Die Integration in Drittanwendungen ist für jede Programmiersprache über Zugriff auf Sockets möglich. Das mitgelieferte SDK stellt Code-Beispiele in C++ zur Verfügung. Desweiteren wird Javascript für die direkte Integration in Web-Anwendungen über WebSockets unterstützt. Von Haus aus werden die vom Tablet bekannten Standardgesten erkannt (siehe Video), aber auch hier ist softwareseitig noch einiges mehr möglich.

Die Vision

Neben der Integration im Bereich Digital Signage erwägen die Entwickler auch andere Einsatzgebiete. So ließe sich die Technik beispielsweise ohne größeren Aufwand in Fernseher oder Spielekonsolen einbauen. Diesbezüglich verhandele man bereits mit bekannten Elektronikkonzernen aus den USA, Korea und Japan über eine OEM-Integration in bestehende Geräte, teilte Dr. Wenger gegenüber elektroniknet mit. Doch die Ideen reichen noch weiter. Man stehe darüber hinaus in Kontakt mit mehreren großen deutschen Automobilherstellern und -zulieferern, für die die Technik im Hinblick auf die Bedienung automobiler Multimediasysteme interessant sei. Auch für neuartige elektronische Gadgets wie Cyberbrillen à la Google Glass könne die Gestensteuerung einen Mehrwert bringen. Denn Körpersprache ist universeller nutzbar als die länder- und dialektabhängige Sprachsteuerung.

Ein weiteres Anwendungsszenario könnte durch den demografischen Wandel an Bedeutung gewinnen. Denn ein System, das Bewegungen präzise erkennt, könnte beispielsweise die Betreuung alter Menschen unterstützen. Angenommen, eine Seniorin stürzt zuhause und kann ohne fremde Hilfe nicht wieder aufstehen. Myestro könnte dies erkennen und der angeschlossene Computer die notwendigen Schritte einleiten. Aufgrund des Preises und möglicher Berührungsängste älterer Menschen dürfte dieser Anwendungsfall allerdings noch einen weiten Weg vor sich haben.

Problem Datensicherheit und Fazit

Das Thema Datensicherheit

Ein Datenspion mehr für die NSA, könnten Kritiker nun vermuten. Diesem Einwand kann allerdings widersprochen werden, weil auf dem Gerät selbst keine personalisierten Daten gespeichert werden. »Diese Thema ist für uns elementar«, verspricht Dr. Wenger. Die verarbeiteten Informationen bildeten grundsätzlich nur eine grobe Kontur des Bedieners ab, welche höchstens die Unterscheidung zwischen großen und kleinen Menschen ermögliche. Lediglich wenn die Inhalte eine Registrierung verlangen, muss zwangsläufig eine Identität festgestellt werden. Dies betrifft dann aber nicht mehr Myestro, sondern die Anwendung des Kunden.

Fazit

Das Gerät wird seit kurzem ausgeliefert und war schon der Hingucker auf einigen Messeständen. Myestro versteht sich allerdings nicht primär als Hersteller von Endprodukten, sondern eher als Technologielieferant. Die Kunden können ihrerseits kreativ mit den Möglichkeiten des Systems umgehen und den Vertrieb übernehmen. Ob es dem jungen Unternehmen gelingt, die anfängliche Euphorie der potentiellen Kunden auch in fruchtende Partnerschaften und volle Auftragsbücher umzumünzen, muss sich noch herausstellen. Zumindest in die Werbewirtschaft sollte das Produkt jedoch Eingang finden. Schließlich ist ein interaktiver Bildschirm mit Gestensteuerung noch eine Seltenheit und birgt damit großes Potenzial. Bei einem Preis, der etwa bei einem Drittel eines guten Digital Signage-Bildschirms liegt, ist es jedenfalls einen Versuch wert.