Von Horst Mattfeldt

Das elektronische Musikinstrument – der „Reactable“ – ist ein Synthesizer, der von einer Forschergruppe der Pompeu-Fabra-Universität in Barcelona konzipiert wurde und für die Bedienung auf digitale Bildverarbeitung setzt. Der Reactable sieht aus wie ein leuchtender, runder Stehtisch mit einem Durchmesser von etwa 1 m und einer Glasplatte. Die Interaktion zwischen Musiker und Instrument erfolgt intuitiv über die glatte Oberfläche des Tisches. Auf ihr positioniert der Künstler verschiedene Plexiglas-Objekte in Relation zueinander und bewegt sie – ohne Knopf, Schalter oder Tasten.

Je nach geometrischer Form erfüllen diese Objekte unterschiedliche Funktionen: So generieren zum Beispiel quadratische Elemente Grundtöne, während abgerundete Rechtecke Tonfilter darstellen, die die Grundtöne modulieren. Während das Symbol auf dem gewählten Element die Art des Grundtons beziehungsweise des Filters bestimmt, definiert die Position der Objekte zueinander, inwiefern ein Element das andere beeinflusst. Aufgrund ihrer Form, die an einzellige Lebewesen erinnert, erhielten die Symbole von den Forschern den Spitznamen „Amöbe“.

Um die Bedienbarkeit des Instruments zu erleichtern, projiziert der Reactable Markierungen auf der Tischoberfläche. Diese liefern dem Musiker nicht nur eine Rückmeldung, dass das Objekt tatsächlich vom System erfasst wurde, sondern geben weitere Informationen zum Status des generierten Tons und seiner Interaktion mit den Nachbar-Objekten. So kann der Künstler sowohl die Verbindungen als auch die erstellten Tonwellen in grafischer Darstellung dynamisch auf dem Tisch sehen. Der Clou dabei: Er kann einzelne Tonparameter verändern, indem er die projizierten Informationen mit dem Finger berührt.

Aus Bildern werden Töne

Seine einfache Bedienbarkeit verdankt der Reactable der zugrundeliegenden Bildverarbeitungslösung: Eine Digitalkamera von Allied Vision Technologies überwacht das Geschehen auf dem Tisch von unten durch die Glasplatte. Das speziell entwickelte Bildverarbeitungssystem „Reactivision“ analysiert die aufgenommenen Bilder und leitet aus der Position der Objekte die entsprechenden Ton-Informationen ab. Diese werden anschließend als Audiosignal zu Lautsprechern übermittelt und in grafischer Darstellung auf die Tischplatte rückprojiziert.

Reactivision ist eine Open-Source-Anwendung. Die Bildverarbeitungssoftware wurde in Portable C++ programmiert und kann unter den drei Betriebssystemen Windows, Mac OS X und Linux eingesetzt werden. Das Programm erfasst die Bilder über eine Digitalkamera, durchsucht den Video-Stream Bild für Bild nach bekannten Symbolen und überträgt die Informationen zu allen ermittelten Symbolen an eine Client-Anwendung, die diese in musikalische Informationen umwandelt. Das hierzu speziell entwickelte Kommunikationsprotokoll namens TUIO codiert und überträgt für jedes Symbol die Anwesenheit im Bild (ja/nein), die Position im zweidimensionalen Raster sowie den Rotationswinkel.

Die Amöben-ähnlichen Symbole auf den Plexiglas-Objekten des Reactable bestimmen die Art des Grundtons (quadratische Elemente) beziehungsweise des Filters (Rundecken). Die Bedienelemente enthalten keinerlei Elektronik, sondern sind mit Symbol-Etiketten versehen, die mit einem normalen Laserdrucker auf weißem Büropapier gedruckt werden können.

Zu Beginn des Projektes standen neben der Bildverarbeitung alternative Technologien wie Ultraschall und RFID zur Diskussion, um die Position der Steuerungsobjekte auf der Tischplatte zu ermitteln. Allerdings war schnell klar, dass die Lösung auf die digitale Bildverarbeitung setzen würde, denn: Die alternativen Technologien können zwar die Position von Elementen in einem zweidimensionalen Raster ermitteln, müssen aber bei deren Orientierung passen. Gerade dies sieht aber das Reactable-Konzept vor: Das System ermittelt nicht nur die relative Position der Objekte auf der Tischoberfläche, sondern erfasst und interpretiert auch die Rotation eines jeden Objekts um die eigene Achse. Wird ein Element nicht bewegt, sondern auf der Stelle gedreht, verändert sich der generierte Ton in Relation zum Rotationswinkel. Dies eröffnet ein unendliches Spektrum musikalischer Modulationen und Nuancen.

Ein weiterer Vorteil der Bildverarbeitung gegenüber alternativen Ortungstechnologien betrifft die Bandbreite. Bei Ultraschall beziehungsweise RFID müsste jedes Objekt über ein Signal individuell erfasst werden. So stände die notwendige Bandbreite zur Übertragung und Verarbeitung der Informationen im direkten Verhältnis zur Anzahl der Objekte, die sich gerade auf der Tischoberfläche befinden. Die verfügbare Bandbreite würde also unter Umständen der Anzahl der Bedienelemente eine Grenze setzen, die vom System gleichzeitig erfasst und verarbeitet werden können. Nicht so mit der Bildverarbeitung: Die Kamera erfasst ein Gesamtbild der Oberfläche mit einer bestimmten Bildrate. Dabei ist es für die Datenübertragung irrelevant, wie viele Objekte und Symbole sich in diesem Bild befinden.

Und last but not least ist das Bildverarbeitungssystem in der Lage, nicht nur die symboltragenden Objekte zu erkennen, sondern auch den Finger des Künstlers, der somit per Berührung der Tischoberfläche Einstellungen verändern kann. Dies erlaubt mehr Gestaltungsfreiheit für den Künstler und macht die Interaktion zwischen Mensch und Instrument intuitiver.

Das Auge des Reactable

Die kritischen Parameter bei der Umsetzung waren die Bildübertragungs- und Verarbeitungsgeschwindigkeit sowie die geforderte Unempfindlichkeit der Kamera für störende Umgebungslichtverhältnisse, da das Instrument blitzschnell auf Befehle des Musikers reagieren muss – zumal wenn es mit einer Band synchron gespielt werden soll.

Der „Reactable”œ: Der Kern des futuristischen Synthesizers ist das Bildverarbeitungssystem Reactivision.

Das Reactable-Team nutzt die Digitalkamera „Guppy F-046b“ von Allied Vision Technologies, die mit einem 0,5-Zoll-CCD-Sensor von Sony ausgestattet ist. Für die Applikation besonders wichtig sind kurze Verschlusszeiten, weil die Bewegungen der Objekte auf der Tischplatte bei zu lange belichteten Bildern zu störender Unschärfe beziehungsweise Bewegungs-Artefakten führen könnten. Die Guppy-Kamera mit ihrer minimalen Verschlusszeit von weniger als 50 μs liefert gestochen scharfe Bilder, die das System problemlos auswerten kann. Für eine schnelle Datenübertragung und kurze Reaktionszeiten sorgt eine digitale IEEE1394a-Schnittstelle (Firewire), die eine Bildrate von knapp 60 Frames pro Sekunde in VGA-Auflösung ermöglicht.

Aufgrund der kleinen Maße des Tisches beträgt die Entfernung zwischen Kamera und Tischplatte lediglich 90 cm. Deshalb wurde die Kamera mit einem 4,5-mm-Weitwinkelobjektiv kombiniert, um trotz des geringen Abstandes die gesamte Oberfläche des Tisches erfassen zu können. Die Kamera ist zudem mit einem Infrarotfilter (IR-pass) ausgestattet, da die Schwarzweiß-Symbole unter den Steuerungsobjekten mit für das menschliche Auge unsichtbarem Infrarotlicht beleuchtet werden. Ziel ist es, diejenigen Informationen aus dem sichtbaren Spektrum herauszufiltern, die die Auswertung des Bildes stören würden – zum Beispiel Reflexionen vom Tageslicht oder aber vor allem die vom Reactable selbst auf die Tischplatte rückprojizierten Grafiken.

Auf Welttournee

Das Musikinstrument wird zwar noch nicht in Serie produziert, Prototypen haben aber bereits bewiesen, dass das System auch in einem Live-Konzert zuverlässig funktioniert. So integrierte die isländische Sängerin Björk den Reactable im Jahr 2007 in ihre Welttournee des Albums „Volta“.

Autor

Horst Mattfeldt ist Technical Director bei Allied Vision Technologies in Stadtroda.

Der Rezepte-Tisch

Der Reactable ist eine der möglichen Applikationen der Software Reactivision: Mit unterschiedlichen Client-Anwendungen ließen sich auch andere Applikationen als Musik-Erzeugung über eine ähnliche Tischoberfläche steuern. Ein Beispiel dafür liefern Design-Studenten der Kunstuniversität Linz (Österreich) mit dem Recipe-Table. Der Prototyp für einen Küchentisch der Zukunft erkennt mit Hilfe des Bildverarbeitungssystems die auf dem Tisch befindlichen Lebensmittel und schlägt je nach Zutatenkombination ein passendes Rezept vor.