Event-basierte Bildgebung

Die Basis Event-basierter Bildgebung oder neuromorpher Sensortechnologie bilden Sensoren, die Informationen auf ähnliche Weise verarbeiten wie das menschliche Gehirn: Entscheidend ist die menschliche Fähigkeit, auf Lichtreize der Fotorezeptoren der Augen so zu reagieren, dass nur Veränderungen wie Helligkeitsunterschiede, Kontraste und Bewegungen unsere Aufmerksamkeit anregen, während gleichmäßige Reize weitgehend ignoriert werden. Kurz gesagt, wir konzentrieren uns auf das, was sich verändert, statt ständig jedes statische Detail unserer Umgebung erneut zu erfassen. Nach demselben Prinzip funktionieren Event-basierte Sensoren. Sie unterscheiden sich von herkömmlichen, bildbasierten Sensoren, die stets die vollständige Datenmenge der gesamten Sensorfläche in gleichmäßigen zeitlichen Abständen übertragen.

Veränderungen detektieren

Diese Fähigkeit bildet die Firma Prophesee in Kooperation mit Sony nach: Die gemeinsam entwickelte neuartige Pixelelektronik detektiert ausschließlich Veränderungen. Sobald der Kontrast eines Pixels einen Schwellenwert überschreitet, wird unabhängig von seinen Pixel-Nachbarn und in Echtzeit ein sogenanntes ‚Change-Event‘ ausgelöst. Der Sensor arbeitet nicht in gleichmäßigen Zeitabständen, sondern reagiert auf Veränderungen mit einer zeitlichen Auflösung von bis zu 1 µs. Vergleichbar mit einer Framerate von über 10.000 fps lassen sich so auch sehr schnelle Bewegungen mit Event-basierten Kameras nahezu lückenlos erfassen.

Bildbasierte Kameras sampeln ihr Sichtfeld in gleichbleibenden zeitlichen Abständen (Framerate). EVS-Kameras erzeugen einen dynamischen Strom von Änderungsereignissen. © IDS

Durch die reduzierte Datenmenge müssen Anwendungsentwickler zur präzisen Erfassung schneller Ereignisse keine Kompromisse mehr zwischen hohen Bildraten und großen Mengen redundanter Daten eingehen. Denn die von Event-basierten Kameras erzeugte Datenmenge richtet sich nach der Aktivität im Sichtfeld und passt sich automatisch an, wenn sich die Szenenbedingungen ändern. Im Gegensatz zu bildbasierten Sensoren mit einer festen Bildrate übermitteln EVS-Pixel (Event-based Vision Sensor) nur dann Informationen und erzeugen Datenverkehr, wenn sich Veränderungen im Sichtfeld ereignen.

Schnelle Bewegungen pixelgenau erfassen

Bei schnellen Bewegungen können klassische Sensoren aufgrund ihrer Technologie Bewegungsunschärfe erzeugen. Sie entsteht, wenn sich Kontrastgrenzen (zum Beispiel durch Objektkanten) über mehrere benachbarte Pixel hinweg bewegen, während sie belichtet werden. Dabei nimmt jedes Pixel Licht von verschiedenen Positionen des bewegten Objekts auf. Je schneller die Bewegung oder je länger die Belichtungszeit, desto schwieriger wird es, ein klares Bild ohne Unschärfe zu erhalten. EVS-Pixel werten das einfallende Licht hingegen kontinuierlich aus und registrieren in einem Komparator lediglich den Anstieg beziehungsweise Abfall der Lichtmenge. Überschreitet sie dabei die eingestellten Schwellwerte, erzeugen sie ON- beziehungsweise OFF- Änderungsereignisse mit einer zeitlichen Genauigkeit von etwa 1 µs. So werden selbst schnellste Bewegungen durch EVS-Technologie Pixel für Pixel abgetastet. Dabei entsteht eine hochaufgelöste Abfolge (Stream) von unabhängigen Pixelereignissen, die einen Bewegungspfad ohne jegliche Bewegungsunschärfe beschreiben.

Weniger Daten, effizientere Information

Die nativen Ausgangsdaten von EVS-Kameras (Pixelposition X/Y, ON/OFF-Polarität, Zeitstempel T) sind extrem kompakt und Speicher-effizient und damit ideal für die maschinelle Verarbeitung, aber weniger intuitiv für den Menschen. In Bildern visualisiert, erinnern sie an ein 2D-Kamerabild nach einer Kanten-Detektion, da sich Kontrastveränderungen bei Bewegungen vor allem an Objektkanten zeigen.

Jedes EVS-Pixel nimmt das einfallende Licht kontinuierlich auf und erzeugt immer dann ein ‚Change-Event‘, wenn die Lichtintensität einen bestimmten Schwellwert, nach oben oder unten, überschreitet. © Prophesee

Da nur relevante und damit deutlich weniger Pixeldaten erfasst werden, verringern sich Speicherbedarf und Verarbeitungsaufwand erheblich. Aus den Zeitdifferenzen der Events lassen sich Bewegungsrichtung und -geschwindigkeit unmittelbar berechnen, ohne auf klassische Bildanalyse oder das Herausfiltern unbewegter Bereiche angewiesen zu sein.Diese geringe Datenmenge ermöglicht Echtzeitanalysen und vereinfacht Mehrkamerasysteme, da der technische Aufwand deutlich reduziert wird. Sowohl die Bildverarbeitungsleistung der Host-PCs als auch die Peripherie können kleiner und kostengünstiger dimensioniert werden.

Zeit als Information

Mikrosekundengenaue Zeitstempel, die exakte Positionsbestimmung einzelner Pixelevents sowie die Erfassung von Änderungsereignissen eröffnen neue Anwendungsmöglichkeiten, bei denen herkömmliche Kameras an ihre Grenzen stoßen würden. Ein Beispiel sind Slow-Motion-Aufnahmen: Die erfassten Pixelevents werden in ein zeitliches Raster akkumuliert, aus denen vollständige Sensorbilder generiert werden. So entstehen Zeitlupenvideos mit einer variablen ‚Belichtungszeit‘. Die Wiedergabegeschwindigkeit bleibt durch die gewählte Akkumulationszeit und Anzeigeframerate variabel und der Bewegungsverlauf wird sichtbar.

EVS-Änderungsdaten ähneln einer Kanten-Detektion klassischer Bilddaten. Die Datenrate variiert mit der Menge an Bewegungen im Sichtfeld. © IDS

Für eine präzise, numerische Analyse von Objektbewegungen lassen sich auch Geschwindigkeits- und Richtungsinformationen extrahieren. Dafür ist keine aufwändige Bildverarbeitung mehr notwendig. Werden hingegen Ort und Zeit mehrerer Pixelereignisse über einen bestimmten Zeitbereich in einer 3D-Darstellung akkumuliert, entsteht eine qualitative Darstellung des Bewegungsverlaufs. Dieser hilft zu verstehen, wie und auf welchen Bahnen sich Objekte in einem (Zeit-)Bereich bewegen. Anwendung findet dieses Vorgehen beispielsweise bei der Strömungsanalyse zur hochpräzisen Erfassung der Bewegung von Flüssigkeiten und Gasen.

Neue Daten, neue Verarbeitungskonzepte

Um die Potenziale der Event-Daten auszuschöpfen, müssen Entwickler von klassischen Bildzyklen auf asynchrone Datenverarbeitung umdenken. Zwar können Events in klassische Frames umgewandelt werden, doch das reduziert die Vorteile der Dynamik, Präzision und Effizienz. Erforderlich sind spezialisierte Tools und Algorithmen. Diese finden sich jedoch in keinem der bekannten Standard Vision Frameworks. Prophesee und Sony stellen mit dem ‚Metavision SDK‘ hingegen passende Werkzeuge, Dokumentation und Beispielprojekte bereit.

Neue Anwendungsfelder durch EVS

Heiko Seitz ist Product Marketing Manager bei IDS Imaging Development Systems in Obersulm. © IDS Imaging Development Systems

Durch die Unterschiede in den technologischen Grundlagen stellen Event-basierte Sensoren kaum Konkurrenz oder gar einen vollständigen Ersatz für klassische bildbasierte Kameras oder KI-basierte Bildverarbeitung dar. Vielmehr handelt es sich um eine ergänzende Technologie, die neue Anwendungsmöglichkeiten erschließt. Häufig reicht ein einzelner Sensortyp nicht aus, um eine Kundenanforderung vollständig zu lösen. Event-basierte Kameras sind daher für schnelle Bewegungsanalysen, industrielle Qualitätssicherungsaufgaben sowie Robotik- und generell autonome Systeme interessante Lösungs-Komponenten.

Auch in der Qualitätssicherung können die Vorteile neuromorpher Sensoren eine wichtige Rolle spielen, insbesondere dann, wenn Genauigkeit, Geschwindigkeit und Effizienz bei der Fehlererkennung gefragt sind. Ein Beispiel ist die Überwachung von Maschinen und Prozessen, wo kleinste Objekt- und Materialveränderungen in Pixelgröße und Echtzeit erfasst werden sollen. Durch die hohe zeitliche Auflösung bis in den niederen Mikrosekundenbereich sind hochfrequente Bewegungen wie etwa Vibrationen oder akustische Signale visualisierbar. Analysen decken frühzeitig ungewöhnliche Muster (zum Beispiel durch Abnutzung oder Fehlfunktionen) auf, die zu Schäden oder Produktionsausfällen führen können. Gleichzeitig sind neuromorphe Sensoren wesentlich unempfindlicher gegenüber Lichtveränderungen, wodurch sie klassischen Bildverarbeitungssysteme bei stark variierenden Lichtverhältnissen (beispielsweise Reflexionen oder Schatten) weit überlegen sind.