Die 3D-Sensing-Technologie gilt als ein Schlüssel zu natürlicher und intuitiver Mensch-Maschine-Interak­tion. Durch die berührungslose Bedienung von Geräten via Eye-Tracking sowie Gesten- und Gesichtserkennung wird eine neue Art von Konsumgütern, Sicherheits­merk­malen und industriellen Lösungen möglich. Und dank ausgereifter Technik, erschwinglichen Preisen und dem ent­sprechenden Marktbedarf ist die 3D-Sen­sing-Technologie inzwischen reif für den Sprung in den Massenmarkt. 

‚Perceptual Computing‘ verbindet das Erfassen von Information mit deren Interpretation. Grundvoraussetzung dafür ist die Sensortechnologie, die einer Maschine Bilddaten in 2D und 3D liefert. Dahinter muss ein Prozessor folgen, der diese Daten auswertet und Entscheidungen trifft. Je nach Anwendung kann dies eine GPU, ein FPGA oder ein ASIC sein. Intelligente Algorithmen, die beispielsweise Objekte, Gesten oder Gesichter erkennen, lassen sich auf diesen Plattformen implementieren. So können etwa im indus­triellen Umfeld Fertigungs- und Trans­portprozesse überwacht und anschließend optimiert werden. Es ist möglich, indus­trielle Roboter zu führen, die auf ihre Umwelt – beispielsweise auf eine sich in den Fertigungsbereich bewegende Person – reagieren und Verletzungsrisiken ab­wenden. 
 

Anwendungsbeispiele

Bereichsübergreifend ermöglicht ‚Per­ceptual Computing‘ intelligente Anwen­dungen – etwa für Drohnen und Con­sumer-Geräte sowie für Industrie- und Heimroboter: Kaffeemaschinen können Benutzer und ihre Trinkvorlieben erkennen und identifizieren. Menschen können Geräte mit Gesten bedienen, auf eine Art und Weise, wie sie normalerweise mit anderen Menschen interagieren. Reini­gungsroboter werden befähigt, ihre Um­­gebung zu analysieren und damit die Wohnung auf intelligente Weise sauber zu machen, Hindernisse zu umfahren und dabei das Aufsaugen von Wertgegenständen – etwa Ohrringen – zu vermeiden.

‚Perceptual Computing‘ unterstützt Virtual und Mixed Reality (VR/MR) in den Bereichen Gaming und virtuelle Zusammenarbeit, indem reale und künstliche Objekte intuitiv verschmel-zen. 3D-Sensing ermöglicht es Industrie-robotern, wie der Mensch Gegen­stände zu greifen und abzulegen sowie während dieser Bewegung Zusammenstöße zu ver-hindern. So wird die Mensch-Maschine-Interaktion effektiv und nahezu selbst- verständlich. Drohnen können Menschen folgen und Hindernisse er­­kennen. Über-wachungs- und Sicherheits­anwendungen lassen sich mit Hilfe vielfältiger Techno-logie- und Datennutzung zur Navigation, Kontrolle und Interpretation einer Vielzahl von Situationen heranziehen. Aktuelle 3D-Sensing-Produkte wie bei­spielsweise die ‚RealSense‘-Technologie-Linie von Intel verbessern ‚Perceptual Imaging‘-Anwendungen weiter.

.....ohne dass hierfür ein eigener Grafik- oder Hostprozessor nötig ist.

© Framos

Die ‚RealSense‘-Technologie basiert auf Stereo-Vision. Dabei werden zwei Kamerabilder im Infrarotbereich auf­genommen und anschließend nach identischen Pixeln auf beiden Bildern gesucht. Über den Abstand zwischen den beiden Sensoren wird trianguliert und somit die Tiefeninformation des betreffenden Pixels bestimmt. Mit dieser Technologie können OEMs und Bildverarbeitungs-Ingenieure menschen­ähnliche 3D-Wahr­nehmung in ihren Anwendungen implemen­tieren, ohne dass eine komplette Neuentwicklung erforderlich würde. Imaging- und Vision-Experten, wie beispielsweise spezialisierte Distributoren und Systemintegra­toren, können Anwender dabei unterstützen, die 3D-Sensing-Technologie zu nutzen, um zukunftsweisende Anwendungen umzu­setzen und Maschinen sehen und denken zu lassen.

Die RealSense-Technologie umfasst eine Serie von Komponenten, die – in Geräte oder Maschinen integriert – diesen ermög­lichen, zu ‚verstehen‘ und mit der Umge-bung dreidimen­sional zu interagieren. Die Pro­dukt­linie beinhaltet einen Vision-Prozessor mit verbesserten Tiefen­funk­tionen, verschiedene Tiefen­module sowie -kameras und ein Software Development Kit (SDK). 

Mit den ‚Out-of-the-Box-Kits‘ etwa erhalten Imaging- und Vision-Ingenieure direkt einsatzbereite Komponenten, mit denen sie Anwendungen 3D-fähig machen können. So lassen sich lange Entwick­lungs­zyklen minimieren und die Markt­ein-führungszeit deutlich verkürzen. Ein Beispiel: Die RealSense-Tiefenkameras der Serie ‚D400‘ von Intel lassen sich via USB zu vorhandenen Prototypen hin­zufügen. Die Bildauflösung, hohe Bild­raten und der integrierte Infrarot-Pro­jektor unterstützen Anwendungen für Indoor- und Outdoor-Umgebungen, bei denen typische 3D-Lösungen bisher scheiterten. Tiefendaten werden vom integrierten Prozessor erstellt und können direkt von der Kamera an die ausge­wählte Auswertungs-Plattform wei-terge­leitet werden. Das ‚RealSense SDK‘, das es unter anderem für Windows OS und Linux gibt, umfasst Beispielcodes, De-­bugging-Tools sowie Auswertungspro­gramme zur Beschleunigung von Vision-Projekten.

Die Produkte der RealSense-Linie unterscheiden sich beispielsweise durch Spezifikationen wie IR-Pro­jek­tor, Sichtfeld und Shutter-Typ. Falls eine tiefere Integration not­wendig ist, lassen sich die Intel-Vision-Prozessoren mit kunden­spe­zifischen Kameras und Boards integrieren. RealSense-ASICs berechnen anhand der von mehreren Kameras eingehenden Raw-Bild­ströme hochauflösende 3D-Tiefen­karten, ohne dass hierfür ein eigener Grafik- oder Hostprozessor nötig wäre. Diese integrierte Lösung kann den Hostprozessor des Systems deutlich entlasten.

Autor:  
Dr. Christopher Scheubel ist zuständig für IP und Business Development bei Framos in Taufkirchen