zuruck zur Themenseite

Artikel und Hintergründe zum Thema

Bildverarbeitung

Ute Häußler | Inka Krischke,

CMOS - Treiber der Bildverarbeitung

Die CMOS-Technologie ist einer der Treiber der Bildverarbeitung. Unverzichtbar ist sie inzwischen etwa im Bereich Embedded Vision, bei der Integration von Bildverarbeitung in Robotik und Automation sowie in der Smart Factory.

© Sony/Framos

Es waren hauptsächlich wirtschaftliche Gründe, die Sony 2015 zur Aufgabe der CCD-Produktionslinien und der komplexen CCD-Herstellung bewogen haben. Qualitativ haben CMOS-Sensoren die CCD-Technologie in Teilen bereits überholt – mit geringem Rauschverhalten, hoher Empfindlichkeit und hohen Bildraten erreichen sie auch für anspruchsvolle Applikationen vergleichbare oder bessere Werte. 

Die evolutionäre Weiterentwicklung der CMOS-Sensoren liegt im Auslesemechanismus der Pixel begründet. Jeder Flächensensor besteht aus einem Matrix Array mit Fotodioden, in denen die auftreffenden Photonen in Elektronen umgewandelt werden. Bei CCD-Sensoren werden die Ladungen der einzelnen Fotodioden über horizontale und vertikale Shift-Register zu einem Ausleseverstärker außerhalb des aktiven Bereichs geleitet. Dort werden die Pixelladungen zentral ausgelesen und zu einer analogen Spannung gewandelt. Die CMOS-Technologie hingegen liest jeden Pixel direkt über am Pixel liegende Transistoren aus. Das Signal wird über den Read Out Circuit umgewandelt, rauscharm digitalisiert und schließlich über LVDS-Drähte (Low Voltage Differential Signaling) parallel übertragen.

Anzeige

Pixelstruktur mit Frontside Illumination versus Backside Illumination: Die rückseitige Belichtung sowie Mikrolinsen-Arrays bewirken eine erhöhte Empfindlichkeit der CMOS-Sensoren.

© Sony/Framos

Lange war das dezentrale Auslesen der CMOS-Pixel ein Nachteil: Der genaue Auslesewert am Pixel ist von der physikalischen Ausprägung der pixel-individuellen Transistoren abhängig. Da diese aber in der früheren CMOS-Geschichte immer leichte Unterschiede aufwiesen, wurde ein hohes ‚Fixed Pattern Noise‘ erzeugt. Zudem sorgte das erhöhte Grundrauschen für eine schlechte Empfindlichkeit. Außerdem waren die Transistoren im Vergleich zur Pixelgröße relativ groß. Die Notwendigkeit von drei Transistoren, um einen Rolling Shutter zu realisieren, und fünf bis sechs Transistoren für einen Global Shutter führte zu einer Verringerung der aktiven Pixelfläche und somit zu einer wesentlichen Reduktion der Lichtleistung. Der hohe Platzbedarf der Transistoren ging zu Lasten der Bildqualität und Empfindlichkeit. Lange lag der Entwicklungsfokus daher auf schnellen Rolling-Shutter-Sensoren. Aber: Genau hier lag die Begrenzung der damaligen CMOS-Technologie und teilweise auch der Bildverarbeitung für den Machine-Vision-Einsatz – denn die industrielle Produktion und Anwendungen im Automotive-Bereich, in der Medizintechnik sowie vielen Applikationen der Virtual Reality brauchen hochwertige Global-Shutter-Sensoren ohne Artefakte für schnell bewegte Prozesse in Echtzeit und eine hervorragende Bildqualität.

 

Global statt Rolling Shutter

Der entscheidende Schritt für die CMOS-Entwicklung lag in der Kombination der Bildaufnahme nach dem Global-Shutter-Prinzip und deutlich gesteigerter Geschwindigkeit sowie Bildqualität. Mit der Entwicklung der ersten CMOS-Global-Shutter-Genera-tion und dem IMX174 hat Sony die Voraussetzungen für das CMOS-Zeitalter im industriellen Bereich geschaffen. Mit der zeitgleichen Belichtung und Entleerung aller Pixel tritt im Gegensatz zum Rolling-Shutter-Verfahren keine zeitliche Aufnahme-Verzögerung zwischen den Pixellinien auf. Sich schnell bewegende Objekte können durch die gleichzeitige Bildaufnahme mit Global Shutter ohne Artefakte und mit hoher Schärfe abgebildet werden. 

Basierend auf ihrer Architektur und der parallelen Auslese aller Pixel sind CMOS-Sensoren um ein Vielfaches schneller als herkömmliche CCD-Sensoren. Während früher die zu erreichenden Frames per second (fps) die Anwendung limitierten, sind mit der CMOS-Technologie sehr hohe Bildraten möglich; die Hauptbegrenzung für die maximale Geschwindigkeit sind nun die Schnittstellen. 

Zudem ermöglichte die fortschreitende Miniaturisierung der Transistoren ein stark verbessertes Verhältnis zwischen Sensorgröße und aktiver Pixelfläche. Zugleich wurde die Verwendung des einfallenden Lichts maximiert. So sind CMOS-Sensoren auch in lichtarmen Applikationen einsetzbar. Und im entgegengesetzten Fall, bei extrem hohen Lichteinfall, zum Beispiel im direkten Sonnenlicht oder bei Reflektionen, geben CCD-Pixel überschüssig umgewandelte Elektronen an ihre Nachbarpixel ab (Überlauf) oder reichen diese auch nach bereits erfolgter Belichtung weiter. So entstehen für die Bildanalyse negative Blooming- oder Smearing-Effekte. CMOS-Sensoren hingegen lassen solche Effekte dank ihrer direkten Pixel-Auslese nicht zu. Technische Merkmale, wie die rückseitige Belichtung des Sensors (Backside Illumination) und auf dem Chip aufgebrachte Mikrolinsen-Arrays zur Verstärkung des einfallenden Lichts, bewirken zusätzlich, dass CMOS-Sensoren im Vergleich zu CCD-Sensoren höhere Empfindlichkeiten erreichen. 

Die dritte CMOS-Generation

Nachdem Sony in der zweiten Global-Shutter-Generation weitere Verbesserungen in der Pixel-Architektur erreicht hat und zusätzliche für Machine-Vision-Anwendungen relevante Funktionen implementiert hat, gibt es in der aktuellen dritten Generation vor allem eine wesentliche Neuerung: Mit SLVS-EC (Scalable Low Voltage Signaling with Embedded Clock) wird ein Sensor-Interface eingeführt, das den stetig steigenden Anforderungen an Auflösung und Geschwindigkeit Rechnung trägt. Branchen-Insidern zufolge können diese Sensoren damit die doppelte Bandbreite verglichen mit den Sub-LVDS-basierten Sensoren der zweiten Generation erreichen.
 
Die erste Generation Sony CMOS Global Shutter setzte mit dem IMX174 einen ersten Standard für den Bildverarbeitungsmarkt. Plötzlich konnten Applikationen in einer Bildqualität und Geschwindigkeit realisiert werden, die mit der CCD-Technologie nicht denkbar gewesen war. Mit 5,86 µm Pixelfläche wurde eine sehr hohe Sättigung von 30.000 e- erreicht, so dass der Dynamikbereich ‚trotz‘ des noch hohen Ausleserauschens von 5 e- bereits 75 dB erklomm. In der zweiten Generation hat Sony die Anforderungen des Machine-Vision-Bereichs in den Fokus gesetzt: Die zusätzliche Bit-Tiefe von 8 Bit benötigt weniger Bandbreite, die doppelte Anzahl an Channels bewirkt eine Verdoppelung der Output-Geschwindigkeit auf 9,5 Gbps. Darüber hinaus wurden Funktionen wie zusätzliche Trigger-Modi integriert. Mit einer verkleinerten Pixelgröße von 3,45 µm verringert sich zwar die Sättigung auf 11.000 e-, gleichzeitig sorgt das auf 2 e- gesunkene Ausleserauschen für einen gleichbleibend hohen Dynamikwert von 74 dB.

Die Neuerungen der dritten Generation werden Verbesserungen bringen, die sich insbesondere auf Bildqualität und Geschwindigkeit auswirken sollen. Vor allem Applikationen mit bewegten Objekten wie beispielsweise laufende Produktionsstraßen, Robotik-Anwendungen sowie im ITS- und Automotive-Bereich werden von einer Performance-Steigerung durch eine verbesserte Detektionsqualität profitieren. Es ist zu erwarten, dass die erneute Anhebung der Pixelgröße eine deutliche Steigerung der Sättigung gegenüber der zweiten Generation bringen und annähernd die Werte der ersten Generation erreichen wird. Im Zusammenspiel mit einem niedrigen Ausleserauschen wird die maximale Dynamik möglicherweise sogar einen neuen Höchstwert im Vergleich zu den Vorgänger-Generationen hervorbringen. Damit ist eine verbesserte Hell-Dunkel-Detektion auch bei schwierigen Lichtverhältnissen umsetzbar. Da aber basierend auf den verschiedenen Qualitätsverbesserungen die Übertragung der damit gesteigerten Bilddaten mit nochmals erhöhter Geschwindigkeit mit bisherigen Standard-Interfaces nicht mehr abbildbar wäre, hat Sony den SLVS-EC Standard mit acht Kanälen entwickelt. 

Als Integrated Circuits lassen sich CMOS-Sensoren relativ einfach in Bildverarbeitungssysteme eindesignen und verbauen. Doch die Herausforderung für die Applikation liegt weniger im konkreten Einbau als in der Erreichung der bestmöglichen Bildqualität.

Detailwissen unverzichtbar

Evaluation Boards und RDKs helfen, beim Design-In des Sensors Standardfehler zu vermeiden, ­Entwicklungszyklen zu verkürzen und eine schnellere Implementierung zu erreichen.

© Sony/Framos

Für die korrekte Sensor-Auswahl und die Ausnutzung der vollen Sensorfunktionalität mit allen Detail-Einstellungen können Entwickler und Ingenieure Evaluation Boards und passende Reference Design Kits (RDKs) einsetzen. Mit RDKs inklusive Gerber Files, Sensor Boards mit vorgefertigten Designs und fertigen IP-Blöcken kann direkt am Sensor und an seinen Einstellungen für die gewünschte Applikation und geforderte Bildqualität gearbeitet werden. Insbesondere Firmen, die ein eigenes Design entwickeln, können durch fertige IP Packages und Beratung durch Bildver-arbeitungsexperten Standardfehler vermeiden, Entwicklungszyklen verkürzen und so eine schnellere Implementierung und Time-to-Market erreichen. 

Gut abgestimmte Komponenten sind eine Grundvoraussetzung für den Erfolg der ‚embedded‘ Bildverarbeitung in der industriellen Digitalisierung. Mit der steigenden Leistung von Prozessoren und Sensoren und einer hohen Verfügbarkeit hat die Bildverarbeitung heute weitaus mehr Kapazität, um Bilder besser zu analysieren und zu interpretieren. In der Industrie 4.0 unterstützt künstliche Intelligenz mit Deep-Learning-Ansätzen die vollständige Automatisierung sowie autonome, durch Roboter gesteuerte Produktionsstraßen. Im Consumer-Bereich lernen autonome Autos das Sehen und Virtual-Reality-Brillen entführen in neue Welten. CMOS-Sensoren leisten zu dieser Entwicklung einen entscheidenden Beitrag. 

Mini-Sensoren kommen vor allem in Mobile Devices, im ­Automotive- und Surveillance-Bereich sowie der endoskopischen Medizin zum Einsatz.

© Sony/Framos

In klassischen Inspektionsaufgaben reduziert das CMOS-Sensordesign mit geringen Löt- und Montagetoleranzen das Risiko von Fehlmessungen oder Fehl-Erkennungen. Mit der höheren Bildqualität und vor allem der höheren möglichen Geschwindigkeit unterstützen CMOS-Sensoren anspruchsvolle Applikationen in Elektronik und Me-dizintechnik, die eine hohe Präzision benötigen. Die CMOS-Technologie erlaubt Kameras eine höhere Bildrate. Im Zusammenspiel mit der Beleuchtung lässt sich die Belichtungsdauer verkürzen, womit neben den grundlegenden Bildverbesserungen durch die CMOS-Architektur schärfere und kontrastreichere Bilder entstehen. Mit der detaillierten Bild-Erkennung wird zusätzlich Zeit im Post-Processing eingespart. Schatten, Blooming-Effekte und Bildstörungen werden aufgrund der Pixelstruktur und dem erweiterten Dynamikbereich der CMOS-Sensoren bereits während der Aufnahme verbessert beziehungsweise treten nicht in Erscheinung.

CMOS-Sensoren haben im Vergleich zu CCD-Sensoren einen wesentlich geringeren Energieverbrauch und entwickeln dadurch weniger Hitze. Durch die On-chip-Technologie sind weniger Bauteile nötig und mit der geringen Wärme-Entwicklung können mehr elektronische Bauteile auf kleinerem Raum verbaut werden. Daher benötigen Kameramodule mit CMOS-Sensoren weniger Platz und werden vorzugsweise für Handheld und Mobile Devices verwendet.

Mehrdimensionalität mit CMOS

Mit CMOS bekommen Maschinen Augen! – CMOS-Sensoren bilden die Basis für die visuelle Sensorik in Robotik und Automation.

© Sony/Framos

Insbesondere für 3D- und 4D-Aufnahmeverfahren spielen CMOS-Sensoren Vorteile in der Entwicklung und Umsetzung aus: Für Stereo-Messungen beispielsweise müssen aufgrund der fortschreitenden Miniaturisierung bei gleichzeitig hoher Aufl­ösung und Geschwindigkeit nicht mehr zwingend zwei Kameras verbaut werden. Die CMOS-Technologie vereinfacht die Realisierung von Kombi-Sensoren nach dem 2-in-1-Prinzip, die mit Triangulation 3D-Aufnahmen innerhalb einer Kameraplatine ermöglichen. Vor allem die Möglichkeit, Logikblöcke auf CMOS-Sensoren zu integrieren, dient der Entwicklung fortschrittlicher Bildverarbeitungsverfahren. Die Time-of-Flight-Techno­logie, die mit Zeitfiltern zur Distanzmessung als Processing-Einheit on-the-chip arbeitet, sowie 4D-Event-Kameras, die mit On-board-Processing bildliche Veränderungen im Zeitverlauf detektieren, wären mit den Grundfunktionen und dem Aufbau eines analogen CCD-Sensors nicht umsetzbar.

Autorin:
Ute Häußler arbeitet in der Unternehmenskommunikation bei Framos in Taufkirchen.

  • Xing Icon
  • LinkedIn Icon
Anzeige
zurück zur Themenseite
Anzeige

Das könnte Sie auch interessieren

Anzeige

Bildverarbeitung

Produktneuheiten zur Vision 2018

Mit über 460 Ausstellern rechnet der Messeveranstalter der Bildverarbeitungsmesse Vision in diesem Jahr. Einen Ausschnitt dessen, was auf den Ständen präsentiert wird, zeigt Computer&AUTOMATION in einer Bilderstrecke.

mehr...
Anzeige
Anzeige
Anzeige

Künstliche Intelligenz

Roboterhund 'Aibo' kehrt zurück

Anfang November 2017 hat Sony die neue Version seines Roboterhundes 'Aibo' vorgestellt. Laut dem Elektronikkonzern soll 'Aibo ERS-1000' besser mit dem Besitzer interagieren können als noch sein Vorgänger, den Sony vor über zehn Jahren vom Markt...

mehr...
Anzeige
Anzeige
Anzeige

VDI

Fachkonferenz „Machine Vision“ in Baden-Baden

Die VDI-Fachkonferenz „Machine Vision – Von der Inspektion zur smarten Revolution“ am 17./18. Juni 2026 in Baden-Baden vermittelt einen umfassenden praxisbezogenen Einblick in aktuelle Anwendungen des maschinellen Sehens. Einen Schwerpunkt bildet...

mehr...
Jetzt Newsletter abonnieren