Bildverarbeitungssensoren:
Wie Maschinen die Welt sehen

Die Fertigung umfasst die Beschaffung der richtigen Teile, die Suche nach einer geeigneten Fertigungsstätte, die rechtzeitige Lieferung Ihrer Designs zum Fließband und die Bewältigung der Compliance- und Sicherheitsherausforderungen, die für eine globale Dimension erforderlich sind.

Automatisierungstechnik sollte eingesetzt werden, um die Fertigungslinien und die daraus resultierenden Produkte mit hoher Effizienz zu verbessern. Visuelle Eingänge sind die ergiebigste Quelle für Sensorinformationen. Visionsentwicklungen in der Fertigung führen zu einer Verbesserung der Zuverlässigkeit und Produktqualität und schalten die Technologie für einen neuen Produktionsprozess frei. Wir werden uns damit befassen, wie Bildverarbeitung in der industriellen Automatisierung eingesetzt wird, um den Herstellungsprozess zu vereinfachen.

In der Fertigungsautomatisierung werden Sensoren verwendet, um Daten für Prüfzwecke zu sammeln oder andere Geräte auszulösen. Diese Sensoren fallen in mehrere Kategorien – Fotoelektrisch, Glasfaser, Nähe, Ultraschall und Vision sind die häufigsten. Da diese Sensoren aufgrund ihrer starren Montage nicht zwischen Mustern oder Farben unterscheiden können, können sie keine Fehlausrichtung oder Variabilität verarbeiten. Vision-Sensoren spielen eine charakteristische Rolle, da sie eine größere Flexibilität bieten, mehrere Inspektionstypen innerhalb eines einzigen Bildes durchführen und zusätzliche umfangreiche Daten zur Qualitäts- und Prozessverbesserung generieren.

Sensor-Fusion

Automatisierungsentwickler benötigen eine Vielzahl von Sensoren, die Rohdaten und Feedback, Steuersysteme, programmierbare Logik und angeschlossene Embedded-Geräte bereitstellen. Die Daten werden von einem Algorithmus – nicht von einer Person – analysiert. Dies bietet die Möglichkeit, verschiedene Erfassungsmodalitäten in Bildverarbeitungssystemen einzuführen. Dies kann andere Modelle als Bildsensoren wie Time-of-Flight, Radar und LiDAR beinhalten. Damit verbunden ist die Notwendigkeit der Sensor-Fusion. Bei der Sensor-Fusion werden Daten aus mehreren Quellen zu einem einzigen Satz zusammengefasst, der in ein neuronales Netz eingespeist werden kann. Dies ist eine entscheidende Phase, da die Art und Weise, wie die Daten jedes Sensors gewichtet werden, ihre Relevanz für den endgültigen Datensatz beeinflusst.

Bildverarbeitungssysteme:

Computer Vision ist der Bereich der künstlichen Intelligenz (KI), der es Maschinen ermöglicht, zu „sehen“, indem Embedded-Systeme mit Computer Vision kombiniert werden, was zu Embedded-/Bildverarbeitungssystemen führt. Die Bildverarbeitungstechnologie (MV-Technologie) ist im industriellen Internet der Dinge (IIoT) gut aufgestellt, wo Maschinen aller Art ständig verbunden sind. Die Bildverarbeitung wird für IIoT-Anwendungen aufgrund ihrer zunehmenden Erschwinglichkeit von Bauelementen und Systemen für die Bildverarbeitung, einer breiteren Palette von Lösungen, besserer Hardware und KI-basierter Software für Deep-Learning-Fähigkeiten so schnell eingeführt. Das Bildverarbeitungssystem kann eine große Menge an Informationen in einem Bruchteil von Sekunden verarbeiten.

Zu den verschiedenen Arten von Vision-Systemen gehören 1D-Vision-Systeme, 2D-Vision-Systeme, Linien- oder Flächenscans und 3D-Vision-Systeme. Die primären Funktionsblöcke eines typischen Vision-Systems (Abbildung 1) sind eine Bilderfassungseinheit (Bildsensor/Kameramodul), Verarbeitungseinheit, Segmentierung sowie Software- und Vision-Algorithmen/Mustererkennung und Konnektivität.

Abbildung 1: Bausteine von MV

Die Bildverarbeitung verwendet Kameras als Augen, die visuelle Informationen aus der Umgebung erfassen. Auflösung und Empfindlichkeit sind zwei wichtige Aspekte eines jeden MS-Systems. Die Auflösung ist für die Unterscheidung zwischen Objekten verantwortlich, während die Empfindlichkeit die Fähigkeit der Maschine ist, Objekte oder schwache Impulse selbst bei gedämpftem Licht oder unsichtbaren Wellenlängen zu erkennen.

Die wesentlichen Bestandteile des Systems umfassen Beleuchtung, Linsen, Bildsensoren, Vision-Verarbeitung und Kommunikationsgeräte. Es verwendet häufig Spezialoptik, um Bilder zu erfassen. Die MV-Technologie ist eine Kombination aus Software und Hardware, welche die Betriebssteuerung von Geräten ermöglicht, welche Funktionen wie die Erfassung und Verarbeitung von Bildern und die Messung verschiedener für die Entscheidungsfindung erforderlicher Merkmale ausführen. Hardware-Bauelemente umfassen mehrere Objekte wie Kameras, Sensoren, Prozessoren, Framegrabber, LED-Beleuchtungen und Optik. Das Software-Angebotssegment gliedert sich in anwendungsspezifische MV-Software- und Deep-Learning-MV-Software-Unterkategorien.

Lieferanten von Bildverarbeitung bieten hauptsächlich zwei Arten von Services an, nämlich Integration und Lösungsmanagement. Integratoren für Bildverarbeitungssysteme werden für Inspektions-, Test-, Montage- und Messanwendungen eingesetzt und helfen Kunden dabei, ihre Produktspezifikationen zu erfüllen. Das Lösungsmanagement wird für einstufige Debugging-Operationen, Inspektionskontrollen (Start und Stopp) sowie zum Öffnen und Speichern von Lösungen verwendet.

Auswahl der richtigen Hardware

Bei der Entscheidung für die Hardware, die Ihre KI-Anwendung mit Bildverarbeitung ausführen soll, gibt es viele Optionen. FPGAs (Field Programmable Gate Arrays), GPUs (Grafikprozessoren) und sogar MCUs (Mikrocontroller) haben jeweils ihre eigenen Vorteile.

FPGAs sind äußerst leistungsstarke Prozessoren, die so konfiguriert werden können, dass sie den Anforderungen nahezu jeder Anwendung gerecht werden. Für die Handhabung spezifischer Anwendungen können maßgeschneiderte FPGA-Architekturen erstellt werden. FPGAs erreichen im Vergleich zu anderen Optionen wie GPUs und CPUs eine viel höhere Leistung, niedrigere Kosten und eine bessere Energieeffizienz. GPUs sind spezielle Prozessoren, die hauptsächlich für die Verarbeitung von Bildern und Videos entwickelt wurden. Im Vergleich zu CPUs basieren sie auf einfacheren Verarbeitungseinheiten, bringen aber eine viel größere Anzahl von Kernen unter. Dadurch eignen sich GPUs hervorragend für Anwendungen, in denen große Datenmengen parallel verarbeitet werden müssen, wie Bildpixel oder Videocodecs. CPUs haben eine begrenzte Anzahl von Kernen, was ihre Fähigkeit einschränkt, die großen Datenmengen, die für KI benötigt werden, schnell zu verarbeiten.

Bildsensor und Beleuchtung

Bei der Entwicklung eines Bildverarbeitungssystems könnte die Auswahl des richtigen Bildsensors eine der wichtigsten Designentscheidungen sein. Das Design erfordert eine hochauflösende Bilderfassung, eine schnelle Datenübertragung mit minimalem Rauschen und eine effiziente Rechenleistung, die Daten verarbeiten und Ausgaben erzeugen kann. Die Weiterentwicklung bei der Frontseiten- (FSI) und Rückseitenbeleuchtung (BSI) in der CMOS-Sensortechnologie ermöglicht Bilder mit höherer Auflösung selbst bei schlechten Lichtverhältnissen.

Eine ordnungsgemäße Beleuchtung ist ebenfalls ein wichtiger Aspekt. Alle Beleuchtungsleistungen basieren auf drei Hauptmerkmalen des Bildsensors: Quanteneffizienz (QE), Dunkelstrom und Sättigungskapazität. Bei der Implementierung in einer Kamera sollte die maximale QE der Kamera aufgrund externer optischer und elektronischer Effekte geringer sein als die des Sensors.

Dunkelstrom und Sättigungskapazität sind ebenfalls wichtige Designüberlegungen in Bildverarbeitungssystemen. Der Dunkelstrom misst die Variation der Anzahl der Elektronen, die innerhalb des CMOS-Imagers thermisch erzeugt werden, und kann zu mehr Rauschen führen. Die Sättigungskapazität bezeichnet die Anzahl von Elektronen, die ein einzelnes Pixel speichern kann. Sie können mit QE-Messungen verwendet werden, um das maximale Signal-Rausch-Verhältnis (S/N), die absolute Empfindlichkeit und den Dynamikbereich einer Anwendung abzuleiten.

Die richtige Beleuchtung trägt dazu bei, die Genauigkeit und Effizienz einer Bildverarbeitungsanwendung zu erhöhen. Andere Faktoren, die bei der Beleuchtung zu berücksichtigen sind, sind Wellenlängen wie Infrarot, Festbeleuchtung und auch die Platzierung der Beleuchtung. Es hat sich gezeigt, dass Lichtquellen und Reflexionen, die direkt in die Kameras von Bildverarbeitungssystemen einstrahlen, die Genauigkeit der Objekterkennung verringern.

Die Wahl der richtigen Kamera für die Bildverarbeitung

Jüngste Fortschritte in der Bildverarbeitungstechnologie ermöglichen es Kameras nun, megapixelstarke Bilder mit äußerst schnellen Frame-Raten zu übertragen. Die Auswahl der besten Schnittstelle erfordert einer Berücksichtigung mehrerer Überlegungen wie die Auswahl eines Sensortyps (CMOS oder CCD), einer Farbkamera oder Monochrom-Kamera, des Kameraausgabeformats (GigE, Camera-Link, CoaXPress, USB3, HD-SDI) und der Frame-Raten. CCDs haben eine höhere Bildqualität, eine größere Lichtempfindlichkeit, eine bessere Rauschleistung und einen idealen globalen Shutter. CMOS-Sensoren sind für ihre hohe Geschwindigkeit, die chipinterne Systemintegration und die niedrigen Herstellungskosten bekannt.

Kamerahersteller nutzen die neuesten Sensorentwicklungen und Verbesserungen im Kameradesign und unterstützen Entwickler und Integratoren von Bildverarbeitungssystemen dabei, schnellere, flexiblere und leistungsfähigere Bildgebungssysteme zu entwickeln. Mit höheren Kameraauflösungen steigt der Bedarf an hochwertigerer, großformatiger Optik, die leicht verfügbar ist, mit Optionen wie eingebetteten Flüssiglinsen für Autofokus-Systeme. Optik für nicht sichtbare Wellenlängen eröffnen neue Wege, um Dinge mit spezieller Bildgebung unter Verwendung von Wellenlängen, die vom UV- bis zum IR-Bereich reichen, zu erfassen.

LED-Beleuchtungsprodukte, die für alle Bildverarbeitungsanwendungen von entscheidender Bedeutung sind, gibt es jetzt in einer Vielzahl von Wellenlängen und Formfaktoren. Sie zeichnen sich durch eine erhöhte Flexibilität aus, mit einstellbaren Winkeln und zusätzlichen Wellenlängen, einer konsistenteren Spektralempfindlichkeit und sogar programmierbaren Quellen mit integrierter Steuerung. Ein wichtiger Wegbereiter ist die Entstehung von Schnittstellen bis zu 100 G sowie der kürzlich aktualisierten CoaXPress 2.0-Schnittstelle und auch PCI-Schnittstellen.

Auswahl einer Bildverarbeitungslinse

Die Entscheidung für die richtige Linse für eine Bildverarbeitungsanwendung erfordert eine Überprüfung der notwendigen Spezifikationen, etwas Mathematik und eine Überlegung darüber, wie die Linse in das Kamera-Setup integriert werden soll. Bei der Auswahl der Linse, die in einer Bildverarbeitungsanwendung eingesetzt wird, muss der verwendete Sensor berücksichtigt werden. Bei der Auswahl sind Sensorgröße und Pixelgröße von größter Bedeutung. Die Linse muss in der Lage sein, den gesamten Sensorbereich ordnungsgemäß zu beleuchten, um Abschattungen und Vignettierungen zu vermeiden.

Ideale Linsen erzeugen Bilder, die perfekt zum erfassten Objekt passen, einschließlich aller Details und Helligkeitsschwankungen. Standardlinsen können etwa ein Megapixel in Festbrennweiten von 4,5-100 mm betragen. Makrolinsen sind für Nahaufnahmen optimiert. Bei der Auswahl der richtigen Linse für eine Anwendung berechnen die Entwickler den erforderlichen Betriebsabstand unter Verwendung von 3 Faktoren: Brennweite, Länge des inspizierten Objekts und Sensorgröße.

Einige Anwendungsfälle/Anwendungsszenarien

MV-Systeme in der Lebensmittel- und Getränkeindustrie werden häufig in Verpackungs- und Abfüllbetrieben eingesetzt. Bildverarbeitungssysteme werden voraussichtlich ein erhebliches Wachstum in den Bereichen Pharmaindustrie und Chemie, Druck und Etikettierung sowie in anderen Branchen verzeichnen, wie z. B. Landwirtschaft, Gummi- und Kunststoffverarbeitung, Solarmodule, Maschinen und Ausrüstung, Sicherheit und Überwachung. Der Markt ist in Qualitätssicherung und Inspektion, Positionierung und Führung, Messung und Identifizierung unterteilt. Insbesondere im Verpackungsbereich kommen die Systeme zum Scannen und Identifizieren von Etiketten, Strichcodes und Texten häufig zum Einsatz. Dies automatisiert die Verpackungsaktivitäten, spart Zeit, vermeidet menschliche Fehler und erhöht die Effizienz.

Bildverarbeitungslösungen sorgen dafür, dass Fertigungsprozesse effizienter und konkurrenzfähiger werden. MV-Kameras funktionieren einwandfrei in einer Vielzahl von Produktionsumgebungen. Ein typischer Anwendungsblock wird in Abbildung 2 unten gezeigt.

Abbildung 2: Typischer Anwendungsblock für die Bildverarbeitung

Die intelligente Vision-Plattform von Avnet Integrated

Avnet hat modulare Entwicklungsplattformen speziell für Embedded Vision entwickelt. Sie kombinieren intelligente Kameras, Edge- oder Cloud-basierte Computertechnologien, Software und künstliche Intelligenz zur Realisierung von Systemen, die Personen und Objekte erkennen und identifizieren können. Die integrierte intelligente Vision Technologie-Plattform (Abbildung 3) wurde für Deep-Learning-gestützte Videoanalysen am Netzwerkrand entwickelt. Dieses Design wurde in Zusammenarbeit mit führenden Anbietern von Prozessoren, Bildsensoren und Softwaretools entwickelt, um ihre Produkte in eine geschlossene Lösung zu integrieren.

Abbildung 3: KI-Technologieplattform-Vision von Avnet – Infinity® AI Cube

Für diese leistungsstarken Anwendungen ist die intelligente Vision-Plattform mit dem äußerst leistungsstarken COM Express™-Modul vom Typ 6 der MSC C6B-CFLR-Familie von Avnet Integrated ausgestattet, welches auf einem Intel® Core i7 oder Intel® Xeon™ Prozessor basiert.

Die Technologieplattform kann verschiedene Beschleunigertechnologien für eine schnelle Datenverarbeitung am Netzwerkrand integrieren. Je nach Anwendung spielen die Anzahl der Videokanäle und die Latenzzeit eine zentrale Rolle. Die Lösungen reichen von KI-Inferenz auf leistungsstarken CPUs, Grafikprozessoren bis hin zu den optimierten Intel® Movidius-VPUs (Vision Processing Units).