Integration von 2D- und 3D-Bilderkennung in IoT-Anwendungen

Das Whitepaper „Intelligente Sensoren – Das intelligente Internet der Dinge ermöglichen“ diskutiert die wichtigsten Trends in der Sensorentwicklung und wie Sensortechnologien wie Radar, LiDAR und ToF-Bildgebung noch mehr Informationen liefern, indem sie es Systemen ermöglichen, Objekte im 3D-Raum wahrzunehmen. Dieser Blogbeitrag ist eine Erweiterung davon und konzentriert sich darauf, wie der Pixelblenden-Ansatz verwendet wird, um Tiefeninformationen von einem CMOS-Bildsensor zu extrahieren und normale 2D-Bilder sowie Pixelschaltungen zu erstellen, und wie die Hindernisse eines 3D-Bildsensorsystems bewältigt werden können.

Heute sind 3D-Bilder und -Videos in unserem täglichen Leben populär geworden. Wie 3D-Inhalte mit 2D-Inhalten aufgenommen und kombiniert werden, ist ein sehr wichtiges Thema. Im Allgemeinen können zwei zweidimensionale Bilder aus zwei verschiedenen Perspektiven verwendet werden, um ein dreidimensionales Bild zu erzeugen, da dieser Mechanismus die Wahrnehmung des menschlichen Auges nachahmt.

Zum Beispiel sollte eine 3D-Kamera zwei Bilder gleichzeitig aufnehmen und zwei Bilder anzeigen, die für die 3D-Wahrnehmung für das rechte und linke Auge des Menschen sichtbar sind. Diese Wahrnehmung kann als passive Herangehensweise angesehen werden. Andererseits kann der aktive Modus mit der Lichtquelle verwendet werden, um die Tiefe des Objekts zu erfassen. Basierend auf den Eigenschaften des reflektierten Lichts kann durch Nachverarbeitungsberechnungen ein dreidimensionales Bild erzeugt werden. Insbesondere ist die ToF-Aktivität (Time-of-Flight) eine Schätzung der Laufzeit von parallelem Licht, das von einer Lichtquelle abgegeben wird, ein Objekt erreicht, von einem Objekt reflektiert wird und einen Sensor erreicht. Aus den in Pixeln aufgezeichneten unterschiedlichen Laufzeiten kann leicht auf die Tiefe von Objekten geschlossen werden.

Auf der Basis der gleichen Leuchtdioden werden zwei- und dreidimensionale Bildsensoren kombiniert. In zwei- und dreidimensionalen Modi werden die korrelierte Duplex-Abtastschaltung (CDS) und der Zeit-Digital-Wandler (TDC) angenommen oder verändert. Leseschaltungen verwenden lineare und parallele Lesevorgänge im 2D- bzw. 3D-Modus. Dementsprechend wird ein mehrkanaliger TDC verwendet, um einen parallelen Lesevorgang zu erreichen.

Integrierter 2D-/3D-Bildsensor

Um 2D- und 3D-Bildsensoren effektiv zu integrieren, wird die P-Diffusion_N-Well_P-Substrat-Photodiode verwendet und gesteuert, um im 2D- und 3D-Photodetektionsmodus zu arbeiten. In einem 2D-Modus sind die CDS-Schaltung und die CDS-Leseschaltung sowie ein Zeilendecoder, ein Spaltendecoder und ein Controller ausgebildet. In einem 3D-Modus werden Messverstärker (SA), ein TDC-Messwert und ein TDC implementiert. Der SA erhöht einen Triggerimpuls um ein Pixel, um die Lesezeit von einem Pixel auf einen TDC zu reduzieren. Abbildung 1 zeigt das Blockdiagramm des integrierten 2D-/3D-Bildsensors.

Abbildung 1: Blockdiagramm des integrierten 2D-/3D-Bildsensors

Pixelschaltungen

In einem 2D-Modus besteht das Hauptziel darin, Informationen über den Grauwert zu erhalten, und daher ist der Dynamikbereich der Hauptfaktor. Ein größerer Dynamikbereich offenbart einen größeren Bereich von Lichtströmen, die erfasst werden. Die 2D-Modus-Pixelschaltung, die in Abbildung 2 dargestellt wird, weist einen zusätzlichen Pfad auf, um die Ladungssättigung zu verlangsamen. Ein solcher Pfad stellt eine Ladungsversorgung bereit, um die aktuelle Photodissipation zu kompensieren.

Abbildung 2: 2D-Pixelschaltung

Im 3D-Modus erkennt die Pixelschaltung Objekte mit Tiefeninformationen. Die Photodiode ist in der Nähe der Avalanche invers gepolt. Sobald die Photodiode ein Photon erfasst, induziert sie einen großen Strom. Dies wird als Geiger-Modus bezeichnet. Dieses Phänomen bewirkt, dass die Pixelschaltung schnell Photonen erfasst. Abbildung 3 zeigt die 3D-Pixelschaltung.

Abbildung 3: 3D-Pixelschaltung

Nimmt die Pixelschaltung einen Lichttrigger an, so erzeugt die Photodiode einen großen Lichtstrom, der durch den als Widerstand wirkenden PMOS-Transistor M1 hindurchtritt. Der Photodiodenknoten N erzeugt einen Spannungsabfall, der durch einen Wechselrichter beschleunigt wird. Während des Rücksetzens wird das Pixel in einer Ladephase betrieben, in welcher der Photodiodenknoten N auf Vdd vorgespannt wird. Der PMOS-Transistor M4, der mit einem Wechselrichter verbunden ist, und der NMOS-Transistor M5, der mit der Masse verbunden ist, bilden einen Pull-Down-Rückkopplungspfad. Nach dem Neustart beginnt die Photodiode Fotos zu erkennen und führt eine Entladung durch. In der Zwischenzeit werden M4 und M5 eingeschaltet, um die Spannung des Wechselrichters schnell auf 1/2 Vdd zu senken. Abbildung 4 zeigt die integrierte 2D-/3D-Pixelschaltung, die mit 2D- und 3D-Steuersignalen einfach manipuliert und geschaltet werden kann.

Abbildung 4: Integrierte 2D/3D-Pixelschaltung

Mehrkanal-TDC

Ein 3D-Bilderfassungssystem hat ein Problem mit der Anzahl der Zeitgeberschaltungen. Um herkömmliche Zeitgeberschaltungen zu verwenden, hat jedes Pixel mit seiner entsprechenden Zeitgeberschaltung für die Tiefenberechnung eine Reihe von Nachteilen: zu viele Zeitgeberschaltungen, die einen großen Footprint und einen hohen Stromverbrauch aufweisen. Zur Lösung der genannten Nachteile wird daher der mehrkanalige TDC, bestehend aus einem Ring-TDC, einem thermischen Encoder und einem 4-Bit-Zähler, verwendet. Ein 15-stufiger Ring-TDC ist als Kern einer Mehrkanal-Zeitgeberschaltung ausgebildet. Bei einem aktiven Startsignal generieren ein NAND-Gatter und 14 Wechselrichter eine Oszillation. 15 Ausgänge eines Ring-TDC werden von einem thermischen Encoder komprimiert, um ein feines 4-Bit-Ergebnis zu erzeugen, das in einer Latch-Matrix gespeichert wird. Gleichzeitig liefert der Zähler ein ungefähres 4-Bit-Ergebnis, das ebenfalls im Latch-Array gespeichert wird. Der 4-Bit-Header und die feinen Ergebnisse können Tiefeninformationen interpretieren.

Abbildung 5: Multikanal-TDC

Betrieb des Sensors

Während einer 3D-Messung setzt das externe Signal die Pixelschaltung zurück, lässt den TDC oszillieren und löst eine Lichtemission aus. Der Sensor wartet auf von Objekten reflektiertes Licht und berechnet die Laufzeit auf Basis des TDC. Anhand der gemessenen Laufzeit kann die Objekttiefe bestimmt werden.

Abbildung 6: Sensorbetrieb

Hier ist ein FPGA-Board programmiert, um die Skalierbarkeit des Systems zur Aufnahme von 2D- und 3D-Bildern auf Basis des ToF-Sensors zu steuern. Die Tiefe des Zylinderkastens berechnet sich aus der gemessenen Laufzeit der Leuchtdioden (850 nm). Die 2D-/3D-Bilder werden von der auf dem PC laufenden Software erzeugt.

Um mehr über die intelligenten Sensoren und die wichtigsten Trends in der Sensorentwicklung zu erfahren, lesen Sie unser Whitepaper „Intelligente Sensoren – Das intelligente Internet der Dinge ermöglichen“