Neue Anwendungen der Time-of-Flight-Technologie in der Industrie und der Kfz-Branche

Time-of-Flight (ToF) ist eine Entfernungsmessung, bei der ein Sensorelement einen Laserstrahl zum Ziel sendet und ein Teil des reflektierten Lichts zum Empfänger zurückkehrt.

Die dafür gemessene Zeit gibt die Entfernung zum Objekt an. Ein 3D-ToF bietet eine hochauflösende 3D-Bildgebung zu niedrigen Kosten für verschiedene Anwendungen, einschließlich Computergrafik, Mensch-Maschine-Interaktion (MMS) und Computer Vision. Eine leistungsstarke 3D-Vision kann mehrere Probleme in Verbindung mit der 2D-Vision lösen, da sie den Vordergrund mühelos vom Hintergrund trennen kann. In diesem Artikel erfahren Sie mehr über die 3D-ToF-Technologie von ADI zur Tiefenmessung mit umfassender Unterstützung für CMOS-Imager, Lasertreiber, software- und hardwarebasierte Tiefenberechnung und Komplettsysteme.

Time-of-Flight-Technologie – Übersicht

Die 3D-ToF-Technologie verwendet leistungsstarke optische Impulse im Nanosekundenbereich, um Tiefeninformationen zu erfassen, in der Regel in kurzen Entfernungen von einer relevanten Szene. Es handelt sich um eine Art scannerloses LiDAR (Light Detection and Ranging), das Entfernungen zu Zielen abschätzen kann. Die Abstandsmessung (berührungslose Entfernungsmessung) basierend auf Laserlicht verwendet drei primäre Methoden: Triangulation, Time-of-Flight und Modulation.

Abbildung 1: Time-of-Flight-Messung

Eine ToF-Kamera misst die Entfernung, indem sie ein Objekt mit einer modulierten Lichtquelle wie einem Laser aktiv beleuchtet und das reflektierte Licht mit einem Sensor erfasst, der für die Wellenlänge des Lasers empfindlich ist (Abbildung 1). Der Sensor misst die Zeitverzögerung zwischen der Lichtemission und dem Zeitpunkt, zu dem die Kamera das reflektierte Licht empfängt. Die Zeitverzögerung ist proportional zum doppelten Abstand zwischen Kamera und Objekt (Umlauf). Sie können die Tiefe schätzen anhand von:

Dabei stellt c die Lichtgeschwindigkeit, ΔT die Zeitverzögerung (ToF) und d die gemessene Tiefe dar. Eine ToF-Kamera berechnet die Zeitdifferenz zwischen dem ausgesendeten und dem zurückgesendeten Signal. Sie können zwei Methoden zur Berechnung der Zeit (T) verwenden: Dauerstrich (CW) und Puls. Die CW-Technik verwendet ein periodisch moduliertes Signal für die aktive Beleuchtung und die homodyne Demodulation des empfangenen Signals hilft dabei, die Phasenverschiebung des reflektierten Lichts zu bestimmen. Eine Beleuchtungsquelle erzeugt N kurze Lichtpulse, die in einem Sensor mit elektronischem Shutter reflektiert werden und in einer Reihe von kurzen Zeitfenstern eine Lichterfassung ermöglichen.

Technologien zur Tiefenmessung

Die Aufnahme von Tiefeninformationen in ein 2D-Bild ermöglicht die Extraktion nützlicher Informationen. Mit Tiefeninformationen können Sie die Gesichts- und Körpermerkmale von Personen verfolgen, was für eine höhere Qualität und eine zuverlässigere Gesichtserkennung bei der Sicherheitsauthentifizierung sorgt. Höhere Auflösung und Tiefengenauigkeit führen zu einem besseren Klassifizierungsalgorithmus.

Die ToF-Kamera (Abbildung 2) umfasst mehrere Elemente wie eine Lichtquelle, einen Lasertreiber und ToF-Sensoren. Die Lichtquelle emittiert Licht im Nahinfrarot-Bereich. Die Quelle kann eine kantenemittierende Laserdiode oder VCSEL sein.

Der Lasertreiber moduliert die Intensität des von der Lichtquelle emittierten Lichts. Der ToF-Sensor mit einem Pixelarray sammelt das von der Szene zurückkehrende Licht und gibt für jedes Pixel Werte aus. Die Linse fokussiert das zurückkehrende Licht auf das Sensorarray. Schließlich wandelt ein Verarbeitungsalgorithmus rohe Ausgangsframes vom Sensor in Tiefenbilder oder Punktwolken um.

Abbildung 2: Bauelemente von ToF, einschließlich Tiefenprozessor

Die ToF-Kamera sammelt das durch die aktive Beleuchtung erzeugte Licht. Die Gesamtleistung der Kamera hängt von der Gleichmäßigkeit und Effizienz der Lichtsammlung auf dem Pixelarray ab. Die Linse muss eine hohe Transmission, ein starkes Sammelvermögen und ein geringes Streulicht aufweisen. Tabelle 1 zeigt verschiedene Bauelemente auf Systemebene von 3D-Time-of-Flight-Kameras und ihre Funktionen.

Tabelle 1: Bauelemente auf Systemebene von ToF-Kameras

ToF-System von Analog Devices – ToF-Signalverarbeitungsgerät

Die ToF-Technologie von ADI ist ein pulsbasiertes ToF-CCD-System (Abbildung 3), das ein leistungsstarkes ToF-CCD und das ADDI9036 (analoges Frontend), ein vollständiges ToF-Signalverarbeitungsgerät mit einem 12 Bit-ADC, den Tiefenprozessor (der die Rohbilddaten des CCD in Tiefen-/Pixeldaten verarbeitet) sowie einen hochpräzisen Taktgenerator, der den Takt sowohl für das CCD als auch für den Laser erzeugt, verwendet. Der Präzisionstaktkern des Taktgenerators ermöglicht die Einstellung von Takten und des LD-Ausgangs mit einer Auflösung von etwa 174 ps bei einer Taktfrequenz von 45 MHz.

Abbildung 3: Blockdiagramm des ToF-Systems von ADI

Das ToF-System von ADI verwendet ein ToF-CCD, das für Licht bis 940 nm empfindlich ist, sodass es mehr Daten in Außenumgebungen oder Bereichen mit intensivem Umgebungslicht erfassen kann. Das ToF-System von ADI unterscheidet sich von anderen Lösungen durch die Verwendung eines ToF-Sensors mit einer Auflösung von 640 × 480, die 4 Mal höher ist als die meisten anderen auf dem Markt erhältlichen ToF-Lösungen, und durch den Einsatz eines Sensors mit erhöhter Empfindlichkeit für Licht bei der Wellenlänge von 940 nm. Umgebungslicht reduziert das SNR eines reflektierten Signals erheblich, insbesondere bei sehr hohen Umgebungslichtverhältnissen.

Ein Pseudo-Randomisierungsalgorithmus kombiniert mit einer speziellen Bildverarbeitung, die in den Tiefenprozessor integriert ist, macht die Interferenzunterdrückung möglich. Dieser Algorithmus ermöglicht den Betrieb mehrerer ToF-Systeme in derselben Umgebung.

Entwicklungsplattform

Die AD-FXTOF1-EBZ ist eine Tiefenmesslösung, die für die Entwicklung von 3D-Computer Vision-Systemen geeignet ist. Sie verwendet ein VGA CCD (Abbildung 4), welches die Erfassung einer 640×480-Tiefenkarte einer Szene mit 30 Frames pro Sekunde ermöglicht und eine bis zu 4 Mal höhere Auflösung als die meisten anderen ToF-Systeme bietet. Sie können das AD-FXTOF1-EBZ-Development Kit an viele Prozessorplatinen für die Entwicklung von Computer Vision-Anwendungen und Systemevaluierung anschließen. Es kann für die Entwicklung von 3D-Software und Algorithmen verwendet werden, wenn es mit Prozessorplatinen der Nvidia- oder Raspberry-Familie kombiniert wird. Die VGA-Auflösung des Kits ermöglicht die Erkennung von Objekten mit einer höheren Granularität als andere 3D-ToF-Lösungen, mehrere Bereichserkennungsmodi für erhöhte Genauigkeit und die Fähigkeit, Tiefe bei starken Umgebungslichtbedingungen zu messen.

Abbildung 4: ToF-Entwicklungsplattform AD-FXTOF1-EBZ3D

Das mitgelieferte SDK unterstützt OpenCV-, Python®-, MATLAB®-, Open3D- und RoS-Wrapper, sodass Entwickler diese verwenden können, um die Anwendungsentwicklung zu vereinfachen.

Neue ToF-Anwendungen

Logistik, Qualitätskontrolle, Navigation, Robotik, Gesichtserkennung, Sicherheit, Überwachung, Schutz, Gesundheitswesen und Fahrerüberwachung sind Anwendungsfälle, welche die 3D-ToF-Technologie zur Tiefenmessung nutzen können. Die Kombination von hochauflösenden Tiefendaten mit leistungsstarken Klassifizierungsalgorithmen und KI wird neue Anwendungen möglich machen. Eine wichtige Anwendung der Tiefenmessung wird im Industrie-, Fertigungs- und Bauprozess sein. Die Fähigkeit, Objekte in Echtzeit über einen Produktionsprozess genau zu dimensionieren und zu klassifizieren, ist nicht unerheblich. Eine genaue Tiefenmessung kann die Raumausnutzung von Lagerregalen bestimmen.

Produkte, die von einer Produktionslinie kommen, müssen für den Transport schnell dimensioniert werden. Die hochauflösende Tiefenmessung ermöglicht die Bestimmung von Kanten und Linien von Zielobjekten in Echtzeit sowie schnelle Volumenberechnungen. Der Einsatz von intelligenten Sensoren, insbesondere von Tiefensensoren, wird in der Fertigung, im Transportwesen und in der Logistik immer allgegenwärtiger. Von industrieller Bildverarbeitung für die Qualitätsprüfung über volumetrische Erfassung für das Asset-Management bis hin zur Navigation für die autonome Fertigung setzt die Fertigungsindustrie diese Sensortechnologien ein und berücksichtigt vor allem Systeme mit der höchsten Auflösung, die für raue Industrieumgebungen entwickelt wurden.

Industrielle Anwendung – Fahrerlose Transportfahrzeuge (FTF) mit ToF-Technologie von ADI

Das ToF-Modul ermöglicht es dem Roboter, Objekte aufzunehmen und auf einem Tisch abzulegen, durch Hindernisse zu navigieren und die Objekte an einem anderen Ort abzulegen. ToF-Kameras helfen FTFs dabei, Tiefenbilddaten zu erfassen und ihre Betriebsumgebung wahrzunehmen. FTFs können kritische Aufgaben mit Genauigkeit, Geschwindigkeit und Bequemlichkeit ausführen. Die Kameras unterstützen Roboter bei der Durchführung von Lokalisierung, Navigation, Objekterkennung, Kartierung, Navigation und Odometrie.

Abbildung 5 zeigt die Unterteilung des Robotersystems (FTF) in industriellen Umgebungen in verschiedene Klassen wie Aktoren, bestehend aus der Plattform und dem Arm, Sensoren, Computer und Schnittstellen zum menschlichen Bediener. Ein drehmomentkontrollierter Manipulator ist für Peg-in-Hole-Operationen und die Überwindung von Wahrnehmungsunsicherheiten erforderlich. Die mobile Plattform ermöglicht eine sichere Navigation und ist mit der ToF-Kamera ein wichtiges Sensorgerät zur Erfassung der Betriebsumgebung. Die Leistungsabweichungen verschiedener Kameras beeinflussen den optimalen Winkel der Kamerahalterung.

Abbildung 5: Blockdiagramm von ToF-Schnittstelle mit Prozessor

Der Roboter kommuniziert über das Übertragungssteuerungsprotokoll (TCP), das die Koordinateninformationen für die Kommissionierung von der Bildverarbeitung integriert. Die ToF-Kamera liefert 3D-Informationen über Hindernisse. Nach der Bodenprüfung und Kalibrierung werden diese Kameras montiert und in einen mobilen Roboter integriert. Nach der Konvertierung in kartesische Koordinaten integriert eine Arbeitsbereichsrasterkarte die Kameradaten. Der Arbeitsbereich ist eine zweidimensionale (2D) Weltkarte, die in ein Raster oder in Zellen unterteilt ist, wobei ein Graphensuchalgorithmus einen kollisionsfreien Weg definiert. Dieser Weg ist eine Sequenz von Zellen, die das FTF befahren kann, um das Ziel zu erreichen.

Stereokameras bieten Industriequalität für visuell gesteuerte Roboteranwendungen in der Fertigungsautomatisierung und -logistik. Diese Kameras unterstützen die Einführung der 3D-Vision-Technologie für Roboteranwendungen von der Behälterkommissionierung bis zur Navigation.

Kfz-Anwendung

ToF-Technologien sind bei Außen- und Innenraumsensoren von Kfz-Anwendungen allgegenwärtig. Bei Außensensoren macht die zunehmende Akzeptanz des autonomen Fahrens deutlich, dass ToF-Kameras, RADAR, Wärmekameras, LiDAR und Stereokameras 2D-Kameras ergänzen. Die Fülle an Sensoren deckt alle „toten Winkel“ ab, die in einer Kfz-Umgebung auftreten können. Die ToF-Technologie umfasst einen erweiterten Parkassistenten und ein ADAS-Außenkokon.

Abbildung 6: sensorpositionen-im-fahrzeug

Heutige Komfortanforderungen und Sicherheitsbedürfnisse bestimmen die Anwendungsfälle von ToF-Sensoren im Fahrzeuginneren. Die neuesten Technologien zielen sowohl auf den Fahrer als auch auf den Fahrgast, ihre kognitiven und biomechanischen Status und die Überwachung im Fahrzeug ab. Zu den ToF-Komfortfunktionen gehören die Handpositionsinteraktion (MMS) für das Schiebedach, die Klimaanlage und den Radiobetrieb; die Erkennung von im Fahrzeug zurückgelassenen Objekten, die Personalisierung über die Körper-, Gesichts- und Kopfüberwachung sowie die Erkennung und Klassifizierung von Paketen. Die Sicherheitsfunktionen im Fahrzeug konzentrieren sich auf den Spoofing-Schutz bei der Gesichtserkennung zur Identifizierung des Fahrers.