Was ist LiDAR?

3 Dinge, die Sie wissen sollten

LiDAR-Sensoren (Akronym für „light detection and ranging“, „Lichtdetektion und -entfernungsmessung“) sind Abstands-Messungssensoren wie Radar und Sonar. Die Sensoren senden Laserimpulse aus, die von Objekten reflektiert werden. Dadurch können sie die Struktur ihrer Umgebung wahrnehmen. Sie erfassen die reflektierte Lichtenergie und bestimmen die Abstände zu Objekten, um eine 2D- oder 3D-Darstellung der Umgebung zu erstellen. LiDARs werden immer häufiger zur Entwicklung von Wahrnehmungssystemen in den unterschiedlichsten Branchen eingesetzt. Sie ermöglichen 3D-Wahrnehmungs-Workflows wie Objekterfassung, semantische Segmentierung und Navigations-Workflows wie Kartierung, simultane Standortbestimmung und Kartierung (Simultaneous Localization and Mapping, SLAM) sowie Bahnplanung.

Warum LiDAR wichtig ist

Autonome Systeme nutzen eine Vielzahl von Sensoren wie Kamera, IMU und Radar zur Wahrnehmung ihrer Umgebung. LiDARs können einige der Nachteile anderer Sensoren ausgleichen, indem sie hochgradig genaue, strukturelle und dreidimensionale Informationen zu ihrer Umgebung liefern. Dieser Vorteil begünstigte die Einführung von LiDAR-Sensoren auf dem allgemeinen Markt für Wahrnehmungstechnologien.

Punktwolkendaten eines Fahrszenarios mit einigen Pkw. — LiDAR-Punktwolke einer Straßenszene.

Drei wichtige Gründe tragen zur Akzeptanz von LiDARs auf dem Markt bei:

Kostengünstige LiDARs. Durch die Einführung kostengünstiger LiDARs mit verbesserten Eigenschaften im Hinblick auf ihre Reichweite, Größe und Robustheit hat die Verfügbarkeit der Technologie für vergleichsweise umsatzschwache industrielle Anwendungen zugenommen.
Genaue 3D-Daten. LiDARs sammeln 3D-Informationen mit hoher Dichte über ihre Umgebung in Form von Punktwolken mit einer höheren Genauigkeit als andere Abstandssensoren wie Radare oder Sonare. Dies erhöht wiederum die Genauigkeit der 3D-Nachbildung.
LiDAR-Verarbeitungsalgorithmen. Durch die jüngsten Entwicklungen in LiDAR-Verarbeitungs-Workflows, beispielsweise semantische Segmentierung, Objekterkennung und -verfolgung, Fusion von LiDAR- und Kameradaten und LiDAR-SLAM wurde es der Industrie ermöglicht, LiDARs in ihre Entwicklungs-Workflows einzubeziehen. Mithilfe von Tools wie MATLAB können Sie LiDAR-Verarbeitungsalgorithmen entwickeln und anwenden.

LiDAR-Anwendungen

LiDARs werden in einer Vielzahl von Branchen verwendet, vom automatisierten Fahren bis hin zu Geowissenschaften. Diese Anwendungen lassen sich grob in drei Gruppen unterteilen, je nach der Plattform, auf der sie montiert sind.

Luft-LiDARs
Boden-LiDARs
Innen-LiDARs

Luft-LiDARs

Bei Luft-LiDARs handelt es sich um LiDAR-Sensoren, die auf unbemannten Luftfahrzeugen (UAV) oder Flugzeugen angebracht werden. Luft-LiDARs erfassen 3D-Punktwolkendaten eines großen Gebietes, die für LiDAR-Kartenerstellung, Merkmalsextraktion, Geländeklassifizierung und weitere Einsatzfälle genutzt werden können.

Bild einer Drohne, auf der ein LiDAR montiert ist. — Luft-LiDAR-Sensor.

Punktwolkendaten einer Luftaufnahme mit Gebäuden und Bäumen. — Luft-LiDAR-Daten.

Beispiel-Anwendungsbereiche für Luft-LiDARs:

Landwirtschaft: Die LiDAR-Technologie wird in der Landwirtschaft intensiv zur Kartierung der Vegetationsfläche sowie zur Identifizierung des genauen Geländes landwirtschaftlicher Betriebe und des Wassereinzugsgebiets eingesetzt.
Stadtplanung: LiDARs werden bei der Erstellung digitaler Oberflächenmodelle (DSMs) oder sogar digitaler Stadtmodelle (DCMs) eines Gebiets verwendet. Diese werden für die Planung einer Stadt oder für den Aufbau neuer Infrastrukturen in bestehenden Städten eingesetzt.
Geologische Kartenerstellung: LiDARs können zur Erstellung von 3D-Karten der Erdoberfläche verwendet werden, die in Anwendungen wie Berg- und Tagebau, präziser Forstwirtschaft sowie Erdöl- und Erdgasexploration eingesetzt werden können.
Luftnavigation und Bahnplanung: LiDARs werden heute in UAVs zur Erfassung von Live-3D-Daten für die autonome Navigation durch das Gebiet verwendet.

Hier finden Sie Beispiele für den Einsatz von MATLAB^® bei der Verarbeitung von LiDAR-Luftaufnahmen:

Boden-LiDARs

Es gibt zwei Arten von Boden-LiDARs: stationäre terrestrische LiDARs und mobile LiDARs:

Stationäre terrestrische LiDARs sind LiDARs, die auf einer stationären Plattform angebracht werden. Sie werden häufig für Landvermessungen, Straßenvermessungen, topologische Kartierung, die Erstellung digitaler Höhenkarten (DEMs), die Landwirtschaft und weitere Anwendungsfälle eingesetzt. Sie eignen sich für Bereiche, die eine detaillierte und engmaschige Datenerfassung erfordern.
Mobile LiDARs sind Boden-LiDARs, die auf einer mobilen Plattform wie einem Pkw oder Lkw angebracht werden. Das wichtigste Einsatzgebiet für mobile LiDARs ist autonomes Fahren. Auf den Fahrzeugen angebrachte LiDARs erfassen 3D-Punktwolkendaten der Umgebung und werden ferner in Wahrnehmungs- und Navigations-Workflows eingesetzt. Diese Workflows werden im nächsten Abschnitt ausführlich beschrieben.

Mehrere auf einem Pkw montierte LiDARs. — Mobiler LiDAR-Sensor.

Punktwolkendaten eines Straßenszenarios mit Pkw und Baum. — Mobile LiDAR-Daten.

Hier sehen Sie Beispiele für den Einsatz von MATLAB bei der Verarbeitung von Boden-LiDARs:

Tracking von Fahrzeugen mit LiDAR: Von der Punktwolke zur Tracking-Liste
Erstellung einer Karte mit LiDAR Odometry and Mapping (LOAM) mithilfe der Unreal Engine Simulation

Innen-LiDARs

LiDARs werden häufig in Robotikanwendungen in Innenräumen eingesetzt. Hierzu werden sie auf mobile Roboter montiert. Neben 3D-LiDARs werden 2D-LiDARs oder Laserscanner ebenfalls in Robotikanwendungen in Innenräumen eingesetzt, beispielsweise LiDAR-Scans und -Kartenerstellung. Sie erfassen Tiefeninformationen der Umgebung, die anschließend je nach Anwendungsfall weiterverarbeitet werden.

Ein Screenshot von Innen-LiDAR-Daten. — Innen-LiDAR-Daten.

Häufige Anwendungsfälle von Innen-LiDARs:

LiDAR-Kartenerstellung und -SLAM: Mithilfe von 2D- oder 3D-LiDARs können Sie 2D- bzw. 3D-SLAMs und -Karten erstellen.
Hinderniserkennung, Kollisionswarnung und -vermeidung: 2D-LiDARs werden häufig zur Erkennung von Hindernissen verwendet. Anhand der Daten können Kollisionswarnungen ausgegeben oder Hindernisse vermieden werden.

Hier sehen Sie Beispiele für den Einsatz von MATLAB bei der Verarbeitung von Boden-LiDARs:

Kollisionswarnung mit 2D-LiDAR
Erstellung einer Innenraumkarte aus LiDAR-Scans mithilfe von SLAM

Verarbeitung von LiDAR-Punktwolken in MATLAB

MATLAB und die Point Cloud Toolbox™ vereinfachen Aufgaben zur Punktwolkenverarbeitung. MATLAB hilft Ihnen mit speziellen Tools und Funktionen, häufige Herausforderungen bei der Verarbeitung von LiDAR-Daten, wie 3D-Datentypen, Datenknappheit, ungültige Datenpunkte und hohes Rauschen, zu bewältigen.

Sie können Live- und aufgezeichnete LiDAR-Daten in MATLAB importieren, Verarbeitungs-Workflows für LiDAR-Punktwolken implementieren und C/C++ und CUDA^®-Code zum Einsatz in der Produktion generieren.

Einige der wichtigen Funktionen von MATLAB bei der Verarbeitung von LiDAR-Punktwolken werden in den folgenden Abschnitten beschrieben.

Streamen, Lesen und Schreiben von LiDAR-Daten

Der erste Schritt bei der Verarbeitung aller Sensordaten in MATLAB ist das Laden der Daten in den MATLAB-Workspace. Folgende Optionen stehen Ihnen zur Verfügung:

Live-Streaming von Daten von Velodyne-Sensoren mithilfe des Velodyne Lidar Hardware Support Package und von Ouster-Sensoren mithilfe des Ouster Lidar Hardware Support Package.
Lesen gespeicherter Punktwolken in diversen Dateiformaten, z. B. PCD, PLY, PCAP (Velodyne, Ouster und Hesai Pandar), Ibeo-Datencontainer, LAS und LAZ.
Schreiben von Punktwolken in verschiedenen Dateiformaten, z. B. PCD, PLY, LAS und LAZ.
Simulieren von LiDAR-Punktwolkendaten, um Algorithmen und Workflows vor der Bereitstellung in Produktivsystemen zu testen. In MATLAB können Sie 3D- oder 2D-LiDAR-Daten durch Festlegung von Sensorparametern zum Testen Ihrer Verarbeitungsalgorithmen in Simulationsumgebungen synthetisieren. Die Point Cloud Toolbox, die UAV Toolbox und die Automated Driving Toolbox stellen LiDAR-Sensormodelle zur Simulation von LiDAR-Punktwolken bereit.

LiDAR-Sensormodell: — Streamen von Live-LiDAR-Daten von Velodyne^®-LiDAR-Sensoren.

Simulation von 3D-LiDAR-Daten.

Aufbereiten von LiDAR-Punktwolken

Sie können LiDAR-Daten vorverarbeiten, um die Qualität der Daten zu verbessern und grundlegende Informationen daraus zu extrahieren. Die Point Cloud Toolbox bietet Funktionen für Downsampling, Medianfilterung, Angleichung, Transformation und Extraktion von Merkmalen aus Punktwolken.

LiDAR-Kamerakalibrierung

MATLAB ermöglicht eine LiDAR-Kamerakalibrierung zur Schätzung von LiDAR-Kamera-Transformationen zur Fusion von Kamera- und LiDAR-Daten. Ferner können Sie Farbinformationen in LiDAR-Punktwolken fusionieren und 3D-Begrenzungsrahmen im LiDAR mit 2D-Begrenzungsrahmen in einer gemeinsam platzierten Kamera schätzen.

Screenshot der Lidar Camera Calibrator App. — Lidar Camera Calibrator-App.

Deep Learning für LiDAR

Mit MATLAB können Sie Deep-Learning-Algorithmen zur Objekterkennung und semantischen Segmentierung auf LiDAR-Daten anwenden.

Mit nur wenigen Codezeilen in MATLAB können Sie vortrainierte semantische Segmentierungsmodelle wie PointSeg und SqueezeSegV2 für LiDAR-Daten importieren. Ferner können Sie auch Ihre eigenen Deep-Learning-Modelle trainieren, bewerten und bereitstellen.
MATLAB ermöglicht den Entwurf, das Training und die Bewertung fehlerresistenter Detektoren wie PointPillars- und ComplexYolo-V4-Netzwerke. Sie können ausgerichtete Begrenzungsrahmen um Objekte in LiDAR-Punktwolken erkennen und anpassen.
Die Multi-Sensor Labeler-App in der Point Cloud Toolbox vereinfacht die Kennzeichnung von Punktwolken. Sie können Ground-Truth-Daten in Videos, Bildfolgen und LiDAR-Punktwolken von mehreren Sensoren, die dieselbe Szene erfassen, für die Objekterkennung und semantische Segmentierung kennzeichnen, integrierte oder eigens erstellte Algorithmen zur Automatisierung der Kennzeichnung anwenden sowie die Leistung von Automatisierungsalgorithmen beurteilen.

Sicht vom Ego-Fahrzeug auf eine Punktwolke mit gekennzeichnetem Lkw und Pkw. — Semantische Segmentierung von Punktwolken

Objektverfolgung in Punktwolken

MATLAB kann mehrere Domänen vereinen, die einem End-to-End-Objektverfolgungs-Workflow zugeführt werden. Dadurch wird es Ihnen ermöglicht, LiDAR-Punktwolkendaten zu lesen, sie aufzubereiten, Deep Learning zur Erkennung von Objekten anzuwenden, diese Objekte mithilfe eines vorab definierten Trackers zu verfolgen und das alles auf der Zielhardware zu implementieren.

Screenshot von Fahrzeugen, die über sequenzielle Punktwolkendaten nachverfolgt werden. — Objekterkennung und -verfolgung.

Registrierung von Punktwolken und SLAM

Bei der Punktwolkenregistrierung geht es um das Angleichen zweier 3D-Punktwolken derselben Szene in einem gemeinsamen Koordinatensystem. Mit den Funktionen der Point Cloud Toolbox können Sie Punktwolken gegenseitig mithilfe lokaler und globaler Methoden registrieren, darunter iterativer nächster Punkt (Iterative Closest Point, ICP), LiDAR Odometry and Mapping (LOAM), Normalverteilungs-Transformation (Normal-Distributions Transform, NDT), schnelle globale Registrierung (Fast Global Registration, FGR) und kohärente Punktabweichung (Coherent Point Drift, CPD). Die Point Cloud Registration Analyzer-App ermöglicht Ihnen die interaktive Registrierung von Punktwolken und den Vergleich der Ergebnisse mithilfe verschiedener Registrierungstechniken.

Bei der simultanen Lokalisierung und Kartierung (SLAM) werden die Position und Orientierung eines Fahrzeugs oder Roboters in Bezug auf seine Umgebung berechnet, während gleichzeitig eine Karte dieser Umgebung erstellt wird. Die Toolbox unterstützt graphenbasiertes 3D-SLAM unter Verwendung von Punktwolkendaten.

Weitere Informationen zur LiDAR-Punktwolkenverarbeitung finden Sie unter Point Cloud Toolbox und Computer Vision Toolbox™.

Häufig gestellte Fragen zu LiDAR

Alle erweitern

LiDAR (Light Detection and Ranging) ist ein Sensor zur Entfernungsmessung, der Laserimpulse ausgibt, die von Objekten reflektiert werden. Dadurch kann der Sensor die Struktur seiner Umgebung wahrnehmen und 2D- oder 3D-Darstellungen erstellen, indem die reflektierte Lichtenergie aufgezeichnet wird.

Auch Radar und Sonar sind Sensoren zur Entfernungsmessung, doch LiDAR verwendet Laserimpulse und reflektierte Lichtenergie, um Entfernungen zu bestimmen. Das Ergebnis sind hochpräzise, strukturelle und dreidimensionale Informationen mit höherer Genauigkeit als andere Abstandssensoren.

Eine Punktwolke ist eine Sammlung von Datenpunkten, die von LiDAR-Sensoren erfasst werden. Sie stellt die 3D-Struktur der Umgebung dar und kann für Anwendungen wie Objekterkennung, semantische Segmentierung und Kartierung verarbeitet werden.

LiDAR-Systeme werden je nach Plattform in drei Gruppen klassifiziert: Luft-LiDARs (auf UAVs oder Luftfahrzeugen montiert), Boden-LiDARs (stationär terrestrisch oder mobil) und Innen-LiDARs (in Robotik-Anwendungen eingesetzt).

LiDAR wird beim automatisierten Fahren, bei der landwirtschaftlichen Kartierung, bei der Stadtplanung, bei der geologischen Kartierung, bei der UAV-Navigation, bei Landvermessungen, bei der topologischen Kartierung und bei Innenraum-Robotik für SLAM, Hinderniserkennung oder Kollisionsvermeidung eingesetzt.

Die Marktakzeptanz wird durch die Einführung kostengünstiger LiDARs mit verbesserten Eigenschaften und ihre Fähigkeit vorangetrieben, genaue 3D-Daten mit hoher Dichte als Punktwolken zu erfassen, was die Anwendung komplexer Algorithmen wie semantische Segmentierung und SLAM ermöglicht.

Bei der LiDAR-Kamerakalibrierung wird die Transformation zwischen von der Kamera erfassten Bildern und von LiDARs erfassten Punktwolken gefunden. Dadurch können Sie Farbinformationen in LiDAR-Punktwolken fusionieren und 3D-Begrenzungsrahmen mit 2D-Begrenzungsrahmen von gemeinsam platzierten Kameras schätzen.

MATLAB ermöglicht das Streamen und Lesen von LiDAR-Daten, die Aufbereitung und Filterung, LiDAR-Kamerakalibrierung, Deep Learning zur Objekterkennung und semantischen Segmentierung, Objektverfolgung sowie Punktwolkenregistrierung und SLAM.

Ressourcen

Erweitern Sie Ihre Kenntnisse durch Dokumentation, Beispiele, Videos und vieles mehr.

Dokumentation

Dokumentation zur Point Cloud Toolbox Luftgestütztes LiDAR-SLAM mit FPFH-Deskriptoren

LiDAR