Was ist eine Punktwolke?
Eine Punktwolke ist eine Ansammlung von Punkten im zwei- oder dreidimensionalen Raum, die die Form und Lage von Objekten, Oberflächen oder einer Umgebung abbildet. In einer 3D-Punktwolke hat jeder Punkt eine X-, Y- und Z-Koordinate. Zusammen bilden die Punkte eine digitale Darstellung der erfassten Szene oder des erfassten Objekts.
Eine Punktwolke kann neben der Position auch weitere Informationen speichern, darunter Farbe, Intensität, Oberflächennormalen, Zeitstempel, Reflexionsinformationen oder semantische Labels. Punktwolken werden von Sensoren und in rechnergestützten Workflows erzeugt, darunter LiDAR, RGB-D- und Time-of-Flight-Kameras, Stereosicht, mmWave-Radar, Photogrammetrie, Structure-from-Motion und visuelles SLAM.
Ingenieure und Wissenschaftler verarbeiten Punktwolken, um Geometrien zu messen, Scans auszurichten, Objekte zu identifizieren, Oberflächen zu rekonstruieren, Karten zu erstellen, Gelände zu analysieren sowie Wahrnehmungs- und Navigationssysteme zu entwickeln.
Wie entstehen Punktwolken?
Punktwolken lassen sich direkt mit Entfernungssensoren messen oder aus Bildern und anderen Daten berechnen. Die Quelle wirkt sich auf Punktdichte, Organisation, Attribute, Rauschen, Sichtfeld und Koordinatensystem aus.
| Quelle | Entstehung der Punktwolke |
|---|---|
| LiDAR-Sensoren und Laserscanner | Messen Entfernungen mit Laserlicht und liefern räumliche Messwerte, aus denen sich 2D-Scans oder 3D-Punktwolken bilden lassen. |
| RGB-D- und Time-of-Flight-Kameras | Erfassen Bild- und Tiefeninformationen und erzeugen meist organisierte Punktwolken. |
| Stereokameras | Schätzen die Tiefe anhand korrespondierender Merkmale in zwei oder mehr Kameraansichten. Diese kann anschließend in Punktwolken umgewandelt werden |
| mmWave-Radar | Kann nach der Radarsignalverarbeitung eine Punktdarstellung liefern, je nach System mit Attributen wie beispielsweise der Radialgeschwindigkeit. |
| Photogrammetrie und Structure-from-Motion | Rekonstruieren 3D-Punkte aus überlappenden Bildern, die aus verschiedenen Blickwinkeln aufgenommen wurden. |
| Visuelles SLAM und 3D-Rekonstruktion | Erzeugen Punktwolken im Rahmen der Schätzung der Kamerabewegung und der Rekonstruktion einer Umgebung. |
| Simulation | Erzeugt synthetische Punktwolken zur Entwicklung und zum Testen von Algorithmen. |
Organisierte und unorganisierte Punktwolken
Punktwolken können als organisierte oder unorganisierte Daten dargestellt werden. Die Darstellung beeinflusst, wie Nachbarschaftsbeziehungen gespeichert werden und welche Verarbeitungsansätze geeignet sind.
Organisierte Punktwolken
Eine organisierte Punktwolke ist wie ein Bild in Zeilen und Spalten angeordnet. Ihre Abmessungen werden üblicherweise als M x N x C angegeben. Dabei steht M für die Anzahl der Zeilen, N für die Anzahl der Spalten und C für Koordinaten- oder Punktinformationen. Da die Organisation die Nachbarschaftsbeziehung erhält, können Algorithmen die Struktur benachbarter Messungen verwenden.
Unorganisierte Punktwolken
Eine unorganisierte Punktwolke wird nicht als Raster aus Zeilen und Spalten, sondern als Liste von Punkten gespeichert. Ihre Abmessungen werden üblicherweise als M x C angegeben. Dabei steht M für die Anzahl der Punkte und C für Koordinaten- oder Punktinformationen. Viele 3D-LiDAR-Scanner erzeugen unorganisierte Punktwolken.
Eine unorganisierte Punktwolke lässt sich manchmal in eine organisierte Darstellung umwandeln, indem die Punkte in ein geeignetes Raster projiziert werden. Die resultierende Organisation hängt von der Projektion und der Datengeometrie ab.
Was ist die Verarbeitung von Punktwolken?
Die Verarbeitung von Punktwolken umfasst alle Vorgänge, mit denen sich Punktwolkendaten vorbereiten, transformieren, ausrichten, analysieren und interpretieren lassen. Ein Workflow beginnt häufig mit Rohmessungen oder rekonstruierten Punkten und endet mit Informationen, Geometrien, Karten, Modellen oder bereitstellbaren Wahrnehmungsalgorithmen.
Punktwolken werden in Workflows verwendet, die eine räumliche Darstellung eines Objekts, einer Anlage oder einer Umgebung erfordern. Zu den typischen Anwendungen gehören:
| Anwendung | Beitrag von Punktwolken |
|---|---|
| Kartierung und Geodatenanalyse | Geländemodelle, Höhendatenprodukte, Karten und Umweltmessungen erstellen |
| Autonome Fahrzeuge und ADAS | Wahrnehmung, Objekterkennung, Tracking, Lokalisierung und Szenenverständnis unterstützen |
| Robotik und Navigation | Karten erstellen, die Position schätzen, Hindernisse erkennen und Bewegungen planen |
| Architektur, Ingenieur- und Bauwesen | Gebäude und Baustellen für Vermessung, Planung, Baufortschrittsüberwachung und digitale Modelle erfassen |
| Industrielle Prüfung und Messtechnik | Gemessene Geometrie mit einem Referenzmodell vergleichen und Maßabweichungen identifizieren |
| Forstwirtschaft, Landwirtschaft und Versorgungsunternehmen | Vegetation, Gelände, Infrastruktur und Sicherheitsabstände rund um Anlagen analysieren |
| Berg- und Tagebau sowie Geowissenschaften | Gelände, Aushubbereiche, Halden, Oberflächen und geologische Umgebungen vermessen |
| Digitale Zwillinge und Simulation | Räumliche Darstellungen und Geometrien für virtuelle Umgebungen erstellen |
| AR, VR und 3D-Inhalte | Objekte und Umgebungen für Visualisierungen und immersive Anwendungen rekonstruieren |
Typische Workflows und Aufgaben mit MATLAB
Lesen, Schreiben und Streamen von Punktwolken
MATLAB stellt Reader für gängige Dateiformate wie pcd, ply, pcap, las/laz und ibeo-Datencontainer zur Verfügung. Zudem lassen sich LiDAR-Daten von Velodyne- und Ouster-LiDAR-Sensoren live übertragen.
Erstellen von synthetischen LiDAR-Daten
Erstellen Sie synthetische LiDAR-Daten, die echte LiDAR-Sensoren imitieren, und testen Sie Ihren Workflow, noch bevor Sie ihn in realen Systemen bereitstellen.
Datenvorverarbeitung
Wenden Sie Vorverarbeitungsalgorithmen wie Downsampling, Medianfilter und Transformationen an, extrahieren Sie Merkmale aus 3D-Punktwolken und richten Sie diese aus.
LiDAR-Kamera-Kalibrierung
Ermitteln Sie die Transformation zwischen Kamera und LiDAR in Ihrem System. Mit dieser Transformation können Sie nun LiDAR-Daten auf Kameradaten projizieren und umgekehrt.
Objekterkennung und semantische Segmentierung
Erkennen Sie Objekte oder segmentieren Sie Punktwolken mithilfe von Deep-Learning-Algorithmen.
Erstellen von Karten und Lokalisierung von Fahrzeugen
Führen Sie anhand einer Folge von Punktwolken Registrierung, Kartenerstellung und SLAM durch.
Bereitstellung auf CPUs und GPUs
Sie können Workflows zur LiDAR-Datenverarbeitung als C/C++ Code oder CUDA-Code auf Ihrer Zielhardware bereitstellen.
LiDAR-Daten von Ouster-LiDAR-Sensoren werden live übertragen. Verbinden Sie LiDAR-Sensoren und übertragen Sie Live-LiDAR-Daten in MATLAB.
Lidar Camera Calibrator-App. Schätzen Sie die starre Transformation zwischen einem 3D-LiDAR und einer Kamera ab.
Objekt-Tracking auf einer Punktwolken-Datenfolge. Erkennen, klassifizieren und verfolgen Sie Fahrzeuge mithilfe von sequenziellen LiDAR-Daten, die von einem LiDAR-Sensor auf einem Ego-Fahrzeug erfasst werden.
Objekt-Tracking auf einer Punktwolken-Datenfolge. Erkennen, klassifizieren und verfolgen Sie Fahrzeuge mithilfe von sequenziellen LiDAR-Daten, die von einem LiDAR-Sensor auf einem Ego-Fahrzeug erfasst werden.
Semantische Segmentierung von Punktwolken mit SqueezeSegV2. Organisierte LiDAR-Daten werden semantisch in Kfz (rot), Lkw (violett) und Hintergrund (schwarz) segmentiert.(Hier ein MATLAB-Beispiel)
Details dazu finden Sie unter Point Cloud Toolbox™ und Computer Vision Toolbox™.
Beispiele und Anleitungen
Punktwolken-FAQs
Als Punktwolke bezeichnet man eine Sammlung von Datenpunkten im dreidimensionalen Raum. Jeder Punkt entspricht den X-, Y- und Z-Koordinaten eines Ortes auf der Oberfläche eines realen Objekts und alle Punkte zusammen bilden die gesamte Oberfläche ab.
Punktwolken werden typischerweise von LiDAR-Scannern sowie Stereo- und Time-of-Flight-Kameras erzeugt, die räumliche Koordinaten von Oberflächen in realen Umgebungen erfassen.
Organisierte Punktwolken sind wie Bilddaten in Zeilen und Spalten strukturiert (Format M x N x C) und werden in der Regel von Stereokameras und Time-of-Flight-Kameras erzeugt. Unorganisierte Punktwolken haben dagegen keine Zeilen-Spalten-Struktur (Format M x C) und werden in der Regel von LiDAR-Sensoren erzeugt.
Die Verarbeitung von Punktwolken wird für Wahrnehmung und Navigation in der Robotik und in autonomen Systemen sowie in Anwendungen für Augmented Reality (AR) und Virtual Reality (VR) verwendet.
Ja, die Point Cloud Toolbox und die Computer Vision Toolbox bieten Tools und Referenzanwendungen für die Verarbeitung von Punktwolken, darunter Funktionen zum Lesen, Schreiben, Streamen und Vorverarbeiten sowie für Objekterkennung, semantische Segmentierung und SLAM.
MATLAB stellt Reader für gängige Punktwolken-Dateiformate zur Verfügung, darunter pcd, ply, pcap, las/laz und ibeo-Datencontainer.
Ja, Sie können LiDAR-Daten von Velodyne- und Ouster-LiDAR-Sensoren live und direkt in MATLAB übertragen.
MATLAB unterstützt Vorverarbeitungsalgorithmen wie Downsampling, Medianfilter, Transformationen, Merkmalsextraktion und die Ausrichtung von 3D-Punktwolken.
Siehe auch: Verarbeitung von 3D-Bildern, Affine Abbildung, Digitale Bildverarbeitung, Bildanalyse, Bildverarbeitung und Computer Vision, Bildrekonstruktion, Bildregistrierung, Bildsegmentierung, Schwellenwertbestimmung in Bildern, Bildtransformation, Objekterkennung, RANSAC, Stereosicht, SLAM (simultane Lokalisierung und Kartierung), Drohnenkartierung