Als 3D-Bildverarbeitung bezeichnet man die Visualisierung, Verarbeitung und Analyse von 3D-Bilddaten mithilfe von geometrischen Transformationen, Filterung, Bildsegmentierung und anderen morphologischen Operationen.
Die 3D-Bildverarbeitung wird häufig in der medizinischen Bildgebung verwendet, um DICOM- oder NIfTI-Bilder aus radiographischen Quellen wie MRTs oder CTs zu analysieren. Außerdem können Sie Methoden der 3D-Bildverarbeitung bei der Mikroskopie verwenden, um Gewebeproben zu untersuchen und zu analysieren oder Neuronen zu verfolgen.
Ingenieure von Medviso entwickeln mit MATLAB produktionsreife Software für kardiovaskuläre Analysen, die von Medizinern weltweit verwendet wird.
Außer zur medizinischen Bildgebung können 3D-Bildverarbeitungsmethoden auch genutzt werden, um Röntgenbilder von Fluggepäck zu verarbeiten oder die Struktur von Materialien anhand geeigneter Bilder zu analysieren. Weitere Anwendungsbereiche sind die Erkennung der Aktivitäten von Personen in Videos auf Unterhaltungselektronik sowie die Luftraumüberwachung für militärische Systeme.
Für die Verarbeitung von 3D-Bilddaten stehen zahlreiche Methoden zur Verfügung. Welche Sie einsetzen, hängt von Ihren Aufgaben ab. Sie können beispielsweise Daten importieren, visualisieren, verarbeiten und analysieren.
Dieses Diagramm zeigt wichtige Bestandteile eines Workflows für die 3D-Bildverarbeitung.
Import und Visualisierung von Bildern
3D-Bilddaten können von unterschiedlichen Geräten stammen und in unterschiedlichen Dateiformaten vorliegen. Um 3D-Bilder effektiv zu importieren und zu visualisieren, ist es wichtig, Zugriff auf die zugrunde liegenden Daten und Metadaten der Bilder zu haben.
Sie können 3D-Bilder mit einer Reihe unterschiedlicher Methoden visualisieren, abhängig davon, welche Details Sie beobachten möchten. Für einige Anwendungen möchten Sie die 3D-Daten möglicherweise als Volumengrafik darstellen.
Anzeigen einer 3D-Spirale als Volumengrafik.
Für andere Anwendungen möchten Sie vielleicht die 3D-Daten als 2D-Ebenen in einem dreidimensionalen Koordinatensystem anzeigen.
Anzeigen eines 3D-Volumens als 2D-Schichten.
Bildfilterung und -verbesserung
3D-Bilder enthalten oft unerwünschtes Rauschen, das die Merkmale der interessierenden Volumina abschwächt oder unkenntlich macht. Die Anwendung von Bildfiltern, die Normalisierung des Bildkontrasts sowie die Durchführung morphologischer Operationen sind übliche Methoden zur Eliminierung von Rauschen aus 3D-Bildern.
Bildregistrierung
Bei der Arbeit mit Datensätzen, die aus 3D-Bildern bestehen, wurden diese Bilder häufig von unterschiedlichen Geräten oder von einem bewegten Gerät erfasst. Dies kann dazu führen, dass die Bilder aufgrund von Rotation oder unterschiedlicher Verzerrung und Skalierung nicht nahtlos zueinanderpassen. Um diese Bilder besser oder völlig aufeinander abzustimmen, können Sie geometrische 3D-Transformationen und Methoden der Bildregistrierung verwenden.
Registrieren multimodaler medizinischer Bilder
Bildsegmentierung
Bei der Analyse eines Volumens oder eines 3D-Bilds möchten Sie möglicherweise bestimmte Regionen isolieren, um Berechnungen nur für den Bereich durchzuführen, an dem Sie interessiert sind. Wenn Sie beispielsweise das Volumen einer Flasche in einem Karton berechnen möchten, können Sie die Bildsegmentierung verwenden, um das 3D-Bild in die Flasche einerseits und andere Dinge im Karton andererseits aufzuteilen.
Importieren von 3D-Bilddaten
Mit MATLAB können Sie interaktive Apps oder integrierte Funktionen verwenden, um Ihre 3D-Bilddaten aus einer Reihe von Dateiformaten wie TIFF, DICOM oder NIfTI zu importieren.
Mit der DICOM Browser-App können Sie Gruppen von DICOM-Dateien untersuchen.
Visualisieren von Volumendaten
Mit MATLAB können Sie gekennzeichnete oder nicht gekennzeichnete 3D-Bilddaten visualisieren und untersuchen.
Mit der Volume Viewer-App können Sie mit volumetrischen 3D-Daten oder gekennzeichneten volumetrischen 3D-Daten interagieren und sie anzeigen.
Registrieren von 3D-Bildern von unterschiedlichen Modalitäten
MATLAB unterstützt Bilder von einer Reihe unterschiedlicher Modalitäten und umfasst Bildregistrierungs-Workflows, um sie zu integrieren.
In diesem Beispiel wird gezeigt, wie Sie mit der intensitätsbasierten Bildregistrierung zwei volumetrische Datensätze automatisch aufeinander abstimmen können.
Operationen für die Bildfilterung und -verbesserung
Mit MATLAB können Sie zur Reduzierung von Rauschen oder Verbesserung von Bildern eine Reihe von Bildfilterungsmethoden verwenden, wie die Gauß‘sche Filterung, die Box-Filterung und die Bildmorphologie.
In diesem Beispiel wird gezeigt, wie Sie MRT-Bilder eines menschlichen Gehirns mithilfe einer Gauß‘schen 3D-Filterung glätten können.
Segmentieren von Komponenten von 3D-Daten
MATLAB bietet interaktive Apps und integrierte Funktionen, mit denen Sie Routinen für die 3D-Bildsegmentierung automatisieren können.
In diesem Beispiel wird gezeigt, wie Sie eine 3D-Segmentierung mithilfe aktiver Konturen (Snakes) durchführen können. Segmentieren Sie interaktiv 2D-Schichten des Volumens mithilfe der Image Segmenter-App, um einen Startpunkt für den Algorithmus für aktive Konturen zu erstellen.
3D-Bildverarbeitung mit Deep Learning
Ein Deep-Learning-Ansatz für die 3D-Bildverarbeitung kann neuronale Faltungsnetzwerke und eine semantische Segmentierung einbeziehen, um relevante Merkmale von 3D-Bildern automatisch zu lernen, zu erkennen und zu kennzeichnen.
In diesem Beispiel wird gezeigt, wie Sie MATLAB verwenden, um ein 3D-Netz in Form eines U-Net zu trainieren und eine semantische Segmentierung von Hirntumoren in 3D-Bildern durchzuführen.
