Die Übersetzung dieser Seite ist veraltet. Klicken Sie hier, um die neueste Version auf Englisch zu sehen.

Instanzensegmentierung

Durchführen von Instance Segmentation mithilfe vortrainierter Deep-Learning-Netzwerke und Trainieren von Netzwerken mithilfe von Transfer Learning an benutzerdefinierten Daten

Die Instance Segmentation ist eine Computer-Vision-Technik, die eine wichtige Rolle bei Aufgaben spielt, bei denen Objekte präzise lokalisiert und einzelne Objektinstanzen identifiziert werden müssen, wie beispielsweise bei der medizinischen Bildgebung und dem autonomen Fahren. Durch Kombination der Prinzipien der Objekterkennung und semantischen Segmentierung kann die Instance Segmentation visuelle Daten präziser aufschlüsseln, indem einzelne Objektinstanzen identifiziert und ihre Ränder Pixel um Pixel eingezeichnet werden. Mit Instance Segmentation können Sie einzelne Objekte in einem Bild präzise identifizieren, klassifizieren und trennen.

Sie können Inferenz an einem Bild mit einem vortrainierten Deep-Learning-Netzwerks ausführen oder ein Netzwerk mit Transfer Learning trainieren. Transfer Learning ist ein Ansatz, bei dem Sie mit einem vortrainierten Netzwerk beginnen und dieses mit einem benutzerdefinierten Datensatz für Ihre Anwendung trainieren. Sie können Ground-Truth-Daten für das Training interaktiv generieren, indem Sie die Apps Image Labeler, Video Labeler oder Ground Truth Labeler (Automated Driving Toolbox) zur Kennzeichnung von Pixeln und zum Export der Kennzeichnungsdaten verwenden. Instance Segmentation benötigt Deep Learning Toolbox™. Training und Inferenz unterstützt CUDA^®-kompatible Grafikkarten. Die Verwendung einer GPU wird empfohlen; hierfür wird die Parallel Computing Toolbox™ benötigt. Weitere Informationen finden Sie unter Parallel Computing Support in MathWorks Products (Parallel Computing Toolbox).

Instance segmentation using SOLOv2: Left — segmented and labeled road scenario using a sample modified RGB image from the CamVid data set, Right — segmented image of PVC pipe connectors

Funktionen

alle erweitern

Segmentieren von Objekten in Bildern

Konfigurieren eines Instance Segmentation-Netzwerks

`solov2`	Segment objects using SOLOv2 instance segmentation network (Seit R2023b)
`maskrcnn`	Detect objects using Mask R-CNN instance segmentation (Seit R2021b)

Durchführen von Inferenz

`segmentObjects`	Segment objects using Mask R-CNN instance segmentation (Seit R2021b)
`segmentObjects`	Segment objects using SOLOv2 instance segmentation (Seit R2023b)

Trainieren benutzerdefinierter Instance Segmentation-Netzwerke

Laden von Trainingsdaten

`boxLabelDatastore`	Datastore for bounding box label data
`groundTruth`	Ground truth label data
`imageDatastore`	Datastore for image data
`combine`	Combine data from multiple datastores

Trainieren von Instance Segmentation-Netzwerken

`trainSOLOV2`	Train SOLOv2 network to perform instance segmentation (Seit R2023b)
`trainMaskRCNN`	Train Mask R-CNN network to perform instance segmentation (Seit R2022a)

Erweitern und Vorverarbeiten von Trainingsdaten

`poly2mask`	Convert region of interest (ROI) polygon to region mask
`bwboundaries`	Trace object boundaries in binary image
`balanceBoxLabels`	Balance bounding box labels for object detection (Seit R2020a)
`bboxcrop`	Crop bounding boxes
`bboxerase`	Remove bounding boxes (Seit R2021a)
`bboxresize`	Resize bounding boxes
`bboxwarp`	Apply geometric transformation to bounding boxes
`bbox2points`	Convert rectangle to corner points list
`imwarp`	Apply geometric transformation to image
`imcrop`	Crop image
`imresize`	Resize image
`randomAffine2d`	Create randomized 2-D affine transformation
`centerCropWindow2d`	Create rectangular center cropping window
`randomWindow2d`	Randomly select rectangular region in image (Seit R2021a)

Visualisieren der Ergebnisse

`insertObjectMask`	Insert masks in image or video stream (Seit R2020b)
`insertObjectAnnotation`	Annotate truecolor or grayscale image or video
`insertShape`	Insert shapes in image or video
`showShape`	Display shapes on image, video, or point cloud (Seit R2020b)

Evaluieren der prognostizierten Ergebnisse

`evaluateInstanceSegmentation`	Evaluate instance segmentation data set against ground truth (Seit R2022b)
`instanceSegmentationMetrics`	Instance segmentation quality metrics (Seit R2022b)
`metricsByArea`	Evaluate instance segmentation across object mask size ranges (Seit R2023b)

Durchführen einer Posenschätzung mit Instance Segmentation

`posemaskrcnn`	Predict object pose using Pose Mask R-CNN pose estimation (Seit R2024a)
`predictPose`	Estimate object pose using Pose Mask R-CNN deep learning network (Seit R2024a)
`trainPoseMaskRCNN`	Train Pose Mask R-CNN network to perform pose estimation (Seit R2024a)

Themen

Erste Schritte

Get Started with Instance Segmentation Using Deep Learning
Segment objects using an instance segmentation model such as SOLOv2 or Mask R-CNN.
Get Started with SOLOv2 for Instance Segmentation
Perform multiclass instance segmentation using SOLOv2 and deep learning.
Getting Started with Mask R-CNN for Instance Segmentation
Perform multiclass instance segmentation using Mask R-CNN and deep learning.

Trainingsdaten für Instance Segmentation

Get Started with Image Preprocessing and Augmentation for Deep Learning
Preprocess data for deep learning applications with deterministic operations such as resizing, or augment training data with randomized operations such as random cropping.
Datastores for Deep Learning (Deep Learning Toolbox)
Learn how to use datastores in deep learning applications.

Enthaltene Beispiele

Perform Instance Segmentation Using SOLOv2

Segment object instances of randomly rotated machine parts in a bin using a deep learning SOLOv2 network.

Live Script öffnen

Perform Instance Segmentation Using Mask R-CNN

Segment individual instances of people and cars using a multiclass mask region-based convolutional neural network (R-CNN).

Live Script öffnen

Perform 6-DoF Pose Estimation for Bin Picking Using Deep Learning

Perform six degrees-of-freedom (6-DoF) pose estimation by estimating the 3-D position and orientation of machine parts in a bin using RGB-D images and a deep learning network.

Live Script öffnen