Objekterkennung

Klassifizierung, Objekterkennung, Transfer Learning mithilfe von Convolutional Neural Networks (CNNs oder ConvNets) durchführen, benutzerdefinierte Detektoren erstellen

Die Objekterkennung ist eine Computer-Vision-Technik zum Auffinden von Instanzen von Objekten in Bildern oder Videos. Objekterkennungsalgorithmen verwenden oft Machine Learning oder Deep Learning, um sinnvolle Ergebnisse zu erzielen. Wenn Menschen Bilder oder Videos betrachten, können sie innerhalb kürzester Zeit relevante Objekte erkennen und finden. Das Ziel der Objekterkennung besteht darin, diese Intelligenz mit einem Computer nachzubilden. Der beste Ansatz zur Objekterkennung hängt von der Anwendung und dem zu lösenden Problem ab.

Deep-Learning-Techniken benötigen eine große Anzahl gekennzeichneter Trainingsbilder. Daher wird empfohlen, eine GPU zu verwenden, um die für das Training eines Modells benötigte Zeit zu reduzieren. Deep-Learning-Ansätze für die Objekterkennung verwenden Convolutional Neural Networks (CNNs oder ConvNets) wie R-CNN und YOLO oder nutzen Single-Shot Detection (SSD). Sie können einen benutzerdefinierten Objektdetektor trainieren oder einen vortrainierten Objektdetektor verwenden, indem Sie Transfer Learning nutzen, ein Ansatz, bei dem Sie ein vortrainiertes Netzwerk auf Ihre Anwendung abstimmen. Convolutional Neural Networks benötigen die Deep Learning Toolbox™. Training und Prognose werden von CUDA^®-kompatiblen CDUs unterstützt. Die Verwendung einer GPU wird empfohlen; hierfür wird die Parallel Computing Toolbox™ benötigt. Weitere Informationen finden Sie unter Einstellungen der Computer Vision Toolbox und Parallel Computing Support in MathWorks Products (Parallel Computing Toolbox).

Machine-Learning-Techniken für die Objekterkennung umfassen Aggregate Channel Features (ACF), Support Vector Machines (SVM), Klassifizierung mittels Histograms of Oriented Gradient-Merkmalen (HOG) und den Viola-Jones-Algorithmus zur Erkennung menschlicher Gesichter oder Oberkörper. Sie können mit einem vortrainierten Objektdetektor beginnen oder einen benutzerdefinierten Objektdetektor für Ihre Anwendung erstellen.

Labeled boats, neural network, and person detector

Apps

Image Labeler	Label images for computer vision applications
Video Labeler	Label video for computer vision applications

Funktionen

alle erweitern

Detektieren von Objekten

Deep-Learning-Detektoren

`rcnnObjectDetector`	Detect objects using R-CNN deep learning detector
`fastRCNNObjectDetector`	Detect objects using Fast R-CNN deep learning detector
`fasterRCNNObjectDetector`	Detect objects using Faster R-CNN deep learning detector
`ssdObjectDetector`	Detect objects using SSD deep learning detector (Seit R2020a)
`yolov2ObjectDetector`	Detect objects using YOLO v2 object detector
`yolov3ObjectDetector`	Detect objects using YOLO v3 object detector (Seit R2021a)
`yolov4ObjectDetector`	Detect objects using YOLO v4 object detector (Seit R2022a)

Merkmalbasierte Detektoren

`readAprilTag`	Detect and estimate pose for AprilTag in image (Seit R2020b)
`readArucoMarker`	Detect and estimate pose for ArUco marker in image (Seit R2024a)
`generateArucoMarker`	Generate ArUco marker images (Seit R2024a)
`readBarcode`	Detect and decode 1-D or 2-D barcode in image (Seit R2020a)
`acfObjectDetector`	Detect objects using aggregate channel features
`peopleDetectorACF`	Detect people using aggregate channel features
`vision.CascadeObjectDetector`	Detect objects using the Viola-Jones algorithm
`vision.ForegroundDetector`	Foreground detection using Gaussian mixture models
`vision.PeopleDetector`	(To be removed) Detect upright people using HOG features
`vision.BlobAnalysis`	Properties of connected regions

Detektieren von Objekten mithilfe von Punktmerkmalen

`detectBRISKFeatures`	Detect BRISK features
`detectFASTFeatures`	Detect corners using FAST algorithm
`detectHarrisFeatures`	Detect corners using Harris–Stephens algorithm
`detectKAZEFeatures`	Detect KAZE features
`detectMinEigenFeatures`	Detect corners using minimum eigenvalue algorithm
`detectMSERFeatures`	Detect MSER features
`detectORBFeatures`	Detect ORB keypoints
`detectSIFTFeatures`	Detect scale invariant feature transform (SIFT) features (Seit R2021b)
`detectSURFFeatures`	Detect SURF features
`extractFeatures`	Extract interest point descriptors
`matchFeatures`	Find matching features

Auswählen detektierter Objekte

`selectStrongestBbox`	Select strongest bounding boxes from overlapping clusters using nonmaximal suppression (NMS)
`selectStrongestBboxMulticlass`	Select strongest multiclass bounding boxes from overlapping clusters using nonmaximal suppression (NMS)

Trainieren benutzerdefinierter Objektdetektoren

Laden von Trainingsdaten

`boxLabelDatastore`	Datastore for bounding box label data (Seit R2019b)
`groundTruth`	Ground truth label data
`imageDatastore`	Datastore for image data
`objectDetectorTrainingData`	Create training data for an object detector
`combine`	Combine data from multiple datastores

Trainieren merkmalbasierter Objektdetektoren

`trainACFObjectDetector`	Train ACF object detector
`trainCascadeObjectDetector`	Train cascade object detector model
`trainImageCategoryClassifier`	Train an image category classifier

Trainieren Deep-Learning-basierter Objektdetektoren

`trainRCNNObjectDetector`	Train R-CNN deep learning object detector
`trainFastRCNNObjectDetector`	Train Fast R-CNN deep learning object detector
`trainFasterRCNNObjectDetector`	Train Faster R-CNN deep learning object detector
`trainSSDObjectDetector`	Train an SSD deep learning object detector (Seit R2020a)
`trainYOLOv2ObjectDetector`	Train YOLO v2 object detector
`trainYOLOv3ObjectDetector`	Train YOLO v3 object detector (Seit R2024a)
`trainYOLOv4ObjectDetector`	Train YOLO v4 object detector (Seit R2022a)

Erweitern und Vorverarbeiten von Trainingsdaten für Deep Learning

`balanceBoxLabels`	Balance bounding box labels for object detection (Seit R2020a)
`bboxcrop`	Crop bounding boxes (Seit R2019b)
`bboxerase`	Remove bounding boxes (Seit R2021a)
`bboxresize`	Resize bounding boxes (Seit R2019b)
`bboxwarp`	Apply geometric transformation to bounding boxes (Seit R2019b)
`bbox2points`	Convert rectangle to corner points list
`imwarp`	Apply geometric transformation to image
`imcrop`	Crop image
`imresize`	Resize image
`randomAffine2d`	Create randomized 2-D affine transformation (Seit R2019b)
`centerCropWindow2d`	Create rectangular center cropping window (Seit R2019b)
`randomWindow2d`	Randomly select rectangular region in image (Seit R2021a)
`integralImage`	Calculate 2-D integral image

Entwickeln tiefer neuronaler Netze für die Objekterkennung

R-CNN (Regions With Convolutional Neural Networks)

`rcnnBoxRegressionLayer`	Box regression layer for Fast and Faster R-CNN
`fasterRCNNLayers`	Create a faster R-CNN object detection network (Seit R2019b)
`rpnSoftmaxLayer`	Softmax layer for region proposal network (RPN)
`rpnClassificationLayer`	Classification layer for region proposal networks (RPNs)
`regionProposalLayer`	Region proposal layer for Faster R-CNN
`roiAlignLayer`	Non-quantized ROI pooling layer for Mask-CNN (Seit R2020b)
`roiInputLayer`	ROI input layer for Fast R-CNN
`roiMaxPooling2dLayer`	Neural network layer used to output fixed-size feature maps for rectangular ROIs
`roialign`	Non-quantized ROI pooling of `dlarray` data (Seit R2021b)

YOLO v2 (You Only Look Once version 2)

`yolov2Layers`	Create YOLO v2 object detection network
`yolov2TransformLayer`	Create transform layer for YOLO v2 object detection network
`yolov2OutputLayer`	Create output layer for YOLO v2 object detection network
`spaceToDepthLayer`	Space to depth layer (Seit R2020b)

Fokusverlust

focalCrossEntropy Compute focal cross-entropy loss (Seit R2020b)

SSD (Single Shot Detector)

ssdMergeLayer Create SSD merge layer for object detection (Seit R2020a)

Ankerkästen

estimateAnchorBoxes Estimate anchor boxes for deep learning object detectors (Seit R2019b)

Visualisieren von Detektionsergebnissen

`cuboid2img`	Project cuboids from 3-D world coordinates to 2-D image coordinates (Seit R2022b)
`insertObjectAnnotation`	Annotate truecolor or grayscale image or video
`insertObjectMask`	Insert masks in image or video stream (Seit R2020b)
`insertShape`	Insert shapes in image or video
`showShape`	Display shapes on image, video, or point cloud (Seit R2020b)

Evaluieren der prognostizierten Ergebnisse

`evaluateObjectDetection`	Evaluate object detection data set against ground truth (Seit R2023b)
`objectDetectionMetrics`	Object detection quality metrics (Seit R2023b)
`mAPObjectDetectionMetric`	Mean average precision (mAP) metric for object detection (Seit R2024a)
`bboxOverlapRatio`	Compute bounding box overlap ratio
`bboxPrecisionRecall`	Compute bounding box precision and recall against ground truth

Blöcke

Deep Learning Object Detector

Detect objects using trained deep learning object detector (Seit R2021b)

Themen

Erste Schritte

Getting Started with Object Detection Using Deep Learning
Perform object detection using deep learning neural networks.
Choose an Object Detector
Compare object detection deep learning models, such as YOLOX and YOLOv4.
Local Feature Detection and Extraction
Learn the benefits and applications of local feature detection and extraction.
Get Started with Cascade Object Detector
Train a custom classifier.
Point Feature Types
Choose functions that return and accept points objects for several types of features.
Getting Started with OCR
Detect and recognize text in multiple languages, train OCR models to recognize custom text.
Image Classification with Bag of Visual Words
Use the Computer Vision Toolbox™ functions for image category classification by creating a bag of visual words.
Koordinatensysteme
Angabe von Pixel-Indizes, räumlichen Koordinaten und 3D-Koordinatensystemen

Trainingsdaten für Objekterkennung und Instance Segmentation

Get Started with the Image Labeler
Interactively label rectangular ROIs for object detection, pixels for semantic segmentation, polygons for instance segmentation, and scenes for image classification.
Get Started with the Video Labeler
Interactively label rectangular ROIs for object detection, pixels for semantic segmentation, polygons for instance segmentation, and scenes for image classification in a video or image sequence.
Datastores for Deep Learning (Deep Learning Toolbox)
Learn how to use datastores in deep learning applications.
Training Data for Object Detection and Semantic Segmentation
Create training data for object detection or semantic segmentation using the Image Labeler or Video Labeler.
Get Started with Image Preprocessing and Augmentation for Deep Learning
Preprocess data for deep learning applications with deterministic operations such as resizing, or augment training data with randomized operations such as random cropping.

Erste Schritte mit Deep Learning

Deep Learning in MATLAB (Deep Learning Toolbox)
Discover deep learning capabilities in MATLAB^® using convolutional neural networks for classification and regression, including pretrained networks and transfer learning, and training on GPUs, CPUs, clusters, and clouds.
Pretrained Deep Neural Networks (Deep Learning Toolbox)
Learn how to download and use pretrained convolutional neural networks for classification, transfer learning and feature extraction.

Enthaltene Beispiele

Object Detection in Large Satellite Imagery Using Deep Learning

Perform object detection on large satellite imagery using deep learning.

Live Script öffnen

Object Detection Using YOLO v4 Deep Learning

Detect objects in images using you only look once version 4 (YOLO v4) deep learning network. In this example, you will

Live Script öffnen

Perform 6-DoF Pose Estimation for Bin Picking Using Deep Learning

Perform six degrees-of-freedom (6-DoF) pose estimation by estimating the 3-D position and orientation of machine parts in a bin using RGB-D images and a deep learning network.

Live Script öffnen