Text Analytics Toolbox

Analyse und Modellierung von Textdaten

Die Text Analytics Toolbox™ bietet Algorithmen und Visualisierungen für die Vorverarbeitung, Analyse und Modellierung von Textdaten. Mit der Toolbox erstellte Modelle können in Anwendungen wie Stimmungsanalyse, vorausschauende Instandhaltung und Topic-Modelling verwendet werden.

Die Text Analytics Toolbox umfasst Tools für die Verarbeitung von Rohtext aus Quellen wie Geräteprotokollen, Nachrichten-Feeds, Umfragen, Bedienerberichten und Social Media. Sie können Text aus weit verbreiteten Dateiformaten extrahieren, Rohtext vorverarbeiten, einzelne Wörter extrahieren, Text in numerische Darstellungen überführen und statistische Modelle erstellen.

Mithilfe von Machine-Learning-Konzepten wie LSA, LDA und Word Embeddings können Sie Cluster identifizieren und Funktionen aus hochdimensionalen Textdatensätzen erstellen. Mit der Text Analytics Toolbox erstellte Funktionen lassen sich mit Funktionen aus anderen Datenquellen kombinieren. Auf diese Weise können Sie Machine-Learning-Modelle entwickeln, die textuelle, numerische sowie andere Datentypen integriert nutzbar machen.

Jetzt beginnen:

Importieren und Visualisieren von Textdaten
Vorverarbeiten von Textdaten
Konvertieren von Text in numerische Formate
Machine Learning mit Textdaten
Deep Learning mit Textdaten

Was ist die Text Analytics Toolbox?

Dokumentation

Erste Schritte mit der Textanalyse in MATLAB

White Paper herunterladen

Importieren und Visualisieren von Textdaten

Extrahieren Sie Textdaten aus Quellen wie Social Media, Newsfeeds, Geräteprotokollen, Berichten und Umfragen.

Extrahieren von Textdaten

Importieren Sie Textdaten in MATLAB^® aus Einzeldateien oder großen Dateisammlungen, einschließlich PDF-, HTML- und Microsoft^® Word^®- und Excel^®-Dateien.

Extrahieren von Textdaten aus Dateien

Parsen von HTML-Dateien und Extrahieren des Textinhalts

Analysieren von Textdaten mit Emojis

Textextraktion aus einer Sammlung von Microsoft Word-Dokumenten.

Visualisieren von Text

Untersuchen Sie Textdatensätze mittels Wortwolken und Textstreudiagrammen.

Visualisieren von Textdaten mithilfe von Wortwolken

Visualisieren von Word Embeddings mithilfe von Textstreudiagrammen

Wortwolke, zur Anzeige der relativen Häufigkeit von Wörtern mithilfe von Größe und Farbe.

Sprachunterstützung

Die Text Analytics Toolbox bietet sprachspezifische Vorverarbeitungsfunktionen für Englisch, Japanisch, Deutsch und Koreanisch. Die meisten Funktionen können auch für Text in anderen Sprachen genutzt werden.

Sprachunterstützung

Analysieren japanischer Textdaten

Erkennen der Sprache eines Textes

Analysieren deutscher Textdaten

Importieren, Vorbereiten und Analysieren von japanischem Text.

Vorverarbeiten von Textdaten

Extrahieren Sie sinntragende Wörter aus Rohtext.

Bereinigen von Textdaten

Wenden Sie Filterfunktionen auf hoher Abstraktionsebene an, um irrelevante Inhalte wie URLs, HTML-Tags und Interpunktion zu entfernen, und korrigieren Sie Rechtschreibfehler.

Vorbereiten von Textdaten für Analysen

Entfernen von Interpunktion aus Text und Dokumenten

Entfernen von HTTP- und HTTPS-URLs aus Text

Korrigieren der Rechtschreibung in Dokumenten

Vereinfachen von Rohtext, um mit den am stärksten sinntragenden Wörtern arbeiten zu können.

Vereinfachen von Rohtext (links), um mit den bedeutungsvollsten Wörtern arbeiten zu können (rechts).

Herausfiltern von Stoppwörtern und Normalisieren von Wörtern zu ihrem Wortstamm

Priorisieren Sie sinntragende Textdaten in Ihren Analysen, indem Sie allgemeinsprachliche-, zu häufig oder zu selten vorkommende- sowie sehr lange oder sehr kurze Wörter herausfiltern. Reduzieren Sie das Vokabular, und konzentrieren Sie sich auf die allgemeinere Bedeutung oder Stimmung eines Dokuments, indem Sie den Wortstamm oder die Grundform (Lemma) von Wörtern ermitteln.

Entfernen von Stoppwörtern aus Dokumenten

Stemming und Lammatisierung von Wörtern

Stemming

Lemmatisierung

Entfernen von Stoppwörtern wie „ein“ und „von“ aus Dokumenten.

Stoppwörter wie „ein“ oder „von/des“ aus Dokumenten entfernen.

Extrahieren linguistischer Merkmale

Teilen Sie Rohtexte mithilfe eines Tokenisierungs-Algorithmus automatisch in eine Auflistung von Wörtern auf. Fügen Sie Satzgrenzen, Wortartdetails und andere relevante Informationen als Kontext hinzu.

Aufteilen von Texten in Wörter mittels Tokenisierung

Hinzufügen von Part-of-Speech-Tags in Dokumenten

Eigennamenerkennung

Analyse von Satzstrukturen durch Parsing grammatikalischer Abhängigkeiten

Hinzufügen von Wortart- und Satzdetails zu tokenisierten Dokumenten.

Konvertieren von Text in numerische Formate

Konvertieren Sie Textdaten in eine numerische Form, die Sie für Machine Learning und Deep Learning verwenden können.

Zählen von Wörtern und N-Grammen

Berechnen Sie Worthäufigkeitsstatistiken, um Textdaten numerisch darzustellen.

Analysieren von Textdaten mithilfe von Mehrfachwort-Ausdrücken

Matrix der Vorkommenshäufigkeit und inversen Dokumenthäufigkeit (Term Frequency – Inverse Document Frequency, tf-idf)

Identifikation und Visualisierung der am häufigsten vorkommenden Wörter in einem Modell.

Worteinbettung und -codierung

Trainieren Sie Word-Embedding-Modelle wie die Word2vec-Modelle Continuous Bag-of-Words (CBOW) und Skip-Gram. Importieren Sie vortrainierte Modelle wie fastText und GloVe.

Visualisieren von Word Embeddings mithilfe von Textstreudiagrammen

Vortrainierte fastText-Word-Embeddings

Zuordnen von Wörtern zum Einbettungsvektor

Bag-of-Words (BoW)

Visualisieren von Clustern in einem Textstreudiagramm mithilfe eines Word-Embeddings.

Machine Learning mit Textdaten

Führen Sie Themamodellierung, Stimmungsanalyse, Klassifikation, Dimensionalitätsreduktion und die Extraktion von Dokumentenzusammenfassungen mithilfe von Machine-Learning-Algorithmen durch.

Topic Modelling

Erkennen und visualisieren Sie zugrunde liegende Muster, Trends und komplexe Beziehungen in großen Textdatensätzen mithilfe von Machine Learning-Algorithmen wie der latenten Dirichlet Allokation (LDA) und der latenten semantischen Analyse (LSA).

Analysieren von Textdaten mithilfe von Topic-Modellen

Wählen der Themenanzahl für ein LDA-Modell

Vergleichen von LDA-Solvern

Identifizieren von Themen in Sturmberichtsdaten.

Dokumentenzusammenfassung und Schlüsselwort-Extraktion

Automatisches Extrahieren einer Zusammenfassung und relevanter Schlüsselwörter aus einem oder mehreren Dokumenten und Bewerten der Ähnlichkeit und Bedeutung von Dokumenten.

Extrahieren einer Zusammenfassung aus Texten

Extrahieren von Schlüsselwörtern aus Textdaten mithilfe von TextRank

Bewertung der Gleichheit von Texten mittels BM25-Algorithmus

Bewertung der Wichtigkeit von Texten mittels TextRank-Algorithmus

Extrahieren von Zusammenfassungen aus Texten.

Stimmungsanalyse

Ermitteln Sie die in Textdaten ausgedrückten Haltungen und Meinungen, um Aussagen als positiv, neutral oder negativ zu kategorisieren. Erstellen Sie Modelle, mit denen Sie eine Stimmung in Echtzeit vorhersagen können.

Analyse von Stimmung im Text

Trainieren eines Stimmungsklassifizierers

Generierung eines domänenspezifischen Stimmungslexikons

Identifizieren Sie Wörter, die eine positive oder negative Stimmung vorhersagen.

Deep Learning mit Textdaten

Führen Sie eine Stimmungsanalyse, -klassifikation, -zusammenfassung und Textgenerierung mithilfe von Deep-Learning-Algorithmen durch.

Transformer-Modelle

Nutzen Sie Transformer-Modelle wie BERT, FinBERT, und GPT-2, um Transfer Learning mit Textdaten für Aufgaben wie Stimmungsanalyse, -klassifikation und -zusammenfassung durchzuführen.

Transformer-Modelle für MATLAB