fastBERTtokens: Tokenizing for BERT in parallel

This function simply divides your text into batches, and tokenizes in parallel. Provides significant speed-up.

Version (1,43 KB)
31 Downloads
(0)
24. Feb 2023
Herunterladen

  • Install in MATLAB

    Requires R2026b and later. Learn more
Herunterladen

  • Install in MATLAB

    Requires R2026b and later. Learn more

Sie verfolgen jetzt diese Einreichung

Zitieren als

Ralf Elsas (2026). fastBERTtokens: Tokenizing for BERT in parallel (https://de.mathworks.com/matlabcentral/fileexchange/125295-fastberttokens-tokenizing-for-bert-in-parallel), MATLAB Central File Exchange. Abgerufen .

Quellenangaben

Inspiriert von: Transformer Models

Allgemeine Informationen

Kompatibilität der MATLAB-Version

  • Kompatibel mit R2021a und späteren Versionen

Plattform-Kompatibilität

  • Windows
  • macOS
  • Linux
In neuem Tab öffnen
Version Veröffentlicht Versionshinweise
1.0.0

Herunterladen

  • Install in MATLAB

    Requires R2026b and later. Learn more