Encodage par paires d'octets
Définition
L'encodage par paires d'octets est une forme simple d'algorithme de compression de données et l'un des algorithmes de symbolisation de sous-mots les plus utilisés. Il remplace la paire d'octets de données la plus fréquente par un nouvel octet qui n'était pas contenu dans l'ensemble de données initial.
Dans le traitement automatique de la langue naturelle, l'encodage par paires d'octets est utilisé pour représenter un large vocabulaire avec un petit ensemble d'unités de sous-mots et les mots les plus courants sont représentés dans le vocabulaire sous la forme d'un seul segment.
Voir aussi BERT et vocabulaire (TAL)
Compléments
Il est utilisé dans toutes les versions GPT ainsi que dans RoBERTa, XML, FlauBERT et plus encore.
Français
encodage par paires d'octets
Anglais
byte pair encoding
BPE
Byte pair encoding is a simple form of data compression algorithms and is one of the most widely used subword-tokenization algorithms. It replaces the most frequent pair of bytes of data with a new byte that was not contained int the initial dataset. In Natural Language Processing, BPE is used to represent large vocabulary with a small set of subword units and most common words are represented in the vocabulary as a single token.
It is used in all of GPT versions, RoBERTa, XML, FlauBERT and more.
Source
