Encodage par paires d'octets

Définition

L'encodage par paires d'octets est une forme simple d'algorithme de compression de données et l'un des algorithmes de symbolisation de sous-mots les plus utilisés. Il remplace la paire d'octets de données la plus fréquente par un nouvel octet qui n'était pas contenu dans l'ensemble de données initial.

Dans le traitement automatique de la langue naturelle, l'encodage par paires d'octets est utilisé pour représenter un large vocabulaire avec un petit ensemble d'unités de sous-mots et les mots les plus courants sont représentés dans le vocabulaire sous la forme d'un seul segment.

Voir aussi BERT et vocabulaire (TAL)

Compléments

Il est utilisé dans toutes les versions GPT ainsi que dans RoBERTa, XML, FlauBERT et plus encore.

Français

encodage par paires d'octets

Anglais

byte pair encoding

BPE

Byte pair encoding is a simple form of data compression algorithms and is one of the most widely used subword-tokenization algorithms. It replaces the most frequent pair of bytes of data with a new byte that was not contained int the initial dataset. In Natural Language Processing, BPE is used to represent large vocabulary with a small set of subword units and most common words are represented in the vocabulary as a single token.

It is used in all of GPT versions, RoBERTa, XML, FlauBERT and more.

Source

Source : Geeks for Geeks

Source : Medium

Source : Wikipedia