« Tokenisation » : différence entre les versions


(Page créée avec « ==en construction== == Définition == XXXXXXXXX == Français == ''' Tokenisation''' == Anglais == ''' Tokenization''' In natural language processing, tokenization is t... »)
 
Aucun résumé des modifications
Ligne 1 : Ligne 1 :
==en construction==
== Définition ==
== Définition ==
XXXXXXXXX
En sécurité informatique, la tokenisation est le procédé permettant de remplacer une donnée critique par un élément équivalent qui n’aura aucune valeur intrinsèque ou signification exploitable une fois sortie du système.


== Français ==
== Français ==
''' Tokenisation'''
''' tokenisation'''


== Anglais ==
== Anglais ==
''' Tokenization'''
''' tokenization'''


In natural language processing, tokenization is the process of chopping down a sentence into individual words or tokens. In the process of forming tokens, punctuation or special characters are often removed entirely.
Tokens are constructed from a specific body of text to be used for statistical analysis and processing. It’s worth mentioning that a token doesn’t necessarily need to be one word; for example, “rock ’n’ roll,” “3-D printer” are tokens, and they are constructed from multiple words.
To put it simply, tokenization is a technique used to simplify a corpus to prepare it for the next stages of processing.


<small>
<small>


[XXXXXXX   Source : Wikipedia ]
[https://fr.wikipedia.org/wiki/Tokenisation_(s%C3%A9curit%C3%A9_informatique)   Source : Wikipedia ]


Source : GDPELLETIER  
Source : GDPELLETIER  


[[Catégorie:vocabulary]]
[[Catégorie:publication]]
 
[[Catégorie:vocabulaire]]

Version du 20 mars 2021 à 17:44

Définition

En sécurité informatique, la tokenisation est le procédé permettant de remplacer une donnée critique par un élément équivalent qui n’aura aucune valeur intrinsèque ou signification exploitable une fois sortie du système.

Français

tokenisation

Anglais

tokenization


Source : Wikipedia

Source : GDPELLETIER

Récupérée de « https://datafranca.org/wiki/index.php?title=Tokenisation&oldid=44090 »

Contributeurs: Claude Coulombe, Imane Meziani, wiki