Sujet sur Discussion:Itération


De DataFranca

Définition et terme anglais erronés

3
Dlesieur (discussioncontributions)

Le terme anglais devrait être «iteration» et non «epoch», qui renvoie à un concept différent.

La définition mélange époque et itération sans bien les distinguer.

La première phrase — «Cycle d'apprentissage complet sur l'intégralité de l'ensemble de données de manière à ce que chaque exemple ait été vu une fois.» — correspond à la définition d'époque (epoch).

Seule la seconde phrase décrit l'itération, mais elle semble très mal formulée.

Dans l'article «Epoch vs Batch Size vs Iterations» (Sagar Sharma, 2017, https://towardsdatascience.com/epoch-vs-iterations-vs-batch-size-4dfb9c7ce9c9), on indique:

«Iterations is the number of batches needed to complete one epoch.»

Je ne suis pas certain d'aimer cette formulation («itérations» est-il un nombre?), mais assurément elle permet de mieux comprendre de quoi il s'agit.

Merci!

Pitpitt (discussioncontributions)

MERCI

j'ai remis le terme en construction

je demande aussi à Claudede revoir ceci

Claude COULOMBE (discussioncontributions)

Vous avez raison, il faut bien distinguer époque (epoch) et itération (iteration). Le terme époque correspond en effet à la définition «Cycle d'apprentissage complet sur l'intégralité de l'ensemble de données de manière à ce que chaque exemple ait été vu une fois.» Ce texte ne devrait pas être là car ici on parle d'itération.

Le terme itération pose problème car il est ambigu et son sens varie selon le contexte.

En contexte général, itération désigne l'exécution d'une boucle d'un traitement informatique répété (ou traitement itératif). On devrait ajouter cette définition en précisant qu'elle s'applique dans un contexte général.

Dans le contexte d'une descente de gradient stochastique par mini-lots (en anglais mini-batches) une itération correspond au calcul de mise-à-jour des gradients sur un seul mini-lot (en anglais mini-batch) de données. C'est la définition qui devrait être utilisée en précisant le contexte.

En anglais, le mot «iterations» au pluriel semble désigner le nombre d'exécutions de mini-lots nécessaire pour couvrir l'ensemble des données d'entraînement. D'où la division N/taille_du_lot. Comme vous, je ne crois pas utile de conserver cette partie qui ajoute de la confusion.

Merci pour votre perspicacité!

Claude Coulombe