Parcimonie des données

Définition

La parcimonie des données désigne une situation qui consiste à ne pas observer suffisamment de données dans un jeu de données pour arriver à modéliser avec précision sa distribution statistique.

La parcimonie désigne également des représentations parcimonieuses où beaucoup d'attributs sont absents ou à valeur zéro.

Par exemple, dans un jeu de données utilisé en traitement automatique de la langue naturelle, la plupart des attributs linguistiques n'ont qu'un faible nombre d'occurrences. En effet, il y a beaucoup de phénomènes rares en linguistique.

Compléments

Le phénomène de parcimonie est particulièrement exacerbé pour les données en haute dimension (i.e. avec beaucoup d'attributs).

---

À distinguer du principe de parcimonie utilisé en sciences et en philosophie qui établit que « les explications les plus simples sont les meilleures ». On parle aussi du principe du rasoir d’Occam car il a été énoncé par le philosophe Guillaume d'Occam au XIVe siècle sous la form « il ne faut pas multiplier les entités sans nécessité ».

---

En français, l'usage de l’adjectif « parcimonieux » qui a le sens de frugal, modique, restreint, minime, sera préféré à cause de sa proximité avec les mots «parcimonious» et «sparse» en anglais.

---

En linguistique, on retrouve des vecteurs parcimonieux, également appelés vecteurs creux, qui ont la taille du lexique, typiquement plusieurs dizaines de milliers d'attributs. Les mots sont encodés avec un seul bit discriminant, un attribut est mis à 1 pour représenter le mot et tous les autres attributs à 0 pour représenter les autres mots. Des chercheurs dont des pionniers du MILA dirigé par Yoshua Bengio, ont inventé des vecteurs-contextuels plus denses pour solutionner ce problème.

Français

parcimonie des données

dissémination des données

Anglais

data sparsity

data sparseness

Source: Vo, Xuan Thanh (2015). Learning with sparsity and uncertainty by Difference of Convex functions optimiztion, thèse de doctorat, Université de Lorraine, 231 pages.

Source: Christine Plumejeaud (2011). Modèles et méthodes pour l’information spatio-temporelle évolutive, thèse de doctorat, Université Grenoble Alpes, 331 pages.

Source: Termino