Factualité étendue - Historique des versions

Pitpitt le 7 juin 2025 à 15:04

2025-06-07T15:04:29Z

← Version précédente		Version du 7 juin 2025 à 11:04
Ligne 20 :		Ligne 20 :


	[[Catégorie:~~Publication~~]]		[[Catégorie:GRAND LEXIQUE FRANÇAIS]]

Patrickdrouin : Patrickdrouin a déplacé la page Long-form factuality vers Factualité étendue

2025-05-27T19:26:30Z

Patrickdrouin a déplacé la page Long-form factuality vers Factualité étendue

← Version précédente	Version du 27 mai 2025 à 15:26
(Aucune différence)

Patrickdrouin le 27 mai 2025 à 19:25

2025-05-27T19:25:42Z

← Version précédente		Version du 27 mai 2025 à 15:25
Ligne 1 :		Ligne 1 :
	~~==en construction==~~

	== Définition ==		== Définition ==
	La factualité étendue désigne la propriété qu'un ~~long passage d'~~un robot conversationnel génératif~~, soit la réponse générée, ne~~ contienne que des faits avérés (aussi appelés des éléments factuels).		La factualité étendue désigne la propriété qu'un longue réponse générée par un [[robot conversationnel génératif]] contienne que des faits avérés (aussi appelés des éléments factuels).

	== Compléments ==		== Compléments ==
	La vérification des faits contenus dans une longue réponse ~~procède selon~~ différents algorithmes, dont le SAFE (Search-Augmented Factuality Evaluator) ou bien par la vérification des faits augmentée ~~par la recherche~~.		La vérification des faits contenus dans une longue réponse est réalisée par différents algorithmes, dont le SAFE (Search-Augmented Factuality Evaluator) ou bien par la vérification des faits en utilisant la [[génération augmentée d'information applicative\|génération augmentée d'information applicative]].

	== Français ==		== Français ==
Ligne 12 :		Ligne 10 :
	''' factualité d'un long énoncé'''		''' factualité d'un long énoncé'''

	''' factualité ~~d'un long texte'''~~		''' factualité longue'''

	~~''' facutalité~~ longue'''


	== Anglais ==		== Anglais ==
	''' long-form factuality '''		''' long-form factuality '''


	== Sources ==		== Sources ==
Ligne 26 :		Ligne 20 :


			[[Catégorie:Publication]]
	[[Catégorie:~~vocabulary~~]]

Arianne le 23 mai 2025 à 18:29

2025-05-23T18:29:42Z

← Version précédente		Version du 23 mai 2025 à 14:29
Ligne 21 :		Ligne 21 :


	== ~~Source~~ ==		== Sources ==

	[https://huggingface.co/papers/2403.18802 Source : huggingface]		[https://huggingface.co/papers/2403.18802 Source : huggingface]

Patrickdrouin le 29 octobre 2024 à 19:01

2024-10-29T19:01:48Z

← Version précédente		Version du 29 octobre 2024 à 15:01
Ligne 2 :		Ligne 2 :

	== Définition ==		== Définition ==
	La factualité étendue désigne la propriété qu'un long passage d'un robot conversationnel génératif, soit la réponse générée, ne contienne que des faits avérés (aussi appelés des éléments factuels). La vérification des faits contenus dans une longue réponse procède selon différents algorithmes, dont le SAFE (Search-Augmented Factuality Evaluator) ou bien par la vérification des faits augmentée par la recherche.		La factualité étendue désigne la propriété qu'un long passage d'un robot conversationnel génératif, soit la réponse générée, ne contienne que des faits avérés (aussi appelés des éléments factuels).

			== Compléments ==
			La vérification des faits contenus dans une longue réponse procède selon différents algorithmes, dont le SAFE (Search-Augmented Factuality Evaluator) ou bien par la vérification des faits augmentée par la recherche.

	== Français ==		== Français ==

Arianne le 24 octobre 2024 à 18:35

2024-10-24T18:35:48Z

← Version précédente		Version du 24 octobre 2024 à 14:35
Ligne 2 :		Ligne 2 :

	== Définition ==		== Définition ==
	~~XXXXXXXXX~~		La factualité étendue désigne la propriété qu'un long passage d'un robot conversationnel génératif, soit la réponse générée, ne contienne que des faits avérés (aussi appelés des éléments factuels). La vérification des faits contenus dans une longue réponse procède selon différents algorithmes, dont le SAFE (Search-Augmented Factuality Evaluator) ou bien par la vérification des faits augmentée par la recherche.

	== Français ==		== Français ==
	''' ~~XXXXXXXXX~~ '''		''' factualité étendue '''

			''' factualité d'un long énoncé'''

			''' factualité d'un long texte'''

			''' facutalité longue'''


	== Anglais ==		== Anglais ==
	''' ~~Long~~-form factuality '''		''' long-form factuality '''

	Large language models (LLMs) often generate content that contains factual errors when responding to fact-seeking prompts on open-ended topics. To benchmark a model's long-form factuality in open domains, we first use GPT-4 to generate LongFact, a prompt set comprising thousands of questions spanning 38 topics. We then propose that LLM agents can be used as automated evaluators for long-form factuality through a method which we call Search-Augmented Factuality Evaluator (SAFE).
	SAFE utilizes an LLM to break down a long-form response into a set of individual facts and to evaluate the accuracy of each fact using a multi-step reasoning process comprising sending search queries to Google Search and determining whether a fact is supported by the search results. Furthermore, we propose extending F1 score as an aggregated metric for long-form factuality. To do so, we balance the percentage of supported facts in a response (precision) with the percentage of provided facts relative to a hyperparameter representing a user's preferred response length (recall).
	Empirically, we demonstrate that LLM agents can achieve superhuman rating performance - on a set of ~16k individual facts, SAFE agrees with crowdsourced human annotators 72% of the time, and on a random subset of 100 disagreement cases, SAFE wins 76% of the time. At the same time, SAFE is more than 20 times cheaper than human annotators.

Pitpitt : Page créée avec « ==en construction== == Définition == XXXXXXXXX == Français == ''' XXXXXXXXX ''' == Anglais == ''' Long-form factuality ''' Large language models (LLMs) often generate content that contains factual errors when responding to fact-seeking prompts on open-ended topics. To benchmark a model's long-form factuality in open domains, we first use GPT-4 to generate LongFact, a prompt set comprising thousands of questions spanning 38 topics. We then propose that LLM... »

2024-03-29T13:18:31Z

Page créée avec « ==en construction== == Définition == XXXXXXXXX == Français == ''' XXXXXXXXX ''' == Anglais == ''' Long-form factuality ''' Large language models (LLMs) often generate content that contains factual errors when responding to fact-seeking prompts on open-ended topics. To benchmark a model's long-form factuality in open domains, we first use GPT-4 to generate LongFact, a prompt set comprising thousands of questions spanning 38 topics. We then propose that LLM... »

Nouvelle page

==en construction==

== Définition ==
XXXXXXXXX

== Français ==
''' XXXXXXXXX '''

== Anglais ==
''' Long-form factuality '''

Large language models (LLMs) often generate content that contains factual errors when responding to fact-seeking prompts on open-ended topics. To benchmark a model's long-form factuality in open domains, we first use GPT-4 to generate LongFact, a prompt set comprising thousands of questions spanning 38 topics. We then propose that LLM agents can be used as automated evaluators for long-form factuality through a method which we call Search-Augmented Factuality Evaluator (SAFE).
SAFE utilizes an LLM to break down a long-form response into a set of individual facts and to evaluate the accuracy of each fact using a multi-step reasoning process comprising sending search queries to Google Search and determining whether a fact is supported by the search results. Furthermore, we propose extending F1 score as an aggregated metric for long-form factuality. To do so, we balance the percentage of supported facts in a response (precision) with the percentage of provided facts relative to a hyperparameter representing a user's preferred response length (recall).
Empirically, we demonstrate that LLM agents can achieve superhuman rating performance - on a set of ~16k individual facts, SAFE agrees with crowdsourced human annotators 72% of the time, and on a random subset of 100 disagreement cases, SAFE wins 76% of the time. At the same time, SAFE is more than 20 times cheaper than human annotators.

== Source ==

[https://huggingface.co/papers/2403.18802 Source : huggingface]

[[Catégorie:vocabulary]]