Etude : les médias font partie des principales sources d’apprentissage des IA

À partir de l’analyse de 10 millions de sites présents dans le corpus C4 de Google, utilisé pour nourrir des modèles du langage tels que T5 de Google et LLaMa de Facebook, le Washington Post, en partenariat avec l’institut de recherche Allen, a pu déterminer les catégories de sites les plus représentées. Il ressort de l’étude publiée mardi 19 avril que les sites médias comptent pour 13 % des tokens (portions de textes analysées par les modèle de langage) de C4, en faisant la troisième catégorie la plus présentes après les sites économiques et industriels (16 %) et les sites technologiques (15 %). Parmi les 10 premiers sites toutes catégories confondues en nombre de tokens, cinq sont des sites d’informations.

À retenir. Ces chiffres donnent une indication sur l’importance des sites d’informations dans les modèles utilisés par certaines IA génératives, dans un contexte de flou autour du droit d’auteur. Le Washington Post note également la présence de sites “suprémacistes” et “promouvant des idéologies complotistes” dans la base, ce qui questionne sur les biais induits par les réponses des IA génératives.