Évaluation automatique des biais de genre dans des modèles de langue auto-régressifs - Laboratoire Interdisciplinaire des Sciences du Numérique Access content directly
Conference Papers Year : 2024

Automatically Assessing Gender Biases in Autoregressive Language Models.

Évaluation automatique des biais de genre dans des modèles de langue auto-régressifs

Abstract

We propose a framework to automatically measure gender biases in generated texts, for inflected languages. We evaluate seven language models, on over 52,000 texts in French and 2,500 texts in Italian, for cover letter writing. Our tool relies on the detection of morpho-syntactic gender markers to uncover biases. Thus, models are strongly biased towards the generation of masculine markers: generated texts contain twice as many masculine (vs. feminine) markers in French, and eight times as many in Italian. The models we study also exacerbate gender stereotypes that are evidenced in social science studies and associate feminine inflections with stereotypically feminine occupations, whereas stereotypically masculine occupations are strongly associated with masculine markers.
Nous proposons un outil pour mesurer automatiquement les biais de genre dans des textes générés par des grands modèles de langue dans des langues flexionnelles. Nous évaluons sept modèles à l’aide de 52 000 textes en français et 2 500 textes en italien, pour la rédaction de lettres de motivation. Notre outil s’appuie sur la détection de marqueurs morpho-syntaxiques de genre pour mettre au jour des biais. Ainsi, les modèles favorisent largement la génération de masculin : le genre masculin est deux fois plus présent que le féminin en français, et huit fois plus en italien. Les modèles étudiés exacerbent des stéréotypes attestés en sociologie en associant les professions stéréotypiquement féminines aux textes au féminin, et les professions stéréotypiquement masculines aux textes au masculin.
Fichier principal
Vignette du fichier
JEP_TALN_RECITAL_2024_BiaisLettres-1.pdf (526.92 Ko) Télécharger le fichier
Origin Files produced by the author(s)
licence

Dates and versions

hal-04621134 , version 1 (23-06-2024)

Licence

Identifiers

  • HAL Id : hal-04621134 , version 1

Cite

Fanny Ducel, Aurélie Névéol, Karën Fort. Évaluation automatique des biais de genre dans des modèles de langue auto-régressifs. TALN 2024, Jul 2024, Toulouse, France. ⟨hal-04621134⟩
28 View
10 Download

Share

Gmail Mastodon Facebook X LinkedIn More