Algorithmes à base d'échantillonage pour l'entraînement de modèles de langue neuronaux - Laboratoire Interdisciplinaire des Sciences du Numérique Access content directly
Conference Papers Year : 2018

Algorithmes à base d'échantillonage pour l'entraînement de modèles de langue neuronaux

Abstract

Here the title in English. Noise Contrastive Estimation (NCE) and Importance Sampling (IS) are sampling based algorithms traditionally used to avoid computing the costly output softmax when training neural language models with Maximum Likelihood Estimation (MLE). In this work, we attempt to summarize how these procedures work, and how they have been used in the computational linguistics literature. We then compare them, and experiment with tricks that ease NCE training.
L'estimation contrastive bruitée (NCE) et l'échantillonage par importance (IS) sont des procédures d'entraînement basées sur l'échantillonage, que l'on utilise habituellement à la place de l'estimation du maximum de vraisemblance (MLE) pour éviter le calcul du softmax lorsque l'on entraîne des modèles de langue neuronaux. Dans cet article, nous cherchons à résumer le fonctionnement de ces algorithmes, et leur utilisation dans la littérature du TAL. Nous les comparons expérimentalement, et présentons des manières de faciliter l'entraînement du NCE.
Fichier principal
Vignette du fichier
2018.jeptalnrecital-court.29.pdf (181.76 Ko) Télécharger le fichier
Origin Files produced by the author(s)
Loading...

Dates and versions

hal-02912471 , version 1 (05-08-2020)

Identifiers

  • HAL Id : hal-02912471 , version 1

Cite

Matthieu Labeau, Alexandre Allauzen. Algorithmes à base d'échantillonage pour l'entraînement de modèles de langue neuronaux. 25e conférence sur le Traitement Automatique des Langues Naturelles (TALN), May 2018, Rennes, France. ⟨hal-02912471⟩
38 View
29 Download

Share

Gmail Mastodon Facebook X LinkedIn More