Vers une pédagogie inclusive : une classification multimodale des illustrations de manuels scolaires pour des environnements d'apprentissage adaptés - Laboratoire Interdisciplinaire des Sciences du Numérique Access content directly
Conference Poster Year : 2024

Towards Inclusive Pedagogy: A multimodal Classification of Textbook Illustrations for Adaptive Learning Environments

Vers une pédagogie inclusive : une classification multimodale des illustrations de manuels scolaires pour des environnements d'apprentissage adaptés

Abstract

To foster inclusive education, automatic systems that can adapt textbooks to make them accessible to children with disabilities are necessary. In this context, we propose a task to classify the images associated with the exercises according to three classes (Essential, Informative, Useless) to decide whether to integrate them into the accessible version of the textbook for visually impaired children. On a dataset composed of 652 (text, image) pairs, we use state-of-the-art monomodal and multimodal approaches and show that text-based approaches achieve better results. The CamemBERT model achieves an accuracy of 85.25% when combined with unbalanced data management strategies. To better understand the relationship between text and image in textbooks’ exercises, we also perform a qualitative analysis of the results obtained with and without the image modality and use the LIME method to explain the decision of our models.
Afin de favoriser une éducation inclusive, des systèmes automatiques capables d'adapter les manuels scolaires pour les rendre accessibles aux enfants en situation de handicap sont nécessaires. Dans ce contexte, nous proposons de classifier les images associées aux exercices selon trois classes (Essentielle, Informative et Inutile) afin de décider de leur intégration ou non dans la version accessible du manuel pour les enfants malvoyants. Sur un ensemble de données composé de 652 paires (texte, image), nous utilisons des approches monomodales et multimodales à l'état de l'art et montrons que les approches fondées sur le texte obtiennent les meilleurs résultats. Le modèle CamemBERT atteint ainsi une exactitude de 85,25 % lorsqu'il est combiné avec des stratégies de gestion de données déséquilibrées. Pour mieux comprendre la relation entre le texte et l'image dans les exercices des manuels, nous effectuons également une analyse qualitative des résultats obtenus avec et sans la modalité image et utilisons la méthode LIME pour expliquer la décision de nos modèles.
Fichier principal
Vignette du fichier
Poster_TALN_2024.pdf (603.18 Ko) Télécharger le fichier
TALN_2024.pdf (7.66 Mo) Télécharger le fichier
Origin Files produced by the author(s)
Origin Files produced by the author(s)

Dates and versions

hal-04613698 , version 1 (18-06-2024)

Identifiers

  • HAL Id : hal-04613698 , version 1

Cite

Saumya Yadav, Élise Lincker, Caroline Huron, Martin Stéphanie, Camille Guinaudeau, et al.. Vers une pédagogie inclusive : une classification multimodale des illustrations de manuels scolaires pour des environnements d'apprentissage adaptés. JEP TALN RECITAL 2024, Jul 2024, Toulouse, France. ⟨hal-04613698⟩
37 View
9 Download

Share

Gmail Mastodon Facebook X LinkedIn More