Sensibilité des explications à l’aléa des grands modèles de langage : le cas de la classification de textes journalistiques

Les grands modèles de langage sont performants en traitement automatique du langage mais posent des défis d’explicabilité. Nous examinons l’effet des éléments aléatoires de leur entraînement sur l’explicabilité de leurs prédictions en nous focalisant sur une tâche de classification de textes journalistiques d’opinion en français. Utilisant un modèle CamemBERT peaufiné et une méthode d’explication basée sur la propagation de pertinence, nous constatons que des entraînements avec différentes graines aléatoires produisent des modèles aux performances similaires mais aux explications variables. Nous affirmons dès lors que caractériser la distribution statistique des explications est nécessaire pour une explicabilité satisfaisante de ce type de modèle. Nous explorons ensuite un modèle basé sur des traits textuels qui offre des explications stables mais une précision moindre. Celui-ci correspond donc à un compromis différent entre exactitude et explicabilité et nous montrons qu’il est possible de l’améliorer en intégrant des traits extraits des explications de CamemBERT. Nous discutons enfin de pistes de recherche que nos résultats suggèrent, en particulier sur l’origine de la sensibilité à l’aléa observée.

Affiliations

Citations

APA
Chicago
FWB

Bogaert, J., de Marneffe, M.-C., Descampe, A., Escouflaire, L., Fairon, C., & Standaert, F.-X. (2023). Sensibilité des explications à l’aléa des grands modèles de langage : le cas de la classification de textes journalistiques. Traitement Automatique des Langues., 64(3), 19-44. https://hdl.handle.net/2078.5/269089 (Original work published 2023)