MAINTENANCE EN COURS / SITE UNDER MAINTENANCE

Une opération de maintenance est en cours: les résultats de recherches et les exportations peuvent être incohérent.
Site under maintenance: search & exportation results could be inconsistent.
 

Chomsky vs ChatGPT : Ce que révèlent les grands modèles de langage (LLM) sur l'apprentissage des langues

Bibauw, Serge
(2024) Journée d’étude “Innovations pédagogiques dans l’enseignement du français dans un contexte plurilingue et interculturel” — Location: Hanoi, Vietnam (29.October.2024)

Files

No attached file found for this publication.

Details

Authors
Abstract
Cette présentation cherche à ouvrir une réflexion sur les implications des grands modèles de langage (LLM) pour notre compréhension de l'apprentissage des langues. Deux camps s'opposent traditionnellement quant à leur vision de l'apprentissage des langues : l'approche béhavioriste est rejetée par les linguistes nativistes ou innéistes, au départ de l'argument de Chomsky (1975) sur la « pauvreté du stimulus » et du modèle de Krashen (1982). L'émergence puis le succès des approches neuronales (word embeddings, Mikolov et al., 2013) et des grands modèles de langue (LLM; BERT par Devlin et al., 2018; GPT-3 par Brown et al., 2020) apporte de nouveaux éclairages dans ce débat. D'abord, les performances croissantes des LLM semblent indiquer que des modèles entrainés sur de grands volumes de textes peuvent acquérir des connaissances linguistiques et sémantiques sans « mécanisme d'acquisition des langues » ni notions de syntaxe. Ensuite, ces modèles semblent confirmer l'hypothèse distributionnelle de la sémantique linguistique, selon laquelle le sens des mots est déterminé par les contextes dans lesquels ils apparaissent (Manning, 2022). En expliquant le processus d'entrainement par essai-erreur et renforcement des LLM (Bhatia, 2023), cette présentation cherchera à mettre en évidence l'importance de la production (output) pour les apprenants, mais surtout de l'importance d'un feedback constant sur ces productions, à travers l'interaction (negotiation of meaning, Long, 1996) et des outils assistés par la technologie. Références Bhatia, A. (2023, April 27). Let Us Show You How GPT Works—Using Jane Austen. The New York Times. https://www.nytimes.com/interactive/2023/04/26/upshot/gpt-from-scratch.html Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D., Wu, J., Winter, C., … Amodei, D. (2020). Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M. F. Balcan, & H. Lin (Eds.), Advances in neural information processing systems (Vol. 33, pp. 1877–1901). Curran Associates, Inc. https://proceedings.neurips.cc/paper_files/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (No. arXiv:1810.04805). arXiv. https://doi.org/10.48550/arXiv.1810.04805 Krashen, S. D. (1982). Principles and practice in second language acquisition. Pergamon Press. Long, M. H. (1996). The role of the linguistic environment in second language acquisition. In W. C. Ritchie & T. K. Bhatia (Eds.), Handbook of second language acquisition (pp. 413–468). Academic Press. Manning, C. D. (2022). Human Language Understanding & Reasoning. Daedalus, 151(2), 127–138. https://doi.org/10.1162/daed_a_01905 Mikolov, T., Chen, K., Corrado, G., & Dean, J. (2013). Efficient Estimation of Word Representations in Vector Space (No. arXiv:1301.3781). arXiv. https://doi.org/10.48550/arXiv.1301.3781
Affiliations

Citations

  • APA
  • Chicago
  • FWB

Bibauw, S. (2024). Chomsky vs ChatGPT : Ce que révèlent les grands modèles de langage (LLM) sur l’apprentissage des langues. Journée d’étude “Innovations pédagogiques dans l’enseignement du français dans un contexte plurilingue et interculturel”, Hanoi, Vietnam. https://hdl.handle.net/2078.5/274562