Au-delà du token : expériences sur l’analyse syntaxique des corpus oraux avec l’annotateur multi-niveaux DisMo
(2015) 8es journées internationales de linguistique de corpus — Location: Orléans, France (2.September.2015)
Files
No attached file found for this publication.
Details
- Authors
Christodoulides, George 
- Abstract
- L’analyse des corpus oraux présente des défis particuliers lies aux caractéristiques de la langue parlée et sa transcription, notamment l’absence de ponctuation, les unités de segmentation multiples, la variabilité, les disfluences et la syntaxe souvent non-canonique. Face à ces particularités, la méthodologie d’analyse, ainsi que les outils d’annotation automatique conçus pour faciliter cette analyse, doivent être adaptés. Pourtant il est souhaitable de pouvoir comparer les résultats de l’analyse d’un corpus oral avec celles d’un corpus écrit : pour ce faire, on a besoin d’un « dénominateur commun » pour les deux types de corpus, enrichi avec de couches d’annotation supplémentaires dans le cas des corpus oraux. C’est dans cette logique que nous avons proposé dans (Christodoulides et al. 2014) l’outil DisMo, un annotateur multi-niveaux pour les corpus oraux qui fournit une analyse morphosyntaxique, une lemmatisation, et une détection des unités poly-lexicales, articulées sur deux niveaux. Dans (Christodoulides & Avanzi 2015) nous avons détaillé les choix du protocole d’annotation des disfluences et décrit un système qui fait appel à des algorithmes différents pour détecter chaque type de phénomène de disfluence. Dans cette communication nous présentons nos derniers travaux sur l’annotateur DisMo qui permettent d’ajouter deux couches d’annotation supplémentaires : une segmentation en chunks (unités syntaxiques minimales) et une analyse syntaxique de dépendance, toujours adaptés aux données orales. Cette annotation élargit le champ d’analyses possibles, influence les choix sur les couches inférieures (notamment celle des disfluences), mais en même temps relève des questions théoriques plus importantes liés au jeu d’étiquettes des chunks et des relations de dépendance. Nous avons comparé les systèmes d’annotation syntaxique proposés dans deux corpus oraux : le corpus Rhapsodie (Bawden et al.2014), qui propose sept relations et un système d’ « empilement » pour décrire les disfluences d’édition; et le corpus LOCAS-F (Martin et al. 2014) qui propose une double annotation en « séquences fonctionnelles » (Bilger & Campione 2002) et unités de rection. Nous avons confronté ces deux systèmes au jeu d’étiquettes pour l’annotation en relations de dépendance proposé dans le cadre du projet Stanford Universal Dependencies (de Marneffe et al. 2014). Nous avons aussi étudié les propositions de (Deulofeu et al. 2010), ainsi que le découpage en constituants proposé dans French Treebank (Abeillé et al. 2003). Inspirés par (Tsuruoka et al. 2009), nous modélisons le problème de l’annotation syntaxique de l’oral comme une cascade d’annotations en séquences (chunking) : la première étape concerne l’annotation morphosyntaxique elle-même, la deuxième le découpage en unités minimales (chunks), tandis que les étapes suivantes produisent une série d’analyses syntaxiques possibles. L’annotation des séquences est basée sur des modèles statistiques CRF, et l’algorithme A* est appliqué pour choisir l’analyse plus probable, qui sera la proposition finale de l’annotateur. La détection des disfluences d’édition (insertions, substitutions, abandons, potentiellement combinées avec une répétition) est faite simultanément avec l’annotation syntaxique (cf. Honnibal & Johnson 2014). Un corpus d’entraînement a été construit à partir des corpus déjà annotés et corrigés, en adaptant les annotations au schéma adéquat : nous avons utilisé notamment des échantillons du corpus PFC (Phonologie du Français Contemporain – Durand et al. 2009) déjà enrichis avec une annotation morphosyntaxique (Barreca & Christodoulides 2014), et le corpus Universal Dependencies ver. 1.1 (http://hdl.handle.net/11234/LRT-1478). Dans cette communication, nous présenterons nos réflexions théoriques sur les jeux d’étiquettes, ainsi que les premiers résultats de l’application de ces nouveaux algorithmes intégrés dans DisMo sur des corpus oraux (avec des exemples des problèmes rencontrés). Notre objectif est de stimuler une discussion sur la méthodologie la plus efficace pour enrichir les grands corpus oraux français avec une annotation syntaxique (au-delà de l’annotation morphosyntaxique de tokens) qui représente de manière adéquate les particularités de l’oral.
- Affiliations
Citations
Christodoulides, G., & Barreca, G. (2015). Au-delà du token : expériences sur l’analyse syntaxique des corpus oraux avec l’annotateur multi-niveaux DisMo. 8es journées internationales de linguistique de corpus, Orléans, France. https://hdl.handle.net/2078.5/73467