[Cluster IA ENACT] Coup de projecteur sur nos chaires de recherche : Claire Gardent

Dans le cadre du cluster IA Grand Est ENACT[1], 9 chaires de recherche ont été attribuées à des chercheuses et chercheurs de renommée internationale au sein de laboratoires des sites lorrain et alsacien. Cette action renforce l’excellence scientifique du territoire en soutenant des nouveaux travaux, en finançant doctorants et post-doctorants et en favorisant le transfert technologique ainsi que les collaborations avec le monde de l’industrie. Découvrez, à travers cette série de portraits les talents derrière chacune de ces chaires de recherche.

Au carrefour entre la linguistique et l’informatique, Claire Gardent est spécialiste du traitement automatique des langues (TAL) et directrice de recherche de classe exceptionnelle au CNRS. Ses contributions à ce domaine lui ont valu la médaille d’argent CNRS en 2022 et sa nomination par l’ACL (Association for Computational Linguistics) comme ACL Fellow. Elle mène ses travaux de recherche au Loria[2] depuis 2001 et dirige actuellement la chaire de recherche ENACT « Semantically Consistent LLM Based Text Generation »[3].

Pouvez-vous vous présenter et nous parler de votre parcours professionnel et académique ?

C’est un parcours un peu tortueux, je ne pensais pas du tout que ma carrière prendrait cette direction. Au départ je voulais être ingénieure en agriculture. Mais j’ai beaucoup voyagé : je suis partie en Nouvelle-Zélande, en Irlande, en Allemagne et au retour de tout cela, j’ai repris des études pour devenir interprète.

Pendant mes années à l’école d’interprétation à Genève, Maghi King, directrice de l’ISSCO (Institut des études sémantiques et cognitives Dalle Molle) m’a fait découvrir la traduction automatique. Ensuite, j’ai fait un master en Angleterre, au Royaume-Uni. À l’époque, ça s’appelait « les systèmes experts », c’était de l’intelligence artificielle. J’ai continué avec un doctorat en sciences cognitives à Édimbourg, mais c’était déjà du traitement automatique des langues. J’ai continué avec des contrats postdoctoraux aux Pays-Bas pendant trois ans, puis en Allemagne, pendant sept ans avant d’être recrutée au CNRS, comme chargée de recherche première classe en 2001.

Pouvez-vous présenter la chaire de recherche que vous portez ? Quel est le thème central et quelles sont les questions que vous souhaitez aborder ?

C’est une chaire de recherche orientée sur la génération de textes. Mon objectif est d’aborder la question suivante : Comment améliorer les sorties de textes générés par les grands modèles de langue pour qu’ils soient factuellement corrects  et cohérents avec les données d’entrée ?

Les grands modèles de langue (Large Language Models, LLM, en anglais) savent très bien générer du texte, donc beaucoup des problématiques sur lesquelles on travaillait auparavant sont devenues caduques. Mais, malgré la bonne qualité des textes générés, ils ne sont pas toujours sémantiquement corrects. Il peut y avoir des informations fausses par rapport à nos connaissances du monde ou incohérentes avec les données d’entrée.

Je travaille principalement sur la génération de texte conditionnelle, c’est-à-dire, la génération de texte à partir d’une donnée d’entrée (base de données, textes, graphes, images, vidéos). Il arrive souvent que le texte généré ne soit pas fidèle aux informations contenues dans les données d’entrée. On parle alors d’hallucinations ou d’omissions (lorsque certaines informations qui devraient figurer dans le texte généré ne sont pas présentes). Je m’intéresse à la résolution de ces problèmes pour améliorer les résultats obtenus sur différentes applications. Le résumé automatique en est un bon exemple : Quand on demande à un LLM de produire un résumé à partir d’un ou plusieurs documents, il faut que le résumé soit factuellement consistant avec les informations données en entrée.

Il y a quelques années j’ai travaillé avec Angela Fan (Meta) pour générer automatiquement des biographies à partir de textes tirés du web. Et là, nous avons vu que pour les biographies des femmes, il y avait beaucoup moins d’informations disponibles et donc que la qualité des textes générés était aussi moindre. On s’est aussi rendu compte que ce problème était aggravé par un contexte multilingue. Par exemple, nous avons observé que lorsqu’on travaille avec des documents en anglais et que l’on cherche à générer la biographie d’une scientifique asiatique, la qualité est fortement dégradée par rapport au texte généré pour une scientifique anglaise. Cela était dû au fait qu’on travaillait uniquement sur des documents en anglais. Évidemment si l’on veut générer la biographie d’une femme thaïlandaise, il vaut mieux aller chercher des textes en thaï. Générer du texte non seulement à partir de documents multiples, mais aussi à partir de sources multilingues est encore une tâche difficile. C’est une autre des thématiques que j’aimerais aborder dans le cadre de la chaire ENACT.

Enfin, je m’intéresse aussi à l’évaluation de ces modèles. Normalement, on donne un « jeu de références » comprenant les « entrées » (les données brutes) et les « sorties » (le type de réponse que l’on souhaite obtenir). On compare ensuite les textes générés par les modèles avec les sorties présentes dans le jeu de référence. Le problème est que dans le contexte multilingue, nous n’avons pas des données de référence permettant d’évaluer le modèle et celles-ci sont très coûteuses à créer. L’un des objectifs de la chaire ENACT est de proposer des méthodes innovantes pour automatiser la création de ces jeux de référence et/ou des métriques « sans référence » qui permettent d’évaluer les sorties des LLMs, non par rapport à des textes de référence, mais par rapport à la donnée d’entrée (par exemple, en comparant un résumé avec le(s) texte(s) à résumer).

Quels types de collaboration souhaitez-vous établir et quels impacts (scientifiques, sociaux, économiques, politiques) espérez-vous à court et long terme ? Comment envisagez-vous le transfert ou la valorisation des connaissances produites ?

Une collaboration académique est en place par le biais d’un contrat doctoral financé par la chaire. Le doctorant sera co-encadré avec le professeur Gatt, de l’université d’Utrecht, au Pays-Bas.

Quant à l’industrie, nous sommes en collaboration avec l’entreprise DeuxTec, basée au Luxembourg dans le cadre de l’encadrement de la thèse d’Alejandra Lorenzo. Cette entreprise développe des logiciels pour le suivi d’activités cliniques dans le domaine de l’oncologie. Avec eux, nous travaillons sur un logiciel permettant de traiter des lettres de cliniciens pour en extraire automatiquement certaines informations (des ensembles d’attributs de valeur) et les transférer vers des formulaires web. Actuellement cette tâche est faite à la main.

J’ai aussi une collaboration avec la start-up nancéenne Cyber4Care, où l’objectif est de développer des agents conversationnels souverains pour les besoins métiers et réglementaires des agents, principalement pour la gestion de crise dans n’importe quel type de milieu (une municipalité, un hôpital, un industriel) tout en assurant la continuité de l’activité.

Une troisième collaboration est en place avec URS (Unified Resource Sphere), une startup parisienne. L’objectif est de développer un logiciel souverain pour la gestion, la traçabilité et la validation de connaissances à partir de textes. Étant donné un besoin informationnel, cette structure permettrait de générer des connaissances (informations validées et sourcées) et de les structurer de manière à pouvoir faire émerger des connexions entre des connaissances venant de différents domaines, favorisant ainsi la sérendipité.

Ces trois projets sont la concrétisation d’une ambition globale : attaquer le problème de la fiabilité des textes produits par les LLM.

Pour aller plus loin :

• Voir les publications de Claire Gardent
• Portrait vidéo fait à l’occasion de la remise de sa médaille d’argent CNRS 2022
• En savoir plus sur le cluster IA Grand Est ENACT

[1] IA Grand Est ENACT est le cluster IA porté par l’Université de Lorraine, en partenariat avec l’Université de Strasbourg, Inria, le CNRS, l’Inserm, le CHRU de Nancy, les Hôpitaux Universitaires de Strasbourg, la Région Grand Est, la Métropole du Grand Nancy, l’Eurométropole de Strasbourg, l’Eurométropole de Metz et une cinquantaine d’entreprises privées. Il est lauréat de l’AMI “IA Cluster” opéré par l’Agence nationale de la recherche pour le compte de l’État, avec le soutien du plan France 2030. Le cluster vise à favoriser les synergies entre les acteurs de l’écosystème IA de la région et sa stratégie se traduit par des actions concrètes sur trois volets : formation, recherche et innovation.

[2] Laboratoire lorrain de recherche en informatique et ses applications (CNRS, Université de Lorraine).

[3] « Génération automatique de textes sémantiquement consistants basée sur les grands modèles de langage ».