About this role
Summary: Evaluate the effectiveness and accuracy of large language model-generated queries used in human-system dialogues for critical systems. Translate these queries into semantic knowledge graphs and compare them to expert-verified ground truth using semantic graph distance metrics.
Lieu : Palaiseau, France
Construisons ensemble un avenir de confiance
Thales est un leader mondial des hautes technologies spécialisé dans trois secteurs d’activité : Défense & Sécurité, Aéronautique & Spatial, et Cyber & Digital. Il développe des produits et solutions qui contribuent à un monde plus sûr, plus respectueux de l’environnement et plus inclusif. Le Groupe investit près de 4,5 milliards d’euros par an en Recherche & Développement, notamment dans des domaines clés de l’innovation tels que l’IA, la cybersécurité, le quantique, les technologies du cloud et la 6G. Thales compte près de 85 000 collaborateurs dans 65 pays.
Nos engagements, vos avantages
- Notre savoir-faire technologique
- Notre attention portée à l’équilibre des collaborateurs
- Un environnement inclusif et bienveillant
- Un engagement sociétal et environnemental reconnu (Thales Solidarity, indice CAC 40 ESG…)
Votre quotidien
Thales Research&Technology, notre centre de recherche dans les domaines matériels, et CortAIx Labs, notre centre de recherche en IA et digital ont pour mission de proposer des innovations de ruptures, de maintenir et d’accroitre l’avance technologique et d’en assurer la compétitivité pour le groupe.
Les systèmes critiques exigent des interactions homme-système hautement fiables, où la précision et l’interprétabilité sont primordiales. Les progrès récents dans les grands modèles de langage (LLM) offrent des capacités prometteuses pour générer des requêtes complexes à partir d’entrées en langage naturel. Dans ce stage, nous nous concentrerons sur les contextes où les LLM sont utilisés pour générer soit des requêtes sur des bases de données, soit des commandes vers des sous-systèmes.
Dans ce contexte, le but de ce stage est d’évaluer l’efficacité et la précision des requêtes générées par LLM utilisées pour les dialogues homme-système dans les systèmes critiques. Les requêtes générées seront traduites en graphes de connaissances sémantiques et comparées aux graphes de vérité terrain fournis par des experts du domaine, à l’aide de métriques de distance de graphe sémantique.
Vos missions
- Mener une enquête de pointe sur les LLM pour la génération de requêtes et l’évaluation des résultats des LLM.
- Définir une méthodologie rigoureuse pour générer, traduire et comparer les requêtes dans le contexte des interactions homme-système.
- Développer un cadre d’évaluation intégrant les requêtes générées par LLM, des données de réalité de terrain expertes et des outils de comparaison de graphes sémantiques.
- Appliquer et valider le cadre d’évaluation sur un cas d’utilisation réel de Thales, afin d’évaluer la performance et la fiabilité des requêtes générées par LLM.
- Analyser les résultats, identifier les limites et les améliorations potentielles, et documenter les conclusions.
Résultats attendus :
- Une revue exhaustive de la littérature et une analyse de pointe.
- Une méthodologie détaillée pour évaluer la génération de requêtes basée sur le LLM via l’analyse sémantique des graphes.
- Un cadre d’évaluation et une panoplie d’outils mis en œuvre.
- Résultats expérimentaux sur un cas critique pertinent d’utilisation du système.
- Un rapport final résumant la méthodologie, les expériences et les recommandations.
Votre profil
Etudiant en Master 2 / 3e année d'école d'ingénieur ou équivalent, vous recherchez un stage de fin d'études de 6 mois.
Vous avez des connaissances initiales dans les domaines suivants : traitement du langage naturel, graphiques de connaissance, ontologies, grands modèles de langage et langages de requête (de préférence cyber) ?
Alors n'hésitez pas, ce stage est fait pour vous !
Tous nos stages sont conventionnés et soumis à une gratification dont le montant est déterminé selon votre niveau d’études.
Thales, entreprise Handi-Engagée, reconnait tous les talents. La diversité est notre meilleur atout. Postulez et rejoignez nous !