2026-7200 - STAGE RÉMUNÉRÉ - Feedback implicite pour l'évaluation automatique d'agents IA F/H
Description du poste :
Au sein de la Direction de la Recherche et de l'Innovation Technologique (DRIT), vous contribuerez à l'amélioration d'ATHENA, notre plateforme agentique qui mobilise plusieurs agents IA spécialisés pour répondre aux besoins des utilisateurs. Aujourd'hui, les utilisateurs peuvent évaluer explicitement les réponses des agents, mais ces retours restent facultatifs et ne couvrent qu'une partie des interactions. Pourtant, leurs comportements au fil d'une conversation fournissent de nombreux indices : reformulation d'une question, demande de précision, correction d'une information, changement d'agent ou encore consultation de sources. Votre défi ? Exploiter ces signaux pour mieux comprendre si une réponse a été utile, sans tirer de conclusions hâtives sur les utilisateurs ou sur la qualité du service rendu. Réaliser un état de l'art sur le feedback implicite, l'analyse des dialogues multi-tours, la satisfaction utilisateur et l'évaluation continue des assistants conversationnels. Définir une typologie de signaux comportementaux observables dans ATHENA. Concevoir un schéma de données reliant les réponses, les actions observables et le contexte des conversations, en veillant à la minimisation et à la traçabilité des données. Constituer un corpus d'étude associant des interactions, des feedbacks explicites lorsqu'ils existent et des annotations de référence. Étudier et comparer différentes approches : règles interprétables, modèles de classification, analyse séquentielle et combinaison de plusieurs signaux. Développer un protocole d'évaluation permettant de mesurer la précision, la calibration, la stabilité et la capacité de généralisation des indicateurs. Concevoir un prototype intégrable à ATHENA pour générer, stocker et visualiser les indicateurs de feedback implicite. Rendre les estimations explicables en identifiant les signaux qui ont conduit à chaque résultat et en permettant leur correction ou leur invalidation. Prendre en compte les enjeux de confidentialité, de biais et d'incertitude en privilégiant des analyses agrégées. L'objectif sera notamment de faire émerger des indicateurs probabilistes et explicables : besoin d'approfondissement, réponse potentiellement incomplète, ambiguïté non levée ou encore tâche vraisemblablement aboutie. NB : Stage à pourvoir à partir de Janvier / Février 2027 pour une durée de 6 mois.
🎓 Vous préparez un diplôme de niveau Bac+5, en dernière année d'école d'ingénieur ou de Master, avec une spécialisation en intelligence artificielle, traitement automatique des langues (TAL/NLP), recherche d'information, data science ou informatique appliquée. 📈 Vous maîtrisez Python et l'analyse de données. 💡 Vous avez des connaissances en NLP/TAL et en modèles de langage. 👩💻 Vous avez des notions de classification, d'analyse de séquences et de statistiques. 🚀 Vous portez un intérêt à l'évaluation des systèmes conversationnels et l'intelligence artificielle responsable. 🤝 Vous êtes autonome, rigoureux(se), doté(e) d'un bon esprit d'analyse et de synthèse.
Lieu : Labège
Niveau d'études min. requis : 5- Master ou MBA
Langue / Niveau :
Français : C1 - Autonome
Offre publiée initialement sur Berger Levrault. Le texte complet et la candidature se trouvent sur le site d'origine.
Autres offres d'emploi près de Labège
2026-7204 - STAGE RÉMUNÉRÉ - GraphRAG pour le code : des métamodèles au graphe de connaissance F/H
Contrat : STAGE Description du poste : Au sein de la Direction de la Recherche et de l'Innovation Technologique (DRIT), vous participerez aux travaux de recherche visant à améliorer les processus de développement logiciel du Groupe grâce à l'intelligence artificielle. Aujourd'hui, les agents IA qui manipulent du code source s'appuient notamment sur des outils simples comme…
il y a 3 jours2026-7197 - STAGE RÉMUNÉRÉ - Auto-complétion métier pour un moteur de réponses F/H
Contrat : STAGE Description du poste : Au sein de la Direction de la Recherche et de l'Innovation Technologique (DRIT), vous contribuerez à l'amélioration d'ATHENA, notre plateforme d'intelligence artificielle qui s'appuie sur plusieurs agents spécialisés pour répondre à des besoins métier. Votre défi ? Concevoir un moteur d'auto-complétion capable de suggérer des expressions…
il y a 8 jours2026-7188 - Stage non rémunéré - Chargé de communication interne et évènementiel F/H
Contrat : STAGE (NON REMUNERE) Description du poste : Organisation de notre évènement solidaire BL Impact Day 2027 : Rechercher de nouveaux partenaires (associations, EHPAD, mairies ...) ; Contribuer au groupe projet : reporting, planning, logistique ; Soutenir notre communauté des référents évènements sur nos autres sites en France (Mauguio, Limonest etc). Animation de la vie…
il y a 12 jours2026-7171 - Chargé de support logiciel - Comptabilité et RH F/H
Contrat : CDI Description du poste : Vous rejoignez notre Service Clients au Pôle Collectivités et Administrations territoriales, afin d'assurer l’assistance à destination de nos collectivités clientes. Vos principales missions sont les suivantes : Assurer l’assistance aux utilisateurs par téléphone. Assister le client en lui offrant un conseil adapté à son contexte.…
il y a 15 jours2026-90986 - CONSEILLER(E) RELATION DEMANDEUR D'EMPLOI à l'agence de LABEGE
Type de contrat : CDD Description du poste : Les conseillers forment le cœur de France Travail. Ils assurent en première ligne notre mission de service public selon le principe de « faire plus pour ceux qui en ont le plus besoin ». Votre mission met en valeur votre sens du relationnel - Vous informez et orientez les usagers qui se présentent à l’accueil de votre agence France…