Initiation au prompt engineering - Youri Minne & Sylvain Tillon

🎙️ Invités

Youri Minne (Perroquet du Gabon) est doctorant en sciences cognitives chez Sydo. Le choix du perroquet est anecdotique : Youri a passé deux heures et demie à comparer chaque animal avant de devenir fou et de demander de l'aide à Clément pour choisir. Une touche d'ironie : quelqu'un spécialisé en IA qui n'a pas demandé à ChatGPT de choisir !

Sylvain Tillon (Hippopotame africain) est cofondateur de l'école Le Bahut, qui forme des concepteurs pédagogiques avec garantie d'un premier job à l'issue de la formation. Le Bahut prépare également le lancement d'une formation de chefs de projet en intelligence artificielle (objectif : mars 2024). Sylvain était précédemment à Montréal et est de retour en France à Lyon. L'hippopotame représente quelqu'un qui aime "foutre le bordel et en mettre un peu partout".

📍 Description générale du podcast

Enregistrée lors du Learning Show à Rennes, cette interview explore le Prompt Engineering et les applications de l'intelligence artificielle en éducation. L'atelier proposé vise à apprendre à dialoguer avec l'IA pour obtenir le meilleur résultat et surtout à l'inclure pour accompagner les apprenants dans leur apprentissage.

Qu'est-ce que le Prompt Engineering ?

Un Prompt Engineer est un ingénieur de requêtes. Les requêtes sont des messages qu'on envoie à un modèle de langage. L'idée derrière ce nouveau métier : la capacité d'une personne à dialoguer de la manière la plus adaptée pour obtenir le résultat le plus correct.

À l'époque des "playground" (avant ChatGPT), il fallait gérer de nombreux paramètres. Les Prompt Engineers étaient capables d'ajuster ces paramètres et de poser les bonnes questions pour obtenir le bon retour de l'IA.

L'évolution : de moins en moins nécessaire ?

Aujourd'hui, le Prompt Engineering strict devient moins nécessaire grâce à de nouveaux outils :

• Copilot : tu donnes une grande idée, il te pose des questions pour t'amener à avoir un prompt parfait
• Leonardo (création d'images) : tu peux lui demander de générer des prompts pour toi
• Gamma (G-A-M-M-A) : pour générer des PowerPoint automatiquement à partir de texte

Au fur et à mesure que les modèles et interfaces se développent, on aura de moins en moins besoin d'être pointilleux sur le message envoyé à l'IA. Mais en éducation, où il y a des milliers de paramètres (public, contraintes, objectifs), le Prompt Engineering reste pertinent.

L'importance de la formation au Prompt Engineering

Même si des outils facilitateurs arrivent, comprendre le Prompt Engineering reste important car :

• Ça ouvre l'esprit sur comment dialoguer avec une IA
• On ne peut pas juste dire "fais-moi un quiz" - ces trois mots ne permettent pas à l'IA de faire quelque chose d'adapté
• Il existe un domaine open source de personnes qui partagent des prompts et font avancer le sujet
• Il y a beaucoup de formations "phénomène de mode" limitées en contenu, mais aussi de vraies ressources de qualité

Clément souligne l'intérêt de sa formation Coursera sur le Prompt Engineering : comprendre les différents modèles et leurs cas d'usage ouvre l'esprit sur comment dialoguer avec ces IA.

Le problème des hallucinations et l'importance de l'expertise

L'IA générative raconte parfois de la merde. Exemples :

• Livret sur la fabrication du beurre : l'IA répond 77 litres de lait pour 1 kg de beurre (correct : 22 selon Candia)
• Article fake sur faire fondre un œuf dans un four (un œuf cuit, il ne fond pas)

Règle d'or : Il faut être expert de son sujet pour être capable de vérifier ce que l'IA raconte. L'IA va rendre les gens très bons excellents, et les gens pas bons pires. Ne commencez pas un sujet en tant que novice avec l'intelligence artificielle.

La solution : donner des inputs à l'IA

Plutôt que de laisser l'IA générer à partir de rien, il est préférable de :

• Fournir des sources : "Crée-moi un quiz sur ce PowerPoint, sur ce livret que j'ai écrit, sur ce cours qui existe"
• Utiliser des technologies comme LangChain et la vectorisation : on charge une base de données, on entraîne l'IA uniquement sur ces données, et elle ne répondra que sur ces données-là

Exemple du chatbot pour les étudiants du Bahut : Youri a créé un bot avec tous les contenus de cours, plannings, dates, horaires, intervenants. Les étudiants peuvent demander à minuit : "Demain c'est à quelle heure ? Présentiel ou distanciel ? Rappelle-moi la taxonomie de Bloom." Le bot cherche dans les centaines de pages fournies et ne dit pas de conneries. Si tu demandes la météo, il ne sait pas car on lui a dit : "Tu ne réponds qu'avec ce qu'on t'a donné."

Le bot peut répondre en texte ou en vidéo avec un avatar de Youri. Qualité de réponse, de voix et rapidité sont bonnes. Disponibilité H24/7j7.

Les 3 axes d'usage de l'IA en éducation

Youri et Sylvain ont identifié trois axes accessibles, peu coûteux, pertinents pour les concepteurs pédagogiques :

1. Génération de contenu pédagogique

Quiz, déroulés, diaporamas, images, voix-off, vidéos. Si on donne les bons inputs et consignes, l'IA accompagne dans la rédaction.

Conseil : jouer avec l'IA comme un ping-pong, comme avec un miroir, comme avec un autre formateur. Elle n'aura pas toujours la réponse du premier coup, il faut l'amener à affiner.

Technique de persona : "T'es un super enseignant d'HEC qui a 10 ans d'expérience sur ce sujet, t'as écrit un bouquin là-dessus... Maintenant tu vas m'aider à créer un déroulé pédagogique." Il faut créer un personnage pour qu'elle réponde à la bonne cible avec le bon ton et le bon niveau de granularité.

Exemple concret : cahier de vacances personnalisé. On remplit un cadre : "Il aime le PSG, il est en 5ème, il veut réviser les maths." L'IA sort un cahier de 40 pages adapté au programme de 5ème avec des questions sur Mbappé.

2. Se faire accompagner par l'IA pour se challenger

Axe intéressant pour les concepteurs frileux vis-à-vis de l'IA et de la remise en cause de leur métier. ChatGPT est assez mauvais pour définir des objectifs pédagogiques.

L'idée : conditionner GPT à nous poser des questions pour construire un déroulé pédagogique. Globalement, c'est comme simuler un brainstorming avec d'autres concepteurs. On ne se pose pas la question de savoir si l'IA a généré le contenu puisque c'est nous qui générons, mais l'IA pose les bonnes questions pour faire avancer notre raisonnement.

Quand on est seul dans son entreprise, on n'a pas cette perspective de pouvoir se challenger sur un contenu. L'IA offre ça.

3. Inclure l'IA comme contenu d'apprentissage

Plutôt que d'utiliser l'IA pour générer, l'inclure directement dans le e-learning ou programme pédagogique :

• Chatbot ou agent pédagogique avec lequel on dialogue sur un contenu
• Storytelling : enquête policière avec un chatbot commissariat
• Exemple Khan Academy : chatbot boosté à l'IA dans des modules e-learning (ultra puissant)

Objectif : rendre l'apprentissage multimédia moins solitaire, avec une vraie interaction avec le contenu. Dialogue possible 24h/24, 7j/7.

Outils pour créer des chatbots

Contrairement à ce qu'on pourrait penser, c'est accessible à tous avec la démocratisation des outils :

• Chatbase
• Chatfuel
• Solutions open source gratuites en no-code sur GitHub

On donne son document, on donne le rôle du chatbot, et en deux-trois clics c'est fait. Attention à ne pas payer trop cher une solution puisqu'il en existe des milliers.

La qualité du chatbot dépendra du Prompt Engineering : les consignes données, les documents fournis.

L'IA et l'humain : quelle place pour le formateur ?

Message central : un chatbot ce n'est pas un homme. Accompagner quelqu'un à apprendre, c'est bien plus que du contenu et de la présence, c'est aussi de l'humain.

L'idée n'est pas de remplacer là où il y avait un humain. C'est plutôt d'ajouter cette dimension d'interaction dans les dispositifs asynchrones où on n'a pas d'accompagnement humain.

L'IA permet au prof de gagner du temps qu'il peut réinvestir ailleurs. L'IA peut être vue comme un outil qui rapproche les apprenants et l'humain car le prof aura plus de temps à passer avec eux.

Ce qui prend trois jours de travail pour un prof (programmes individualisés selon niveau d'avancement) prend maintenant trois heures.

Changement de posture du formateur : l'IA va enlever "tous les devoirs à la con que l'IA sait faire". Ça sera au prof d'être intelligent pour créer des devoirs que l'IA ne sait pas faire et qui vont vraiment montrer la créativité ou la compréhension de l'étudiant. Un quiz, l'IA répondra mieux que le prof.

Dimensions avancées de l'IA

Youri mentionne que les modèles progressent sur des fonctions cognitives comme la théorie de l'esprit et l'empathie. Des études montrent que l'IA peut détecter la dépression là où les humains ne sont pas en mesure de le faire. L'IA sera plus observatrice que nous sur certains aspects du comportement et des fonctions cognitives.

C'est une vraie complémentarité à l'humain, pas un remplacement.

E-learning à contenu dynamique

Sylvain et Youri travaillent sur un modèle d'e-learning où le contenu se génère à la volée et est différent potentiellement chaque jour car la base est nourrie quotidiennement. Si tu t'inscris aujourd'hui, tu n'auras pas le même contenu que dans six mois car le sujet aura évolué.

Exemple digital learning : en 2022 il fallait savoir concevoir une formation, créer des contenus dans Storyline, évaluer et accompagner. Aujourd'hui il faut savoir écoconcevoir, s'adapter aux apprenants, et utiliser l'IA. Un contenu créé il y a cinq ans est complètement obsolète.

Vérifier les réponses de l'IA

Sylvain est passionné de désinformation. L'IA est très forte pour créer des fake news, parfois sans même le savoir.

Conseils :

• Ne commencez pas un sujet en tant que novice avec l'IA
• Demandez-lui des ressources plutôt que du contenu : "Donne-moi des ressources sur ce sujet"
• Utilisez des plugins pour connecter GPT à Internet ou aux papiers de recherche
• Une fois que vous maîtrisez un peu le sujet, vous pouvez vérifier et valider ce que dit GPT

Mots de conclusion

Youri : L'IA a révélé les problématiques de notre système scolaire (classes de 40-30, pas d'adaptation, profs pas hyper pédagogues). Elle nous poussera à nous réinventer. Il n'est même pas sûr que l'IA soit nécessaire au futur système scolaire. C'est l'Adaptive Learning qui le fascine et qui sera le futur de l'éducation (promesse de revenir en parler).

Sylvain : On met en avant les hallucinations de l'IA, mais il en voit autant dans des cours de grandes écoles. Attention de ne pas se cacher derrière "l'IA n'est pas très forte" car en fait l'IA est quand même très forte et peut nous permettre d'aller vachement loin. Pour les gens très bons, ça va les rendre vraiment excellents.

Réflexion sur l'externalisation cognitive

Clément soulève le débat philosophique : capacité de synthétisation, capacité d'argumentation - est-ce que ce sont des compétences qu'on accepte de perdre au fil du temps ? Comme l'invention de l'imprimerie qui a permis de stocker la connaissance et de se débarrasser du coût de mémorisation, l'IA nous fera évoluer et développer d'autres compétences. La question : en quoi l'IA va nous permettre de développer de nouvelles compétences en externalisant les compétences cognitives ?