Apprentissage few-shot
Le few-shot learning (ou few-shot prompting) désigne la démarche consistant à montrer à un modèle de langage, dans le prompt, quelques exemples de la tâche voulue, avant l'entrée proprement dite. Le modèle tire de ces démonstrations le motif, le format et le comportement souhaités et les transpose au nouveau cas. Contrairement à l'entraînement classique, aucun poids du modèle n'est modifié ; l'apprentissage se fait uniquement dans la fenêtre de contexte, à l'exécution. Le few-shot learning est ainsi une méthode rapide et sobre en données pour piloter les sorties d'un modèle sans fine-tuning.
Également connu sous : few-shot prompting, apprentissage few-shot, apprentissage à quelques exemples
Le principe de l'in-context learning
Le few-shot learning est une forme d'apprentissage en contexte. Plutôt que d'adapter un modèle à une tâche par un nouvel entraînement, on place la consigne nécessaire directement dans le prompt. Un prompt few-shot typique contient plusieurs paires entrée-sortie comme exemples, suivies de l'entrée réelle, encore sans réponse. Le modèle reconnaît le motif et le complète de façon cohérente.
Le terme vient de l'observation que les grands modèles de langage sont étonnamment bons pour généraliser à partir de quelques démonstrations seulement. Là où des méthodes plus anciennes exigeaient des milliers de points de données annotés, une poignée d'exemples bien choisis suffit souvent ici à fixer de façon fiable le format et le style de la réponse.
Important : cet apprentissage est éphémère. Il ne vaut que pour l’appel en cours et disparaît ensuite. Au prompt suivant, le modèle doit revoir les exemples. Cela distingue fondamentalement le few-shot learning du Fine-tuning, où le comportement appris est ancré durablement dans les poids.
Zero-shot, one-shot et few-shot en comparaison
Selon le nombre d’exemples fournis, on distingue trois niveaux. Dans le zero-shot prompting le modèle ne reçoit que la consigne, sans exemple. Dans le one-shot,Prompting s’ajoute exactement un exemple, dans le few-shot prompting plusieurs. Plus d’exemples aident surtout quand le format voulu est inhabituel ou que la tâche comporte des subtilités difficiles à décrire.
Le tableau suivant compare les trois variantes. Règle générale : plus la tâche est claire et courante, plus le zero-shot suffit ; plus le format ou le ton doivent être spécifiques, plus les exemples valent la peine. Les exemples occupent toutefois de la place dans le Fenêtre de contexte et augmentent le coût par requête.
En pratique, le few-shot learning est un outil central du prompt engineering. Il comble l'écart entre une simple instruction et un modèle spécialisé entièrement entraîné et livre déjà de très bons résultats sur beaucoup de tâches, sans que des données d'entraînement ou une infrastructure propres soient nécessaires.
Un exemple parlant est la classification de messages clients en catégories comme réclamation, demande ou compliment. Si l'on montre au modèle, pour chaque catégorie, un ou deux messages typiques avec le bon classement, il range ensuite les nouveaux messages bien plus justement que s'il ne connaît que les noms de catégories sans exemple. C'est précisément cette démonstration du comportement voulu qui est au cœur du principe few-shot.
| variante | Exemples dans le prompt | Quand utiliser |
|---|---|---|
| Zero-Shot | aucune | Tâches claires et courantes avec une consigne univoque |
| One-Shot | exactement un | Quand le format voulu doit être montré par un exemple |
| Few-Shot | plusieurs (par ex. 2 à 5) | Formats particuliers, tonalité ou distinctions fines |
| Many-Shot | nombreux (des dizaines) | Schémas difficiles, si la fenêtre de contexte le permet |
Choisir de bons exemples
La qualité d'un prompt few-shot tient au choix des exemples. Ils devraient être représentatifs des entrées réelles, montrer exactement le format de sortie voulu et être cohérents entre eux. Des exemples contradictoires ou mal formatés embrouillent le modèle plus qu'ils ne l'aident.
L'ordre et la variété des exemples jouent aussi un rôle. Si l'on couvre différents cas typiques, par exemple des longueurs d'entrée différentes ou des cas particuliers, le modèle généralise de façon plus robuste. Pour des tâches de classification, il est recommandé de présenter les catégories de façon équilibrée, afin que le modèle n'en privilégie aucune.
Enfin, il faut garder l’équilibre entre utilité et coût. Chaque exemple consomme Tokens et donc la fenêtre de contexte et le budget de calcul. Plus d’exemples apportent souvent un bénéfice rapidement décroissant, d’où l’intérêt de choisir le plus petit nombre donnant des résultats fiables.
- 1Formuler clairement la tâche et définir le format de sortie souhaité
- 2Rassembler deux à cinq paires entrée-sortie représentatives comme exemples
- 3Vérifier la cohérence du format et l’équilibre des cas dans les exemples
- 4Ajouter l’entrée réelle et évaluer le résultat
- 5Réduire progressivement le nombre d’exemples tant que la qualité reste stable
Limites et alternatives
Le few-shot learning est puissant mais ne convient pas à tout. Les exemples occupent de la place dans la fenêtre de contexte, place qui manque ensuite pour l'entrée elle-même. Avec des entrées très longues ou de nombreux exemples nécessaires, la méthode atteint ses limites et les coûts par requête montent sensiblement.
Si la même tâche doit être résolue à grand volume et de façon toujours constante, le fine-tuning peut à terme revenir moins cher et être plus fiable, le comportement étant alors ancré dans le modèle sans exemples. Pour les tâches à forte densité factuelle, une combinaison avec du retrieval, soit l'injection ciblée de savoir, est souvent la meilleure voie.
Dans de nombreux cas réels Solutions IA le few-shot learning est donc combiné à d’autres techniques : un prompt système clair pour le rôle, quelques exemples pour le format et, le cas échéant, un contexte récupéré pour les faits. Cette superposition livre souvent le meilleur mélange de pilotage, d’exactitude et d’effort.
Questions fréquentes
Qu'est-ce que le few-shot learning simplement expliqué ?
Le few-shot learning consiste à donner à un Modèle de langage de montrer quelques exemples de la tâche souhaitée directement dans le prompt, avant l'entrée proprement dite. Le modèle reconnaît le motif et résout la nouvelle tâche selon le même schéma. Rien n'est réentraîné ; l'apprentissage se fait seulement pour cet appel, dans la fenêtre de contexte.
Combien d'exemples le few-shot learning nécessite-t-il ?
Il n'existe pas de nombre fixe ; deux à cinq exemples bien choisis suffisent souvent. Plus important que la quantité est que les exemples soient représentatifs, formatés de façon cohérente et équilibrés. Mieux vaut commencer avec peu et n'augmenter le nombre que tant que les résultats s'améliorent de façon mesurable.
En quoi le few-shot se distingue-t-il du fine-tuning ?
Dans le few-shot learning, les poids du modèle restent inchangés ; les exemples n'agissent que dans le prompt en cours et doivent être fournis à chaque appel. Dans le fine-tuning, le modèle est adapté durablement par des données d'entraînement. Le few-shot est plus rapide et sobre en données, le fine-tuning vaut la peine à volume élevé et constant.
Quand utiliser le few-shot plutôt que le zero-shot ?
Le zero-shot suffit souvent pour des tâches claires et courantes à instruction non équivoque. Le few-shot vaut la peine quand un format de sortie inhabituel, un ton précis ou des distinctions fines difficiles à décrire par des mots sont attendus. Des exemples montrent alors le comportement voulu plus sûrement que n'importe quelle instruction.
Quels inconvénients le few-shot learning a-t-il ?
Les exemples occupent de la place dans la fenêtre de contexte et augmentent le coût par requête, puisqu'ils consomment des tokens supplémentaires. Avec des entrées très longues ou de nombreux exemples nécessaires, la méthode atteint ses limites. Des exemples mal choisis ou contradictoires peuvent en outre dégrader les résultats au lieu de les améliorer.
Puis-je combiner le few-shot learning avec d'autres techniques ?
Oui, c'est même courant. En pratique, le few-shot se combine souvent avec un prompt système clair pour le rôle et avec du retrieval pour les faits actuels. Cette superposition allie le pilotage du format par les exemples et l'exactitude par le savoir récupéré et livre souvent de meilleurs résultats que chaque technique isolée.
Termes associés
Approche où un modèle de langage résout une tâche à partir de la seule consigne, sans exemple dans le prompt.
Le prompt engineering est l'art de formuler les instructions données à l'IA pour que les modèles de langage donnent de meilleurs résultats.
Modèle de prompt réutilisable, avec espaces réservés et variables, brique de base des applications LLM robustes.
Le fine-tuning consiste à réentraîner un modèle d'IA pré-entraîné pour un cas d'usage précis.
La fenêtre de contexte est le nombre maximal de tokens qu'un modèle de langage peut prendre en compte simultanément.
Le chain of thought est une technique par laquelle un modèle de langage raisonne étape par étape pour mieux résoudre les tâches.
Mettre l'IA au service de votre entreprise ?
Nous vous aidons à intégrer l'intelligence artificielle dans vos processus, votre marketing et votre site — de manière stratégique et sûre.
Votre interlocuteur
Stefan
J'ai hâte de découvrir votre projet et de trouver ensemble la meilleure solution.
