Modèle de fondation
Un foundation model (modèle de base) est un grand modèle d'IA, préentraîné sur d'énormes quantités de données très variées et adaptable ensuite à de nombreuses tâches en aval. Des exemples connus sont les grands modèles de langage comme GPT, Claude et Gemini. Les foundation models fondent technologiquement de nombreuses applications d'IA modernes, des chatbots à la génération de texte jusqu'aux agents d'IA.
Également connu sous : modèle de base, modèle fondation, foundation model
Qu'est-ce qu'un foundation model ?
Un foundation model, souvent appelé modèle de base, est un modèle d'IA particulièrement grand, préentraîné dans un processus lourd sur d'énormes quantités de données thématiquement larges. Plutôt que d'être développé pour une tâche unique et étroite, le modèle apprend des motifs, relations et représentations générales, transposables à une multitude de cas d'usage.
Le terme a été forgé pour décrire une nouvelle génération de modèles, qui servent de fondement commun à de nombreuses applications. Plutôt que d'entraîner un modèle propre de zéro pour chaque tâche, les entreprises utilisent un modèle de base préentraîné une fois et l'adaptent de façon ciblée. Ce découplage entre préentraînement général et adaptation spécifique est la caractéristique centrale des foundation models.
Les foundation models se caractérisent par leur taille pure : ils se composent d'un nombre énorme de paramètres et sont entraînés sur des volumes de données qu'une entreprise seule pourrait difficilement rassembler ou traiter. De cet entraînement étendu naît une polyvalence remarquable. Des modèles entraînés à l'origine à seulement poursuivre un texte peuvent ensuite traduire, résumer, programmer ou argumenter, sans avoir jamais été explicitement programmés pour ces tâches. C'est précisément cette transposabilité à des tâches jamais vues qui rend les foundation models si précieux et les distingue des systèmes d'IA étroitement spécialisés des générations précédentes.
Comment fonctionne un foundation model ?
Les foundation models reposent en règle générale sur l' Architecture transformer et sont, dans le cadre du self-Supervised Learning entraîné. Le modèle apprend alors à partir de grandes quantités de données non structurées, par exemple des textes issus d'internet, en prédisant par exemple le mot suivant dans une phrase. Il acquiert ainsi une compréhension large de la langue, des faits et des liens, sans que toutes les données d'entraînement doivent être étiquetées à la main.
Après le pré-entraînement, on dispose d'un modèle polyvalent. Pour des cas d'usage concrets, il est encore adapté, par exemple par Fine-tuning sur des données spécifiques, par Prompt engineering ou par la connexion de sources de connaissances externes au moyen de RAG (retrieval-augmented generation). Un modèle de base général devient ainsi une solution spécialisée.
Beaucoup de foundation models passent en outre par une phase d'alignement en aval, où ils sont entraînés à l'aide de retours humains à donner des réponses utiles, sûres et conformes aux attentes des utilisateurs. Cette étape, souvent appelée Reinforcement Learning à partir du retour humain, fait qu'un système brut et purement statistique Modèle de langage devient un assistant utilisable en pratique. C'est la combinaison d'un large pré-entraînement, d'un alignement ciblé et d'une adaptation au cas d'usage qui rend les foundation models modernes si performants au quotidien.
Quels foundation models existe-t-il ?
Les foundation models les plus connus sont les grands modèles de langage (LLM). Il s'agit des GPT-série de OpenAI, qui modèles Claude de Anthropic et les Gemini-modèles de Google. Ces modèles traitent et produisent du langage naturel et fondent de nombreux assistants d'IA et applications génératives connus.
Les foundation models ne se limitent toutefois pas au texte. Il existe aussi des modèles de base multimodaux, qui traitent en plus images, audio ou vidéo, ainsi que des modèles spécialisés pour le code ou des applications scientifiques. À côté des modèles propriétaires des grands fournisseurs existent des familles de modèles ouvertes comme Llama ou Mistral, qui offrent aux organisations plus de contrôle et de possibilités d'adaptation.
Quels avantages les foundation models offrent-ils aux entreprises ?
Le principal avantage tient à la réutilisabilité. Un seul modèle de base préentraîné peut servir de fondement à de nombreuses applications, de la communication client à la génération de texte jusqu'à des agents d'IA complexes. Les entreprises n'ont pas à mener elles-mêmes le préentraînement, lourd et coûteux, mais peuvent s'appuyer sur des modèles existants.
Les barrières d'entrée des projets d'IA baissent ainsi considérablement. Via des interfaces (API), des modèles performants s'intègrent en peu de temps aux systèmes existants. L'adaptabilité, par exemple par fine-tuning ou par du savoir propre à l'entreprise, permet en même temps de tailler les solutions précisément pour chaque cas d'usage.
S'y ajoute un avantage de rapidité : comme l'entraînement de base, lourd, est déjà fait, prototypes et projets pilotes se réalisent nettement plus vite qu'autrefois. Les entreprises peuvent tester des idées rapidement, les valider et les passer à l'échelle en cas de succès, sans longs cycles de développement. Elles profitent en outre continuellement des progrès des fournisseurs, de nouvelles générations de modèles plus performantes devenant souvent disponibles via les mêmes interfaces. Cela fait des foundation models une base pérenne pour une stratégie d'IA large.
Quels défis et quelles limites existe-t-il ?
Les foundation models sont performants mais non infaillibles. Ils peuvent produire des contenus factuellement faux, dits hallucinations, et refléter éventuellement des biais de leurs données d'entraînement. Leur savoir est en outre limité à la date d'entraînement, de sorte que les informations actuelles doivent souvent être complétées par des procédés comme le RAG.
S’y ajoutent des exigences de protection des données, de gouvernance et de conformité, par exemple dans le cadre de l’ Règlement européen sur l’IA. Qui veut employer les foundation models de façon responsable a donc besoin non seulement de la technologie adaptée mais aussi de processus réfléchis d’assurance qualité et d’évaluation des risques. Chez Elisabit, nous aidons les entreprises à choisir le modèle de base adapté, à l’intégrer en sécurité et à le tailler pour le cas d’usage concret, afin qu’un modèle général crée une vraie valeur.
Questions fréquentes
Quelle est la différence entre un foundation model et un LLM ?
Un large language model (LLM) est un type particulier de foundation model spécialisé dans le langage. Le terme foundation model est plus large et couvre aussi modèles multimodaux, qui traitent par exemple l'image ou l'audio. Tout LLM est un foundation model, mais tout foundation model n'est pas un LLM.
Les entreprises doivent-elles entraîner leur propre foundation model ?
Dans la plupart des cas non. Le préentraînement d'un foundation model est extrêmement lourd et coûteux. Les entreprises utilisent à la place des modèles de base existants via des API ou des modèles ouverts et les adaptent à leurs besoins par fine-tuning, prompt engineering ou RAG.
Les foundation models sont-ils toujours des modèles de langage ?
Non. Les modèles de langage en sont les représentants les plus connus, mais il existe aussi des foundation models multimodaux pour l'image, l'audio et la vidéo ainsi que des modèles spécialisés, par exemple pour le code. Décisif est le principe d'un préentraînement large suivi d'une possibilité d'adaptation.
Comment adapter un foundation model à un cas d'usage ?
Il existe plusieurs voies : le prompt engineering pilote le modèle par des instructions habiles, le RAG intègre un savoir actuel ou propre à l'entreprise, et le fine-tuning entraîne le modèle de façon ciblée sur des données spécifiques. Ces méthodes sont souvent combinées.
Termes associés
Un LLM est un modèle de langage qui comprend et produit du texte en prédisant le mot suivant le plus probable.
Le transformer est une architecture d'IA qui saisit les relations dans un texte grâce au mécanisme d'attention.
Le fine-tuning consiste à réentraîner un modèle d'IA pré-entraîné pour un cas d'usage précis.
Le RAG combine un modèle de langage avec la recherche d'informations pertinentes dans des sources externes avant de répondre.
L'IA générative crée de nouveaux contenus — textes, images, audio ou code — à partir de schémas appris.
Mettre l'IA au service de votre entreprise ?
Nous vous aidons à intégrer l'intelligence artificielle dans vos processus, votre marketing et votre site — de manière stratégique et sûre.
Votre interlocuteur
Stefan
J'ai hâte de découvrir votre projet et de trouver ensemble la meilleure solution.
