Qu'est-ce qu'un grand modèle de langage (LLM) ? Guide simple
✦ Points clés
- Un grand modèle de langage est un système d'IA qui prédit le mot (ou jeton) suivant à partir de motifs appris sur d'immenses corpus de texte.
- L'entraînement comporte deux grandes étapes : le pré-entraînement sur d'énormes corpus, puis l'ajustement fin pour rendre le modèle plus utile et plus sûr.
- La fenêtre de contexte détermine la quantité de texte que le modèle peut prendre en compte d'un coup, mesurée en jetons.
- Un modèle peut énoncer des informations fausses avec une totale assurance (hallucination) ; il faut donc vérifier ses réponses pour les tâches importantes.
Qu'est-ce qu'un grand modèle de langage ?
Un grand modèle de langage (Large Language Model, ou LLM) est un type de système d'intelligence artificielle conçu pour comprendre et générer le langage humain. Au fond, un LLM est une gigantesque machine à prédire le mot suivant : on lui fournit un morceau de texte, il estime quel jeton a le plus de chances de venir ensuite, puis il répète cette étape encore et encore pour former des phrases et des paragraphes entiers. Malgré la simplicité de cette idée, l'entraînement sur d'énormes quantités de texte rend le modèle capable de traduire, résumer, répondre à des questions et écrire du code.
Ces modèles reposent sur une architecture de réseau de neurones appelée le Transformer, présentée en 2017. Elle a bouleversé le traitement du langage naturel grâce à son mécanisme d'attention, qui permet au modèle de pondérer l'importance de chaque mot par rapport à tous les autres mots du texte.
Générateur de factures & devis
Factures pro calculées et imprimées/PDF en une minute.
Jetons et paramètres : les briques de base
Un modèle ne lit pas les lettres comme nous. Il découpe le texte en petites unités appelées jetons (tokens). Un jeton peut être un mot entier, une partie de mot, ou même un signe de ponctuation. En règle générale en anglais, un jeton équivaut à environ quatre caractères, soit à peu près trois quarts d'un mot.
Les paramètres sont les valeurs numériques internes que le modèle ajuste pendant l'entraînement ; ce sont eux qui stockent tout ce que le modèle a « appris ». Plus un modèle a de paramètres, plus il peut capturer des motifs complexes. Les modèles récents vont de quelques milliards à des centaines de milliards de paramètres. Le GPT-3 d'OpenAI, par exemple, comptait environ 175 milliards de paramètres, tandis que des modèles ouverts plus petits, de 7 ou 8 milliards de paramètres, peuvent fonctionner sur du matériel bien moins puissant.
Comment un modèle est-il entraîné ?
L'entraînement se déroule généralement en deux étapes. La première est le pré-entraînement, où le modèle est exposé à d'immenses quantités de texte issues de livres, de sites web et d'articles, et apprend de façon répétée à prédire le jeton suivant. Cette étape est coûteuse et peut durer des semaines sur des milliers de processeurs graphiques (GPU) spécialisés.
La seconde étape est l'ajustement fin (fine-tuning), où le modèle est affiné sur des données plus ciblées pour le rendre plus utile et plus sûr. L'une des techniques les plus connues est l'apprentissage par renforcement à partir de retours humains (RLHF), dans lequel des personnes évaluent la qualité des réponses du modèle pour l'orienter vers des réponses plus exactes et appropriées.
Fenêtre de contexte et hallucination
La fenêtre de contexte est la quantité de texte qu'un modèle peut prendre en compte d'un seul coup, mesurée en jetons. Si la fenêtre de contexte est de 128 000 jetons, le modèle peut effectivement « se souvenir » de l'équivalent de centaines de pages au sein d'une même conversation. Tout texte dépassant cette limite échappe à l'attention du modèle.
L'hallucination désigne le fait qu'un modèle produise une information qui semble plausible mais qui est en réalité incorrecte ou entièrement inventée, et qu'il la présente avec une totale assurance. Cela se produit parce que le modèle génère un texte statistiquement probable et non des faits vérifiés. C'est pourquoi il faut toujours contrôler les réponses pour les tâches sensibles comme la médecine, le droit ou tout ce qui touche aux chiffres.
| Terme | Signification simple |
|---|---|
| Jeton (Token) | La plus petite unité de texte traitée par le modèle ; un mot ou une partie de mot. |
| Paramètre | Valeur numérique interne ajustée à l'entraînement qui stocke ce que le modèle a appris. |
| Fenêtre de contexte | Quantité de texte traitée en une fois, mesurée en jetons. |
| Ajustement fin (Fine-tuning) | Affinage d'un modèle pré-entraîné sur des données précises pour améliorer ses performances. |
| Hallucination | Production par le modèle d'informations fausses ou inventées, énoncées avec assurance. |
Cas d'usage et limites
Les grands modèles de langage sont utilisés dans de nombreux domaines : rédaction de brouillons et résumé de longs documents, traduction entre langues, aide aux programmeurs pour écrire et déboguer du code, alimentation des agents conversationnels du service client, et recherche dans des bases de connaissances. Mais ils ont des limites claires. Ils ne « comprennent » pas le monde comme une personne, ils peuvent reproduire les biais présents dans leurs données d'entraînement, leurs connaissances sont figées à leur dernière date d'entraînement à moins d'être reliés à des outils de recherche externes, et leur exploitation à grande échelle peut être coûteuse. La règle d'or est de traiter un LLM comme un assistant puissant qui a besoin d'une supervision humaine, et non comme une source ultime de vérité.