Grands modèles de langage
Ce n'est pas Google. Ce n'est pas un moteur de recherche. C'est quelque chose de fondamentalement différent.
La vérité
Un LLM fait une seule chose : prédire le token le plus probable après une séquence.
C'est tout. Mais faire ça sur des billions de textes, avec des centaines de milliards de paramètres, fait émerger des capacités que personne n'avait anticipées.
Un LLM est entraîné sur une tâche simple : étant donné les N tokens précédents, prédire le token suivant. Rien d'autre.
Mais en faisant ça sur des billions de tokens issus de l'intégralité du web, de livres, de code — le modèle développe des capacités émergentes : traduire, coder, raisonner, résumer. Ces capacités n'ont jamais été programmées. Elles apparaissent spontanément à grande échelle.
C'est ça qui est fascinant et inquiétant à la fois : on ne sait pas exactement pourquoi ça marche aussi bien.
Étape 1
Il découpe tout en tokens — des morceaux de mots, des ponctuations, des espaces.
Un token est l'unité de base qu'un LLM traite. En anglais, 1 token ≈ ¾ de mot. En français c'est souvent moins efficace — notre morphologie est plus complexe.
"intelligence" = 1 token. "artificielle" = 2 tokens. "ChatGPT" = 3 tokens. Les mots rares sont découpés en sous-mots.
Chaque token reçoit un identifiant numérique unique. GPT-4 a un vocabulaire de ~100 000 tokens. Pourquoi des tokens et pas des lettres ? Trop de séquences longues. Pas des mots entiers non plus : les mots rares seraient mal gérés. Les tokens sont le bon compromis.
Étape 2
Roi − Homme + Femme = Reine.
Les mots ont une géographie.
Chaque token est transformé en un vecteur — un tableau de nombres (768 à 4096 dimensions). Ces vecteurs encodent le sens du mot.
Les mots sémantiquement proches ont des vecteurs proches. La fameuse équation Roi − Homme + Femme ≈ Reine est une propriété géométrique réelle de cet espace.
On ne peut pas visualiser 4096 dimensions — on projette en 3D via PCA ou t-SNE pour l'illustration, mais l'idée est la même.
Survole un mot pour voir ses connexions d'attention
Étape 3
Pour prédire un mot, le modèle "regarde" tous les autres mots et décide lesquels sont pertinents.
L'attention permet à chaque token de "consulter" les autres tokens de la séquence. Pour chaque paire (A, B), le modèle calcule un score d'attention — à quel point B est utile pour comprendre A.
Dans "La banque sur la rive du fleuve était fermée", le mot "banque" doit regarder "fleuve" et "rive" pour comprendre qu'il s'agit d'une berge, pas d'une institution financière. L'attention lui permet de faire ça.
Les Transformers ont plusieurs têtes d'attention en parallèle — chacune apprend à regarder des relations différentes (syntaxe, sémantique, coréférences…). C'est ce parallélisme qui les rend si puissants.
Étape 4
Le modèle lit un texte, prédit le mot suivant, se trompe, se corrige. Des milliards de fois.
L'entraînement d'un LLM coûte des dizaines à des centaines de millions de dollars. GPT-4 : estimé à ~100M$. Il faut des milliers de GPU pendant des mois.
Les données viennent de CommonCrawl (une copie d'une grande partie du web), de livres, de Wikipedia, de GitHub, de conversations. Tout est mélangé, filtré, dédupliqué.
À chaque étape : forward pass (prédire), calcul de l'erreur, backpropagation, mise à jour des poids. Des billions de fois. Une fois entraîné, les poids sont figés — c'est le modèle de base.
En action
Le modèle génère du texte un token à la fois. Chaque choix influence le suivant.
À chaque étape, le modèle calcule une distribution de probabilités sur tout son vocabulaire (~100 000 tokens). Il choisit un token selon cette distribution, l'ajoute à la séquence, et recommence.
Ce processus est appelé autoregressive generation — chaque token généré devient partie du contexte pour le suivant. C'est pourquoi une erreur tôt peut dérailler toute la suite.
C'est aussi pourquoi les LLM sont lents à générer du texte long — il n'y a pas de raccourci, chaque token demande un forward pass complet.
Paramètre clé
Température = 0 : toujours le même mot.
Température = 2 : parfois du génie, souvent du délire.
La température est un paramètre qui modifie la distribution de probabilités avant l'échantillonnage. À température 0, le modèle choisit toujours le token le plus probable — déterministe et répétitif. À température élevée, les probabilités s'aplatissent et des tokens moins probables sont choisis.
En pratique : température 0.2 pour du code (on veut de la précision), 0.7-0.9 pour de la rédaction créative, 1.5+ pour de la poésie ou des associations d'idées surprenantes.
Il existe aussi d'autres stratégies d'échantillonnage : top-k (ne considérer que les k tokens les plus probables) et top-p / nucleus sampling (ne considérer que les tokens couvrant p% de la probabilité totale).
Le talon d'Achille
Le modèle prédit toujours quelque chose.
Même quand il ne sait pas.
Un LLM ne "sait" pas qu'il ne sait pas. Il n'a pas de mécanisme interne pour dire "je n'ai pas cette information". Il produit toujours le token le plus probable — même si c'est faux.
Les hallucinations sont structurelles, pas des bugs à corriger. Elles découlent directement du mécanisme de prédiction. Un modèle qui prédit "l'article de Nature publié en 2019 par Chen et al." invente les détails parce que c'est la continuation la plus probable statistiquement.
Solutions partielles : RAG (Retrieval-Augmented Generation — donner des sources au modèle), fine-tuning sur des données vérifiées, ou simplement toujours vérifier les faits importants.
La transformation
Un modèle de base prédit du texte.
Un assistant suit des instructions.
Le modèle de base (pre-trained) prédit du texte — il peut continuer "La recette de la tarte est : ingrédients..." mais ne suit pas d'instructions.
Le fine-tuning supervisé (SFT) l'entraîne sur des exemples de conversations humaines de qualité. Il apprend le format question-réponse.
Le RLHF (Reinforcement Learning from Human Feedback) va plus loin : des humains notent les réponses du modèle, un modèle de récompense est entraîné sur ces notes, puis le LLM est optimisé pour maximiser cette récompense. C'est ce qui rend Claude ou ChatGPT "agréables" à utiliser.
Anthropic utilise une variante appelée Constitutional AI — le modèle apprend des principes éthiques explicites, pas seulement des préférences humaines.