Modèles de diffusion
Elle est débruitée. Le modèle part d'un chaos de pixels aléatoires et retire le bruit étape par étape jusqu'à faire émerger une image cohérente.
Le concept clé
Du bruit c'est des pixels aléatoires. Rien à voir avec une image. Et pourtant c'est de là que part la génération.
En entraînement, on fait l'inverse : on prend une vraie image et on lui ajoute du bruit progressivement. Le modèle apprend à reconnaître ce bruit pour pouvoir l'enlever.
Le bruit gaussien est une distribution statistique où chaque pixel prend une valeur aléatoire selon une courbe en cloche. C'est le bruit le plus "neutre" mathématiquement — il ne favorise aucune structure.
L'intuition : si on peut apprendre à défaire le bruit, on peut partir de bruit pur et générer n'importe quelle image. C'est l'idée géniale des modèles de diffusion, formalisée par Ho et al. en 2020 (DDPM).
En pratique, le processus de bruitage se fait en T étapes (typiquement 1000). À chaque étape, on ajoute une petite quantité de bruit. Le modèle apprend à inverser chacune de ces étapes.
L'entraînement
On ne lui apprend pas à dessiner. On lui apprend à reconnaître le bruit pour pouvoir l'enlever.
L'entraînement est surprenant dans sa simplicité conceptuelle : on prend une image, on lui ajoute du bruit niveau t, et on demande au réseau de neurones de prédire exactement ce bruit.
La loss est simple : erreur quadratique entre le bruit réel ajouté et le bruit prédit par le modèle. Après des milliards d'exemples, le modèle devient très bon pour estimer "quel bruit a été ajouté à cette image ?"
L'architecture utilisée est un U-Net — un réseau qui compresse l'image en représentation compacte puis la reconstruit, avec des connexions de skip entre les couches d'encodage et décodage.
La génération
À l'inférence, c'est l'inverse. On part de bruit pur et on retire le bruit prédit à chaque étape.
À l'inférence, on part de bruit gaussien pur et on applique T fois le modèle en sens inverse. À chaque étape, le modèle prédit le bruit présent dans l'image, on le soustrait partiellement, et on recommence.
1000 étapes c'est trop lent en pratique — des algorithmes comme DDIM (2021) permettent de faire la même chose en 20-50 étapes seulement, avec une qualité comparable.
Chaque génération est différente car on part d'un bruit aléatoire différent. La seed détermine ce bruit initial — la même seed + le même prompt = la même image.
Le rôle du texte
Le texte n'est pas "dessiné". Il oriente le débruitage à chaque étape.
CLIP (Contrastive Language-Image Pre-training, OpenAI 2021) est un modèle entraîné sur 400 millions de paires image/texte. Il apprend un espace vectoriel commun où images et textes proches sémantiquement ont des vecteurs proches.
Dans Stable Diffusion, le texte est encodé par CLIP et ce vecteur est injecté dans le U-Net à chaque couche via un mécanisme d'attention croisée (cross-attention). Le modèle "regarde" le vecteur texte à chaque étape de débruitage.
Le paramètre CFG (Classifier-Free Guidance Scale) contrôle à quel point le prompt est suivi. CFG=1 = très libre, CFG=15 = très fidèle au prompt mais moins créatif. 7 est le compromis standard.
L'optimisation clé
Le débruitage ne se fait pas sur les pixels. Il se fait dans un espace compressé.
Travailler directement sur des images 512×512 (262 144 pixels × 3 canaux) serait prohibitif en calcul. Latent Diffusion (Rombach et al., 2022) — la base de Stable Diffusion — résout ça en compressant d'abord l'image.
Un VAE (Variational AutoEncoder) compresse l'image de 512×512×3 vers 64×64×4 — soit 48× moins de données. Le débruitage se fait dans cet espace compressé, puis le VAE décode vers l'image finale.
La perte de qualité due à la compression VAE est minimale — le VAE est entraîné séparément pour être une compression quasi-parfaite. C'est ce qui rend Stable Diffusion faisable sur un GPU grand public.
Panorama 2024
Des philosophies très différentes — open source vs propriétaire, qualité vs accessibilité.
L'envers du décor
La technologie est impressionnante. Les implications le sont aussi.
Des initiatives comme Glaze et Nightshade permettent aux artistes d'empoisonner leurs images avant publication — des perturbations invisibles à l'œil qui dégradent l'apprentissage du modèle sur leur style.
L'AI Act européen impose aux systèmes génératifs de déclarer les données d'entraînement et de ne pas générer de deepfakes non consentis. Les amendes peuvent atteindre 6% du chiffre d'affaires mondial.
Des plateformes comme Spawning.ai permettent aux artistes d'opt-out des datasets d'entraînement. Certains modèles (Adobe Firefly, Getty) se sont engagés à n'utiliser que des images licenciées.