Au-delà des tâches liées à l'information textuelle (rédiger des articles, écrire du code, faire de l'analyse), les outils d'IA servent aussi de plus en plus à traiter d'autres types d'informations — également appelées "modalités" : générer des photos réalistes à partir de texte, imiter la voix humaine ou composer de la musique, et même produire une vidéo de qualité cinématographique à partir d'une seule phrase. L'ensemble est désigné sous le nom de systèmes d'IA "multimodale" (multi-modal).

Ces capacités et ces outils semblent très différents :

·ChatGPT et DeepSeek génèrent du texte

·Midjourney et Doubao génèrent des images

·Azure AI Speech et ElevenLabs génèrent de la voix

·Seedance, Runway et Kling génèrent de la vidéo

Mais le cœur qui les sous-tend converge en réalité de plus en plus.

Premier article de cette série, nous prenons la génération d'images comme point d'entrée pour décomposer le fonctionnement des systèmes d'IA multimodale modernes.

Concentrons-nous d'abord sur la question la plus brûlante, celle qui suscite le plus la curiosité :

L'IA — comment dessine-t-elle vraiment ?

1. L'IA qui dessine : dessine-t-elle vraiment quand elle “dessine” ?

Beaucoup de gens, découvrant l'IA qui dessine, ont une intuition :

L'IA peint-elle une image trait par trait, comme un humain ?

En réalité, non.

Les principaux systèmes modernes de dessin par IA fonctionnent plutôt ainsi :

Ils “sculptent” progressivement une image à partir d'une masse de bruit aléatoire.

Ce processus s'appelle :

Diffusion (modèle de diffusion)

C'est aussi l'approche technique centrale de la plupart des systèmes avancés de génération d'images aujourd'hui. Elle couvre la majorité des

modèles de dessin par IA, qui appartiennent tous à cette catégorie.

2. Pourquoi les modèles de diffusion sont-ils devenus la norme ?

Avant l'apparition des modèles de diffusion, le domaine du dessin par IA reposait principalement sur les GAN (réseaux antagonistes génératifs).

En simplifiant :

Un GAN, c'est comme un peintre et un juge qui se mesurent : le peintre génère des images, le juge décide du vrai et du faux.

Cette approche a connu un immense succès, mais elle présente deux problèmes :

  • Un entraînement instable

  • Une tendance à se figer dans un style unique

Les modèles de diffusion, eux, adoptent une approche totalement différente :

Image → ajout continu de bruit → devient du bruit pur

Puis ils apprennent le processus inverse :

Bruit pur → débruitage progressif → restauration de l'image

Cette méthode est plus stable à entraîner et permet de générer plus facilement des images variées et de haute qualité.

Elle est donc devenue peu à peu la norme du secteur.

3. L'IA — pourquoi ne pas traiter directement les images ?

Cela fait intervenir le concept le plus important de la génération d'images moderne :

Espace latent

Une image haute résolution contient une quantité d'informations très importante.

Par exemple :

1024 × 1024 pixels

Elle contient plus de 3 millions de valeurs de couleur.

Si l'IA traitait ces pixels directement, le coût de calcul serait extrêmement élevé.

Les chercheurs ont donc eu une idée :

Comprimer d'abord.

Un peu comme :

Image d'origine → compression → résumé visuel → traitement → décompression → image finale

L'espace où réside ce “résumé visuel” s'appelle : Latent Space (espace latent)

4. Qu'est-ce que l'espace latent ?

On peut le concevoir ainsi :

Pour l'IA, une image n'est plus un amas de pixels mais un ensemble de traits visuels abstraits.

Par exemple, quand une personne voit un chat :

Nous ne mémorisons pas chaque pixel.

Nous retenons plutôt :

  • Les oreilles
  • Les yeux
  • Le pelage
  • La posture
  • La couleur

L'IA fait quelque chose de semblable.

Elle comprime une image en :

  • Des informations de forme

  • Des informations de texture

  • Des informations d'éclairage

  • Des informations de couleur

  • Une structure spatiale

et d'autres représentations abstraites.

Ainsi, les modèles de diffusion modernes ne travaillent pas dans l'espace des pixels mais dans l'espace latent.

C'est aussi pourquoi le dessin par IA d'aujourd'hui peut rester efficace tout en garantissant la qualité.

5. L'IA — comment comprend-elle les objets d'une image ?

Cela fait intervenir un autre concept important :

Patch (morceau d'image)

L'IA moderne ne regarde généralement pas une image entière d'un seul coup.

Elle découpe plutôt l'image en de nombreux petits morceaux.

Par exemple :

Une grande image → beaucoup de petits carrés

Chaque petit carré devient un vecteur numérique.

Un peu comme :

Texte → mots

Images → morceaux d'image

Pour l'IA :

Les morceaux d'image sont comme les “mots” du monde des images.

6. Si l'image est découpée en petits morceaux, comment l'IA sait-elle qu'il s'agit d'un visage ?

C'est une question que beaucoup de gens se posent.

Par exemple :

  • Les yeux

  • Le nez

  • La bouche

peuvent être dispersés dans différents morceaux d'image.

Comment l'IA sait-elle qu'ils appartiennent au même visage ?

La réponse est :

Attention (mécanisme d'attention)

C'est aussi la technologie centrale derrière les LLM.

Le mécanisme d'attention permet à un morceau d'image en haut à gauche et à un morceau en bas à droite d'échanger des informations.

Ainsi, le modèle peut découvrir que :

Les yeux + le nez + la bouche = un visage

et construire finalement une compréhension de toute la scène.

C'est aussi pourquoi l'IA d'aujourd'hui peut traiter des scènes complexes et les relations entre personnages.

7. L'IA qui dessine et les LLM — qu'ont-ils en commun ?

Beaucoup de gens pensent :

Les LLM sont une technologie

Le dessin par IA en est une autre

En réalité, ils se ressemblent de plus en plus.

Leurs points communs incluent :

1. Les deux ont besoin de quantités massives de données

Les LLM apprennent à partir du texte d'Internet.

Les modèles d'images apprennent à partir de masses d'images et de descriptions.

2. Les deux utilisent Transformer

Presque tous les grands modèles modernes reposent sur l'architecture Transformer.

3. Les deux utilisent les Embeddings

Le texte devient un vecteur.

Les images aussi deviennent des vecteurs.

Ce que l'IA traite au final, ce sont des points dans un espace numérique.

4. Les deux nécessitent un alignement ultérieur

Une fois le "pré-entraînement" terminé, par :

  • Le retour humain
  • L'apprentissage des préférences
  • Les règles de sécurité

ce "post-entraînement" continue d'optimiser les performances du modèle.

8. L'IA qui dessine et les LLM : la plus grande différence

Bien qu'ils se ressemblent de plus en plus, leurs modes de génération fondamentaux diffèrent.

LLM : poursuivre le texte

Sa façon de fonctionner peut se comprendre ainsi :

Prédire le mot suivant

Par exemple :

Le temps à La Réunion est → beau

En répétant sans cesse.

et un article complet prend forme.

L'IA qui dessine : sculpter

Les modèles de diffusion, eux :

Bruit aléatoire → retirer un peu de bruit → retirer encore un peu de bruit → former une image

Ainsi :

Le grand modèle de langage “poursuit une histoire”, tandis que le modèle de diffusion “sculpte une image”.

C'est la phrase la plus importante pour comprendre la différence entre les deux.

9. Comment naît une image générée par l'IA ?

Quand un utilisateur saisit :

Un golden retriever qui court au coucher du soleil

Un système moderne suit à peu près les étapes suivantes :

Première étape : comprendre la demande

Le modèle de langage analyse l'intention de l'utilisateur.

Il identifie :

  • Golden retriever
  • La plage
  • La course
  • Le coucher du soleil
  • Le style photographique

Deuxième étape : générer du bruit aléatoire

Le système crée d'abord une “image de neige” entièrement aléatoire.

Troisième étape : le débruitage progressif

Le modèle ne cesse d'évaluer :

Quelles parties ne ressemblent pas à l'image visée ?

puis les corrige.

Après des dizaines d'itérations :

Le ciel → la mer → la silhouette du chien → les détails du pelage

apparaissent peu à peu.

Quatrième étape : décoder en image haute résolution

Le résultat dans l'espace latent est finalement restauré en une image réelle.

L'image finale que voit l'utilisateur naît ainsi.

10. Tendance à venir : l'IA ne se contente pas de dessiner

Les anciens systèmes de génération d'images peuvent se comprendre ainsi :

Texte → image

tandis que les systèmes de pointe d'aujourd'hui s'approchent de plus en plus de :

Demande de l'utilisateur → compréhension par un grand modèle multimodal → planification de la scène → rendu par le modèle d'images → résultat final

Autrement dit :

L'IA passe du statut d'“outil de dessin” à celui d'“assistant de création”.

À l'avenir, images, voix, vidéos et même contenus 3D pourront tous être générés de façon unifiée par un même système multimodal.

C'est aussi pourquoi comprendre les principes de la génération d'images constitue un point de départ essentiel pour comprendre toute l'ère de l'IA multimodale.

Résumé de cet article

Il suffit de retenir ces quatre phrases :

  • La technologie dominante du dessin par IA moderne est le modèle de diffusion (Diffusion).

  • L'IA ne traite pas directement les pixels, mais travaille dans l'espace latent (Latent Space).

  • Attention permet à l'IA de comprendre les relations entre différentes régions de l'image.

  • Un LLM poursuit du texte, tandis qu'un modèle de diffusion sculpte une image à partir du bruit.