Vidéo IA cohérente : mêmes personnages, lieux et lumière à travers les plans

Le premier plan d'une histoire est superbe. Dans le deuxième, la veste du héros a des poches différentes, dans le troisième, le visage ressemble à un cousin du précédent, et au quatrième, le cyclomoteur est d'une autre marque. Les modèles vidéo ne se souviennent de rien entre les générations, et dérivent au cours d'une génération longue. La solution efficace n'est pas une description plus longue. C'est une image dont le modèle peut s'inspirer : une feuille de référence.

Vous trouverez ci-dessous la méthode, avec les prix catalogue des fournisseurs d'origine et des hébergeurs que nous utilisons. Lorsque nos propres exécutions ajoutent une valeur, cela est indiqué comme étant le nôtre.

Qu'est-ce qu'une feuille

Une planche est une image montrant le même élément sous plusieurs angles, généralement sur un fond blanc uni : face, trois-quarts, profil, dos. Le modèle voit chaque côté de l'objet qu'il doit conserver, afin de ne pas avoir à deviner l'arrière d'une veste lorsque le personnage se retourne.

Créez-en un pour chaque élément qui apparaît plus d'une fois : le personnage, mais aussi le véhicule, l'accessoire avec un logo, le lieu. Une courte histoire sur un postier en mobylette pourrait en nécessiter quatre : le postier, la mobylette, une camionnette et le marché où tout se passe.

Le nôtre, issu d'une publicité de vêtements de sport : six coureuses, de face et de profil, chacune avec sa propre tenue sur un fond gris uni avec une lumière plate. La fiche ne conserve que les visages et les vêtements ; la lumière et la rue proviennent de l'image de départ du plan.

Comment les feuilles sont fabriquées

1. Demandez à un modèle de langage de rédiger le prompt de référence. Expliquez à Claude ou ChatGPT la structure d'un prompt de référence, puis décrivez chaque élément. Indiquez d'abord le style, et ne décrivez en détail que ce qui importe à l'histoire.
2. Essayez le même prompt sur plusieurs modèles d'image. Ils interprètent le style de manière très différente, et le coût par image est faible. Utilisez le meilleur résultat pour les feuilles restantes.
3. Gardez un style unique sur toutes les feuilles. Demandez soit au modèle de langage de réutiliser exactement le style précédent, soit joignez une feuille antérieure comme référence.
4. Corrigez une feuille en la montrant, pas en la réécrivant. Téléchargez l'image et demandez simplement le changement souhaité.
5. Testez avec des réglages d'image moyens ou bas pendant que le prompt est encore en mouvement, puis passez aux réglages finaux une fois le résultat satisfaisant.

Pour une personne réelle, l'entrée est constituée de vos propres photos : des clichés en pied sous plusieurs angles sont envoyés dans un modèle d'image pour créer la fiche personnage, et un second collage peut faire de même pour la tenue.

Intégrer des feuilles de données dans le modèle vidéo

Dans Seedance, chaque fichier téléchargé reçoit une balise, telle que @Image 1, et le prompt doit utiliser cette balise lorsqu'il décrit l'élément. Nommez chaque référence au début du prompt et précisez son utilité : identité, lieu ou action.

Deux limites définissent le forfait. Seedance 2.0 Fast sur fal prend jusqu'à 9 images, 3 vidéos et 3 fichiers audio, soit 12 au total, pour 4 à 15 secondes. Seedance 2.5 sur Dreamina prend jusqu'à 30 images, 10 vidéos et 10 fichiers audio, pour 4 à 30 secondes.

Plus de références ne signifie pas plus de contrôle

Une limite plus élevée ne signifie pas que vous devez l'utiliser. Joignez ce dont ce plan a besoin, et assurez-vous que les références concordent entre elles. Dans notre scène de maison de poupée, des images centrales cadrées différemment de l'image de départ ont provoqué une dérive de la caméra et le mouvement du lit, même si le prompt indiquait que la caméra était fixe. Une prise ultérieure est restée stable, avec le mouvement précisé dans le prompt et un cadrage choisi pour définir la pièce. Dans notre recast, une séquence de six plans et neuf images a permis de conserver les enseignes de l'ancien magasin.

Storyboard ou lieux de tournage

Il existe deux méthodes courantes pour piloter l'action. Une grille de storyboard montre les moments clés, et chaque défaut peut apparaître ; corrigez donc les mauvaises images dans un éditeur avant de lancer une génération vidéo. Des images de décors vides, sans personnages ni objets, laissent le modèle définir l'action. Dans les deux cas, gardez la fiche du personnage jointe : un visage dans une petite case de storyboard n'est pas une référence nette.

Tarifs

Le calcul est l'argument en faveur des feuilles de calcul. Une feuille coûte quelques centimes ; une prise de 30 secondes en 1080p coûte environ 17 $ sur BytePlus, et plus si elle dévie et que vous devez la relancer. C'est aussi l'argument pour tester d'abord à une résolution inférieure, puis n'investir dans le montage final qu'une fois l'action validée.

Même avec de bonnes fiches, le montage

Une prise complexe et parfaite dès le premier essai est rare. Comme les feuilles conservent chaque élément identique d'une prise à l'autre, vous pouvez toutes les garder, même les échecs, et assembler les bonnes secondes dans un logiciel de montage.

Issu de nos propres essais

Laissez la fiche de référence porter l'identité et évitez de décrire les traits de la peau dans les mots. Lors d'un de nos restylages d'une personne réelle, le fait de nommer ses taches de rousseur dans le prompt les a transformées en taches sombres sur tout le visage ; le nouvel essai sans ce mot a donné un résultat propre. Vérifiez chaque visage en taille réelle par rapport à la fiche avant de valider une prise.

Maintenir la cohérence des lieux

Traitez un lieu comme un personnage. Créez une référence par lieu et réutilisez-la, sans modification, dans chaque plan situé à cet endroit. Une image vide, sans personnage ni objet, créée dans le même style que vos autres feuilles, fonctionne bien. One Prompt Studio a utilisé une seule photo du studio, et le prompt l'a nommée « exactement cette disposition ». Les petits objets ont tout de même bougé, alors vérifiez les éléments essentiels à votre histoire.

Lorsqu'un lieu réel doit être préservé, comme dans notre réadaptation d'un spot publicitaire de 16 secondes, chaque nouvel endroit a d'abord été créé sous forme d'image fixe pour validation, et chaque outil a utilisé la même image. Kling 4.0 a réalisé les remplacements de décors les plus performants, tandis que Wan 3.0 n'a maintenu le lieu que sur de courtes séquences. Une séquence de six plans et neuf images a permis de conserver les enseignes de l'ancien magasin.

Maintenir la cohérence de l'éclairage

Décidez quelle référence est responsable de la lumière, et indiquez-le au modèle. Notre planche de vêtements de sport utilisait une lumière plate sur un fond gris uni, afin qu'elle ne porte que les visages et les vêtements, la rue et le soleil de fin de journée provenant de la première image du plan. Si une planche présente une lumière dramatique, le modèle peut l'intégrer dans chaque scène. Nous avons également écrit la même lumière dans chaque prompt, avec sa direction et l'heure de la journée.

Maintenir la cohérence des angles de caméra

Des plans assemblés en montage lorsque la caméra se comporte comme une caméra unique. Gardez l'action du même côté d'un plan à l'autre, afin que les personnages fassent toujours face à la même direction. Une vidéo de récit de vie publiée que nous avons étudiée utilisait la même description de caméra dans chaque prompt et ne changeait que la focale, et elle répétait un paragraphe de composition mot pour mot lorsqu'elle revenait à un lieu. Les vingt-deux clips de cette vidéo tenaient ensemble comme un seul monde. Limitez chaque mouvement dans des plans courts.

Utilisation d'une image partagée entre les plans

Pour monter entre deux plans sans saut visible, terminez l'un et commencez le suivant sur la même image. Dans notre scène de maison de poupée, la composition était alignée à la jonction, mais la texture de peau d'un visage large différait légèrement. Masquez la jonction par un mouvement ou un montage, et découvrez les autres façons d'assembler des scènes.

Sources

• Seedance 2.0 Rapide sur fal : limites de référence et prix
• Notre note tarifaire de novembre : tarifs Seedance 2.5
• Seedream 5.0 Lite sur fal, GPT Image 2 sur fal et tarification Gemini API : prix des images
• Tarification API d'ElevenLabs : lignes vocales