Supprimer ou remplacer un objet dans une vidéo avec l'IA : comparaison de six outils

La prise est presque parfaite. Le mouvement de caméra est bon, le timing est bon, le sujet est bon, mais un détail cloche : un camion là où vous vouliez autre chose, un panier de fruits qui n'a rien à faire là, la mauvaise veste. Régénérer l'intégralité du plan pour corriger cela signifie perdre tout ce qui fonctionnait. Ce dont vous avez besoin, c'est d'un montage qui modifie un seul objet tout en laissant le reste du clip intact.

Six outils ont été conçus à cet effet. Les six sont décrits ici à partir des pages et de la documentation de leurs fournisseurs, avec les tarifs indiqués par ces derniers. Nous avons utilisé l'un d'entre eux, Higgsfield Genjutsu, sur un projet d'objet réel, comme le montrent les images ci-dessous. Nous avons utilisé Seedance 2.5 Video Edit uniquement pour un restylage complet de pièce. Nous n'avons pas testé les autres.

Pour supprimer un objet, marquez-le sur une image où il est entièrement visible si votre outil le permet, demandez sa suppression en une phrase courte, et précisez que le reste demeure inchangé. Pour d'autres tâches, comme supprimer un arrière-plan ou remplacer une personne, commencez par le guide de montage vidéo par IA.

Trois outils issus de leur propre documentation

Seedance 2.5 Montage vidéo : nommez-la, gardez le reste

Le modèle de ByteDance modifie une vidéo d'entrée à partir d'un prompt, en conservant l'identité du sujet, la composition et le mouvement. Le résultat suit la durée et le format de la source, et les références sont nommées dans le prompt, comme @Image 1. Les hébergeurs diffèrent : l'API n'accepte que le texte, et certaines applications permettent de marquer une région sur une image.

Le modèle à copier : si vous pouvez marquer l'objet, choisissez une image où il est entièrement visible, écrivez une instruction courte avec vos propres mots, et terminez en précisant que tout le reste reste inchangé. La résolution est le principal levier de coût. Un montage de 5 secondes coûte environ 1.38 en 720p sur BytePlus et environ 3.40 en 1080p, alors testez sur de petits formats. Nous avons testé ce modèle sur un restylage de talking-head, et non sur une édition d'objet unique.

Beeble SwitchX : masquez les changements, conservez le reste

Beeble résume SwitchX par : « changez n'importe quoi, gardez l'essentiel ». Les zones masquées sont générées à partir de votre prompt et d'une image de référence. Les zones non masquées conservent les images originales, avec un nouvel éclairage et un nouveau style pour s'intégrer au nouveau décor. La référence sert de plan pour le résultat, montrant le sujet et le décor ensemble avec la lumière déjà définie.

• Auto détecte et suit le sujet principal. Beeble le suggère pour les changements d'arrière-plan et de rééclairage.
• Select vous permet de cliquer sur ce qui doit être généré, pour des modifications ciblées comme une nouvelle tenue. Ajoutez des éléments distincts, comme un visage et une main, en tant qu'objets séparés, et utilisez Invert pour limiter la génération à la zone d'un seul objet.
• Fill occupe toute l'image, conservant la géométrie tout en modifiant la lumière ou le style.
• Upload utilise un matte provenant d'un logiciel tel que Nuke ou After Effects.

Soyez précis sur le réglage, la lumière et l'ambiance. La version 2.0 prend jusqu'à 480 images, et affiche un coût de 6 crédits par seconde en 720p et 20 en 1080p. Avec le forfait Creator à 19 $ comprenant 540 crédits, cela revient à environ 1.06 $ ou 3.52 $ pour 5 secondes. Nous ne l'avons pas testé.

Gemini Omni Flash : le prix bas, avec moins de garanties

Certaines applications appellent cela Veo Omni Flash. En Google Flow, il peut éditer des vidéos téléchargées et générées avec de nouveaux prompts et composants, jusqu'à 10 secondes de long, dans n'importe quel format. Son avantage est le prix : l'API de Google affiche environ 0.10 $ la seconde de 720p en sortie, contre plus du double pour les deux autres une fois leur facturation calculée.

Google ne garantit pas ce qui reste intact, et nous ne l'avons pas testé pour une modification d'objet. Précisez donc ce qu'il faut changer et ce qu'il faut garder, prévoyez un budget pour un second essai et vérifiez l'ensemble du clip.

Trois autres : Genjutsu, Aleph et Kling O1 Edit

Ces trois outils poussent la même idée plus loin : vous téléchargez le clip, décrivez le changement et joignez le nouvel objet comme référence. Aucun d'entre eux ne vous demande de dessiner un masque ; chacun trouve et suit l'objet à partir des mots. C'est plus rapide, mais c'est aussi là qu'ils échouent, comme le montre notre propre travail.

Genjutsu sur un vrai projet : les livres qu'il a trouvés, et les feuilles qu'il a manquées

Notre cas d'étude était un montage de 108 secondes dans lequel plus de dix personnes, chacune filmée séparément, tiennent un livre, une carte ou une feuille de papier vierge, et chacune d'elles devait présenter le même livre vert. Le prompt était explicite : remplacez chaque livre et chaque papier ou carte blanche tenue par le livre vert de la référence, gardez les mains au premier plan, ne changez rien d'autre.

Genjutsu a confondu les livres qu'il a reconnus comme tels. Un participant tenait un livre vert différent, filmé en miroir par une caméra selfie ; le résultat est devenu notre couverture, dans le bon sens, avec le titre, l'emblème de l'arbre et les deux mains intacts.

Cela a laissé chaque feuille blanche telle quelle, bien que le prompt les ait nommées, et cela a manqué un livre bleu dans un segment ultérieur. Un modèle qui trouve l'objet à partir de mots décide par lui-même de ce qui constitue l'objet, et une feuille de papier ne l'a pas été.

Nous avons dû diviser la vidéo en plusieurs coupes et remplacer les objets un par un : une coupe avec un livre, puis des coupes avec des feuilles blanches, chacune montée pour montrer le livre vert que nous voulions.

Runway Aleph 2.0

Runway positionne Aleph comme l'éditeur pour les séquences réelles : remplacez un produit ou un personnage, supprimez un objet, changez l'arrière-plan ou la tenue, modifiez l'éclairage, ajoutez de la météo ou des effets, le tout via une instruction textuelle. Il traite les clips les plus longs des six, jusqu'à 30 secondes avec jusqu'à dix coupes, et propose le tarif le plus clair : 28 crédits par seconde éditée dans l'application, avec un minimum de 56 crédits, ou 0.28 $ la seconde via l'API. Nous ne l'avons pas testé.

Kling O1 Montage

L'éditeur de Kling fonctionne par langage naturel avec jusqu'à quatre références : identifiez un personnage avec @Element1 et une image de style avec @Image1 dans l'instruction, et il conservera le mouvement original tout en remplaçant l'élément nommé. Les clips durent de 3 à 10 secondes, et à 0.168 la seconde sur fal (0.126 pour le forfait Standard), c'est l'éditeur payant le moins cher à la seconde ici. Nous ne l'avons pas testé non plus.

Lequel choisir

1. L'objet est plat et rigide - un livre, un panneau, un écran, une étiquette : suivez ses coins et fixez le remplacement dessus. Pas de modèle, pas de mains redessinées, pas de prix à la seconde.
2. Un seul objet doit changer et le reste doit rester fidèle aux images originales - SwitchX, si le clip fait 20 secondes ou moins à 24 fps et que vous pouvez montrer le résultat avec une seule image de référence.
3. Remplacement de produit, d'accessoire ou de tenue à partir de photos de référence - Genjutsu, puis vérifiez chaque occurrence qui aurait dû être détectée.
4. Un objet doit être remplacé, supprimé ou ajouté, et vous préférez pointer plutôt que de masquer - Seedance 2.5 Video Edit, sur un hébergeur proposant le marquage.
5. Images réelles jusqu'à 30 secondes avec un prix clair par seconde - Aleph ; pour les clips de 10 secondes ou moins où le prix est crucial, Kling O1 Edit.
6. Vous êtes encore en phase d'exploration, ou le changement concerne l'aspect visuel complet - Gemini Omni Flash, avec quelques régénérations prévues au budget.

Quel que soit l'éditeur que vous utilisez, recadrez n'importe quel visage dans le plan à taille réelle par rapport à la source avant de conserver la prise. Un montage qui préserve l'objet mais modifie légèrement la personne n'a pas sauvé le plan.

Sources

• Seedance 2.5 Video Edit sur WaveSpeed, la page Seedance 2.5 de Morphic et notre note sur les prix de novembre
• Documentation Beeble SwitchX et tarification Beeble Cloud
• Google Flow aide sur les modèles vidéo et les tarifs Gemini API
• Higgsfield : Découvrez Genjutsu et la page Genjutsu
• Runway Aleph 2.0 : fonctionnalités et tarifs
• Kling O1 Edit sur fal