Verwijder of vervang een object in een video met AI: zes tools vergeleken

De take zit er bijna. De camerabeweging is goed, de timing is goed, de persoon is goed, maar één ding klopt niet: een vrachtwagen waar je iets anders wilde, een mand fruit die er niet hoort te staan, de verkeerde jas. De hele opname opnieuw genereren om dit te herstellen betekent dat je alles verliest wat wel goed was. Wat je wilt, is een montage die één object aanpast en de rest van de clip ongemoeid laat.

Hiervoor zijn zes tools ontwikkeld. Alle zes worden hier beschreven op basis van de pagina's en documentatie van de leveranciers, inclusief de prijzen die zij vermelden. We hebben een van deze tools, Higgsfield Genjutsu, gebruikt voor een opdracht met een echt object; de onderstaande frames zijn het resultaat. We hebben Seedance 2.5 Video Edit alleen uitgevoerd voor een volledige restyling van een kamer. De andere hebben we niet getest.

Om een object te verwijderen, markeer je het op een frame waar het volledig zichtbaar is als je tool dat toelaat, vraag in één korte zin om het te verwijderen en zeg dat de rest ongewijzigd blijft. Voor andere taken, zoals het verwijderen van een achtergrond of het vervangen van een persoon, kun je beginnen bij de gids voor AI-video-editing.

Drie tools uit hun eigen documentatie

Seedance 2.5 Video Edit: geef het een naam, de rest blijft gelijk

Het model van ByteDance bewerkt een inputvideo op basis van een prompt, waarbij de identiteit van het onderwerp, de compositie en de beweging behouden blijven. De output volgt de lengte en vorm van de bron, en referenties worden in de prompt genoemd, zoals @Image 1. Hosts verschillen: de API accepteert alleen tekst, en sommige apps voegen een manier toe om een regio op een frame te markeren.

Het patroon om te kopiëren: als je het object kunt markeren, kies dan een frame waarin het volledig zichtbaar is, schrijf één korte instructie in je eigen woorden, en eindig door te zeggen dat de rest ongewijzigd blijft. Resolutie is de belangrijkste kostenpost. Een 5-seconden montage kost ongeveer $1.38 bij 720p op BytePlus en ongeveer $3.40 bij 1080p, dus test op kleine schaal. We hebben dit model gedraaid op een talking-head restyle, niet op een edit van een enkel object.

Beeble SwitchX: maskeer wat verandert, behoud de rest

Beeble vat SwitchX samen als "switch anything, keep what matters". Gemaskeerde gebieden worden gegenereerd op basis van je prompt en een referentiebeeld. Niet-gemaskeerde gebieden behouden het originele beeldmateriaal, maar worden opnieuw belicht en gestyled om in de nieuwe setting te passen. De referentie is een blauwdruk van het resultaat, waarbij het onderwerp en de omgeving samen met de reeds bepaalde belichting worden getoond.

• Auto vindt en volgt het hoofdonderwerp. Beeble raadt dit aan voor het vervangen van achtergronden en relighting.
• Met Select kun je aanklikken wat er gegenereerd wordt, voor gerichte wijzigingen zoals een nieuwe outfit. Voeg afzonderlijke onderdelen, zoals een gezicht en een hand, toe als aparte objecten en gebruik Invert om de generatie te beperken tot het gebied van één object.
• Fill neemt het hele frame in beslag en behoudt de geometrie terwijl de belichting of stijl verandert.
• Upload neemt een matte over van software zoals Nuke of After Effects.

Wees specifiek over de instelling, het licht en de sfeer. Versie 2.0 gebruikt tot 480 frames, en de kosten zijn 6 credits per seconde bij 720p en 20 bij 1080p. Op het $19 Creator-abonnement met 540 credits is dat ongeveer $1.06 of $3.52 voor 5 seconden. We hebben het niet getest.

Gemini Omni Flash: de lage prijs, met minder garanties

Sommige apps noemen dit Veo Omni Flash. In Google Flow kan het geüploade en gegenereerde video's bewerken met nieuwe prompts en ingrediënten, tot 10 seconden lang, in elke beeldverhouding. Het voordeel is de prijs: de API van Google vermeldt ongeveer $0.10 per seconde 720p output, tegenover meer dan het dubbele voor de andere twee zodra hun facturatie is meegerekend.

Google garandeert niet wat ongewijzigd blijft, en we hebben het niet gebruikt voor een objectedit. Geef dus aan wat er moet veranderen en wat er gelijk moet blijven, houd rekening met een tweede poging in je budget en controleer de hele clip.

Nog drie: Genjutsu, Aleph en Kling O1 Edit

Deze drie gaan nog een stap verder: je uploadt de clip, beschrijft de verandering en voegt het nieuwe object toe als referentie. Geen van deze tools vraagt je om een masker te tekenen; ze vinden en volgen het object op basis van de tekst. Dat is sneller, maar het is ook waar ze falen, zoals ons eigen werk laat zien.

Genjutsu bij een echte opdracht: de boeken die het vond en de bladen die het niet vond

Onze casus was een 108-seconden montage waarin meer dan tien mensen, elk afzonderlijk gefilmd, een boek, een kaart of een blanco vel papier omhoog houden, en elk van hen hetzelfde groene boek moest worden. De prompt was expliciet: vervang elk boek en elk wit papier of kaart dat wordt vastgehouden door het groene boek uit de referentie, houd de handen op de voorgrond, verander verder niets.

Genjutsu verving de boeken die het als boeken herkende. Eén deelnemer hield een ander groen boek vast, gefilmd via een gespiegelde selfiecamera; het resultaat was onze cover, de juiste kant op, met de titel, het boomembleem en beide handen intact.

Het liet elk blanco vel blanco, ook al werden ze in de prompt benoemd, en het miste een blauw boek in een later segment. Een model dat een object op basis van woorden vindt, bepaalt zelf wat als het object telt, en een vel papier telde niet mee.

We moesten de video opdelen in afzonderlijke montages en de objecten één voor één vervangen: een montage met een boek, gevolgd door montages met lege vellen, waarbij elk was bewerkt om het groene boek te tonen dat we wilden.

Runway Aleph 2.0

Runway positioneert Aleph als de editor voor echte beelden: vervang een product of een personage, verwijder een object, verander de achtergrond of kleding, pas belichting aan, voeg weer of effecten toe, alles via een tekstinstructie. Het verwerkt de langste clips van de zes, tot 30 seconden met wel tien montages, en heeft de meest heldere prijs: 28 credits per bewerkte seconde in de app, met een minimum van 56 credits, of $0.28 per seconde via de API. We hebben het nog niet getest.

Kling O1 Edit

De editor van Kling werkt met natuurlijke taal en tot vier referenties: tag een personage als @Element1 en een stijlbeeld als @Image1 in de instructie, en de editor behoudt de oorspronkelijke beweging terwijl de benoemde elementen worden vervangen. Clips duren 3 tot 10 seconden, en met $0.168 per seconde op fal ($0.126 voor het Standard-abonnement) is dit de goedkoopste betaalde editor per seconde hier. We hebben het zelf ook nog niet getest.

Welke moet je kiezen

1. Het object is plat en stijf - een boek, een bord, een scherm, een label: track de hoeken en pin de vervanging eroverheen. Geen model, geen opnieuw getekende handen, geen prijs per seconde.
2. Eén object moet veranderen en de rest moet origineel beeldmateriaal blijven - SwitchX, als de clip 20 seconden of minder is bij 24 fps en je het resultaat in één referentiebeeld kunt tonen.
3. Vervanging van een product, rekwisiet of outfit op basis van referentiefoto's - Genjutsu, controleer daarna elk moment waarop het dit had moeten oppikken.
4. Eén object moet worden vervangen, verwijderd of toegevoegd, en je wilt liever aanwijzen dan maskeren - Seedance 2.5 Video Edit, op een host die markeren aanbiedt.
5. Echte beelden tot 30 seconden met een duidelijke prijs per seconde - Aleph; voor clips van 10 seconden of minder waarbij de prijs belangrijk is, Kling O1 Edit.
6. Je bent nog aan het verkennen, of de verandering is de hele look - Gemini Omni Flash, met een budget voor enkele regeneraties.

Welke editor je ook gebruikt, crop elk gezicht in de opname op volledige grootte ten opzichte van de bron voordat je de take bewaart. Een montage waarbij het object klopt maar de persoon er net iets anders uitziet, heeft de opname niet gered.

Bronnen

• Seedance 2.5 Video Edit op WaveSpeed, Morphic's Seedance 2.5 pagina en onze prijsnotitie van november
• Beeble SwitchX documentatie en Beeble Cloud prijzen
• Google Flow hulp bij videomodellen en Gemini API prijzen
• Higgsfield: Maak kennis met Genjutsu en de Genjutsu-pagina
• Runway Aleph 2.0: functies en prijzen
• Kling O1 Edit op fal