Consistente AI video: dezelfde personages, locaties en belichting in alle opnames

De eerste opname van een verhaal ziet er geweldig uit. In de tweede heeft de jas van de hoofdpersoon andere zakken, in de derde lijkt het gezicht op een neefje van het vorige gezicht, en bij de vierde is de brommer een ander merk. Videomodellen onthouden niets tussen generaties door, en tijdens een lange generatie wijken ze af. De werkende oplossing is geen langere beschrijving, maar een afbeelding die het model kan kopiëren: een sheet.

Hieronder staat de methode, met catalogusprijzen van de oorspronkelijke aanbieders en de hosts die wij gebruiken. Waar onze eigen runs extra waarde toevoegen, is dit als zodanig gemarkeerd.

Wat een sheet is

Een sheet is één afbeelding waarop hetzelfde element vanuit verschillende hoeken te zien is, meestal op een effen witte achtergrond: vooraanzicht, driekwart, zijaanzicht, achteraanzicht. Het model ziet elke kant van het object dat het moet bewaren, zodat het niet hoeft te gokken hoe de achterkant van een jas eruitziet wanneer het personage zich omdraait.

Maak er één voor elk element dat vaker dan één keer voorkomt: het personage, maar ook het voertuig, de rekwisiet met een logo en de locatie. Een kort verhaal over een postbode op een brommer heeft er misschien vier nodig: de postbode, de brommer, een bestelwagen en de markt waar alles zich afspeelt.

De onze, uit een advertentie voor sportkleding: zes hardlopers, voorste rij en zijprofiel, elk in haar eigen outfit tegen een effen grijze achtergrond met vlak licht. Het sheet bevat alleen de gezichten en kleding; het licht en de straat komen uit het eigen startframe van de opname.

Hoe de sheets worden gemaakt

1. Laat een taalmodel de sheet prompt schrijven. Vertel Claude of ChatGPT hoe een sheet prompt is opgebouwd, en beschrijf vervolgens elk element. Noem eerst de stijl en beschrijf alleen in detail wat belangrijk is voor het verhaal.
2. Probeer dezelfde prompt in verschillende beeldmodellen. Zij interpreteren stijl heel verschillend, en één afbeelding kost weinig. Gebruik de beste voor de overige sheets.
3. Houd één stijl aan voor alle sheets. Vertel het taalmodel ofwel om exact de vorige stijl te hergebruiken, of voeg een eerdere sheet toe als referentie.
4. Fix een sheet door deze te tonen, niet door hem te herschrijven. Upload de afbeelding en vraag in gewone taal om de ene verandering die je nodig hebt.
5. Test met medium of lage beeldinstellingen terwijl de prompt nog in beweging is, en schakel over naar de definitieve instellingen zodra het goed is.

Voor een echt persoon is de input je eigen foto's: foto's van het hele lichaam vanuit verschillende hoeken gaan naar een beeldmodel om de character sheet te maken, en een tweede collage kan hetzelfde doen voor de outfit.

Sheets toevoegen aan het videomodel

In Seedance krijgt elk geüpload bestand een tag, zoals @Image 1, en de prompt moet die tag gebruiken waar het element wordt beschreven. Geef elke referentie aan het begin van de prompt een naam en zeg waar het voor dient: identiteit, locatie of actie.

Twee limieten bepalen het plan. Seedance 2.0 Fast op fal verbruikt tot 9 afbeeldingen, 3 video's en 3 audiobestanden, 12 in totaal, voor 4 tot 15 seconden. Seedance 2.5 op Dreamina verbruikt tot 30 afbeeldingen, 10 video's en 10 audiobestanden, voor 4 tot 30 seconden.

Meer referenties betekent niet meer controle

Een hogere limiet betekent niet dat je die moet gebruiken. Voeg toe wat deze opname nodig heeft, en zorg ervoor dat de referenties met elkaar overeenstemmen. In onze poppenhuisscène zorgden middelste frames die anders waren geplaatst dan het eerste frame voor cameradrift en leek het bed te bewegen, ook al zei de prompt dat de camera vaststond. Een latere take bleef stabiel, met de beweging vermeld in de prompt en één gekozen compositie om de kamer vast te leggen. In onze recast hield een run met zes opnames en negen afbeeldingen de borden van de oude winkel intact.

Storyboard of locaties

Er zijn twee veelvoorkomende manieren om de actie aan te sturen. Een storyboard-grid toont de belangrijkste momenten, en elke fout daarin kan zichtbaar worden, dus verbeter slechte frames in een image editor voordat je een video-generatie verbruikt. Lege locatie-frames, zonder personages of objecten, laten het model de actie zelf uitwerken. Hoe je het ook doet, houd het karakterblad erbij: een gezicht in een klein storyboard-frame is geen zuivere referentie.

Wat het kost

De rekenkunde is het argument voor sheets. Een sheet kost centen; een 30-seconden take bij 1080p kost ongeveer $17 op BytePlus, en meer als het afwijkt en je het opnieuw uitvoert. Het is ook het argument om eerst te testen op een lagere resolutie, om pas daarna geld uit te geven aan de definitieve versie zodra de actie werkt.

Zelfs met goede sheets, montage

Een perfecte, complexe take bij de eerste poging is zeldzaam. Omdat de sheets elk element van de ene take naar de volgende gelijk houden, kun je ze allemaal bewaren, inclusief de mislukkingen, en de goede seconden in een montage samenvoegen.

Van onze eigen runs

Laat het sheet de identiteit dragen en vermijd huidkenmerken in de tekst. Bij een van onze restyles van een echt persoon, zorgde het benoemen van haar sproeten in de prompt ervoor dat ze veranderden in donkere vlekken over haar gezicht; de nieuwe poging zonder dat woord was weer schoon. Controleer elk gezicht op volledige grootte tegen het sheet voordat je een take behoudt.

Locaties consistent houden

Behandel een plek als een personage. Maak één referentie per locatie en gebruik deze ongewijzigd in elke opname die daar plaatsvindt. Een leeg frame werkt goed, zonder personages of objecten, gemaakt in dezelfde stijl als je andere sheets. One Prompt Studio gebruikte een enkele foto van de studio, en de prompt noemde dit “precies deze lay-out”. Kleine objecten bewogen nog steeds, dus controleer de zaken waarop je verhaal afhangt.

Wanneer een echte locatie behouden moet blijven, zoals in onze recast van een 16-seconden commercial, werd elke nieuwe plek eerst als stilstaand beeld gemaakt en goedgekeurd, en kreeg elke tool hetzelfde beeld. Kling 4.0 zorgde voor de sterkste locatie-swaps, en Wan 3.0 hield de locatie alleen in korte runs vast. Een run met zes opnames en negen beelden behield de borden van de oude winkel.

Consistente belichting behouden

Bepaal welke referentie verantwoordelijk is voor het licht en vertel dit aan het model. Onze sheet voor sportkleding gebruikte vlak licht op een effen grijze achtergrond, zodat alleen gezichten en kleding werden overgenomen, en de straat en de late zon uit het eigen startframe van de opname kwamen. Als een sheet dramatisch licht heeft, kan het model dit in elke scène introduceren. We schreven ook dezelfde belichting in elke prompt, inclusief de richting en het tijdstip van de dag.

Camerahoeken consistent houden

Opnamen die in montage zijn gezet wanneer de camera zich gedraagt als één camera. Houd de actie van opname tot opname aan dezelfde kant, zodat mensen dezelfde kant op blijven kijken. Een gepubliceerde life-story reel die we bestudeerden, gebruikte in elke prompt dezelfde camerabeschrijving en veranderde alleen de brandpuntsafstand, en herhaalde een compositieparagraaf woord voor woord wanneer de camera terugkeerde naar een locatie. Die reel van tweeëntwintig clips hield samen als één wereld vast. Houd elke beweging klein in korte opnamen.

Een gedeeld frame tussen opnames gebruiken

Om tussen twee opnames te monteren zonder zichtbare sprong, eindig je de ene en begin je de volgende op hetzelfde beeld. In onze dollhouse-scène kwam de compositie overeen bij de overgang, maar de huidtextuur van een groot gezicht verschilde licht. Verberg de overgang met beweging of een montage, en bekijk de andere manieren om scènes te verbinden.

Bronnen

• Seedance 2.0 Fast op fal: referentielimieten en prijs
• Onze prijsnotitie van november: Seedance 2.5 tarieven
• Seedream 5.0 Lite op fal, GPT Image 2 op fal en Gemini API prijsstelling: beeldprijzen
• ElevenLabs API prijzen: voice lines