Konsistentes KI-Video: Gleiche Charaktere, Orte und Lichtverhältnisse über alle Aufnahmen hinweg

Die erste Einstellung einer Geschichte sieht großartig aus. In der zweiten hat die Jacke des Helden andere Taschen, in der dritten ist das Gesicht ein Verwandter des ersten, und in der vierten ist das Moped eine andere Marke. Videomodelle erinnern sich zwischen den Generationen an nichts, und innerhalb einer langen Generierung driften sie ab. Die funktionierende Lösung ist keine längere Beschreibung. Es ist ein Bild, das das Modell kopieren kann: ein Sheet.

Unten finden Sie die Methode mit Listenpreisen der ursprünglichen Anbieter und der von uns genutzten Hosts. Wo unsere eigenen Durchläufe einen Aufschlag enthalten, ist dies als unser Angebot gekennzeichnet.

Was ein Sheet ist

Ein Sheet ist ein Bild, das dasselbe Element aus mehreren Blickwinkeln zeigt, meist auf einem schlichten weißen Hintergrund: Frontal, Dreiviertel, Seite, Rückseite. Das Modell sieht jede Seite des Objekts, das es beibehalten muss, sodass es nicht raten muss, wie die Rückseite einer Jacke aussieht, wenn sich die Figur umdreht.

Erstellen Sie für jedes Element, das mehr als einmal vorkommt: den Charakter, aber auch das Fahrzeug, das Requisit mit Logo oder den Ort. Eine Kurzgeschichte über einen Postboten auf einem Moped benötigt möglicherweise vier: den Postboten, das Moped, einen Lieferwagen und den Markt, auf dem alles spielt.

Unser Beispiel aus einer Sportbekleidungs-Werbung: sechs Läuferinnen, Frontal- und Seitenansicht, jede in ihrem eigenen Outfit vor einem schlichten grauen Hintergrund mit flachem Licht. Das Sheet überträgt nur Gesichter und Garderobe; das Licht und die Straße stammen aus dem Startbild der Einstellung.

Wie die Laken hergestellt werden

1. Lassen Sie ein Sprachmodell den Sheet-Prompt schreiben. Erklären Sie Claude oder ChatGPT, wie ein Sheet-Prompt strukturiert ist, und beschreiben Sie dann jedes Element. Geben Sie zuerst den Stil an und beschreiben Sie im Detail nur das, was für die Geschichte wichtig ist.
2. Testen Sie denselben Prompt in mehreren Bildmodellen. Diese interpretieren den Stil sehr unterschiedlich, und ein Bild kostet jeweils nur wenig. Nutzen Sie das beste Ergebnis für die restlichen Sheets.
3. Behalten Sie einen Stil über alle Blätter hinweg bei. Entweder weisen Sie das Sprachmodell an, exakt den vorherigen Stil wiederzuverwenden, oder Sie fügen ein früheres Blatt als Referenz bei.
4. Korrigieren Sie ein Sheet, indem Sie es zeigen, statt es neu zu schreiben. Laden Sie das Bild hoch und formulieren Sie in einfachen Worten die eine Änderung, die Sie benötigen.
5. Testen Sie bei mittleren oder niedrigen Bildeinstellungen, solange der Prompt noch bearbeitet wird, und wechseln Sie zu den endgültigen Einstellungen, sobald das Ergebnis passt.

Für eine reale Person ist der Input Ihr eigenes Foto: Ganzkörperaufnahmen aus verschiedenen Winkeln werden in ein Bildmodell eingespeist, um das Character Sheet zu erstellen; eine zweite Collage kann dasselbe für das Outfit erledigen.

Sheets in das Videomodell übertragen

In Seedance erhält jede hochgeladene Datei ein Tag, wie zum Beispiel @Image 1, und der Prompt muss dieses Tag verwenden, wenn das Element beschrieben wird. Benennen Sie jede Referenz zu Beginn des Prompts und geben Sie an, wofür sie dient: Identität, Ort oder Aktion.

Zwei Limits bestimmen den Plan. Seedance 2.0 Fast auf fal umfasst bis zu 9 Bilder, 3 Videos und 3 Audiodateien, insgesamt 12, für 4 bis 15 Sekunden. Seedance 2.5 auf Dreamina umfasst bis zu 30 Bilder, 10 Videos und 10 Audiodateien, für 4 bis 30 Sekunden.

Mehr Referenzen bedeuten nicht mehr Kontrolle

Ein höheres Limit bedeutet nicht, dass Sie es auch nutzen sollten. Fügen Sie hinzu, was diese Einstellung benötigt, und stellen Sie sicher, dass die Referenzen untereinander übereinstimmen. In unserer Puppenhaus-Szene führten mittlere Frames, die anders gerahmt waren als der Startframe, zu einem Kamera-Drift und dazu, dass sich das Bett zu bewegen schien, obwohl im Prompt stand, dass die Kamera fixiert sei. Ein späterer Take war stabil, wobei die Bewegung im Prompt angegeben und ein Framing zur Festlegung des Raums gewählt wurde. In unserem Recast behielt ein Durchlauf mit sechs Aufnahmen und neun Bildern die Schilder des alten Ladens bei.

Storyboard oder Schauplätze

Es gibt zwei gängige Wege, die Action zu steuern. Ein Storyboard-Raster zeigt die Schlüsselszenen, wobei jeder Fehler darin sichtbar werden kann; korrigieren Sie daher schlechte Frames in einem Bildbearbeitungsprogramm, bevor Sie eine Videogenerierung verbrauchen. Leere Location-Frames ohne Charaktere oder Objekte überlassen es dem Modell, die Action zu bestimmen. Behalten Sie in jedem Fall das Charakterblatt bei: Ein Gesicht in einem kleinen Storyboard-Frame ist keine saubere Referenz.

Die Kosten

Die Kalkulation ist das Argument für Sheets. Ein Sheet kostet Cent-Beträge; ein 30-sekündiger Take bei 1080p kostet etwa $17 auf BytePlus, und mehr, wenn er abweicht und Sie ihn erneut ausführen müssen. Es ist auch das Argument dafür, zuerst mit einer niedrigeren Auflösung zu testen und erst dann Geld für das Finale auszugeben, wenn die Action funktioniert.

Selbst mit guten Sheets, Schnitt

Ein perfekter, komplexer Take beim ersten Versuch ist selten. Da die Sheets jedes Element von einem Take zum nächsten gleich halten, können Sie alle Aufnahmen - einschließlich der Fehlversuche - behalten und die guten Sekunden in einem Schnittprogramm zusammenschneiden.

Aus unseren eigenen Versuchen

Lassen Sie das Sheet die Identität tragen und vermeiden Sie Beschreibungen von Hautmerkmalen im Prompt. Bei einem unserer Restyles einer realen Person führte die Nennung von Sommersprossen im Prompt dazu, dass diese zu dunklen Flecken im Gesicht wurden; der erneute Versuch ohne dieses Wort lieferte ein sauberes Ergebnis. Überprüfen Sie jedes Gesicht in voller Größe anhand des Sheets, bevor Sie einen Take übernehmen.

Konsistente Schauplätze beibehalten

Behandeln Sie einen Ort wie einen Charakter. Erstellen Sie pro Standort eine Referenz und verwenden Sie diese unverändert in jeder Einstellung, die dort gedreht wird. Ein leerer Frame, der keine Charaktere oder Objekte enthält und im gleichen Stil wie Ihre anderen Sheets erstellt wurde, funktioniert gut. One Prompt Studio verwendete ein einzelnes Bild des Studios, und der Prompt bezeichnete es als „exakt dieses Layout“. Kleine Objekte bewegten sich dennoch, also überprüfen Sie die Dinge, von denen Ihre Geschichte abhängt.

Wenn ein realer Drehort erhalten bleiben muss, wie in unserem Recast eines 16-sekündigen Werbespots, wurde jeder neue Ort zuerst als Standbild erstellt und freigegeben, und jedes Tool erhielt dasselbe Standbild. Kling 4.0 erzielte die stärksten Location-Wechsel, während Wan 3.0 den Ort nur in kurzen Durchläufen beibehielt. Ein Durchlauf mit sechs Aufnahmen und neun Bildern bewahrte die Schilder des alten Ladens.

Konsistente Beleuchtung beibehalten

Entscheiden Sie, welche Referenz für das Licht verantwortlich ist, und teilen Sie dies dem Modell mit. Unser Referenzbild für Sportbekleidung nutzte flaches Licht vor einem schlichten grauen Hintergrund, damit nur Gesichter und Kleidung im Fokus standen, während die Straße und die späte Sonne aus dem Startframe der Aufnahme selbst kamen. Wenn ein Referenzbild dramatisches Licht enthält, überträgt das Modell dieses möglicherweise in jede Szene. Wir haben das Licht zudem mit seiner Richtung und Tageszeit in jeden Prompt geschrieben.

Konsistente Kameraperspektiven beibehalten

Aufnahmen, die zusammengeschnitten werden, wenn die Kamera wie eine einzige Kamera agiert. Bleiben Sie von Einstellung zu Einstellung auf derselben Seite der Action, damit die Personen weiterhin in dieselbe Richtung blicken. Ein veröffentlichter Life-Story-Reel, den wir analysiert haben, verwendete in jedem Prompt dieselbe Kamerabeschreibung und änderte nur die Brennweite; zudem wurde ein Kompositions-Absatz wortwörtlich wiederholt, wenn die Kamera an einen Ort zurückkehrte. Die zweiundzwanzig Clips dieses Reels wirkten wie eine geschlossene Welt. Halten Sie jede Bewegung klein in kurzen Aufnahmen.

Verwendung eines gemeinsamen Frames zwischen Aufnahmen

Um ohne sichtbaren Sprung zwischen zwei Aufnahmen zu schneiden, beenden Sie die eine und beginnen Sie die nächste mit demselben Bild. In unserer Puppenhaus-Szene stimmte die Komposition am Übergang zwar überein, aber die Hauttextur eines großen Gesichts wich leicht ab. Verbergen Sie den Übergang durch Bewegung oder einen Schnitt und sehen Sie sich weitere Möglichkeiten an, Szenen zu verbinden.

Quellen

• Seedance 2.0 Fast auf fal: Referenzlimits und Preis
• Unsere Preisnotiz vom November: Seedance 2.5 Tarife
• Seedream 5.0 Lite auf fal, GPT Image 2 auf fal und Gemini API Preise: Bildpreise
• ElevenLabs API Preise: Sprachzeilen