Objekte in einem Video mit KI entfernen oder ersetzen: Sechs Tools im Vergleich

Der Take ist fast perfekt. Die Kamerabewegung stimmt, das Timing passt, die Person ist gut, aber eine Sache ist falsch: ein LKW, wo Sie etwas anderes wollten, ein Obstkorb, der dort nicht hingehört, die falsche Jacke. Die gesamte Einstellung neu zu generieren, um diesen Fehler zu beheben, bedeutet, alles zu verlieren, was bereits gut war. Was Sie brauchen, ist ein Schnitt, der nur ein Objekt verändert und den Rest des Clips unberührt lässt.

Dafür wurden sechs Tools entwickelt. Alle sechs werden hier anhand der Seiten und Dokumentationen der Anbieter sowie deren aufgeführter Preise beschrieben. Wir haben eines davon, Higgsfield Genjutsu, für eine Aufgabe mit einem realen Objekt verwendet, wie die untenstehenden Frames zeigen. Seedance 2.5 Video Edit haben wir nur für ein komplettes Restyling eines Raumes angewendet. Die anderen haben wir nicht getestet.

Um ein Objekt zu entfernen, markieren Sie es in einem Frame, in dem es vollständig sichtbar ist (sofern Ihr Tool dies zulässt), fordern Sie die Entfernung in einem kurzen Satz an und geben Sie an, dass der Rest unverändert bleibt. Für andere Aufgaben, wie das Entfernen eines Hintergrunds oder das Ersetzen einer Person, lesen Sie zuerst den KI-Videobearbeitungsleitfaden.

Drei Werkzeuge aus deren eigener Dokumentation

Seedance 2.5 Video-Schnitt: Benennen Sie ihn, lassen Sie den Rest unverändert

Das Modell von ByteDance bearbeitet ein Input-Video anhand eines Prompts und behält dabei die Identität des Motivs, die Komposition und die Bewegung bei. Der Output folgt der Länge und Form der Quelle; Referenzen werden im Prompt benannt, wie z. B. @Image 1. Die Hosts unterscheiden sich: API akzeptiert nur Text, während einige Apps eine Möglichkeit bieten, einen Bereich auf einem Frame zu markieren.

Das Muster zum Kopieren: Wenn Sie das Objekt markieren können, wählen Sie einen Frame, in dem es vollständig sichtbar ist, schreiben Sie eine kurze Anweisung in Ihren eigenen Worten und beenden Sie diese mit dem Hinweis, dass alles andere unverändert bleibt. Die Auflösung ist der wichtigste Kostenfaktor. Ein 5-sekündiger Schnitt kostet bei 720p auf BytePlus etwa $1.38 und bei 1080p etwa $3.40, testen Sie also lieber in kleinem Rahmen. Wir haben dieses Modell für ein Talking-Head-Restyling genutzt, nicht für eine Bearbeitung eines einzelnen Objekts.

Beeble SwitchX: Maskieren Sie, was sich ändern soll, und behalten Sie den Rest bei

Beeble fasst SwitchX so zusammen: „Alles tauschen, das Wichtige behalten“. Maskierte Bereiche werden basierend auf Ihrem Prompt und einem Referenzbild generiert. Unmaskierte Bereiche behalten das Originalmaterial, werden jedoch neu beleuchtet und umgestaltet, um in die neue Umgebung zu passen. Die Referenz dient als Blaupause für das Ergebnis und zeigt das Motiv und die Umgebung zusammen mit der bereits festgelegten Beleuchtung.

• Auto findet und verfolgt das Hauptmotiv. Beeble empfiehlt dies für Hintergrundwechsel und Relighting.
• Auswählen ermöglicht es Ihnen, per Klick festzulegen, was generiert wird, etwa für gezielte Änderungen wie ein neues Outfit. Fügen Sie einzelne Teile, wie ein Gesicht oder eine Hand, als separate Objekte hinzu und nutzen Sie Invert, um die Generierung auf den Bereich eines einzelnen Objekts zu beschränken.
• Fill nutzt das gesamte Bildformat und behält die Geometrie bei, während Licht oder Stil geändert werden.
• Upload verwendet ein Matte aus einer Software wie Nuke oder After Effects.

Seien Sie spezifisch bezüglich Einstellung, Licht und Stimmung. Version 2.0 unterstützt bis zu 480 Frames, und es kostet 6 Credits pro Sekunde bei 720p sowie 20 bei 1080p. Im 19$ Creator-Plan mit 540 Credits entspricht das etwa 1.06$ oder 3.52$ für 5 Sekunden. Wir haben dies nicht getestet.

Gemini Gemini Flash: der niedrige Preis, mit weniger Garantien

Einige Apps nennen dies Veo Omni Flash. In Google Flow kann es hochgeladene und generierte Videos mit neuen Prompts und Zutaten bearbeiten, bis zu 10 Sekunden lang, in jedem Seitenverhältnis. Der Vorteil liegt im Preis: Googles API listet etwa $0.10 pro Sekunde 720p-Ausgabe, verglichen mit mehr als dem Doppelten bei den anderen beiden, wenn man deren Abrechnung berücksichtigt.

Google garantiert nicht, welche Bereiche unverändert bleiben, und wir haben es nicht für eine Objektbearbeitung getestet. Geben Sie daher an, was geändert und was beibehalten werden soll, planen Sie Budget für einen zweiten Versuch ein und überprüfen Sie den gesamten Clip.

Drei weitere: Genjutsu, Aleph und Kling O1 Edit

Diese drei gehen die gleiche Idee einen Schritt weiter: Sie laden den Clip hoch, beschreiben die Änderung und fügen das neue Objekt als Referenz hinzu. Keines davon verlangt von Ihnen, eine Maske zu zeichnen; jedes findet und verfolgt das Objekt anhand der Wörter. Das geht schneller, ist aber auch die Schwachstelle, wie unsere eigene Arbeit zeigt.

Genjutsu im echten Job: die gefundenen Bücher und die übersehenen Blätter

Unser Fall war eine 108-sekündige Montage, in der mehr als zehn Personen, die jeweils separat gefilmt wurden, ein Buch, eine Karte oder ein leeres Blatt Papier hochhalten, und jede einzelne davon dasselbe grüne Buch werden musste. Der Prompt war explizit: Ersetze jedes Buch sowie jedes hochgehaltene weiße Papier oder jede Karte durch das grüne Buch aus der Referenz, behalte die Hände im Vordergrund bei, ändere nichts anderes.

Genjutsu hat die Bücher, die es als solche erkannte, vertauscht. Ein Teilnehmer hielt ein anderes grünes Buch, das mit der Selfie-Kamera gespiegelt gefilmt wurde; das Ergebnis war unser Cover, richtig herum, mit dem Titel, dem Baum-Emblem und beiden Händen intakt.

Jedes leere Blatt blieb leer, obwohl sie im Prompt benannt wurden, und in einem späteren Segment wurde ein blaues Buch übersehen. Ein Modell, das Objekte anhand von Wörtern findet, entscheidet selbst, was als Objekt zählt - ein Blatt Papier wurde hier nicht dazu gezählt.

Wir mussten das Video in einzelne Schnitte unterteilen und die Objekte nacheinander ersetzen: einen Schnitt mit einem Buch, dann Schnitte mit leeren Blättern, wobei jeder so bearbeitet wurde, dass das gewünschte grüne Buch zu sehen ist.

Runway Aleph 2.0

Runway positioniert Aleph als Editor für echtes Filmmaterial: Ersetzen Sie ein Produkt oder einen Charakter, entfernen Sie ein Objekt, ändern Sie den Hintergrund oder die Garderobe, passen Sie die Beleuchtung an oder fügen Sie Wetter und Effekte hinzu - alles allein durch eine Textanweisung. Es nutzt die längsten Clips der sechs, bis zu 30 Sekunden mit bis zu zehn Schnitten, und hat den klarsten Preis: 28 Credits pro bearbeiteter Sekunde in der App, bei einem Minimum von 56 Credits, oder $0.28 pro Sekunde über die API. Wir haben es noch nicht getestet.

Kling O1 Edit

Der Editor von Kling arbeitet mit natürlicher Sprache und bis zu vier Referenzen: Markieren Sie einen Charakter als @Element1 und ein Stilbild als @Image1 in der Anweisung; die ursprüngliche Bewegung bleibt erhalten, während die benannten Elemente ausgetauscht werden. Die Clips dauern 3 bis 10 Sekunden. Bei 0.168 pro Sekunde im fal-Tarif (0.126 für den Standard-Tarif) ist dies der günstigste Preis pro Sekunde unter den kostenpflichtigen Editoren hier. Wir haben es selbst noch nicht getestet.

Welches man wählen sollte

1. Das Objekt ist flach und starr - ein Buch, ein Schild, ein Bildschirm, ein Etikett: Verfolgen Sie die Ecken und platzieren Sie das Ersatzobjekt darauf. Kein Modell, keine neu gezeichneten Hände, kein Preis pro Sekunde.
2. Ein Objekt muss sich ändern, während der Rest das Originalmaterial bleibt - SwitchX, falls der Clip 20 Sekunden oder kürzer bei 24 fps ist und das Ergebnis mit einem Referenzbild gezeigt werden kann.
3. Austausch von Produkten, Requisiten oder Outfits anhand von Referenzfotos - Genjutsu, und prüfen Sie dann jedes Element, das es hätte erfassen sollen.
4. Ein Objekt muss ersetzt, entfernt oder hinzugefügt werden, und Sie möchten lieber auf etwas zeigen, als eine Maske zu erstellen - Seedance 2.5 Video Edit, bei einem Anbieter, der eine Markierungsfunktion anbietet.
5. Echtes Material bis zu 30 Sekunden mit einem klaren Preis pro Sekunde - Aleph; für Clips mit 10 Sekunden oder weniger, bei denen der Preis entscheidend ist, Kling O1 Edit.
6. Sie befinden sich noch in der Erkundungsphase oder die Änderung betrifft das gesamte Erscheinungsbild - Gemini Omni Flash, wobei einige Regenerierungen eingeplant sind.

Egal welchen Editor Sie verwenden: Schneiden Sie jedes Gesicht in der Einstellung in voller Größe gegen die Quelle zu, bevor Sie den Take behalten. Ein Schnitt, der das Objekt korrekt lässt, aber die Person leicht verändert, hat die Einstellung nicht gerettet.

Quellen

• Seedance 2.5 Video Edit auf WaveSpeed, Morphics Seedance 2.5 Seite und unserer Preisnotiz vom November
• Beeble SwitchX Dokumentation und Beeble Cloud Preise
• Google Flow Hilfe zu Videomodellen und Gemini API Preise
• Higgsfield: Lernen Sie Genjutsu kennen und die Genjutsu-Seite
• Runway Aleph 2.0: Funktionen und Preise
• Kling O1 Edit auf fal