Elimina o sustituye un objeto en un vídeo con IA: comparativa de seis herramientas

La toma es casi correcta. El movimiento de cámara es bueno, el ritmo es bueno, la persona es buena, pero algo falla: un camión donde querías otra cosa, una cesta de fruta que no debería estar ahí, la chaqueta equivocada. Regenerar todo el plano para arreglarlo significa perder todo lo que funcionaba. Lo que necesitas es un montaje que afecte a un solo objeto y deje el resto del clip intacto.

Se han diseñado seis herramientas para ello. Aquí se describen las seis basándose en las páginas y documentación de sus proveedores, con los precios que estos indican. Hemos utilizado una de ellas, Higgsfield Genjutsu, en un trabajo con un objeto real, como se ve en los fotogramas de abajo. Hemos ejecutado Seedance 2.5 Video Edit únicamente en un reestilizado de una habitación completa. No hemos probado las demás.

Para eliminar un objeto, márcalo en un fotograma donde sea totalmente visible si tu herramienta lo permite, pide que desaparezca en una frase corta y di que el resto permanece sin cambios. Para otras tareas, como eliminar un fondo o reemplazar a una persona, empieza con la guía de edición de vídeo por IA.

Tres herramientas de su propia documentación

Seedance 2.5 Montaje de vídeo: ponle nombre, mantén el resto

El modelo de ByteDance edita un vídeo de entrada mediante un prompt, manteniendo la identidad del sujeto, la composición y el movimiento. El resultado sigue la duración y forma de la fuente, y las referencias se nombran en el prompt, como @Image 1. Los hosts varían: la API solo acepta texto, y algunas aplicaciones añaden una forma de marcar una región en un fotograma.

El patrón para copiar: si puedes marcar el objeto, elige un fotograma donde sea totalmente visible, escribe una instrucción corta con tus propias palabras y termina diciendo que todo lo demás permanece sin cambios. La resolución es el principal factor de coste. Un montaje de 5 segundos cuesta unos $1.38 a 720p en BytePlus y unos $3.40 a 1080p, así que haz pruebas pequeñas. Hemos probado este modelo en un restyle de talking-head, no en una edición de un solo objeto.

Beeble SwitchX: enmascara lo que cambia y conserva el resto

Beeble resume SwitchX como “cambia cualquier cosa, conserva lo importante”. Las áreas enmascaradas se generan a partir de tu prompt y una imagen de referencia. Las áreas no enmascaradas mantienen el metraje original, con una nueva iluminación y estilo para integrarse en el nuevo entorno. La referencia es un esquema del resultado, que muestra el sujeto y el entorno junto con la luz ya decidida.

• Auto encuentra y rastrea al sujeto principal. Beeble lo sugiere para cambios de fondo y reluminación.
• Select te permite hacer clic en lo que se va a generar para realizar cambios específicos, como un nuevo atuendo. Añade partes distintas, como una cara y una mano, como objetos separados y usa Invert para limitar la generación al área de un solo objeto.
• Fill ocupa todo el fotograma, manteniendo la geometría mientras cambia la luz o el estilo.
• Subir toma un mate de un software como Nuke o After Effects.

Sé específico con el ajuste, la luz y el ambiente. La versión 2.0 admite hasta 480 fotogramas, y detalla 6 créditos por segundo a 720p y 20 a 1080p. En el plan Creator de $19 con 540 créditos, eso supone unos $1.06 o $3.52 por 5 segundos. No lo hemos probado.

Gemini Omni Flash: precio bajo, con menos garantías

Algunas aplicaciones llaman a esto Veo Omni Flash. En Google Flow puede editar vídeos subidos y generados con nuevos prompts e ingredientes, de hasta 10 segundos de duración, en cualquier relación de aspecto. Su ventaja es el precio: la API de Google lista unos $0.10 por segundo de 720p, frente a más del doble para las otras dos una vez contabilizada su facturación.

Google no garantiza qué elementos permanecerán intactos, y no lo hemos probado para la edición de objetos. Por tanto, indica qué quieres cambiar y qué quieres mantener, prevé un segundo intento y revisa el clip completo.

Tres más: Genjutsu, Aleph y Kling O1 Edit

Estas tres opciones llevan la misma idea más allá: subes el clip, describes el cambio y adjuntas el nuevo objeto como referencia. Ninguna de ellas te pide que dibujes una máscara; cada una encuentra y rastrea el objeto mediante las palabras. Eso es más rápido, pero también es donde fallan, como demuestra nuestro propio trabajo.

Genjutsu en un trabajo real: los libros que encontró y las hojas que no

Nuestro caso fue un montaje de 108 segundos en el que más de diez personas, cada una filmada por separado, sostenían un libro, una tarjeta o una hoja de papel en blanco, y todos ellos debían convertirse en el mismo libro verde. El prompt era explícito: sustituye cada libro y cada papel o tarjeta blanca que se sostenga por el libro verde de la referencia, mantén las manos delante y no cambies nada más.

Genjutsu confundió los libros que reconoció como tales. Un participante sostenía un libro verde diferente, filmado en espejo con una cámara selfie; el resultado fue nuestra portada, orientada correctamente, con el título, el emblema del árbol y ambas manos intactas.

Dejó cada hoja en blanco tal cual, aunque el prompt las mencionara, y omitió un libro azul en un segmento posterior. Un modelo que busca un objeto mediante palabras decide por sí mismo qué cuenta como objeto, y una hoja de papel no lo hizo.

Tuvimos que dividir el vídeo en diferentes cortes y reemplazar los objetos uno a uno: un corte con un libro, luego cortes con hojas en blanco, cada uno editado para mostrar el libro verde que queríamos.

Runway Aleph 2.0

Runway posiciona a Aleph como el editor para metraje real: sustituye un producto o un personaje, elimina un objeto, cambia el fondo o el vestuario, ajusta la iluminación, añade clima o efectos, todo mediante una instrucción de texto. Utiliza los clips más largos de los seis, de hasta 30 segundos con hasta diez cortes, y tiene el precio más claro: 28 créditos por segundo editado en la aplicación, con un mínimo de 56 créditos, o $0.28 el segundo a través de la API. No lo hemos probado.

Kling O1 Edición de Kling

El editor de Kling funciona mediante lenguaje natural con hasta cuatro referencias: etiqueta un personaje como @Element1 y una imagen de estilo como @Image1 en la instrucción, y mantendrá el movimiento original mientras cambia lo que has nombrado. Los clips duran de 3 a 10 segundos y, a 0.168 el segundo en tarifa plana (0.126 para el nivel Standard), es el editor de pago más económico por segundo de los disponibles aquí. Nosotros tampoco lo hemos probado.

Cuál elegir

1. El objeto es plano y rígido -un libro, un cartel, una pantalla, una etiqueta-: rastrea sus esquinas y fija el reemplazo. Sin modelos, sin manos redibujadas y sin precio por segundo.
2. Un objeto debe cambiar y el resto debe mantenerse como metraje original - SwitchX, si el clip dura 20 segundos o menos a 24 fps y puedes mostrar el resultado en una imagen de referencia.
3. Cambio de producto, accesorio o atuendo mediante fotos de referencia - Genjutsu, y luego comprueba cada instancia que debería haber detectado.
4. Debes reemplazar, eliminar o añadir un objeto, y prefieres señalar en lugar de enmascarar - Seedance 2.5 Video Edit, en un proveedor que ofrezca la opción de marcado.
5. Metraje real de hasta 30 segundos con un precio claro por segundo - Aleph; para clips de 10 segundos o menos donde el precio es clave, Kling O1 Edit.
6. Estás explorando o el cambio es toda la estética - Gemini Omni Flash, con presupuesto para algunas regeneraciones.

Independientemente del editor que uses, recorta cualquier rostro del plano a tamaño completo comparándolo con la fuente antes de conservar la toma. Un montaje que deja el objeto bien pero a la persona ligeramente distinta no ha salvado el plano.

Fuentes

• Seedance 2.5 Video Edit en WaveSpeed, la página de Seedance 2.5 de Morphic y nuestra nota de precios de noviembre
• Documentación de Beeble SwitchX y precios de Beeble Cloud
• Google Flow ayuda sobre modelos de vídeo y precios de la API de Gemini
• Higgsfield: Conoce Genjutsu y la página de Genjutsu
• Runway Aleph 2.0: funciones y precios
• Kling O1 Edit en fal