Remover ou substituir um objeto num vídeo com IA: comparação de seis ferramentas

A tomada está quase correta. O movimento de câmara é bom, o timing é bom, a pessoa está bem, mas algo está errado: um camião onde queria outra coisa, um cesto de fruta que não deveria estar lá, a casaco errado. Regenerar o plano inteiro para o corrigir significa perder tudo o que funcionou. O que pretende é uma edição que altere apenas um objeto e deixe o resto do clip intacto.

Foram criadas seis ferramentas para esse fim. Todas as seis são aqui descritas com base nas páginas e documentação dos respetivos fornecedores, incluindo os preços listados por eles. Utilizamos uma delas, Higgsfield Genjutsu, num trabalho com um objeto real, com os fotogramas abaixo. Executámos apenas Seedance 2.5 Video Edit num restyling de uma sala inteira. Não executámos as restantes.

Para remover um objeto, marque-o num fotograma onde esteja totalmente visível, se a sua ferramenta o permitir, peça para o remover numa frase curta e diga que o resto permanece inalterado. Para outros trabalhos, como remover um fundo ou substituir uma pessoa, comece com o guia de edição de vídeo por IA.

Três ferramentas da sua própria documentação

Seedance 2.5 Edição de Vídeo: dê um nome, mantenha o resto

O modelo da ByteDance edita um vídeo de entrada através de um prompt, mantendo a identidade do sujeito, a composição e o movimento. O resultado segue a duração e a forma da fonte, e as referências são nomeadas no prompt, como @Image 1. Os anfitriões variam: o API aceita apenas texto, e algumas aplicações permitem marcar uma região num fotograma.

O padrão a copiar: se conseguir marcar o objeto, escolha um fotograma onde ele esteja totalmente visível, escreva uma instrução curta com as suas próprias palavras e termine dizendo que todo o resto permanece inalterado. A resolução é o principal fator de custo. Uma edição de 5 segundos custa cerca de $1.38 a 720p na BytePlus e cerca de $3.40 a 1080p, por isso teste em pequena escala. Executámos este modelo num reestilo de talking-head, não numa edição de um único objeto.

Beeble SwitchX: mascare o que muda, mantenha o resto

A Beeble resume o SwitchX como “mude qualquer coisa, mantenha o que importa”. As áreas mascaradas são geradas a partir do seu prompt e de uma imagem de referência. As áreas não mascaradas mantêm a filmagem original, com nova iluminação e estilo para se integrarem no novo cenário. A referência é um modelo do resultado, mostrando o sujeito e o cenário juntos com a luz já definida.

• Auto encontra e segue o sujeito principal. A Beeble sugere esta opção para substituições de fundo e relighting.
• Select permite-lhe clicar no que será gerado, para alterações direcionadas como um novo vestuário. Adicione partes separadas, como um rosto e uma mão, como objetos distintos, e use o Invert para limitar a geração à área de um único objeto.
• Fill ocupa todo o plano, mantendo a geometria enquanto altera a luz ou o estilo.
• Upload utiliza um matte de software como o Nuke ou After Effects.

Seja específico sobre a definição, a luz e o ambiente. A versão 2.0 utiliza até 480 fotogramas, e lista 6 créditos por segundo a 720p e 20 a 1080p. No plano Creator de $19 com 540 créditos, isso dá cerca de $1.06 ou $3.52 por 5 segundos. Não o testámos.

Gemini Omni Flash: o preço baixo, com menos garantias

Algumas aplicações chamam-lhe Veo Omni Flash. Em Google Flow, pode editar vídeos carregados e gerados com novos prompts e elementos, com até 10 segundos de duração, em qualquer relação de aspeto. A sua vantagem é o preço: a API da Google lista cerca de $0.10 por segundo de 720p, contra mais de o dobro para as outras duas quando se contabiliza a faturação.

O Google não garante o que permanece intacto, e não o testámos para uma edição de objeto. Portanto, indique o que deve mudar e o que deve manter, preveja orçamento para uma segunda tentativa e verifique o clipe completo.

Mais três: Genjutsu, Aleph e Kling O1 Edit

Estas três levam a mesma ideia mais longe: carrega o clipe, descreve a alteração e anexa o novo objeto como referência. Nenhuma delas lhe pede para desenhar uma máscara; cada uma encontra e segue o objeto através das palavras. Isso é mais rápido, mas é também onde falham, como o nosso próprio trabalho demonstra.

Genjutsu num trabalho real: os livros que encontrou e as folhas que não encontrou

O nosso caso foi uma montagem de 108 segundos na qual mais de dez pessoas, cada uma filmada separadamente, seguram um livro, um cartão ou uma folha de papel em branco, e cada uma delas tinha de passar a segurar o mesmo livro verde. O prompt era explícito: substituir cada livro e cada papel ou cartão branco segurado pelo livro verde da referência, manter as mãos à frente, não alterar mais nada.

O Genjutsu trocou os livros que reconheceu como livros. Um participante segurava um livro verde diferente, filmado de forma espelhada por uma câmara de selfie; o resultado foi a nossa capa, na orientação correta, com o título, o emblema da árvore e ambas as mãos intactas.

Deixou cada folha em branco como uma folha em branco, embora o prompt as tivesse nomeado, e omitiu um livro azul num segmento posterior. Um modelo que encontra um objeto através de palavras decide por si próprio o que conta como objeto, e uma folha de papel não contou.

Tivemos de dividir o vídeo em cortes separados e substituir os objetos um a um: um corte com um livro, depois cortes com folhas em branco, cada um editado para mostrar o livro verde que queríamos.

Runway Aleph 2.0

Runway posiciona o Aleph como o editor para filmagens reais: substitua um produto ou uma personagem, remova um objeto, altere o fundo ou o figurino, ajuste a iluminação, adicione clima ou efeitos, tudo através de uma instrução de texto. Utiliza os clipes mais longos dos seis, até 30 segundos com até dez cortes, e tem o preço mais claro: 28 créditos por segundo editado na aplicação, com um mínimo de 56 créditos, ou $0.28 por segundo através da API. Ainda não o testámos.

Kling O1 Edição

O editor do Kling funciona através de linguagem natural com até quatro referências: identifique uma personagem como @Element1 e uma imagem de estilo como @Image1 na instrução, e ele mantém o movimento original enquanto substitui o que nomeou. Os clipes têm entre 3 e 10 segundos e, a $0.168 por segundo em fal ($0.126 para o nível Standard), é o mais barato por segundo entre os editores pagos aqui. Também ainda não o testámos.

Qual escolher

1. O objeto é plano e rígido - um livro, um sinal, um ecrã, um rótulo: rastreie os seus cantos e fixe o substituto. Sem modelo, sem mãos redesenhadas, sem preço por segundo.
2. Um objeto deve mudar e o resto deve manter-se como a filmagem original - SwitchX, se o clipe tiver 20 segundos ou menos a 24 fps e conseguir mostrar o resultado numa única imagem de referência.
3. Substituição de produto, acessório ou vestuário a partir de fotos de referência - Genjutsu, e depois verifique cada instância que deveria ter detetado.
4. Um objeto deve ser substituído, removido ou adicionado, e prefere apontar em vez de aplicar uma máscara - Seedance 2.5 Edição de Vídeo, num host que oferece marcação.
5. Footagem real até 30 segundos com um preço claro por segundo - Aleph; para clipes de 10 segundos ou menos onde o preço é importante, Kling O1 Edit.
6. Ainda está a explorar, ou a alteração é o visual completo - Gemini Omni Flash, com algumas regenerações previstas no orçamento.

Independentemente do editor que utilize, recorte qualquer rosto no plano em tamanho real face à fonte antes de manter a tomada. Uma edição que deixe o objeto correto mas a pessoa ligeiramente diferente não salvou o plano.

Fontes

• Seedance 2.5 Video Edit em WaveSpeed, página de Seedance 2.5 da Morphic e a nossa nota de preços de novembro
• Documentação do Beeble SwitchX e preços do Beeble Cloud
• Google Flow ajuda sobre modelos de vídeo e preços da Gemini API
• Higgsfield: Conheça o Genjutsu e a página do Genjutsu
• Runway Aleph 2.0: funcionalidades e preços
• Kling O1 Edit na fal