Vídeo IA consistente: mesmos personagens, locais e luz através dos planos

O primeiro plano de uma história parece ótimo. No segundo, o casaco do protagonista tem bolsos diferentes; no terceiro, o rosto é uma variante do rosto anterior; e no quarto, a mota é de outra marca. Os modelos de vídeo não se lembram de nada entre gerações e, dentro de uma geração longa, perdem a consistência. A solução prática não é uma descrição mais longa. É uma imagem da qual o modelo possa copiar: uma folha de referência.

Abaixo encontra-se o método, com os preços de tabela dos fornecedores originais e dos alojamentos que utilizamos. Quando as nossas próprias execuções acrescentam algo, isso é assinalado como nosso.

O que é uma folha

Uma folha é uma imagem que mostra o mesmo elemento de vários ângulos, geralmente num fundo branco liso: frente, três quartos, perfil e costas. O modelo vê todos os lados do objeto que deve manter, para que não tenha de adivinhar as costas de uma casaco quando a personagem se vira.

Crie um para cada elemento que apareça mais do que uma vez: a personagem, mas também o veículo, o acessório com um logótipo, a localização. Uma história curta sobre um carteiro numa mota pode precisar de quatro: o carteiro, a mota, uma carrinha e o mercado onde tudo acontece.

O nosso, de um anúncio de roupa desportiva: seis corredoras, fila da frente e perfil lateral, cada uma com o seu próprio conjunto num fundo cinzento liso com luz suave. A folha transporta apenas rostos e vestuário; a luz e a rua vêm do próprio fotograma inicial do plano.

Como os lençóis são feitos

1. Peça a um modelo de linguagem para escrever o prompt da folha. Explique ao Claude ou ao ChatGPT como um prompt de folha é estruturado e, em seguida, descreva cada elemento. Indique o estilo primeiro e descreva detalhadamente apenas o que é relevante para a história.
2. Experimente o mesmo prompt em vários modelos de imagem. Eles interpretam o estilo de forma muito diferente e o custo de cada imagem é baixo. Utilize a vencedora para as restantes folhas.
3. Mantenha um estilo consistente em todas as folhas. Peça ao modelo de linguagem para reutilizar exatamente o estilo anterior ou anexe uma folha anterior como referência.
4. Corrija uma folha mostrando-a, não a reescrevendo. Carregue a imagem e peça, em linguagem simples, a única alteração de que necessita.
5. Teste com definições de imagem médias ou baixas enquanto o prompt ainda está a ser ajustado, e mude para as definições finais assim que estiver correto.

Para uma pessoa real, a entrada são as suas próprias fotos: fotografias de corpo inteiro de vários ângulos são inseridas num modelo de imagem para criar a folha de personagem, e uma segunda colagem pode fazer o mesmo para o traje.

Introduzir folhas no modelo de vídeo

No Seedance cada ficheiro carregado recebe uma etiqueta, como @Image 1, e o prompt tem de usar essa etiqueta onde descreve o elemento. Nomeie cada referência no início do prompt e diga para que serve: identidade, localização ou ação.

Dois limites definem o plano. Seedance 2.0 Fast na fal consome até 9 imagens, 3 vídeos e 3 ficheiros de áudio, 12 no total, para 4 a 15 segundos. Seedance 2.5 na Dreamina consome até 30 imagens, 10 vídeos e 10 ficheiros de áudio, para 4 a 30 segundos.

Mais referências não significam mais controlo

Um limite mais elevado não significa que deva utilizá-lo. Anexe o que este plano necessita e certifique-se de que as referências são coerentes entre si. Na nossa cena de casa de bonecas, os fotogramas intermédios com enquadramentos diferentes do fotograma inicial causaram uma deriva de câmara e fizeram a cama parecer mover-se, embora o prompt indicasse que a câmara estava fixa. Uma tomada posterior manteve-se estável, com o movimento indicado no prompt e um enquadramento escolhido para definir a sala. Em our recast, uma execução com seis planos e nove imagens manteve os sinais da antiga loja.

Storyboard ou localizações

Existem duas formas comuns de conduzir a ação. Uma grelha de storyboard mostra os momentos principais, e qualquer falha nela pode transparecer, por isso corrija os fotogramas maus num editor de imagem antes de gastar uma geração de vídeo. Fotogramas de localização vazios, sem personagens ou objetos, deixam o modelo decidir a ação. Em ambos os casos, mantenha a folha de personagem anexada: um rosto num pequeno fotograma de storyboard não é uma referência limpa.

O custo

A aritmética é o argumento para as folhas de cálculo. Uma folha custa cêntimos; uma tomada de 30 segundos a 1080p custa cerca de $17 na BytePlus, e mais se houver desvios e tiver de a executar novamente. É também o argumento para testar primeiro numa resolução mais baixa, para só investir no resultado final quando a ação funcionar.

Mesmo com boas folhas de personagem, a montagem

Uma tomada complexa e perfeita à primeira tentativa é rara. Como as folhas mantêm todos os elementos iguais de uma tomada para a seguinte, pode guardar todas elas, incluindo as falhas, e juntar os segundos bons num editor.

Das nossas próprias execuções

Deixe a folha de estilo carregar a identidade e evite descrever características da pele nas palavras. Numa das nossas reformatações de uma pessoa real, mencionar as sardas no prompt transformou-as em manchas escuras pelo rosto; a nova tentativa sem a palavra resultou num aspeto limpo. Verifique cada rosto em tamanho real face à folha de estilo antes de manter uma tomada.

Manter a consistência dos locais

Trate um lugar como uma personagem. Crie uma referência por localização e reutilize-a, sem alterações, em todos os planos definidos lá. Um fotograma vazio funciona bem, sem personagens ou objetos, criado no mesmo estilo que as suas outras folhas. One Prompt Studio utilizou uma única imagem do estúdio, e o prompt nomeou-a como “exatamente este layout”. Objetos pequenos ainda se moveram, por isso verifique os elementos de que a sua história depende.

Quando um local real tem de ser preservado, como na nossa recriação de um 16-segundo comercial, cada novo cenário foi criado primeiro como uma imagem estática e aprovada, e todas as ferramentas receberam a mesma imagem. Kling 4.0 realizou as substituições de localização mais intensas, e Wan 3.0 manteve o local apenas em sequências curtas. Uma sequência com seis planos e nove imagens preservou os letreiros da antiga loja.

Manter a iluminação consistente

Decida qual a referência responsável pela luz e indique-a ao modelo. A nossa folha de roupa desportiva utilizou uma luz plana num fundo cinzento neutro, para que apenas os rostos e o vestuário fossem transportados, e a rua e o sol do fim do dia viessem do próprio fotograma inicial do plano. Se uma folha tiver uma luz dramática, o modelo poderá aplicá-la a todas as cenas. Também escrevemos a mesma luz em cada prompt, com a sua direção e hora do dia.

Manter a consistência dos ângulos de câmara

Planos cortados para que a câmara se comporte como uma única câmara. Mantenha-a do mesmo lado da ação de plano para plano, para que as pessoas continuem a olhar para a mesma direção. Um reel de história de vida publicado que estudámos utilizou a mesma descrição de câmara em cada prompt e alterou apenas a distância focal, e repetiu um parágrafo de composição palavra por palavra quando regressou a um local. Os vinte e dois clipes desse reel mantiveram-se unidos como um único mundo. Mantenha cada movimento pequeno em planos curtos.

Utilização de um fotograma partilhado entre planos

Para fazer um corte entre dois planos sem um salto visível, termine um e comece o próximo na mesma imagem. Na nossa cena de casa de bonecas, a composição alinhou-se na junção, mas a textura da pele de um rosto grande divergiu ligeiramente. Esconda a junção com movimento ou um corte, e veja outras formas de ligar cenas.

Fontes

• Seedance 2.0 Fast on fal: limites de referência e preço
• A nossa nota de preços de novembro: taxas de Seedance 2.5
• Seedream 5.0 Lite na fal, GPT Image 2 na fal e preços de Gemini API: preços de imagem
• ElevenLabs API preços: linhas de voz