Стабильное AI-видео: одни и те же персонажи, локации и свет в разных кадрах

Первый кадр истории выглядит отлично. Во втором у куртки героя другие карманы, в третьем лицо напоминает лицо родственника, а к четвертому мопед оказывается другой марки. Видеомодели ничего не помнят между генерациями и теряют последовательность при длительной генерации. Рабочее решение - не более длинное описание, а изображение, с которого модель может копировать: референс.

Ниже представлен метод с розничными ценами от оригинальных провайдеров и хостингов, которые мы используем. Если наши собственные запуски добавляют что-то дополнительное, это помечено как наше.

Что такое лист

Лист - это одно изображение, на котором один и тот же элемент показан с нескольких ракурсов, обычно на однотонном белом фоне: анфас, в три четверти, сбоку и со спины. Модель видит каждую сторону объекта, который ей нужно сохранить, чтобы ей не пришлось угадывать, как выглядит спина куртки, когда персонаж поворачивается.

Создавайте по одному для каждого элемента, который встречается более одного раза: персонажа, транспортного средства, реквизита с логотипом или локации. Для короткой истории о почтальоне на мопеде может понадобиться четыре: почтальон, мопед, фургон и рынок, где все происходит.

Наш пример из рекламы спортивной одежды: шесть бегуний, вид спереди и в профиль, каждая в своем наряде на однотонном сером фоне с ровным светом. Лист идентичности переносит только лица и одежду; свет и улица берутся из исходного кадра самого плана.

Как создаются полотна

1. Попросите языковую модель написать промпт-лист. Объясните Claude или ChatGPT, как структурируется промпт-лист, а затем опишите каждый элемент. Сначала укажите стиль и подробно описывайте только то, что важно для сюжета.
2. Попробуйте один и тот же промпт в нескольких моделях генерации изображений. Они по-разному интерпретируют стиль, а генерация одного изображения стоит недорого. Используйте лучший вариант для остальных листов.
3. Придерживайтесь одного стиля на всех листах. Либо попросите языковую модель в точности повторить предыдущий стиль, либо прикрепите предыдущий лист в качестве референса.
4. Исправляйте лист, показывая его, а не переписывая. Загрузите изображение и простыми словами попросите внести одно необходимое изменение.
5. Тестируйте на средних или низких настройках изображения, пока промпт еще в процессе изменения, и переходите к финальным настройкам, когда результат вас устроит.

Для реального человека входными данными служат ваши собственные фото: снимки в полный рост с нескольких ракурсов подаются в модель генерации изображений для создания листа персонажа, а второй коллаж может сделать то же самое для наряда.

Перенос листов в видеомодель

В Seedance каждому загруженному файлу присваивается тег, например @Image 1, и в промпте необходимо использовать этот тег при описании элемента. Указывайте название каждого референса в начале промпта и уточняйте его назначение: внешность, локация или действие.

План определяется двумя ограничениями. Seedance 2.0 Fast на fal включает до 9 изображений, 3 видео и 3 аудиофайлов, всего 12, на период от 4 до 15 секунд. Seedance 2.5 на Dreamina включает до 30 изображений, 10 видео и 10 аудиофайлов, на период от 4 до 30 секунд.

Больше референсов - не значит больше контроля

Высокий лимит не означает, что его нужно использовать. Прикрепите то, что необходимо этому кадру, и убедитесь, что референсы согласованы между собой. В нашей сцене с кукольным домиком средние кадры, отличающиеся по композиции от начального, привели к дрейфу камеры и движению кровати, хотя в промпте было указано, что камера зафиксирована. Более поздний дубль получился стабильным: движение было прописано в промпте, а один вариант кадрирования использовался для задания плана комнаты. В нашем рекасте прогон из шести кадров и девяти изображений позволил сохранить вывески старого магазина.

Раскадровка или локации

Существует два распространенных способа управления действием. Сетка раскадровки показывает ключевые моменты, и любой изъян в ней может проявиться, поэтому исправьте плохие кадры в графическом редакторе перед тем, как тратить ресурсы на генерацию видео. Пустые кадры локаций без персонажей или объектов заставляют модель саму придумывать действие. В любом случае, прикрепляйте лист персонажа: лицо в маленьком кадре раскадровки не является чистым референсом.

Стоимость

Математика - это аргумент в пользу использования листов. Лист стоит центы; 30-секундный дубль при 1080p стоит около $17 на BytePlus, и дороже, если происходит отклонение и вам приходится запускать его снова. Это также аргумент в пользу предварительного тестирования в более низком разрешении, чтобы тратиться на финальный вариант только тогда, когда действие отработано.

Даже с хорошими листами, склейка

Идеальный сложный дубль с первой попытки - редкость. Поскольку листы сохраняют все элементы неизменными от дубля к дублю, вы можете оставить их все, включая неудачные, и собрать удачные секунды воедино в монтажной программе.

Из наших собственных генераций

Пусть референс передает айдентику, а в описании не упоминайте особенности кожи. Когда мы меняли стиль фото реального человека, упоминание веснушек в промпте превратило их в темные пятна на лице; повторная генерация без этого слова дала чистый результат. Перед тем как утвердить дубль, проверяйте каждое лицо на полноразмерном изображении, сверяясь с референсом.

Сохранение постоянства локаций

Относитесь к локации как к персонажу. Создавайте по одному референсу на каждую локацию и используйте его без изменений в каждом кадре, снятом там. Хорошо работает пустой кадр без персонажей или объектов, выполненный в том же стиле, что и ваши остальные листы. One Prompt Studio использовали всего одно фото студии, и в промпте указали: «точно такая же планировка». Мелкие объекты все равно двигались, так что проверяйте детали, от которых зависит ваш сюжет.

Когда нужно сохранить реальную локацию, как в нашем ремейке 16-секундного ролика, каждое новое место сначала создавалось как стоп-кадр и утверждалось, а затем этот же кадр использовался во всех инструментах. Kling 4.0 лучше всего справились с заменой локаций, а Wan 3.0 использовали локацию только короткими сериями. При серии из шести кадров и девяти изображений удалось сохранить вывески старого магазина.

Поддержание стабильного освещения

Определите, какой референс отвечает за свет, и сообщите об этом модели. В нашем листе с одеждой для фитнеса использовался плоский свет на простом сером фоне, чтобы передать только лица и гардероб, а улица и закатное солнце добавились из начального кадра самого плана. Если на референсе драматичное освещение, модель может перенести его в каждую сцену. Мы также прописывали тот же свет в каждом промпте, указывая направление и время суток.

Сохранение постоянства ракурсов

Кадры, смонтированные так, будто работает одна камера. Держите действие с одной и той же стороны от кадра к кадру, чтобы персонажи всегда смотрели в одном направлении. В одном опубликованном видео-портфолио, которое мы изучали, в каждом промпте использовалось одинаковое описание камеры и менялась только фокусная длина, а при возвращении в ту же локацию абзац с композицией повторялся слово в слово. Те двадцать два клипа выглядели как единый мир. Делайте движения минимальными в коротких кадрах.

Использование общего кадра между планами

Чтобы сделать монтаж между двумя кадрами без видимого скачка, завершите один и начните следующий на том же изображении. В нашей сцене с кукольным домиком композиция совпадала в месте стыка, но текстура кожи крупного лица немного отличалась. Скройте стык движением или склейкой и ознакомьтесь с другими способами соединения сцен.

Источники

• Seedance 2.0 Fast на fal: лимиты референсов и цена
• Наша заметка о ценах за ноябрь: тарифы Seedance 2.5
• Seedream 5.0 Lite на fal, GPT Image 2 на fal и цены Gemini API: цены на изображения
• Цены ElevenLabs на API API: голосовые линии