Перший кадр історії виглядає чудово. У другому - у куртки героя інші кишені, у третьому - обличчя схоже на обличчя двоюрідного брата, а до четвертого - мопед вже іншої марки. Відеомоделі нічого не пам'ятають між генераціями, а під час тривалої генерації вони втрачають стабільність. Робоче рішення - це не довший опис, а зображення, з якого модель може копіювати: референс.
Нижче наведено метод із розрахунковими цінами від оригінальних постачальників та хостів, яких ми використовуємо. Якщо наші власні запуски щось додають, це позначено як наше.
Що таке sheet
Лист - це одне зображення, на якому один і той самий елемент показаний з кількох ракурсів, зазвичай на однотонному білому фоні: спереду, у три чверті, збоку та ззаду. Модель бачить кожну сторону об'єкта, який вона має зберегти, щоб їй не довелося вгадувати вигляд спинки піджака, коли персонаж розвертається.
Створіть окремий запит для кожного елемента, що з'являється більше одного разу: персонажа, а також транспорт, реквізит із логотипом або локацію. Для короткої історії про листоношу на мопеді може знадобитися чотири: листоноша, мопед, фургон і ринок, де все відбувається.
Наш приклад з реклами спортивного одягу: шість бігунів, перший план та профіль, кожна у своєму вбранні на однотонному сірому фоні з плоским світлом. Лист містить лише обличчя та гардероб; світло та вулиця беруться з власного початкового кадру плану.
Як створюються полотна
- Попросіть мовну модель написати промпт-лист. Поясніть Claude або ChatGPT, як структурований промпт-лист, а потім опишіть кожен елемент. Спочатку вкажіть стиль, а детально описуйте лише те, що важливо для сюжету.
- Спробуйте один і той самий промпт у кількох моделях зображень. Вони інтерпретують стиль дуже по-різному, а вартість одного зображення невелика. Використовуйте найкращий варіант для решти аркушів.
- Дотримуйтесь одного стилю для всіх аркушів. Або накажіть мовній моделі точно повторити попередній стиль, або додайте попередній аркуш як референс.
- Виправляйте аркуш, показуючи його, а не переписуючи. Завантажте зображення та просто попросіть про одну потрібну вам зміну.
- Тестуйте на середніх або низьких налаштуваннях зображення, поки промпт ще в процесі, і перемикайтеся на фінальні налаштування, коли результат вас влаштує.
Для реальної людини вхідними даними є ваші власні фото: знімки у повний зріст з кількох ракурсів подаються в модель зображень для створення аркуша персонажа, а другий колаж може зробити те саме для вбрання.
Передача листів у відеомодель
У Seedance кожен завантажений файл отримує тег, наприклад @Image 1, і в промпті потрібно використовувати цей тег там, де ви описуєте елемент. Називайте кожен референс на початку промпту та вказуйте його призначення: ідентичність, локація або дія.
План визначається двома обмеженнями. Seedance 2.0 Fast на fal включає до 9 зображень, 3 відео та 3 аудіофайлів, всього 12, тривалістю від 4 до 15 секунд. Seedance 2.5 на Dreamina включає до 30 зображень, 10 відео та 10 аудіофайлів, тривалістю від 4 до 30 секунд.
Більше референсів не означає більше контролю
Вищий ліміт не означає, що його варто використовувати. Додайте те, що потрібно цьому кадру, і переконайтеся, що референси узгоджуються між собою. У нашій сцені з ляльковим будиночком середні кадри, що відрізнялися за композицією від початкового, призвели до дрейфу камери та ефекту руху ліжка, хоча в промпті було вказано, що камера зафіксована. Наступний дубль був стабільним, оскільки рух був прописаний у промпті, а композицію було обрано для налаштування простору кімнати. У нашому перевтіленні серія з шести кадрів та дев'яти зображень дозволила зберегти вивіски старої крамниці.
Розкадровка або локації
Існує два поширені способи керування дією. Сітка сторіборду показує ключові моменти, і будь-який недолік у ній може проявитися, тому виправляйте невдалі кадри в графічному редакторі перед тим, як витрачати ресурси на генерацію відео. Порожні кадри локацій без персонажів чи об'єктів змушують модель самостійно продумувати дію. У будь-якому разі, додавайте лист персонажа: обличчя у маленькому кадрі сторіборду не є чітким референсом.
Вартість
| Крок | Модель та налаштування | Де | Ціна |
|---|---|---|---|
| Один аркуш або зображення для сторіборду | Seedream 5.0 Lite | fal | $0.035 |
| Один аркуш або зображення для сторіборду | GPT Image 2, середня, 2560 × 1440 | fal | $0.056 |
| Один аркуш або зображення для сторіборду | Nano Banana 2, 2K | $0.101 | |
| Голосова лінія довжиною 100 символів для аудіореференсу | Одинадцять v3 | ElevenLabs | $0.008 |
| Тестовий дубль | Seedance 2.5, 720p | BytePlus | приблизно $1.16 |
| Тестовий дубль | Seedance 2.0 Швидко, 720p | fal | приблизно $1.21 |
| Фінальний дубль | Seedance 2.5, 1080p | BytePlus | приблизно $2.84 |
| Фінальний дубль | Seedance 2.5, 1080p | fal | приблизно $5.69 |
Математика є аргументом на користь використання листів (sheets). Один лист коштує центи; 30-секундний дубль при 1080p коштує близько $17 на BytePlus, і більше, якщо виникає розсинхрон і ви запускаєте його знову. Це також аргумент на користь тестування спочатку в нижчій роздільній здатності, щоб витрачати кошти на фінальний варіант лише тоді, коли дія спрацювала.
Навіть із хорошими листами, склейка
Ідеальний складний дубль з першої спроби - рідкість. Оскільки листи зберігають кожен елемент незмінним від дубля до дубля, ви можете залишити всі вони, включно з невдачами, і зібрати вдалі секунди разом у монтажці.
З наших власних запусків
Нехай референс передає ідентичність, а не описуйте риси шкіри словами. Під час одного з наших рестайлінґів реальної людини згадка про веснянки в промпті перетворила їх на темні плями на обличчі; повторна генерація без цього слова дала чистий результат. Перед тим як залишити дубль, перевіряйте кожне обличчя на повний зріст за референсом.
Збереження стабільності локацій
Ставтеся до локації як до персонажа. Створюйте по одному референсу на кожну локацію і використовуйте його без змін у кожному кадрі, знятому там. Порожній кадр без персонажів чи об'єктів, створений у тому ж стилі, що й ваші інші листи, працює добре. One Prompt Studio використали одне фото студії, а в промпті назвали його «саме такий план». Маленькі об'єкти все одно рухалися, тому перевіряйте речі, від яких залежить ваш сюжет.
Коли потрібно зберегти реальну локацію, як у нашому ремейку 16-секундної реклами, кожне нове місце спочатку створювалося як стоп-кадр і затверджувалося, а кожен інструмент отримував одне й те саме зображення. Kling 4.0 зробили найефективнішу заміну локацій, а Wan 3.0 використовували локацію лише короткими серіями. Серія з шести кадрів і дев'яти зображень дозволила зберегти вивіски старої крамниці.
Підтримання стабільного освітлення
Визначте, яке референсне зображення відповідає за світло, і вкажіть це моделі. У нашому референсі для спортивного одягу використовувалося плоске світло на однотонному сірому фоні, щоб передати лише обличчя та гардероб, а вулиця та вечірнє сонце з'явилися з власного початкового кадру. Якщо на референсі драматичне світло, модель може перенести його в кожну сцену. Ми також прописували те саме світло в кожному промпті, вказуючи його напрямок та час доби.
Підтримка стабільності ракурсів
Кадри, змонтовані так, ніби працює одна камера. Тримайте камеру з одного боку від дії від кадру до кадру, щоб люди завжди дивилися в одному напрямку. У вивченому нами відео-портфоліо з історією життя використовувався однаковий опис камери в кожному промпті, змінювалася лише фокусна відстань, а при поверненні до певної локації абзац із композицією повторювався слово в слово. Ті двадцять два кліпи у відео виглядали як єдиний світ. Зробіть кожен рух невеликим у коротких планах.
Використання спільного кадру між кадрами
Щоб зробити монтаж між двома планами без помітного стрибка, завершуйте один і починайте наступний на тому самому зображенні. У нашій сцені з ляльковим будиночком композиція збігалася на стику, але текстура шкіри великого обличчя дещо відрізнялася. Приховайте стик за допомогою руху або монтажної склейки та перегляньте інші способи з'єднання сцен.
Джерела
- Seedance 2.0 Fast на fal: ліміти референсів та ціна
- Наша примітка щодо цін за листопад: тарифи Seedance 2.5
- Seedream 5.0 Lite на fal, GPT Image 2 на fal та ціни Gemini API API: ціни на зображення
- Ціни ElevenLabs на API API: голосові лінії
Послідовність - це робочий процес
Таблиці, теги та тестові дублі - це нудна частина, яка визначає, чи тримається історія. easyai.video, що зараз перебуває в розробці, створюється для того, щоб зібрати все в одному місці: від першої таблиці до експорту.
Приєднатися до списку очікування ↗