Удаление или замена объекта в видео с помощью ИИ: сравнение шести инструментов

Дубль почти идеален. Движение камеры, тайминг и человек подобраны верно, но есть одна ошибка: вместо нужного объекта - грузовик, или корзина с фруктами, которой там быть не должно, или не та куртка. Перегенерация всего кадра для исправления ошибки означает потерю всего, что получилось хорошо. Вам нужен монтаж, который затронет только один объект, не меняя остальную часть клипа.

Для этого создано шесть инструментов. Все шесть описаны здесь на основе страниц и документации их разработчиков с указанием цен. Мы использовали один из них, Higgsfield Genjutsu, для работы с реальным объектом, кадры которой приведены ниже. Мы запускали Seedance 2.5 Video Edit только для полной смены стиля всей комнаты. Остальные инструменты мы не тестировали.

Чтобы удалить объект, отметьте его на кадре, где он виден полностью (если ваш инструмент это позволяет), попросите об этом одним коротким предложением и укажите, что остальное должно остаться без изменений. Для других задач, таких как удаление фона или замена человека, начните с руководства по редактированию ИИ-видео.

Три инструмента из их собственной документации

Seedance 2.5 Видеомонтаж: дайте название, остальное оставьте как есть

Модель ByteDance редактирует входящее видео по промпту, сохраняя идентичность объекта, композицию и движение. Результат соответствует длительности и формату источника, а референсы указываются в промпте, например @Image 1. Хостинги различаются: API принимает только текст, а некоторые приложения позволяют выделить область на кадре.

Шаблон для копирования: если вы можете выделить объект, выберите кадр, где он виден полностью, напишите одну короткую инструкцию своими словами и закончите фразой, что всё остальное остается без изменений. Разрешение - основной рычаг управления стоимостью. Монтаж длительностью 5 секунд стоит около $1.38 при 720p на BytePlus и около $3.40 при 1080p, поэтому тестируйте на малых объемах. Мы запускали эту модель для рестайлинга говорящей головы, а не для редактирования одного объекта.

Beeble SwitchX: маскируйте изменения, оставляйте остальное без изменений

Beeble описывает SwitchX как «меняйте что угодно, сохраняйте важное». Маскированные области генерируются на основе вашего промпта и референсного изображения. Немаскированные области сохраняют оригинальный материал, но с новым освещением и стилем для плавного вхождения в новую обстановку. Референс служит чертежом результата, показывая объект и окружение вместе с уже заданным светом.

• Автоматический находит и отслеживает главный объект. Beeble рекомендует его для замены фона и переосвещения
• Функция Select позволяет вам кликом выбирать, что именно будет сгенерировано, для точечных изменений, таких как новая одежда. Добавляйте отдельные части, например лицо и руку, как отдельные объекты и используйте Invert, чтобы ограничить генерацию областью одного объекта.
• Fill занимает весь кадр, сохраняя геометрию, но меняя освещение или стиль.
• Upload использует маску из такого ПО, как Nuke или After Effects.

Будьте конкретны в описании настроек, света и настроения. Версия 2.0 поддерживает до 480 кадров; стоимость составляет 6 кредита в секунду при 720p и 20 при 1080p. На плане Creator за $19 с 540 кредитами это составит примерно $1.06 или $3.52 за 5 секунд. Мы это не тестировали.

Gemini Gemini Flash: низкая цена при меньших гарантиях

Некоторые приложения называют это Veo Omni Flash. В Google Flow он может редактировать загруженные и сгенерированные видео с помощью новых промптов и параметров длительностью до 10 секунд в любом соотношении сторон. Его преимущество в цене: API от Google указывает цену около $0.10 за секунду 720p видео, в то время как у двух других этот показатель более чем в два раза выше с учетом их системы тарификации.

Google не гарантирует, что останется неизменным, и мы не тестировали это для редактирования объектов. Поэтому четко указывайте, что нужно изменить, а что оставить, закладывайте бюджет на вторую попытку и проверяйте весь клип целиком.

Еще три: Genjutsu, Aleph и Kling O1 Edit

Эти три варианта развивают одну и ту же идею: вы загружаете клип, описываете изменения и прикрепляете новый объект в качестве референса. Ни один из них не требует рисовать маску; каждый находит и отслеживает объект по текстовому описанию. Это быстрее, но именно здесь они чаще всего ошибаются, как показывает наш опыт.

Genjutsu в реальной работе: найденные книги и те, что остались за кадром

Нашим кейсом был 108-секундный монтаж, в котором более десяти человек, снятых по отдельности, держат книгу, карточку или чистый лист бумаги, и у каждого из них должна была появиться одна и та же зеленая книга. Промпт был четким: заменить каждую книгу и каждый белый лист или карточку, которые держат в руках, на зеленую книгу из референса, оставить руки на переднем плане, не менять ничего другого.

Genjutsu заменил книги, которые он распознал как книги. Один участник держал другую зеленую книгу, снятую зеркально на селфи-камеру; в итоге она превратилась в нашу обложку, в правильной ориентации, с названием, эмблемой дерева и обеими руками в сохранности.

Оно оставило каждый чистый лист пустым, хотя в промпте они были упомянуты, и пропустило синюю книгу в более позднем сегменте. Модель, которая находит объект по словам, сама решает, что считать объектом, и лист бумаги таковым не признала.

Нам пришлось разделить видео на отдельные монтажные склейки и заменять объекты по одному: склейка с книгой, затем склейки с чистыми листами, и каждая редактировалась так, чтобы показать нужную нам зеленую книгу.

Runway Aleph 2.0

Runway позиционирует Aleph как редактор для реальных съемок: заменяйте продукт или персонажа, удаляйте объекты, меняйте фон или гардероб, освещение, добавляйте погоду или эффекты - и всё это с помощью текстовой инструкции. Сервис работает с самыми длинными клипами из шести, до 30 секунд с количеством монтажных склеек до десяти, и имеет прозрачную цену: 28 кредитов за секунду отредактированного видео в приложении (минимум 56 кредитов) или $0.28 за секунду через API. Мы не проводили тестирование.

Kling O1 Редактирование

Редактор Kling работает на основе текстовых запросов с использованием до четырех референсов: в инструкции можно пометить персонажа как @Element1, а стилистическое изображение - как @Image1; при этом сохраняется оригинальное движение, но меняются указанные вами объекты. Длительность клипов составляет от 3 до 10 секунд, а при цене 0.168 за секунду на fal (0.126 для тарифа Standard) это самый дешевый вариант в расчете на секунду среди платных редакторов. Мы также его не тестировали.

Что выбрать

1. Объект плоский и жесткий - книга, вывеска, экран, этикетка: отследите его углы и закрепите на нем замену. Без использования модели, без перерисовки рук и без оплаты за каждую секунду.
2. Один объект должен измениться, а остальное должно остаться оригинальным материалом - SwitchX, если клип длится 20 секунд или меньше при 24 fps и вы можете показать результат на одном референсном изображении.
3. Замена продукта, реквизита или одежды по референсным фото - Genjutsu, затем проверьте каждый случай, который она должна была обработать.
4. Нужно заменить, удалить или добавить один объект, и вы предпочитаете указать на него, а не использовать маску - Seedance 2.5 Video Edit на хостинге с функцией выделения.
5. Реальные футажи длительностью до 30 секунд с четкой ценой за секунду - Aleph; для клипов длительностью 10 секунд и менее, где важна цена, используйте Kling O1 Edit.
6. Вы все еще исследуете или изменение касается всего образа - Gemini Omni Flash, с учетом нескольких заложенных в бюджет регенераций.

Какой бы редактор вы ни использовали, перед тем как оставить дубль, кадрируйте любое лицо в кадре в полном размере относительно исходника. Монтаж, который сохраняет объект правильным, но слегка меняет человека, не спасает кадр.

Источники

• Seedance 2.5 Video Edit на WaveSpeed, страница Morphic с Seedance 2.5 и наша заметка о ценах за ноябрь
• Документация Beeble SwitchX и цены Beeble Cloud
• Google Flow помощь по видеомоделям и цены на Gemini API
• Higgsfield: знакомство с Genjutsu и страницей Genjutsu
• Runway Aleph 2.0: возможности и цены
• Kling O1 Edit на fal