Нейросеть находит людей в ролике, следит за каждым из них от кадра к кадру, связывает выбранного человека с вашим фото и заново рисует кадры: на его месте появляется человек со снимка, а движения, камера и свет остаются как в оригинале. В конце к видео возвращается исходный звук. Это генерация, а не покадровый монтаж, поэтому получается новый дубль сцены, а не точная копия, и иногда нужна ещё одна попытка.

Как работает замена лица в видео?

Весь процесс укладывается в четыре шага.

Шаг 1. Поиск и отслеживание людей

Сначала нейросеть находит в видео всех людей и ведёт каждого от кадра к кадру — так она понимает, что девушка слева и после разворота остаётся тем же человеком. Заодно она выделяет область, которую человек занимает в кадре, чтобы потом менять только его.

В vswp поиск запускается сам, как только вы загрузите видео длиной от 1 до 120 секунд и размером до 150 МБ. Нейросеть просматривает первые 30 секунд, а в более длинном ролике можно выбрать другой отрезок — тоже до 30 секунд. Обычно поиск занимает пару минут. В видео из раздела «Тренды» люди уже найдены, так что ждать не придётся.

Найденные люди появляются в виде карточек: сначала главные герои, а те, кто мелькает недолго или стоит далеко, собраны в группу «на фоне».

Шаг 2. Фото привязывается к человеку

Дальше вы добавляете фото в карточку каждого, кого хотите заменить. Снимок служит образцом, а не наклейкой: нейросеть не вырезает лицо и не накладывает его поверх видео. Она по фото понимает, как выглядит человек (лицо, волосы, а если они видны на снимке, то и одежду с фигурой), и по этому образцу перерисовывает героя ролика.

На одно видео можно загрузить до 6 разных фото в форматах JPEG, PNG или WebP — хватит на целую компанию друзей. Все, кому фото не досталось, остаются как в оригинале. Снимок — главное, на что вы влияете, поэтому выбирайте его внимательно.

Шаг 3. Генерация новых кадров

Теперь нейросеть заново рисует кадры обрабатываемого отрезка: выбранные люди выглядят по-новому, а движения, ритм, камера и свет повторяют оригинал. Раз кадры новые, лицо освещено так, как освещена сцена, а не так, как вас сфотографировали. По той же причине два запуска с одним видео и одним фото не дают одинакового результата.

Шаг 4. Возвращение звука

Напоследок кадры снова собираются в видео, и к нему возвращается исходная звуковая дорожка: музыка, голоса и тайминг остаются прежними. Замена меняет внешность, но не голос — в ролике звучит голос из оригинала.

В vswp на выходе получается обработанный отрезок до 30 секунд — файл MP4 в 480p или 720p. Частота кадров такая же, как у исходника, примерно до 30 кадров в секунду.

Чем замена лица отличается от замены человека целиком?

Заменить человека в видео нейросетью можно двумя способами. Замена лица меняет только лицо и причёску, а одежду и фигуру оставляет из ролика. Замена целиком переносит с фото ещё и одежду, и силуэт. В vswp между ними переключает настройка «Сохранить исходный образ»:

Настройка включена Настройка выключена
Что меняется Лицо и причёска Лицо, волосы, одежда и силуэт
Какое фото нужно Хватит чёткого портрета Фото одного человека в полный рост
Когда выбирать Костюмы, форма, одинаковые наряды в тренде Хочется увидеть себя целиком и в своей одежде

Портрет не передаст одежду, которой на нём нет. Весь путь от выбора видео до готового ролика описан в гайде «Как вставить себя в видео».

Чего реально ждать от результата?

Удачный дубль выглядит как тот же ролик, только с другим человеком. Но это генеративная нейросеть, а не покадровый монтаж: сходство от дубля к дублю меняется, и могут появиться типичные артефакты — заметные огрехи генерации:

  • «Плавающее» сходство. Человек может выглядеть скорее как родственник того, кто на фото, или быть похожим в одних кадрах сильнее, чем в других.
  • Руки. Пальцы иногда сливаются, неестественно гнутся или меняется их количество.
  • Предметы перед лицом. Рука, волосы или телефон, проходящие перед лицом, могут на миг с ним слиться.
  • Очень быстрая камера. Резкие развороты и сильная тряска способны смазать новое лицо на несколько кадров.
  • Толпа. Когда людей много и они перекрывают друг друга, детали внешности могут перепутаться между соседями.
  • Те, кого плохо видно. Человека, который мелькнул на мгновение или сильно размыт, нейросеть может вообще не найти.

Как получить удачный дубль?

  1. Начните с хорошего фото. Один человек в кадре, резкий снимок, ровный свет, хорошо видно лицо, без солнечных очков и фильтров.
  2. Подберите режим под фото. Есть только портрет — оставьте «Сохранить исходный образ» включённым. Есть снимок в полный рост — настройку можно выключить и перенести в ролик свою одежду.
  3. Выберите спокойный отрезок. В длинном видео возьмите те 30 секунд, где лица хорошо видны, а камера движется плавнее.
  4. Сделайте ещё дубль. Повторное нажатие «Создать видео» даёт новый вариант — оставьте тот, что больше нравится. Каждый дубль — отдельная генерация со своей ценой; если она не удалась или вы её отменили, звёзды вернутся автоматически.

Это то же самое, что дипфейк?

Дипфейком обычно называют видео, где нейросеть выдаёт одного человека за другого или показывает, как он делает то, чего никогда не делал. Замена лица в видео — технология из той же семьи, и шаги выше в общих чертах описывают, как создаются такие ролики. Разница — в согласии и честности: вставить в тренд себя и друзей, которые не против, — совсем не то же самое, что сделать ролик с человеком без его разрешения или выдавать подделку за правду.

Нажимая «Создать видео» в vswp, вы подтверждаете, что у вас есть право использовать это видео и фото. Что это значит на практике, рассказываем в гайде о согласии и безопасности.

Вопросы и ответы

Сколько времени занимает замена лица в видео?

Поиск людей в загруженном ролике обычно занимает пару минут, а готовое видео, как правило, появляется через несколько минут после запуска. Примерное время приложение показывает заранее.

Голос тоже меняется?

Нет. Исходный звук сохраняется, поэтому в ролике звучит голос из оригинала: нейросеть меняет только внешность.

Можно ли заменить нескольких людей в одном видео?

Да. Добавьте фото каждому, кого хотите заменить, — до 6 разных фото на одно видео, а остальные останутся как в оригинале.

Можно попробовать бесплатно?

Да, можно сделать бесплатное превью: около 5 секунд вашего видео в 480p с небольшой отметкой «vswp.app», а если оно не получилось, бесплатная попытка вернётся. Полное видео оплачивается звёздами Telegram (⭐), первое платное — со скидкой 50%. Цена зависит от длины, качества и числа людей, а точная сумма видна до запуска.