Руки, быстрые движения и толпа — самые трудные места при замене человека в видео: именно там нейросеть видит меньше всего чётких деталей. Замене они не мешают, но как раз в них кадр-другой может выглядеть странно: пальцы слипаются, лицо «мигает» на резком повороте, а в людной сцене лицо достаётся не тому человеку. Выберите отрезок поспокойнее, проверьте его бесплатным превью и будьте готовы, что некоторым роликам понадобится ещё один дубль.
Почему нейросети трудно с этими тремя вещами?
Замена человека — генеративная: нейросеть запоминает внешность по фото и заново рисует человека в каждом кадре, повторяя движения, камеру, свет и звук оригинала. Лучше всего это получается, когда лицо крупное, резкое и спокойно держится в кадре заметную часть ролика.
Каждая из трёх вещей нарушает это по-своему:
- Руки состоят из множества мелких частей, которые перекрывают друг друга, быстро двигаются и часто смазаны уже в оригинале.
- Быстрые движения и подвижная камера от кадра к кадру меняют ракурс лица и добавляют смаз, поэтому чётких деталей становится меньше.
- Толпа — это много мелких лиц рядом, и нейросети нужно следить, кто есть кто, пока люди проходят друг перед другом.
Это не покадровый монтаж, поэтому ничего из этого нельзя поправить вручную. В ваших руках другое: сам ролик, выбранный отрезок и фото.
Что может пойти не так с руками?
Руки двигаются так же, как у человека в оригинале, поэтому риски зависят от сцены:
- Быстрые жесты. Взмах рукой, хлопки или щелчок пальцами могут на мгновение выйти со смазанными, слипшимися или «лишними» пальцами.
- Рука перед лицом. Человек трёт глаза, прикрывает смех или поправляет волосы — лицо закрыто, и кадры вокруг этого момента — типичное место для сбоя.
- Предметы в руке. Телефон, бокал или микрофон могут слегка менять форму, пока движутся.
Что помогает: отрезок, где руки держатся подальше от лица, а жесты не слишком резкие. Про другие вещи перед лицом — в статье очки, шапки и маски при замене в видео.
А быстрые движения и тряская камера?
Танцевальные тренды, спортивные моменты и экшен-сцены популярны не зря, и многие из них получаются хорошо. Сложные моменты такие:
- Вращения и резкие повороты головы. Когда несколько кадров лицо видно сбоку или со спины, сходство может то появляться, то пропадать.
- Резкие панорамы и съёмка с рук. Смаз оставляет меньше лица, с которым можно работать.
- Прыжки и склейки. Внезапная смена ракурса может сделать заменённое лицо чуть разным до и после.
Что помогает: выберите отрезок, где лицо большую часть времени повёрнуто к камере, а камера относительно спокойна. Частота кадров в результате следует исходнику, но не выше примерно 30 кадров в секунду, так что ролик в 60 fps выйдет примерно в 30 fps.
Как толпа и группа влияют на замену?
Когда вы открываете видео, vswp находит в нём людей и делает карточку на каждого. Главные герои идут первыми, а те, кто мелькает или стоит далеко, собраны в фон. Тех, кто появляется совсем ненадолго или сильно размыт, сервис может не найти вовсе.
В людной сцене чаще бывает вот что:
- Фото не в той карточке. Двоих в похожей одежде легко перепутать. Посмотрите ролик и сравните картинку каждой карточки, прежде чем добавлять фото.
- Люди проходят друг перед другом. Когда лица перекрываются, замена может ненадолго «съехать» с одного на другого.
- Нужный человек крошечный в кадре. Лицо, которое всё время мелкое, после замены почти не меняется.
В одном видео можно использовать до 6 разных фото, а все, кому фото не досталось, остаются как в оригинале. Как устроены карточки и фон, рассказано в статье кого заменит нейросеть в видео.
Как проверить сложный ролик до оплаты?
- Выберите отрезок. В длинном видео возьмите до 30 секунд с наименьшим числом трудных моментов. Как это сделать — в статье как выбрать отрезок для замены.
- Возьмите резкие фото. Один человек на фото, лицо видно целиком, хороший свет, JPEG, PNG или WebP.
- Сделайте бесплатное превью. Оно покажет около 5 секунд в 480p из того места, где в кадре люди с фото, с небольшой меткой «vswp.app». Внимательно посмотрите на руки и повороты.
- Сделайте полное видео в 480p или 720p. Сначала приложение покажет примерное время и цену.
- Если нужно, сделайте ещё дубль. Повторное нажатие «Создать видео» делает новый дубль, то есть новую генерацию, и каждый выходит немного другим.
Если проблема в самом лице, загляните в статью нейросеть сделала не похоже: как исправить.
Когда лучше взять другое видео?
Если человек, которого вы заменяете, крутится весь ролик, почти всё время прячет лицо за руками или стоит одним маленьким лицом в плотной толпе, другой ролик обычно даст результат лучше, чем новые дубли. Что делает видео удобным для замены, перечислено в статье как выбрать видео для замены человека нейросетью.
Цены — в звёздах Telegram (⭐), они зависят от длины, качества и числа людей; точная сумма видна до запуска, а звёзды возвращаются автоматически, если генерация не удалась или была отменена. Используйте только те видео и фото, на которые у вас есть право, и спрашивайте разрешения, прежде чем брать чужое фото.
Вопросы и ответы
Почему в видео от нейросети странные руки?
Руки быстро двигаются, перекрывают друг друга и часто смазаны уже в оригинале, поэтому чётких деталей для перерисовки мало. Обычно помогает более спокойный отрезок или ещё один дубль.
Можно попросить нейросеть исправить пальцы?
Нет. Это генеративная нейросеть, а не покадровый монтаж, отдельные кадры поправить нельзя. Сделайте ещё дубль или выберите отрезок, где руки двигаются меньше.
Танцевальные видео подходят?
Да, многие тренды — это танцы. Чаще всего ещё один дубль нужен на быстрых вращениях и поворотах головы, так что проверьте их в бесплатном превью.
Можно заменить одного человека в толпе?
Да, если у него есть карточка. Добавьте фото в его карточку, остальные оставьте пустыми; тех, кто мелькает совсем ненадолго или сильно размыт, сервис может не найти.
Видео в 60 fps останется в 60 fps?
Нет. Частота кадров следует исходнику, но не выше примерно 30 кадров в секунду, так что ролик в 60 fps выйдет примерно в 30 fps.