Перейти к содержимому

Сгенерировать по фото нейросетью: 6 способов image to image — от эскиза до сборки из трёх фото

7 мин чтения

Коротко

Сгенерировать по фото нейросетью — значит дать модели снимок как основу и описать, что из него сделать: сменить свет, сезон или стиль, превратить эскиз в фото, взять позу, обставить комнату или собрать кадр из нескольких снимков. Ниже — шесть способов на собственных примерах с промтами и объяснение, как управлять силой изменения без ползунков.

Содержание
На деревянном столе лежат фотография узкой улочки с кафе и акварель той же улицы, рядом кисть и палитра

Генерация по фото (image to image, img2img) — это когда модель получает не только текст, но и картинку: вашу фотографию, эскиз, снимок комнаты или товара. Из неё берётся то, что сложно описать словами: композиция, формы, поза, лицо. Промт говорит, что изменить. Мы разобрали шесть способов на собственных исходниках. Все кадры сделаны в генераторе AI2Face моделью Nano Banana Pro.

Что такое image to image и чем он отличается от генерации по тексту

При генерации по тексту модель строит сцену с нуля и сама решает, где стоит стол и куда смотрит человек. При генерации по фото основа уже есть, и модель меняет только то, что вы попросили. Отсюда главный плюс: результат предсказуем. Нужна та же улица зимой — вы её получите, а не другую улицу.

Задача По тексту По фото
Новая сцена «из головы» да —
Та же сцена в другом свете или стиле нет, композиция другая да
Предмет точно по эскизу приблизительно да
Конкретное лицо или товар нет да
Сборка из нескольких снимков нет да

Общий обзор моделей для картинок — в гайде нейросеть для генерации изображений. Здесь — только работа с фото.

Как сгенерировать по фото нейросетью: три шага

  1. Загрузите фото. В AI2Face — кнопкой «+» слева от поля промта или перетащите файл. Картинка из ленты прикладывается кнопкой «В генератор».
  2. Выберите модель для правки. Подойдёт Nano Banana Pro: она понимает обычные фразы и принимает до 14 картинок за раз.
  3. Напишите промт в двух частях: что сделать и что оставить. Вторая часть важнее первой.

Если фото несколько, ссылайтесь на них по номеру: @1, @2, @3. Так модель понимает, откуда брать лицо, а откуда — куртку.

1. Насколько сильно менять: свет, сезон или новый стиль

В классических моделях вроде Stable Diffusion силу изменения задаёт ползунок strength: при значении около нуля картинка почти не меняется, при 1.0 исходник фактически игнорируется. В Nano Banana Pro и других моделях с правкой по тексту ползунка нет — силу задают слова. Мы сделали три уровня на одной фотографии улицы.

Слева вверху исходник. Дальше: только свет, смена сезона, новый стиль. Композиция везде одна. Nano Banana Pro

Слабое изменение — только свет:

Измени только освещение: тёплый вечер золотого часа, окна кафе светятся
изнутри, мягкие длинные тени на брусчатке. Композицию, ракурс, здания,
столики, ящики с цветами и велосипед оставь точно как есть.

Среднее — смена сезона:

Сделай зиму: свежий снег на брусчатке, столиках, стульях и ящиках
с цветами, лёгкий снегопад, холодный голубой дневной свет. Композицию,
ракурс, здания и все предметы оставь на своих местах.

Сильное — новый стиль:

Перерисуй фото как уютную акварельную иллюстрацию из детской книжки:
свободные заливки, текстура бумаги, тёплые пастельные цвета, на одном из
стульев сидит рыжий кот. Сохрани композицию: улица уходит вдаль, кафе
справа, велосипед слева.

Все три раза модель сохранила то, что мы перечислили: улицу, кафе справа, велосипед слева, столики. Правило простое: чем меньше хотите изменить, тем длиннее список «оставь». Больше вариантов стилизации — в гайде фото в стиле нейросетью, а фото в рисунок — отдельная задача с карандашом, тушью и скетчем.

2. Из эскиза — в фото

Эскиз — самый точный способ объяснить форму. Слов «кресло середины века с изогнутыми подлокотниками» модели мало, а карандашный набросок задаёт пропорции, изгибы и ракурс. Мы нарисовали кресло от руки и попросили сделать из него предметную фотографию.

Эскиз → предметное фото. Изгиб подлокотников, наклон ножек и ракурс совпадают с наброском. Nano Banana Pro
Преврати этот карандашный эскиз в фотореалистичное предметное фото
кресла: точно повтори форму, пропорции, изогнутые подлокотники и
сужающиеся ножки с наброска; каркас из массива ореха с масляным
покрытием, толстые оливковые подушки из букле; кресло стоит в светлой
гостиной на светлом ковре, мягкий свет из окна слева, ракурс как на
эскизе. Без стрелок, линий и текста.

Фраза «без стрелок и линий» обязательна: иначе модель может перенести пометки с эскиза в кадр. Материалы и цвет пишите словами — на карандашном наброске их нет. Так же работают эскизы логотипов, упаковки и интерьеров; для логотипа есть отдельный гайд — логотип нейросетью.

3. Поза из фото

Фото может задать только позу, без лица и одежды человека. Это удобно, когда позу трудно описать: прыжок, танец, сложный ракурс. Скажите модели прямо: «используй фото только как референс позы».

Поза танцора → рыцарь. Вытянутая нога, согнутая вторая и раскинутые руки совпадают. Nano Banana Pro
Используй фото только как референс позы: средневековый рыцарь в
полированных латах и красном плаще в точно такой же позе в прыжке —
одна нога вытянута вперёд, вторая согнута назад, руки раскинуты —
перепрыгивает каменную стену на туманном поле на рассвете,
кинематографичный свет. Лицо и одежду человека с фото не копируй.

Описывайте позу и словами, даже если она есть на фото: «одна нога вперёд, руки раскинуты». Слова и фото вместе дают точнее, чем что-то одно.

4. Пустая комната → готовый интерьер

Фото помещения сохраняет то, что нельзя передвинуть: окна, двери, радиаторы, пол. Модель расставляет мебель вокруг них. Это сценарий для риелторов, дизайнеров и всех, кто выбирает мебель до покупки.

Пустая комната → джапанди. Окно, радиатор, дверь и пол остались на своих местах. Nano Banana Pro
Обставь эту пустую комнату в спокойном стиле джапанди: низкий
светло-серый льняной диван лицом к окну, круглый дубовый журнальный
столик, шерстяной ковёр, бумажный торшер, высокое растение в
керамическом горшке, низкий комод с керамикой у дальней стены.
Стены, окно, радиатор, дверь, дубовый пол, свет и ракурс оставь точно
как на фото.

Перечисляйте мебель поштучно: «диван, столик, ковёр, торшер». Общее «обставь красиво» даёт случайный набор. Подробнее о стилях, планировке и подборе цвета стен — в статье нейросеть для интерьера.

5. Несколько фото в одном кадре

Самая сильная сторона современных моделей — сборка из нескольких снимков. Человек с одного фото, одежда со второго, место с третьего. Nano Banana Pro, по документации Google, принимает до 14 картинок, удерживает сходство до 5 людей и до 6 предметов передаёт с высокой точностью.

Три исходника → один кадр. Лицо, куртка (цвет, вельвет, пуговицы, карманы) и терраса перенесены. Nano Banana Pro
Мужчина с @1 в горчичной вельветовой куртке с @2 поверх белой футболки
стоит на террасе на крыше с @3 на закате, опирается на перила, спокойная
улыбка, гирлянды и силуэт города за спиной, кадр по пояс, объектив 50 мм.
Лицо — точно как на @1, куртка — точно как на @2: цвет, вельвет,
коричневые пуговицы и нагрудные карманы.

В промте называйте, что брать с каждого фото, и повторяйте приметы важных деталей: цвет, фактуру, пуговицы. Так делают примерку одежды и объединяют два фото в одно; для одного человека во многих кадрах удобнее сохранить его как персонажа в AI2Face.

6. Портрет и фотосессия по фото

Отдельный большой сценарий — ваше лицо в новой обстановке: фотосессия, аватарка, деловой портрет. Принцип тот же: фото — основа, промт — сцена, «замок» лица — список черт, которые нельзя менять. Для этих задач у нас есть отдельные гайды с примерами: ИИ-фотосессия, аватарка нейросетью и деловое фото нейросетью.

Ограничения генерации по фото

  • Модель всё равно перерисовывает кадр. Даже при «измени только свет» мелкие детали — вывески, узор плитки — могут слегка сдвинуться. Для точечной правки без перерисовки остального есть удаление объектов и замена фона.
  • Текст на фото может исказиться. Если на исходнике есть надпись, назовите её дословно в промте.
  • Чужие лица — только с согласия. Генерировать по фото другого человека без его разрешения нельзя.
  • Качество исходника важно. Мутное фото даёт мутный результат; сначала улучшите качество.

Выводы

Сгенерировать по фото нейросетью — самый надёжный способ получить именно ту сцену, которую вы задумали: фото даёт основу, промт — изменения. Начните с простого — смены света или сезона на своём снимке, — чтобы почувствовать, как список «оставь» управляет силой изменения. Для дизайна берите эскизы, для интерьера — фото пустой комнаты, для рекламы и одежды — сборку из нескольких фото. Если основы нет и нужна сцена с нуля, вам подойдёт обычная генерация по тексту — с ней помогут промты для картинок.

Частые вопросы

Как сгенерировать картинку по фото нейросетью?

Загрузите фото, выберите модель для правки — например, Nano Banana Pro — и опишите, что сделать и что оставить: «сделай зиму, здания и столики оставь на месте». Через полминуты получите новый кадр на основе вашего.

Можно ли сгенерировать по фото бесплатно?

Да, несколько раз. В AI2Face после регистрации начисляются стартовые кредиты, а стоимость каждой генерации видна до запуска.

Сколько фото можно загрузить в один запрос?

Зависит от модели. Nano Banana Pro принимает до 14 картинок, из них до 6 предметов с точной передачей деталей и до 5 людей с сохранением сходства.

Как сделать, чтобы нейросеть не меняла всё фото?

Перечислите, что оставить: композицию, ракурс, предметы, лицо. И начните промт со слов «измени только…». Чем точнее список, тем меньше модель додумывает.

Чем image to image отличается от генерации по тексту?

Текст задаёт сцену с нуля, а фото даёт готовую основу: композицию, формы, лицо или товар. Поэтому по фото проще получить кадр, который совпадает с задуманным.

Источники

4
  1. https://ai.google.dev/gemini-api/docs/image-generation
  2. https://blog.google/innovation-and-ai/products/nano-banana-pro/
  3. https://huggingface.co/docs/diffusers/using-diffusers/img2img
  4. https://arxiv.org/abs/2108.01073

Читайте также