ИИ-Дед Мороз: как мы создали бота для генерации видео открыток с новогодними героями

В декабре этого года команда студии ИИ-разработки AllSee решила превратить детскую мечту в реальность – оживить любимых новогодних персонажей и даже получить от них персональное поздравление. Сегодня расскажем, как мы это сделали, какие трудности нам пришлось преодолеть и что из этого получилось. Обязательно читайте до конца — всех наших читателей ждёт бонус от нашей команды!

Идея: от альбомов с героями до оживших открыток

Изначально мы собирались сделать локальный проект – хотели придумать оригинальный подарок для друзей и родных. Первоначальная идея родилась из детсадовских и школьных альбомов – тех самых, где лицо можно было прифотошопить к любимому детскому персонажу. Остановились мы на открытках с персональными видео поздравлениями, которые озвучивает ИИ. Чтобы обеспечить «вау»-эффект, мы реализовали несколько функций:

1. «Оживили» новогодних героев – Снегурочку, Деда Мороза, Эльфа и Гринча. Теперь открытка – не просто карточка, а целое видео с поздравлением.

2. Научили персонажей из вводных пользователя создавать персональный текст поздравления

Все это делается в телеграм-боте за считанные минуты, а результат получается удивительным – смотрите сами:

В процессе разработки мы решили минимизировать затраты: для озвучки и видео анимации использовали наш собственный GPU-ускоритель NVIDIA 4090, а для генерации текста поздравлений и изображений обратились к уже знакомым инструментам Yandex GPT и Yandex ART. Эти решения идеально подошли как по качеству, так и по стоимости: одно поздравление обходится нам примерно в 1 рубль.

О других наших проектах с этими и другими инструментами читайте здесь.

В итоге проект получился реально классным, и мы решили поделиться им с нашими читателями и клиентами – чтобы у большего числа людей была возможность оригинально поздравить друзей и родных.

Как мы это сделали: от первых набросков до запуска

Создание персонажей

Генерация текста поздравлений

Следующий этап — настройка промптов для Yandex GPT, чтобы он мог генерировать креативные и персонализированные поздравления. Например, мы учили бота учитывать имя человека и детали пожеланий. Вот пример промпта и ответа:

Промпт:

Ты — <роль, например 'дед-мороз'>. Поздравь торжественно с Новым годом. Обратись к тому, кого я напишу. В поздравлении используй факты, которые я пришлю. Напиши поздравление кратко.

Ответ:

Промпт:

Ты — главный тамада на вечеринке. Придумай очень краткое поздравление с Новым годом, используя факты, которые я напишу.

Ответ:

Также мы отработали несколько сложных кейсов - например, если человек не хочет писать факты и поздравления самостоятельно или если запрос вообще не соответствует изначальной роли бота:

Техническая реализация

Здесь начались сложные этапы: создание системы озвучки, lipsync и собственно разработка телеграм-бота.

Подробнее про технический процесс разработки мы рассказали в нашей статье на Habr

Результат: как это работает

Наш телеграм-бот довольно прост в использовании – вот, как он работает:

1. Первым делом бот предлагает начать генерацию поздравления:

2. Далее пользователю предлагается указать имя получателя и пожелания, а также выбрать персонажа:

3. И в конечном итоге вы получаете готовую видео открытку:

Вот еще несколько примеров готовых поздравлений:

Несмотря на то, что бот пока не идеален, он в целом работает классно и точно удивит ваших друзей или близких, а также поможет поздравить начальника (или ваш отдел, если начальник – это вы).

Другие проекты с GenAI

В студии ИИ-разработки AllSee мы работаем со множеством ИИ-проектов – вот некоторые из продуктов с применением генеративного ИИ, которые мы реализовали в 2024 году:

Чат-бот для Вкусвилл — помогает покупателям с выбором блюд из каталога готовой еды.

ИИ-секретарь — автоматизирует обработку разговоров и записей встреч.

Виртуальная примерка одежды — показывает, как вещи будут смотреться до покупки.

Подробнее про наши проекты и вообще про GenAI мы писали в других статьях – например, здесь и здесь

Если у вас есть идея, где может помочь ИИ, мы готовы воплотить её в жизнь – расскажите о ней в заявке на нашем сайте, и мы поможем вам в реализации стартапа или повышении эффективности вашего бизнеса!

Итоги и обещанный бонус

Итак, подведем итоги: этот проект мы запустили всего за две недели усилиями трёх человек: продакта, разработчика LLM/NLP и специалиста по CV. И всё это в первую очередь ради того, чтобы подарить людям радость и немного волшебства в предновогодний период:

И специально для вас – наших читателей – у нас есть небольшой бонус: оставьте комментарий с обратной связью на нашего бота и ссылку на ваш телеграм, и мы увеличим вам лимит в боте до 5 открыток в день вместо стандартных 2. Своими отзывами вы поможете нам улучшить наш продукт еще до того, как пробьют куранты!

Переходите в телеграм-бот, пробуйте его сами и радуйте близких необычными открытками. А мы поздравляем вас с наступающим Новым годом и желаем счастья, тепла и вдохновения в 2025 году!