Skvot

Mag

Skvot Mag
Курсы по теме:

Что нужно знать о digital humans

Конспект SKVOT-лекции Димы Витмана, Unreal Engine Artist Lead в WePlay Esports, — о создании цифровых персонажей.
card-photo
card-photo
Маша
Перебаева

Автор в SKVOT

11 января, 2022 / Реклама и PR / Статья

Метаверс развивается. В цифре появляются копии и симуляции всего — пространств, предметов и, конечно, людей.   

Как создаются эмоции и движения цифровых персонажей, зачем их кастомизировать и какие возможности это дает — на SKVOT-лекции рассказал Environment Artist Дима Витман, который уже 7 лет работает с игровым движком Unreal Engine. А мы законспектировали самое важное.

Какими бывают digital humans 

Некоторых «цифровых людей» создают как digital-копии реальных, а некоторых —  «разрабатывают» в цифре с нуля. Задачи у digital humans разные: они могут «жить» в играх, давать концерты и, например, быть лидерами мнений.

Да, среди digital humans уже есть инфлюенсеры. Такие цифровые персонажи позиционируются как «полноценные» блогеры — у них есть реальные подписчики и рекламные интеграции. Вот несколько примеров таких персонажей:

Lilmiquela — девочка-подросток, которая живет вполне реальной жизнью: встречается с друзьями, фотографируется в кафе и на вечеринках. Особенно круто сделаны видео — полезно понаблюдать за монтажом и тем, как захватываются движения персонажа. У аккаунта 3 млн подписчиков.

Nobody sausage — танцующая сосиска, персонаж в тиктоке. 12,5 млн подписчиков. 

Shudu.Gram — первая цифровая топ-модель. Контент делается с помощью монтажа, не real-time. У страницы 223 тыс. подписчиков. 

Teflon Sega — азиатский персонаж, музыкант. 102 тыс. подписчиков.

Body By Ralf — коуч и фитнес-тренер. Этот 2D-персонаж рассказывает, как прокачать тело. 167 тыс. подписчиков.

Каждый такой блог — большой проект. Этих персонажей обслуживает целая команда: CG-художники, продюсеры, режиссеры монтажа. 

С каждым днем эти герои становятся все популярнее. Но нужно понимать, что они (как правило) не могут делать что-то в реальном времени: например, присутствовать на ивенте и попасть в стрим прямо с места событий. Чтобы это стало возможным, нужны дополнительные технологии.

Посмотреть курс
 

Как оживить digital humans

Технологии упрощают создание цифровых людей. Раньше на отрисовку, анимацию и запись движений уходило много рабочих часов целой команды — теперь ты можешь сделать это в несколько кликов на своем телефоне.

Процесс работы с digital human выглядит так:

#1. Создание персонажа. Цифрового человека собирают и анимируют — например, в редакторе Metahuman Creator. В библиотеке этого редактора уже 50+ заготовок — сэмплов людей, которым можно менять черты лица, прически, цвет глаз и форму тела.

На NFT-площадках продаются готовые персонажи — их можно купить и использовать.

#2. Мимика. С помощью инструмента Live Link Face можно захватывать лицевые движения человека с камеры айфона и проецировать их на персонажа в Unreal Engine в режиме реального времени.

Отредактированного персонажа можно загрузить не только в Unreal Engine, но и в Maya. Первый инструмент даст нативную модель с доступом к оригинальному мэшу и с высоким разрешением текстур, второй — переконвертированную упрощенную модель.

#3. Кастомизация. Персонажа можно менять: нарисовать ему татуировки, сделать новую стрижку и костюмы. Можно применять как реалистичные эффекты, так и стилизованные.

#4. Движения. Unreal Engine использует мокап: с помощью мокап-костюма записываются движения актера для анимации персонажа. Mocap System Live Streaming позволяет транслировать движения человека на персонажа в режиме реального времени. Так персонаж может присутствовать на мероприятии и выходить в прямые эфиры в соцсетях.

#5. Композитинг. Персонаж вводится в пространство через функцию Realtime Integration. Выгружается бэкап с камеры айфона, и персонаж композится на него с тенью и другими эффектами освещения (тоже в режиме реального времени).

Посмотреть курс
 

Что могут делать digital humans

Главное отличие цифровых людей от обычных — в том, что они могут делать то, что в материальном мире кажется невозможным. 

Например, цифровая копия рэпера Трэвиса Скотта устраивала концерты в видеоигре Fortnite с эффектами, которые сложно реализовать в жизни. Трэвис летал, появлялся в разных образах и локациях — игрока тоже уносило в разные локации, он перемещался вокруг артиста.

Другой пример — концертная резиденция Abba Voyage, которую в 2021 году создали по мотивам реального тура группы Abba. Цифровые копии артистов — молодые, но каждого персонажа сыграл реальный человек. Во время записи на участниках группы были мокап-костюмы, а еще использовались специальные камеры, которые захватывали мимику. 

Почему это круто:

  • артисты могут дать больше концертов, если некоторые из них будут цифровыми
  • виртуальные концерты доступнее для аудитории
  • можно омолодить артистов
  • добавляются суперэффекты, которые в реальности невозможны
Поделиться материалом