Исследователи из Китая представили нейросеть Follow Your Emoji, предназначенную для генерации лицевой анимации. Модель машинного обучения использует диффузионные алгоритмы, что позволяет сохранить пропорции лица и точно передать эмоцию.

На вход надо передать нейросети видео с записью выражений лица и целевой портрет. Он может быть как фотографией, так и иллюстрацией или рендером. Кроме того, можно использовать даже изображения животных или вымышленных персонажей.

Модель машинного обучения разбивает видео на последовательность кадров с размеченными глазами, бровями и губами. На основе этих данных обрабатывается исходный портрет. На выходе получается анимация, которая не только передаёт движения губ, но и качественно копирует другие мимические черты.

Примеры работы модели Follow Your Emoji можно посмотреть на сайте проекта. Сам метод генерации подробно описан в исследовании. Ожидается, что в ближайшее время авторы проекта откроют код и веса.