Логотип Data Secrets
ToonCraft

Вышла ToonCraf — нейросеть для генерации мультфильмов по ключевым кадрам

06.06.2024

Разработчики выпустили нейросеть ToonCraft, предназначенную для генерации коротких мультипликационных роликов по ключевым кадрам. Под капотом используется DynamiCrafter, которую зафайнтюнили на аниме. Для сохранения точного образа персонажей используется обученный 3D-декодер.

ToonCrafter поддерживает несколько режимов генерации:

Модель разработали совместно с исследователями Tencent AI Lab. В перспективе ей смогут пользоваться мультипликационные студии для ускорения работы над мультфильмами. Примеры работы ToonCrafter доступны на официальном сайте проекта. Кроме того, разработчики опубликовали подробное исследование.

Код доступен в открытом репозитории GitHub, а на Hugging Face есть демо. Энтузиасты интегрировали ToonCraft в CoomfyUI и оптимизировали модель.