Разработчики выпустили нейросеть ToonCraft, предназначенную для генерации коротких мультипликационных роликов по ключевым кадрам. Под капотом используется DynamiCrafter, которую зафайнтюнили на аниме. Для сохранения точного образа персонажей используется обученный 3D-декодер.
ToonCrafter поддерживает несколько режимов генерации:
- Интерполяция между кадрами. В этом режиме нейросети надо передать два ключевых кадра, а нейросеть дорисует всё между ними. Благодаря файнтюну всё будет выглядеть как реальная мультипликация, а не линейная сглаженная анимация.
- Интерполяция по наброскам. Если нет готовых кадров, то можно закинуть скетчи.
- Раскрашивание. На вход можно передать анимированный скетч и кадр с эталонным цветом. Нейросеть раскрасит набросок, используя полученную палитру.
Модель разработали совместно с исследователями Tencent AI Lab. В перспективе ей смогут пользоваться мультипликационные студии для ускорения работы над мультфильмами. Примеры работы ToonCrafter доступны на официальном сайте проекта. Кроме того, разработчики опубликовали подробное исследование.
Код доступен в открытом репозитории GitHub, а на Hugging Face есть демо. Энтузиасты интегрировали ToonCraft в CoomfyUI и оптимизировали модель.