Разработчики выпустили нейросеть ToonCraft, предназначенную для генерации коротких мультипликационных роликов по ключевым кадрам. Под капотом используется DynamiCrafter, которую зафайнтюнили на аниме. Для сохранения точного образа персонажей используется обученный 3D-декодер.

ToonCrafter поддерживает несколько режимов генерации:

• Интерполяция между кадрами. В этом режиме нейросети надо передать два ключевых кадра, а нейросеть дорисует всё между ними. Благодаря файнтюну всё будет выглядеть как реальная мультипликация, а не линейная сглаженная анимация.
• Интерполяция по наброскам. Если нет готовых кадров, то можно закинуть скетчи.
• Раскрашивание. На вход можно передать анимированный скетч и кадр с эталонным цветом. Нейросеть раскрасит набросок, используя полученную палитру.

Модель разработали совместно с исследователями Tencent AI Lab. В перспективе ей смогут пользоваться мультипликационные студии для ускорения работы над мультфильмами. Примеры работы ToonCrafter доступны на официальном сайте проекта. Кроме того, разработчики опубликовали подробное исследование.

Код доступен в открытом репозитории GitHub, а на Hugging Face есть демо. Энтузиасты интегрировали ToonCraft в CoomfyUI и оптимизировали модель.