Про то, как я научил своего аватара снимать видео по сценарию без ИИ-генерации видео (часть 2)
Habr ·
Продолжение истории о том, как я делаю собственного цифрового аватара для видеоблога — без нейросетевой генерации видео и необходимости самому появляться перед камерой. В первой версии движок уже умел анимировать аватара, синхронизировать губы с речью и расставлять субтитры. Казалось, с монтажом разобрался. Но за спиной персонажа оставался пустой фон, который приходилось вручную заполнять. В этой статье — о том, что я успел доделать за два месяца. Добавил больше двадцати генераторов слайдов, научил движок строить динамический фон из произнесённых слов, вставлять в него эмодзи и GIF-реакции, раскрывать карточки на весь экран и автоматически расставлять переходы. Потом у моего цифрового двойника появился соведущий — робот аЙгорь. Пришлось разбираться уже с двумя персонажами, голосами, расположением, мимикой и жестами. Показываю, как всё устроено: реальные фрагменты JSX и сценариев, схемы, интерфейс программы и много-много GIF. В конце — первые результаты публикаций, наблюдения о Shorts и планы перехода на горизонтальный формат. Читать далее
Продолжение истории о том, как я делаю собственного цифрового аватара для видеоблога — без нейросетевой генерации видео и необходимости самому появляться перед камерой. В первой версии движок уже умел анимировать аватара, синхронизировать губы с речью и расставлять субтитры. Казалось, с монтажом разобрался. Но за спиной персонажа оставался пустой фон, который приходилось вручную заполнять. В этой статье — о том, что я успел доделать за два месяца. Добавил больше двадцати генераторов слайдов, научил движок строить динамический фон из произнесённых слов, вставлять в него эмодзи и GIF-реакции, раскрывать карточки на весь экран и автоматически расставлять переходы. Потом у моего цифрового двойника появился соведущий — робот аЙгорь. Пришлось разбираться уже с двумя персонажами, голосами, расположением, мимикой и жестами. Показываю, как всё устроено: реальные фрагменты JSX и сценариев, схемы, интерфейс программы и много-много GIF. В конце — первые результаты публикаций, наблюдения о Shorts и планы перехода на горизонтальный формат. Читать далее