Уже есть нейронные сети, которые создают оригинальное видео по текстовому описанию. Хотя они не могут полностью заменить операторов, прогресс в этой области очевиден, сообщает kratko-news.com.
Disney Research и Rutgers разработали нейронную сеть, которая может создавать грубые сценарии и видео на основе текстовых описаний. Система работает с естественным языком, который позволит использовать его в ряде областей, таких как создание видеоуроков.
Кроме того, система ИИ поможет авторам визуализировать свои идеи. Его создатели утверждают, что целью является не искусственный интеллект, чтобы заменить писателей и художников, а сделать их работу более эффективной и менее скучной.
Разработчики говорят, что перевод текста в анимацию — непростая задача, поскольку входные и выходные данные не имеют фиксированной структуры. Большинство операционных систем не справляются со сложными предложениями. Чтобы преодолеть ограничения предыдущих аналогичных программ, разработчики создали нейронную сеть из нескольких компонентов — модуля естественного языка, модуля анализа сценариев и модуля создания анимации.
Во-первых, система анализирует текст и переводит сложные предложения в простые. Затем создается 3D анимация. Для управления системой использовалась библиотека из 52 анимированных блоков, список которых теперь расширен до 92. Создание анимации выполняется с использованием Unreal Engine, который опирается на предварительно установленные объекты и модели — система выбирает соответствующие элементы и формирует видео.
Для системного обучения исследователи собрали набор описаний 996 элементов, взятых из более чем 1000 сценариев с помощью IMSDb, SimplyScripts и ScriptORama5. Затем были проведены качественные тесты, в которых 22 участника оценили 20 анимаций. В то же время 68% участников говорят, что система создает вполне приличную анимацию на основе вводимых текстов.
Команда, однако, признает, что система не идеальна. Его список действий и объектов не является исчерпывающим и иногда лексическое упрощение приводит к неуместным анимациям. Исследователи намерены устранить эти недостатки в своей дальнейшей работе.
