В наши дни уже существуют нейросети, способные создавать оригинальный контент — видео по текстовому описанию.
Пока модульные нейронные сети достаточно далеки от профессионального уровня, но уже сегодня помогают сценаристам визуализировать их наработки.
Disney Research и сотрудники Ратгерского университета представили нейросеть, которая может создать приблизительную раскадровку и видеоряд по текстовому сценарию. Система обрабатывает не только язык, но и разбирает сценарий, а также генерирует анимацию.
Разработчики ставили перед собой цель сделать работу художников и писателей менее трудоемкой и более продуктивной. Система, по словам создателей, работает с естественным языком, что позволит применять ее в ряде областей, например, при создании обучающих роликов.
Система анализирует текст и переводит сложные предложения в простые. Затем создается 3D-анимация. Для работы используется библиотека из 92 анимированных блоков. Для создания анимации используется игровой движок Unreal Engine, который оперирует предварительно загруженными объектами и моделями.
Качественные тесты показали, что система создала вполне достойную анимацию на основе входных текстов. Так считает более половины фокус-группы, которые показали анимационные ролики нейросети.
Подобные математические модели пока еще не представляют угрозу для мультипликаторов и кинематографистов, но вполне могут вызвать конкуренцию в будущем, когда разработчики усовершенствуют программное или аппаратное обеспечение.
