Стилизуем видео с помощью ИИ

Недавно мы рассказывали о нейросети MAKE-A-VIDEO, которая способна генерировать видео по текстовому описанию от пользователя. К сожалению, доступ к ней закрыли очень быстро.

Сегодня делимся с вами новой нейросетью от стартапа RunWay ML, ориентированной на стилизацию видео от пользователя. Вы можете загрузить любой видеоклип, в текстовом формате указать, в каком стиле вы хотите свой видеоклип обработать, и вуаля — нейронка самостоятельно преобразует ВСЕ объекты, добавив указанный эффект. Например, можно превратить обычный ролик с прогулкой по городу в стилизацию под картины Ван Гога, добавить эффект старой кинопленки к домашнему видео, или применить конструктивистскую графику к футажу с природой. Возможности ограничены лишь вашей фантазией и описанием.

И что самое замечательное — на выходе вы получите преобразованное видео без подергиваний, непонятного глитча или других раздражающих эффектов, которыми обычно страдают стандартные видеоредакторы. Это достигается благодаря более продвинутой архитектуре модели, которая анализирует не только отдельные кадры, но и временную динамику всего видеоряда, обеспечивая плавный и естественный переход стилей.

Модель называется GEN-1, и по обещаниям от стартапа качество результата обработки со временем будет только улучшаться. Разработчики активно работают над расширением библиотеки доступных стилей и повышением точности их применения.

Не просто TEXT-TO-VIDEO, а уже VIDEO-TO-VIDEO. Это означает, что исходное видео служит не просто источником информации для генерации нового контента, а выступает в роли основы, на которую накладывается выбранный визуальный стиль. Неплохо, да?

Пока нейронка в бета-тестировании, но можно подать заявку на использование, чтобы первыми опробовать эту технологию и внести свой вклад в ее развитие.

Диджитальная