Искусственный интеллект обучили создавать slow-motion видео
Nvidia объявила об очередном применении машинного обучения в целях улучшения фото- и видеосъемки. Разработчики компании создали систему, которая позволяет придать эффект замедления (slow-motion) видео, снятому с частотой 30 к/с. Чтобы добиться такого эффекта обычным способом, надо снимать с более высокой частотой — например, 240 к/с для эффекта замедления в 8 раз. Созданная в Nvidia система сама генерирует недостающие 210 к/с, заполняя ими промежутки между реально снятыми кадрами. Система представляет собой сверточную нейросеть, обученную на базе:
- фреймворка глубокого обучения PyTorch (который в свою очередь был ускорен с помощью библиотеки cuDNN)
- графических ускорителей Tesla V100
- 11 тысяч видеороликов, снятых со скоростью 240 к/с.
Какой получился результат позволяет судить видео снизу:
В первой части ролика представлены образцы, где слева — съемка с частотой 30 к/с, замедленная в 8 раз, а справа — она же, с заполнением недостающих кадров искусственно сгенерированными. Выглядит, согласитесь, вполне натурально и плавно.
Конечно такая съемка не подходит для профессионального назначения, когда надо видеть только реальные кадры, но в качестве традиционного slow-motion на смартфон вполне годится. Тем более, что даже на современных топовых моделях съемка в режиме slow-motion, мягко говоря, непродолжительная. Например, у Galaxy S9 она составляет 0.2 секунды в записи и 6 секунд при просмотре. Т.е. владельцу смартфона надо ухитриться поймать в кадр наиболее эффектные 0.2 секунды и заснять именно их. В случае же использования технологии Nvidia, видео продолжительностью в несколько секунд теоретически можно отправить в облако, там обработать, получить обратно целиком в режиме slow-motion — и выбрать наиболее эффектный фрагмент.
Это далеко не первый случай использования нейросетей Nvidia в обработке фото и видео. Ранее компания представляла технологии удаления из кадра целиком каких-то объектов (например, автомобиля на дороге — причем так, что на его месте мы видим дорогу, а не пустое пятно), восстановления утраченных фрагментов (например, в скане старого фото), убирания шумов и т.д. Подобные разработки ведет не только Nvidia — в прошлом году Gadgets News рассказывал про детище группы сотрудников Швейцарской высшей технической школы Цюриха, которое значительно улучшает качество фото (в чем я убедился лично).
Пока такие технологии пребывают на уровне научных исследований, но со временем возможно доберутся и до наших с вами смартфонов. Во всяком случае качество программного обеспечения на них зачастую имеет даже большее значение, чем аппаратные характеристики камеры. Поэтому, например, некоторые владельцы смартфонов при помощи специальных ухищрений устанавливают на них приложение камеры Google, которое официально имеется только на смартфонах этой компании.