Информация и портфолио
Уже сейчас нейронные сети умеют создавать лица несуществующих людей и улучшать качество видео. Технологии развиваются каждый день, и теперь появилась возможность управлять людьми, которые сняты на видео. Разработчики Facebook AI Research обучили нейронную сеть распознавать движущегося человека на видео, менять его движения и управлять фоновым изображением.
В основе лежат три нейросетевых алгоритма — Pose2Pose и Pose2Frame и DensePose.
Чтобы превратить обычное видео в компьютерную игру, алгоритм DensePose создает 3D-модель человека. Далее алгоритм Pose2Pose превращает анимацию с движущемся человеком в видеоролик с черным фоном. Уже на этом этапе нейронная сеть воспринимает нажатия на клавиатуру и двигает «персонажа» в любую сторону. Наконец, алгоритм Pose2Frame создает конечное изображение с движущимся человеком и соответствующей анимацией.
Факт возможности управлять человеком из видео очень впечатляет. Предполагается, что этой технологии найдется применение в игровой индустрии.