Недавний патент на систему обучения ИИ может помочь аниматорам Sony избавиться от некоторых ограничений, связанных с захватом движения вручную.
Появились новости о том, что Sony запатентовала метод захвата лица с помощью искусственного интеллекта, чтобы облегчить нагрузку на аниматоров. Ни для кого не секрет, что студии Sony Interactive Entertainment являются лидерами отрасли, когда дело доходит до создания реалистичных представлений в среде видеоигр. Благодаря значительному увеличению точности воспроизведения на консолях последнего поколения, за десятилетие такие разработчики, как Naughty Dog и Sony Santa Monica, с кропотливыми усилиями перешли от ручного рисования лица и анимации движений к созданию игр и персонажей исключительно с помощью захвата производительности. Поэтому неудивительно, что Sony подала патент на революционную технологию захвата производительности.
Запатентованная система, поданная 1 апреля 2022 года Sony Interactive Entertainment LLC, берет данные сетки от человека-актера, снятые 3D-камерой, для записи глубины лица. Эта полигональная сетка используется в разработке игр для создания точных моделей человека и обычно создается аниматорами вручную, используя точки вершин на лице мокап-актера в качестве эталона. Этот метод в настоящее время является стандартом для разработки большинства видеоигр уровня ААА, включая грядущий Spider-Man 2 от Insomniac. Однако эта система будет автоматически генерировать данные сетки, используя сочетание 3D- и 2D-камер для обучения программы искусственного интеллекта, которая может точно захватывать выражение лица и строить данные сетки с минимальным вмешательством человека.
Этот патент следует отраслевой тенденции в развитии ИИ для выполнения работы, которая ранее требовала большого количества ручного труда человека. В индустрии видеоигр наблюдается огромный рост использования ИИ для решения многих задач, от увеличения разрешения текстур до интерполяции кадров для более плавной игры. NVIDIA специально запатентовала RTX Remix и свои системы Deep Learning Super Sampling, которые значительно упрощают ремастеринг классических игр для моддеров и разработчиков.
На самом деле, это не первый раз, когда геймеры видят, как ИИ используется в пространстве ААА. Недавно Rockstar Games подверглась критике за использование апскейлинга ИИ в своем ремастере трилогии GTA, что привело к некоторым досадным орфографическим ошибкам в некоторых активах.
Как прямо говорится в этом патенте, присутствие ИИ в этом случае должно помочь снизить рабочую нагрузку и снизить заоблачные затраты на лицевую анимацию. С сотнями аниматоров, создающих тысячи форм смешивания и файлов соединений для отражения производительности мокапа, этот процесс невероятно трудоемкий и дорогой. Таким образом, в отличие от некоторых художественных ИИ, стремящихся заменить актеров, цель состоит не в том, чтобы полностью устранить потребность в аниматоре или актере, а в том, чтобы помочь в процессе захвата. Эта система, в случае успешного развертывания, может значительно сократить время работы аниматоров над особенно требовательными играми, а также открыть ворота для большей свободы самовыражения.