Polyphony Digital разрабатывает новую систему рендеринга для Gran Turismo, которая использует нейронные сети для определения того, какие объекты в сцене необходимо отрисовать, и первые результаты показывают, что это может значительно улучшить производительность на PlayStation 5.
Система, получившая название NeuralPVS, была подробно описана в технической презентации на конференции разработчиков компьютерных развлечений (CEDEC) в прошлом году. С докладом выступили два графических инженера Polyphony: Ю Чэнчжун и Хадзиме Учимура.
Ю присоединился к Polyphony Digital в 2024 году после окончания Токийского научного университета, где он представил технический доклад по объемному рендерингу в реальном времени на SIGGRAPH 2023. Хадзиме — инженер со стажем, работающий в студии с 2008 года и отвечающий за большую часть существующих технологий, которые NeuralPVS стремится улучшить, в том числе GT7Текущая заранее рассчитанная система отсеивания окклюзии. Он также работал над системами цветопередачи игры (в частности, окраской кузова автомобиля) и обработкой изображений HDR для фоторежима Scapes. Читатели GTPlanet могут также узнать в нем соведущего доклада студии о физическом тональном отображении на SIGGRAPH 2025.
Первоначально презентация была проведена на японском языке, оригинальные слайды можно скачать здесь. Мы перевели его и максимально обработали техническую информацию, чтобы определить, какое значение это может иметь для будущего Gran Turismo.
Конечно, Polyphony Digital имеет опыт обмена своей технической работой на CEDEC и других научных конференциях, и она всегда предлагает увлекательный и редкий взгляд за кулисы на то, как на самом деле работают специальные технологии секретной студии. Предыдущие презентации охватывали самые разные темы: от системы трассировки лучей «Iris», используемой в ГТ Спортк его методам сканирования цепей и создания курсов, а также методам процедурной генерации ландшафта.
Как рендеринг работает сейчас
Каждый кадр, визуализируемый Gran Turismo, содержит тысячи объектов: зданий, деревьев, трибун, барьеров, поверхностей дорожек и всего остального, что составляет среду трассы. Но в любой момент времени игроку видна только часть этих объектов. Некоторые из них находятся за камерой, некоторые сбоку, а некоторые скрыты за другими объектами сцены.
Рисование всех этих невидимых объектов было бы пустой тратой вычислительной мощности. Поэтому в игре используется процесс, называемый «отбраковкой», чтобы выяснить, какие объекты можно пропустить. Чем лучше отбраковка, тем меньше работы приходится выполнять процессору и графическому процессору, а это означает более стабильную частоту кадров и потенциально больше места для визуальных деталей.
Гран Туризмо 7 в настоящее время использует заранее вычисленную систему отбраковки. Перед отправкой курса инструменты Polyphony визуализируют трек с тысяч позиций камер вдоль дорожки, фиксируя, какие объекты видны из каждой точки. Эти результаты сохраняются в виде списков видимости (внутренне называемых «списками видимости»), которые игра просматривает во время выполнения.
Чтобы обеспечить управляемость данных, система группирует эти тысячи точек выборки в меньший набор зон, используя математический метод, называемый разделением Вороного. Во время выполнения игра определяет, в какой зоне находится камера, и использует список видимости этой зоны, чтобы решить, что рисовать.
Где нынешняя система терпит неудачу
Этот подход кластеризации работает, но имеет некоторые присущие ему ограничения.
Границы между зонами представляют собой жёсткие линии, а это означает, что видимость может меняться только резкими, прерывистыми скачками при переходе камеры из одной зоны в другую. Эти границы также не всегда точно совпадают с фактической геометрией поля, что может привести к тому, что объекты появляются или исчезают в моменты, которые не выглядят естественными.
Количество зон также является параметром ручной настройки. Слишком мало, и отбор слишком грубый. Слишком много, и данные становятся громоздкими. Это балансирующий акт, который нужно пересматривать для каждого трека.
Нейронные сети вам на помощь!
NeuralPVS заменяет этот поиск по зонам нейронной сетью, которая изучает взаимосвязь между положением камеры и объектами, которые должны быть видимы. Вместо привязки к ближайшей заранее вычисленной зоне сеть берет точные координаты камеры и выдает прогноз видимости для каждого объекта на сцене.
В результате получается гладкое, непрерывное поле видимости, а не лоскутное одеяло из отдельных зон. Объекты постепенно появляются и исчезают из видимости по мере движения камеры, а не включаются и выключаются на произвольных границах зоны.
Этот подход был вдохновлен NeRF (Neural Radiance Fields), методом исследовательского сообщества, который использует нейронные сети для представления трехмерных сцен. Команда Polyphony осознала, что их проблема отображения видимости (положение внутри, видимость снаружи) имеет структурно схожую форму, и адаптировала концепцию.
Каждый курс разделен на регионы, и каждый регион имеет свою небольшую нейронную сеть. Команда протестировала несколько сетевых архитектур и остановилась на одной, используя преобразование функций Фурье, которое отображает входные координаты в многомерное пространство перед их обработкой. Это дало лучший баланс точности и скорости.
Видеть местность
Одна из наиболее интересных деталей презентации — то, как нейронная сеть обрабатывает геометрию курса, которую нынешняя система пытается полностью использовать.
На таком поле, как Эйгер Нордванд, которое широко открыто, существующая система отсеивания имеет мало крупных структур, с которыми можно работать, в результате чего основным источником окклюзии остается собственная местность поля. Хотя предварительно вычисленный этап рендеринга определяет, когда особенности местности, такие как холмы и пандусы, блокируют видимость с определенных позиций камеры, проблема заключается в том, что происходит дальше.
Когда эти тысячи отдельных точек данных объединяются в более широкие зоны, система должна быть консервативной: если объект виден из любой положение внутри зоны, он остается в списке видимости этой зоны. Холм может закрывать вам обзор здания с одной точки, но если другое место в той же зоне может видеть это здание, оно все равно будет нарисовано. Более мелкие детали того, что скрывает местность, теряются при слиянии.
У нейронной сети такой проблемы нет. Поскольку он прогнозирует видимость для точных координат камеры, а не для широких зон, он может сохранить эффект окклюзии особенностей местности в тех точных положениях, где они действительно имеют значение.
Делаем это быстро
Нейронная сеть полезна для отбраковки только в том случае, если она достаточно быстра, чтобы обрабатывать каждый кадр, не теряя при этом прирост производительности, который она создает. Команда Polyphony решила эту проблему с помощью агрессивного конвейера квантования: веса сети сжимаются от 32-битных чисел с плавающей запятой до 8-битных целых чисел, а код вывода вручную оптимизируется для использования инструкций SSE в ЦП.
Квантование уменьшило размеры данных в среднем на 260 % при сохранении качества отбора, а оптимизированный путь вывода сократил время выполнения каждого запроса в среднем примерно до 33 микросекунд на всех протестированных ими курсах. Это достаточно быстро, чтобы не влиять на бюджет кадра.
Все обучение выполняется в автономном режиме на процессорах (сети настолько малы, что обучение на графических процессорах фактически происходит медленнее), а процесс распараллеливается в кластерах. Система спроектирована так, чтобы быть в значительной степени автоматизированной, что важно, когда вы собираете данные отбора для игры с более чем 30 треками.
Тесты PS5
В презентацию были включены контрольные данные PlayStation 5, работающие на двух полях: Эйгер Нордванд и Гранд-Вэлли.
На Eiger Nordwand среднее время кадра процессора снизилось с 3,944 мс до 3,758 мс при включенном NeuralPVS. Улучшения графического процессора были меньшими (в среднем 0,026 мс), что имеет смысл, учитывая, что на Эйгере относительно мало окклюдеров. Выгода достигается за счет того, что сеть научится использовать особенности местности, которые упускает из виду существующая система.
Гранд-Вэлли показала более впечатляющие результаты. Среднее время работы ЦП снизилось с 4,552 мс до 4,256 мс, а максимальное значение ЦП снизилось с 6,378 мс до 5,849 мс, то есть сокращение более чем на полмиллисекунды. Загрузка графического процессора также была более стабильной на протяжении всего курса: максимальное время графического процессора снизилось почти на 0,1 мс.
Полмиллисекунды могут показаться не такими уж большими по отдельности, но в конвейере рендеринга со скоростью 60 кадров в секунду, где каждый кадр имеет бюджет 16,67 мс, экономия времени на процессоре и графическом процессоре означает больше места для всего остального. Это может привести к большему количеству объектов на экране, лучшему освещению или просто к более стабильному темпу кадров в сложных сценах.
Что это значит для будущего Gran Turismo
Хотя презентация состоялась в прошлом году, насколько нам известно, NeuralPVS не работает в настоящее время. Гран Туризмо 7 еще.
В то время докладчики прямо заявили об этом, заявив, что они «рассматривают возможность внедрения этого в продукт в будущем». Эта формулировка оставляет открытым вопрос, будет ли она приходить как GT7 обновление, как часть будущего названия, или и то, и другое. Конечно, даже если бы оно прибыло в GT7такая высокотехнологичная функция почти наверняка не будет раскрыта в примечаниях к патчу для широкой публики.
Однако ясно, что система уже давно прошла стадию исследований. Полный конвейер построен, он протестирован на реальных курсах, работающих на реальном оборудовании PS5, и команда описала его как «почти полностью автоматический». Последний момент важен: автоматизированная система гораздо легче масштабируется по большому списку треков, чем та, которая требует ручной настройки для каждого курса.
В презентации также отмечалось, что система предназначена для работы с «моделями высокой четкости и высокой нагрузки» последних курсов. Поскольку Polyphony продолжает добавлять более детализированные среды (будь то GT7 или его преемника), бюджет рендеринга становится более ограниченным. Более умная система отбраковки, способная добиться дополнительной производительности без какого-либо визуального компромисса, — это именно та закулисная технология, которая позволяет серии выглядеть и работать так, как ожидают игроки.
Polyphony нечасто рассказывает публично о своей технологии, поэтому тот факт, что два инженера представили эту работу на CEDEC, сам по себе примечателен. Это сигнал о том, что студия рассматривает рендеринг с помощью искусственного интеллекта как значимую часть технического направления Gran Turismo, а не просто эксперимент.
См. дополнительные статьи о CEDEC и Polyphony Digital.
