За последние несколько дней с тех пор, как мы впервые опубликовали информацию о DLSS 5 от Nvidia, это была сумасшедшая поездка, и стало ясно, что проблемы, возникающие в результате машинного обучения в этом виде, должны были заставить нас задуматься, прежде чем мы начнем публиковать наше освещение. Мы опубликовали слишком быстро, хотя нам нужно было время, чтобы обработать все, что мы видели.
У сообщества есть опасения, и разработчики обращались к нам с различными проблемами в частном порядке. Хотя уже давно было ясно, что будущее графических технологий следующего поколения будет иметь сильный компонент машинного обучения, вопрос в том, представляет ли DLSS 5 следующую большую эволюцию в игровых технологиях или же она пересекает черту с точки зрения художественной целостности — особенно с учетом того, что демо-версии, которые мы видели, работали на том, что фактически является существующим «искусством», иногда с радикальными отличиями.
Мы были в восторге от того, что увидели в нашей частной демо-версии, а масштаб и амбиции технологии Nvidia поразительны. По сути, оно создало генеративное ИИ-решение для передачи видео в видео, не похожее ни на одно другое. У него нет доступа к исходным игровым ресурсам, геометрии, глубине или метаданным каждого материала, но он все равно способен создавать изображения с поразительной точностью и временной согласованностью.
Если на мгновение отложить рендеринг лиц, сцены с недоэкспонированными персонажами, плоскими материалами или слабыми контактными тенями приобретают правдоподобную глубину и объемность. Правдоподобные отражения, тени и отклик материалов делают нас на шаг ближе к внешнему виду, визуализируемому в автономном режиме. Рендеринг волос также впечатляет. Обработка освещения прядей с трассировкой пути требует огромных затрат для графического процессора, но в DLSS 5 вы можете видеть волосы, которые выглядят более естественно и сравнимы с фотографиями из реального мира. Вот наш зуммер для скриншотов на память.
В лучшем случае DLSS 5 намекает на будущее, в котором нейронная сеть, понимающая, как ведет себя свет и как работают камеры, сможет выполнять своего рода нейронный «завершающий проход» к игровым визуальным эффектам. Так что в этом смысле существует определенный потенциал для того, чтобы рассматривать подобную технологию как мощный инструмент как для новых, так и для существующих игр.
Но это больше, чем завершающий этап – хорошо это или плохо, это преобразует. Вопрос в том, является ли DLSS 5 более навязчивым, чем должен быть. Именно здесь в центре внимания находится критика технологии обработки лица. На крупных планах имеется множество геометрической информации и информации о оттенках, которая помогает направлять процесс, что приводит к правдоподобным изменениям — улучшению текстур кожи и увеличению глубины. Однако, если камера отодвигается назад, у модели остается меньше жестких сигналов, с которыми можно работать, что приводит к тому, что можно было бы назвать более «спекулятивной» интерпретацией — и, возможно, это причина крайне противоречивого изображения Грейс, которое было представлено на презентации DLSS 5. Это нехорошо, когда имеешь дело со знакомыми игровыми персонажами, которые могут выглядеть так, будто им сделали пересадку лица. Смотрим ли мы на результат, определяемый больше моделью, чем игровыми данными? Если так, то этого не должно происходить.
Это может даже вызвать согласие и другие вопросы, касающиеся художественной честности. На месте и во время работы демо-версий опасения по этому поводу казались менее серьезными, поскольку игры, которые мы видели, были подписаны студиями, которые их создали — и спорные активы, которые мы видели, тоже. Ничто из презентации DLSS 5, выпущенной Nvidia, не было одобрено студиями, владеющими этими играми. Но, возможно, проблема не только в конкретных одобрениях конкретных разработчиков по согласованной интеграции DLSS 5, а, скорее, во всей концепции графического процессора, переосмысливающего игровые визуальные эффекты в соответствии с нейронной моделью, которая имеет свои собственные представления о том, как должен выглядеть фотореализм.
Хотя мы видели одобрение со стороны Тодда Ховарда из Bethesda и Джуна Такеучи из Capcom, в какой степени это согласие распространяется на всю команду разработчиков и других художников, связанных с производством? И, в более широком смысле, существует также вопрос о том, настало ли сейчас подходящее время для запуска DLSS 5 в то время, когда игровая индустрия находится под огромным давлением, рабочие места находятся под угрозой, а сокращение затрат является основным направлением деятельности в сфере тройного А. Сама технология не может функционировать без работы создателей игр — для того, чтобы она вообще работала, ей нужны окончательные игровые образы — но степень, в которой ее можно рассматривать как тревожный признак «грядущего», невозможно переоценить, принимая во внимание реакцию других людей на генеративный ИИ.
По крайней мере, сейчас опасения по поводу DLSS 5 могут быть смягчены практическими реалиями. По своей природе технология не может работать на каждом целевом устройстве — только на графических процессорах Nvidia и, вероятно, только на высокопроизводительных графических процессорах Nvidia, основанных на текущей конфигурации с двумя RTX 5090. Для любого другого сценария игрового оборудования потребуется стандартная визуализированная версия игры. Для работы DLSS 5 также требуется стандартная отрисованная версия игры. Так что в этом смысле он больше похож на расширенный мод постобработки, чем на обязательный компонент игрового движка. Разработчики могут отказаться от его поддержки. И геймеры могут не захотеть его использовать, даже если у них есть доступное оборудование, поскольку это неизбежно приведет к снижению производительности.
Но мы совершенно уверены, что жребий брошен и направление движения ясно. Прошли годы с тех пор, как мы разговаривали с Томом Петерсеном из Intel в Берлине, когда был представлен XeSS, и в этом интервью он говорил о чем-то, очень похожем на DLSS 5. Если посмотреть на аппаратные строительные блоки в RDNA 5, то можно увидеть, что все дело в повышении точности за счет трассировки лучей и переходе от без исключения стандартных шейдеров к более сбалансированной настройке графического процессора с использованием оборудования ML. Нейронный рендеринг — так или иначе — грядет.
DLSS 5 в его нынешнем виде является удивительной технологией, но также и началом большой дискуссии о важности машинного обучения в играх следующего поколения, где разговор должен включать в себя некий консенсус по моделям обучения, источнику данных для этих моделей, контролю за результатами и некоему ответу на вопрос об авторстве. Я подозреваю, что окончательный ответ — это игровой движок с мощной поддержкой машинного обучения, но со значительным контролем со стороны команды разработчиков. ДЛСС 5? Возможно, это скорее процессор изображений машинного обучения первого поколения, а не окончательное решение, но, безусловно, катализатор дискуссий о будущем генеративного искусственного интеллекта в играх.
