Сотрудник Nvidia раскрыл принцип работы DLSS 5
Джейкоб Фриман, специалист по DLSS в NVIDIA, в ходе переписки с ютубером Дэниелом Оуэном объяснил, как функционирует DLSS 5. Технология не вмешивается в рендеринг на уровне движка и не использует мощность видеокарты для улучшения геометрии или текстур. Вместо этого она обрабатывает уже готовый кадр и векторы движения, пропуская финальное 2D-изображение через генеративную нейросеть. По сути, принцип работы напоминает применение фильтров в Instagram или Photoshop.
Этим объясняется эпизод из трейлера Starfield, где у персонажа появились волосы там, где их не было. Нейросеть не достраивает сцену логически, а "дорисовывает" детали поверх готовой картинки, руководствуясь собственным представлением об объекте.
Одним из главных вопросов остается сохранение художественного стиля оригинальной игры. Отвечая на опасения, что Nvidia навязывает свое видение визуала, Фриман заверил, что разработчики получат доступ к настройкам вроде интенсивности эффекта, цветокоррекции, контрастности и возможности маскирования объектов. Однако, как подчеркнул Оуэн, все перечисленные инструменты являются стандартными для графических редакторов, но при этом отсутствует упоминание о возможности тонкой перенастройки самой ИИ-модели под конкретную эстетику студии. По всей видимости, логика работы нейросети остается фиксированной.
В Nvidia подчеркивают, что взаимодействие с разработчиками продолжается. Представитель компании отметил, что DLSS 5 позиционируется как инструмент для достижения художественного замысла создателей игр, а не как ограничение, накладываемое возможностями традиционного рендеринга.
При решении задачи ИИ просто пошёл более знакомым ему путём.
А умники из NVIDIA, учившие ИИ одному, а получившие другой результат, раздувают щёки и утверждают, что явили миру чудо.
Теперь нас будут приучать к этому.
Печально то, что Homo Sapiens уже в принципе не может понять как работает эта DLSS 5. И все действия - не наука, а танцы с бубном. Шаманизм чистой воды.
хорошо успели слить в сеть данные и драйвера и тд по 30ым карточкам.
Я перечитал всю переписку в этой ветке и не нашёл ни одного "дай растрепу" коммерческой тайны.
Уважаемый, вы о чём?
Если есть что сказать, то давайте ваши тезисы - подискутируем (хотя бы на уровне основных понятий).
Или просто дверкой ошиблись?
Действительно, чего это меня понесло...
Надо быть конструктивнее и во всём видеть хорошее. )))
Я совсем не уверен, что в этой истории будет необходимо подключение к сети. Хотя, безусловно возможно всё.
Вопрос про "разные компы" я бы сформулировал по другому: "как они достигнут воплощения конкретных идей авторов игры?"
По какой системе реперных точек они будут рисовать "то, что надо", а не "то, что привыкли".
Я не специалист, но банальная логика подсказывает, что здесь используется навык ИИ ретушировать фотки, намозоленный на миллиардах фотографий из сети. Вполне отработанный и зрелый навык. Немного изменили исполнительные механизмы и для демонстрашки DLSS 5 уже достаточно. Но тогда ИИ будет СВОЕВОЛЬНО трактовать персонажей.
Могу предположить пути развития ситуации:
1. нам доходчиво объяснят, что авторский замысел не так уж важен. ИИ лучше знает, что красиво, что нет.
2. авторы на стадии создания персонажей (и окружения) будут тестировать их в DLSS и корректировать для достижения приемлемого результата.
3. возникнет некая система рэперов, указывающая, что для авторов игры особо важно и с чем нужно построже.
В любом случае это только начало цирка. Посмотрим...
Я тогда подумал: "какой полёт фантазии!"...
А гляди ж ты - сбывается ))).
Вроде-как они обещали какие-то настройки и маскирование.
Подключение к сети вряд-ли будет нужно - скорее будут просто готовые веса в драйвере видеокарты. Или же в самой игре - отстёгиваешь нвидии нужную сумму и тебе дообучают нейронку под твои запросы. А нет нужной суммы или не важно, какой результат - будет стандартная конфигурация, со всеми вытекающими. Было бы вполне логичное решение, удобное для всех.