Искусственный интеллект для игр. Что под капотом: разбираемся с технологией NVIDIA и собираем свой прототип
С 4 по 7 июня прошел Computex 2024 — главное событие для любителей железа. На выставке демонстрируют новинки и задаются тренды в комплектующих. Многие анонсы носят демонстрационный характер — удивить и попасть в медиа важнее, чем сдвинуть парадигму и показать технологические новшества.
Наш коллега посетил мероприятие и поделился впечатлениями. В этой статье сконцентрируемся на двух ключевых моментах:
- Умный ассистент компании NVIDIA
- Встроенные экраны везде, где это возможно
Для тех, кто лучше воспринимает информацию на слух у материала есть видеоверсия
Умный ассистент и искусственный интеллект.
NVIDIA Project G-Assist
NVIDIA представила Project G-Assist. Если коротко, это нейросеть, которая дает подсказки геймеру во время игры: выбор лучшего снаряжения, советы по прокачке или прохождению квеста, задания и т.д
Дополнительно, позволяет оптимизировать настройки графики и самой игры для получения лучшего опыта. Т.е по сути это мониторинг состоянии системы, ее характеристики и рекомендации по оптимизации. (По сути продвинутый GeForce Experience)
Идея не нова: некоторое время назад NVIDIA анонсировала R.O.N. Тогда это был первоапрельский розыгрыш: помощник с голосовыми командами, способный затыкать токсичных оппонентов и превращать брань в конструктивную критику. Теперь проект перешел от шутки к реальной реализации.
Почему обратили внимание на эту новость
Сейчас многие используют модное слово «AI» для привлечения внимания. Но часто за этим не стоит ничего существенного. NVIDIA предлагает реальный сценарий использования ИИ: многие из нас смотрели летсплеи и искали подсказки для прохождения сложных квестов. С помощью встроенного умного помощника в окружение геймера, в его экосистему позволяет существенно упростить эти задачи.
Нам стало интересно, как это устроено. Сходили в отдел разработки (да, он у нас есть, не только отверткой компы крутим), описали задачу, показали, как работает и парни набросали быстрый прототип.
Разбираем как работает
Под капотом решения NVIDIA — пайплайн из нескольких блоков, который можно воспроизвести:
Пайплайн:
- В режиме реального времени инициируем событие, которое делает скриншот игры
- Далее скриншот анализируется нейронной сеткой.
- Нейросетке задается конкретная роль. В нашем случае – профессиональный геймер, который не прочь отжечь шутку другую
- Бот анализирует статистику игры и оценивает событие.
- По результату анализа с помощью яндекс станции озвучиваем совет и дублируем информацию в виде текста на встроенный экран через специальное ПО
Визуально, это выглядит примерно так:
Оно работает!
Вот, что у нас получилось
При этом, это подходит, как и для AAA-тайтлов, так и для каких-то простых задач.
Особенно хорошо демонстрацию работы видно в змейке, где бот оценивает даже текущий прогресс игры:
А вот пример совета по игре в шахматы, которые можно использовать в играх с друзьями. Теперь игра на деньги станет выгоднее (азартные игры мы, конечно, осуждаем).
Экраны, экраны, нужно больше экранов
Вторым трендом прошедшего Computex 2024 стали экраны. LCD панели встраивают везде.
Практически все производители корпусов имеют встроенные экраны разного размера. У кого-то это опционально, у кого-то во всю фронтальную панель.
Кто-то использует матрицу на стекле, чтобы выводить изображения без рамок с эффектом 3D (когда давно мы такое уже видели у компании IBUYPOWER).
Многие жидкостные системы охлаждения на помпе имеют свой экран, отдельно стоит отметить изогнутые решения.
В чем здесь проблема
В нашем примере по разбору умного помощника мы используем встроенный экран как возможность расширить функциональность. Т.е прикрутить ряд дополнительных сервисов и программное обеспечение, которое позволяет использовать умный дом, систему видеонаблюдение, мониторинг и интерактивное взаимодействие с пользователями.
К сожалению, в рамках выставки большая часть производителей использует простые панели без сенсора, только для вывода показателей загруженности системы или в виде интерьерного элемента для установки анимированных обоев, картинок и т.д
Будущее на самом деле уже вот вот рядом, близко с нами. Хочется одного, чтобы оно свернуло в сторону реальной пользы и прикладных решений, а не еще одному типу украшательства и баловства.
Пишите в комментариях, чем еще мог бы быть полезен игровой помощник, какие задачи требуют решения. Интересно будет обсудить и реализовать особенно интересные Ваши идеи!