Термин «ИИ» используется с самого зарождения игропрома, но на деле же, искусственного интеллекта зачастую нет и вовсе. На самом деле, это общий термин для описания заранее запрограммированных действий противника или определенных персонажей, которые симулируют интеллект и зависят от узкого набора инструкций. Прогресс, конечно, не стоит на месте, и разработчики игр помогают двигаться в нужном направлении.

На прошедшем GDC (ежегодная Конференция разработчиков игр), компания EA рассказала о том, как они обучали собственных так называемых ИИ-Агентов, для вышедшего в 2016 году Battlefield 1. Команда впервые проделала работу подобного плана для ААА-тайтла, но что более важно, разработанные методы помогут в создании будущих проектов. Они обеспечат игры более реалистичным поведением противников, а сами разработчики получат больше способов по корректировке данных.

ИИ-Агенты компании ЕА, в отличие от «ботов», должны самообучаться, а не просто следовать инструкциям. Их обучение скомбинировано на использовании двух методов: обучение при помощи подражания и закрепление полученных знаний. Тут всё как у детей. Сначала агент наблюдает за действиями игрока, а потом старается их повторить. На эту часть приходится примерно 2 процента от всего обучения, но по словам ЕА, им этого достаточно, чтобы настроить всё как положено.

Затем, когда базовые знания получены, агенты сами должны выяснить дальнейший принцип игры, при этом у них есть собственный список задач (например, убийство противников), за выполнение которых они получают награду. Таким образом, методом проб и ошибок, агенты обучаются. Агенты ЕА играют сотни, тысячи часов, и таким образом становятся лучше со временем. Примерно в таком же направлении работает компания DeepMind, которая обучает ИИ для экосистемы Google, хотя они все-таки сосредоточены на более стратегическом мышлении интеллекта.

Ниже вы можете просмотреть небольшой ролик, показывающий процесс обучения. Под видео есть также текстовый перевод.

Всё что вы сейчас увидите, является нашим ранним экспериментом в сотрудничестве DICE и SEED. Здесь самообучающиеся Агенты играют в стандартный режим Battlefield 1. Все присутствующие игроки управляются одной нейронной сетью, которая обучена спонтанной игре на основе проб и ошибок.
Чтобы помочь агентам начать, мы добавили объекты по всей карте. Зеленые кубы восполняют здоровье, а коричневые кубы пополняют боеприпасы. Агенты учатся адаптировать свое поведение при понижении количества здоровья или боеприпасов. Как вот этот Агент [взявший патроны].
Все действия Агентов основаны на предыдущих матчах. Мы лишь слегка стимулируем их игру на результат.
Отслеживание действий Агентов с видом от первого лица дает нам уникальные данные по их поведению.
В то время как их базовые навыки впечатляют, они также легко приходят в замешательство, и еще многому предстоит научиться.
Мы уверены, что машинное обучение серьезно повлияет на область разработки и впечатления от игры в долгосрочной перспективе.
В описании к ролику вы сможете найти информацию о перспективах нейронных сетей и машинного обучения в играх

Издание The Verge пообщались с Магнусом Нордином (Magnus Nordin), руководителем Отдела по исследованию экспериментальных разработок (SEED — Search for Extraordinary Experiences Division), который поведал о вполне способных ИИ-Агентах, хотя они все равно не так хороши, как люди.

Мы проводили тесты на тех разработчиках из DICE, которые в общем-то хорошо играют, но далеки от профессионалов. У них не было проблем с убийством ботов, но и полным разгромом это тоже не назвать.

В процессе тренировок боты улучшали свои навыки. Они приспосабливались к отдаче у оружия и довольно неплохо уворачивались от встречного огня.

Они уклоняются прыгая из стороны в сторону. — говорит Нордин.

Но есть в их действиях и то, что в очередной раз дает нам понять, как далеки мы от того дня, когда ИИ сможет вести себя так же естественно, как человек. Нордин поясняет, что боты научились «бегать глазами» по округе, с целью найти что-нибудь чем себя занять. Это как раз связано с процессом закрепления полученного опыта, который вознаграждает ИИ пополнением здоровья или патронами. Последнее вознаграждение было добавлено разработчиками с надеждой на то, что это побудит агентов исследовать локацию (и помогать им выживать). Но это дало и побочный эффект.

Когда они не видят противников, они просто начинают осматриваться, пытаясь придумать, что им делать.

Представьте скучающую собаку, которая ищет чего бы ей погрызть. Нельзя сказать, что это глупое поведение, но и разумным тоже не назвать.

Чем сложнее игра, тем интереснее борьба

Артур Джулиани (Arthur Juliani), старший инженер компьютерного (машинного) обучения Unity, говорит, что работа EA похожа на то, чем они занимались некоторое время ранее, но подход несколько серьезнее.

Комбинация двух методов и демонстрация способностей агентов в рамках реальной игры, выглядит как очень впечатляющая перспектива. — Сказал Джулиани.

Он также отметил, что компании OpenAI и DeepMind тоже работают над созданием собственных ботов для таких игр, как Starcraft II и Dota 2.

Чем сложнее игра, тем интереснее борьба. — говорит Джулиани.

Однако, по словам Артура, ретро-игры все еще очень полезны для обучения ИИ, потому что они требуют меньшего объема вычислений.

Но вернемся к Нордину, который признает, что работа над ИИ для игр, вроде Шахмат или Го, лишь подчеркивает сложность обучения для того же Battlefield. В настольных играх видно всю игровую область и можно рассчитать число конечных результатов, которые сможет смоделировать компьютер и выбрать наиболее эффективный. Но в шутерах игрок совершает гораздо больше действий: идет, бежит, приседает, перезаряжается, меняет оружие и т.д. И тут уже не так просто предсказать порядок действий игрока.

Цель EA не обязательно состоит в том, чтобы продвинуть технологию ИИ, но скорее выяснить, как эту технологию можно использовать с практической пользой. Нордин, к слову, не уверен, что в ближайшее время ИИ станет конкурентом человеку.

Такого точно не будет в следующем Battlefield, потому что мы еще далеки от этого, но кто знает, может быть в следующей за ней будет что-то вроде гибрида ИИ и нейросети. — говорит Нордин.

Присутствие ИИ-Агентов, которые будут слоняться по карте — это отличный способ ускорить исследования в этой области.

Battlefield задуман для 64 игроков, и для полноценного тестирования игры нам надо заполнить всю карту, а с помощью ИИ-Агентов это не так уж и сложно. — говорит Нордин.

Такой подход нравится и Джулиани, который именно поэтому работает над подобными ИИ-Агентами.

Агентов можно обучить и они будут находить баги в играх, или помогать настраивать баланс. — сказал Джулиани.

Так что, прежде чем ИИ начнут побеждать нас в играх, они, как минимум, помогут нам их создать.