Gran Turismo от Sony - одна из самых больших серий гоночных игр всех времен, проданная тиражом более 80 миллионов копий по всему миру. Но ни один из этих миллионов игроков не является самым быстрым. В рамках нового прорыва команда под руководством Sony AI - исследовательского подразделения компании по искусственному интеллекту (ИИ) - разработала полностью искусственного игрока на основе машинного обучения, способного не только изучить и освоить игру, но и превзойти лучших в мире игроков-людей. Агент ИИ, названный Gran Turismo Sophy, использовал глубокое обучение с подкреплением для тренировки игры (Gran Turismo Sport edition), управляя до 20 автомобилей одновременно, чтобы ускорить сбор данных и улучшить свои собственные навыки.
Всего через несколько часов обучения физике игры - освоения методов применения скорости и торможения для наилучшего удержания на трассе - ИИ стал быстрее 95 процентов игроков-людей в эталонном наборе данных. Чтобы не отстать от этих досадных 5 процентов, GT Sophy удвоил свои усилия. "Она тренировалась еще девять или более дней - накопив более 45 000 часов вождения - сбривая десятые доли секунд, пока ее время прохождения круга не перестало улучшаться", - объясняет команда в новой научной статье, описывающей проект. "При такой процедуре тренировки GT Sophy достигла сверхчеловеческих результатов на всех трех трассах... со средним временем прохождения круга, примерно равным лучшему зарегистрированному времени прохождения круга человеком".
Это далеко не первый случай, когда мы видим, как ИИ учится превосходить человека в играх. С годами завоевания накапливались, и различные агенты выясняли, как превзойти простых смертных во всех видах игр. Atari, шахматы, Starcraft, покер и Go, возможно, и были созданы руками человека, но человеческие руки больше не являются лучшими в игре. Конечно, все эти игры либо ориентированы на стратегию, либо относительно просты по своему геймплею (в случае с играми Atari). Gran Turismo - которую поклонники превозносят не только как видеоигру, но и как реалистичный симулятор вождения - это зверь иного рода. "Многие потенциальные приложения искусственного интеллекта связаны с принятием решений в реальном времени в физических системах при взаимодействии с людьми", - пишут исследователи в своем исследовании.
"Автомобильные гонки представляют собой экстремальный пример таких условий; водители должны выполнять сложные тактические маневры, чтобы пройти или блокировать соперников, при этом управляя своими автомобилями на пределе тяги". Однако для тестирования GT Sophy задача заключалась не только в освоении тактики игры и сцепления с дорогой. ИИ также должен был преуспеть в гоночном этикете - научиться обгонять соперников, соблюдая принципы спортивного мастерства, уважая линии движения других автомобилей и избегая столкновений. В конечном счете, все это оказалось не проблемой. В серии гоночных соревнований, проведенных в 2021 году, ИИ взял верх над лучшими игроками Gran Turismo в мире, включая трехкратного чемпиона Такуму Миязоно.
В июльском соревновании ИИ обошел игроков на время, но не победил в заездах "лоб в лоб". После некоторых оптимизаций, проведенных исследователями, агент научился улучшать свои характеристики и выиграл матч-реванш в октябре. Несмотря на все достижения, изобретатели GT Sophy признают, что существует множество областей, в которых ИИ еще можно улучшить, особенно в плане принятия стратегических решений. Несмотря на это, в одной из самых совершенных гоночных игр, когда-либо выпущенных, он уже сейчас водит лучше, чем лучшие из нас.
Что это означает для будущего, пока неизвестно, но вполне возможно, что в один прекрасный день подобные системы могут быть использованы для управления реальными автомобилями с лучшей управляемостью, чем у опытных водителей-людей. В виртуальном мире это уже происходит. "Симулятор автомобильных гонок - это область, требующая непрерывного управления в реальном времени в среде с очень реалистичной и сложной физикой", - заключают исследователи. "Успех GT Sophy в этой среде впервые показывает, что можно обучить агентов ИИ, которые превосходят лучших гонщиков-людей в различных типах автомобилей и трасс". О результатах исследования сообщается в журнале Nature.
