DeepMind научила ИИ-агентов взаимодействовать с людьми

Исследователи лаборатории Deepmind разработали ИИ-агентов, которые могут естественным образом взаимодействовать с людьми и учиться у них.

How can AI begin to interact naturally with people?

Introducing a new framework where agents can improve their behaviour using human feedback. Tested in a virtual playhouse, agents can listen, ask questions and perform actions in real-time. https://t.co/zw5c9hmSLH pic.twitter.com/irbt6govk8

— DeepMind (@DeepMind) November 23, 2022

Для этого разработчики создали интерактивную трехмерную среду, в которой ИИ-агенты и люди свободно перемещались, взаимодействовали и общались в качестве аватаров. Обмен информацией между ними происходил на естественном языке в чате.

В трехмерной среде исследовательская группа также собирала данные о взаимодействии для обучения с подкреплением. Согласно Deepmind, сгенерированный датасет включает 25 лет взаимодействия в реальном времени между агентами и сотнями людей.

Для создания продвинутых ИИ-аватаров исследователи скопировали поведение пользователей в виртуальной среде. В противном случае ИИ-агенты действовали бы беспорядочно и непонятным людям образом, рассказали в Deepmind.

Затем разработчики оптимизировали поведение с помощью обратной связи с человеком с помощью обучения с подкреплением в соответствии с классическим принципом проб и ошибок. Однако модель вознаграждений они основали на оценке людей способности достижения целей, а не количестве собранных баллов.

Затем на основе этих взаимодействий Deepmind натренировала систему поощрений, предсказывающую предпочтения реальных пользователей. Она служила механизмом обратной связи для дальнейшей оптимизации агентов.

Задания и вопросы для процесса обучения исходили от людей, а также аватаров, имитирующих человека.

Согласно Deepmind, их ИИ может решать множество заданий, которые команда ранее не предполагала. Например, они располагали объекты на основе двух чередующихся цветов или приносили пользователям объект, похожий на тот, который они на тот момент держали в руках.

При оценке системы ИИ-агенты, расширенные обучением с подкреплением, показали значительно лучший результат, чем натренированные просто имитировать человека.

По словам исследователей, процесс обучения можно запускать несколько раз для дальнейшей оптимизации ИИ с помощью обновленной модели вознаграждения.

В Deepmind рассматривают представленную структуру как вклад в разработку агентов для видеоигр, которые могут более естественно взаимодействовать с людьми. Фреймворк также поможет в разработке цифровых или роботизированных помощников, считают исследователи.

Напомним, в сентябре DeepMind разработала ИИ-агентов, способных играть в виртуальный футбол.