DeepMind представила языковую модель с 280 млрд параметров

Британская ИИ-лаборатория DeepMind разработала большую языковую модель Gopher, содержащую 280 млрд параметров. По словам исследователей, чем крупнее модель, тем точнее она работает.

Ученые с помощью собственного исследования подтвердили гипотезу, что от размера языковой модели зависит точность ее работы. В результате увеличения количества параметров производительность Gopher повысилась в наиболее распространенных эталонных тестах, таких как анализ настроений и обобщение.

«Один из ключевых выводов статьи заключается в том, что прогресс и возможности больших языковых моделей все еще увеличиваются. Это не та область, которая вышла на плато», — сообщил исследователь DeepMind Джек Рэй.

Однако ученые выявили ряд недостатков у данного подхода. По словам Рэя, существует множество вариантов, когда модель может выйти из строя:

«Некоторые из этих способов связаны с тем, что модель просто недостаточно хорошо понимает то, что она читает».

Рэй считает, что проблему непонимания контекста можно решить увеличением количества обучающих данных и масштабированием моделей.

Он добавил, что есть и другие проблемы, такие как укрепление стереотипных предубеждений, распространение дезинформации или токсичная лексика. В DeepMind считают, что масштабирование не поможет устранить эти недостатки.

«В этих случаях языковые модели потребуют “дополнительных процедур обучения”, таких как отзывы пользователей-людей», — отметил Рэй.

О том, появится ли Gopher в открытом доступе неизвестно. В DeepMind намерены продолжить изучение языковых моделей, чтобы сделать приложения с искусственным интеллектом безопасными и прозрачными.

Напомним, в октябре Microsoft и Nvidia представили языковую модель Megatron с 530 млрд параметров.

В августе израильский стартап разработал доступную альтернативу GPT-3. Самая большая версия модели содержит 178 млрд параметров.

В январе исследователи из команды Google Brain представили языковую модель с 1 трлн параметров.

Подписывайтесь на наш Telegram и будьте в курсе последних новостей!
Чтобы оставить комментарий необходимо или зарегистрироваться