Китайский генератор изображений подвергли политической цензуре

Алгоритм преобразования текста в изображения компании Baidu ERNIE-ViLG запретил создавать контент, попадающий под политическую цензуру в Китае. Об этом пишет Technology Review.

По словам исследователей из MIT, система отказалась генерировать картинки по следующим ключевым словам:

• имена высокопоставленных китайских политических лидеров, таких как Си Цзиньпин и Мао Цзэдун;
• термины, которые можно считать политически чувствительными вроде «революция» и «лазить по стенам» (метафора использования VPN-сервиса в Китае);
• имя основателя и генерального директора Baidu Робина Ли.

Исследователи отметили, что сами по себе слова «демократия» и «правительство» разрешены. Однако в словосочетаниях вроде «демократия на Ближнем Востоке» или «британское правительство» отвергаются.

Также система отказывается генерировать контент по запросу «площадь Тяньаньмэнь» в Пекине. Исследователи предположили, что это связано с событиями 4 июня 1989 года, ссылки на которые подвергаются цензуре в Китае.

При попытке ввести подобный запрос система выдает сообщение: «Введенный контент не соответствует правилам. Пожалуйста, попробуйте еще раз».

Эксперты подчеркнули, что подобные ограничения часто вводятся разработчиками генераторов изображений. DALL-E 2 не создает контент сексуального характера, общественных деятелей или медицинского обслуживания. Однако это первая известная модель, подвергшаяся политической цензуре.

Baidu выпустила ERNIE-ViLG в публичный доступ в августе 2022 года. Модель обучена на наборе данных из 145 млн пар изображение-текст и содержит 10 млрд параметров. По размеру датасета система уступает конкурентам, однако превосходит их по второму показателю.

Основное отличие ERNIE-ViLG от DALL-E 2 и Stable Diffusion — способность понимать подсказки, написанные иероглифами, а также более точно воспроизводить элементы китайской культуры.

Создатель видео сравнил результаты различных моделей для подсказок, включающих исторических деятелей КНР, знаменитостей поп-культуры и еду. Выяснилось, что ERNIE-ViLG дает более точные изображения, чем DALL-E 2 или Stable Diffusion.

Также модель оказалась популярна у японского аниме-сообщества. ERNIE-ViLG генерирует более удовлетворительный контент, чем конкуренты.

Демо-версия модели доступна на платформе Baidu, а также на Hugging Face.

Напомним, в марте 2022 года в Китае вступили в силу правила регулирования рекомендательных алгоритмов технологических компаний.

В январе власти КНР предложили законодательно ограничить создание и распространение дипфейков.

В октябре 2021 года Китай представил набор этических принципов регулирования искусственного интеллекта.