Microsoft представила инструмент для тестирования безопасности ИИ

Компания Microsoft выпустила инструмент с открытым исходным кодом Counterfit, который помогает разработчикам тестировать безопасность систем искусственного интеллекта.

Meet Counterfit 👋, the new automation framework for #NetworkSecurity testing machine learning models. Discover how this new open-source project enhances AI systems: https://t.co/kqCltXBRi6

— Microsoft Security (@msftsecurity) May 3, 2021

По словам разработчиков, инструмент предназначен для сканирования уязвимостей систем ИИ и создания журналов атак на целевую модель. С его помощью специалисты по данным используют телеметрию для дальнейшего повышения безопасности.

В Microsoft указали, что Counterfit не зависит от среды, модели и данных. Его используют локально, на периферии, в облаке для тестирования любой модели искусственного интеллекта, которая зависит от входных данных практически в любой форме, включая текст и изображения.

Изначально компания создала инструмент для собственных нужд. Он представлял собой набор скриптов для атаки на модели ИИ. Позже Counterfit превратился в инструмент автоматизации, который масштабно атакует несколько моделей ИИ.

«Этот инструмент появился из-за нашей собственной потребности в оценке уязвимостей систем ИИ Microsoft для защиты служб в соответствии с принципами ответственного ИИ и инициативой ответственной стратегии ИИ в разработке (RAISE)», — говорится в блоге компании.

Microsoft протестировала Counterfit с несколькими клиентами, включая аэрокосмического гиганта Airbus.

Напомним, в конце апреля Microsoft внедрила технологию обнаружения угроз от Intel для поиска скрытых майнеров в корпоративную платформу безопасности Defender для конечной точки.

В марте на конференции Ignite 2021 Microsoft представила ряд новых инструментов и сервисов облачной платформы Azure для разработчиков. Среди них платформа для запуска ИИ-моделей на граничных устройствах, семантический поиск в Azure Cognitive Search и службы Azure Arc.