Home BlogАтаки на ИИ-агентов на DevOps Conf

Атаки на ИИ-агентов на DevOps Conf

by Denis Makrushin
10 views

Обещал показать, как редиска крадёт секреты у разработчиков через их же ИИ-инструменты. Показал.

На DevOps Conf представил результаты исследования «Атаки на ИИ-агентов», которое мы провели вместе с командой. Разобрали сценарии в ADLC (Agentic Development Lifecycle — запоминаем этот термин, будем встречать его всё чаще) и показали методы анализа устойчивости ИИ-инфраструктуры для тех, кто строит агентные системы.

Ключевой тезис: SDLC трансформировался в ADLC, и классические подходы к безопасной разработке теряют эффективность. Поведение агента недетерминировано и меняется без изменения кода. Pull request — больше не чекпоинт, когда агент автономно читает тикеты, обрабатывает изменения и что-то меняет в коде. Наблюдаемость упала, скорость выросла.

Что с этим делать: LLM-as-a-Judge, guardrails на входе и выходе, AI red teaming в CI/CD, аудит каждого подключённого MCP-сервера. И еще куча идей в вопросах из зала и общении после доклада.

Показали. Теперь пора рассказать. Готовим блогпост.

Leave a Comment

You may also like