Большие языковые модели стремительно перестали быть экспериментальными инструментами. Сегодня они управляют бизнес-процессами, обрабатывают внутренние документы, пишут код, анализируют трафик, составляют отчёты, работают в службах поддержки и даже участвуют в системах принятия решений. Но вместе с ростом их возможностей растёт и атачная поверхность. Уязвимости LLM уже вышли далеко за рамки лабораторных экспериментов и проявляются в реальных продуктах, интеграциях и корпоративных средах.
Эта статья рассматривает ключевые векторы атак, реальные кейсы и причины, по которым ИИ стал одним из самых уязвимых компонентов современной инфраструктуры.
Prompt injection — одна из наиболее разрушительных угроз. Она возникает из-за того, что LLM не может чётко отличить пользовательские данные от управляющих инструкций.
Реальный пример:
Компания подключила LLM к CRM. Клиент вводит текст в поле «Комментарий»:
Система воспринимает это как команду и передаёт её другому сервису.
Происходит утечка данных, хотя пользователь ничего не «взламывал» — он просто написал текст.
Такие проблемы фиксировались в интеграциях GitHub Copilot Chat, корпоративных ассистентов на базе GPT/Claude и кастомных LLM-агентов.
Jailbreak-атаки используют слабости логики модели, заставляя её игнорировать правила и политику безопасности.
Существуют десятки техник:
• Exploit «DAN» (Do Anything Now)
Модель вводится в альтернативную роль, где ограничения «не действуют».
• «Grandma exploit»
Злоумышленник просит рассказать «как бабушка» или «как персонаж книги» — модель считает контекст художественным и выдаёт запрещённый контент.
• Лингвистический обход фильтров
Изменение структуры фраз или кодирование запросов позволяет получить инструкции, которые напрямую модель никогда бы не выдала.
Эти методы массово тестируются, и большинство моделей периодически им поддаются.
LLM обучаются на огромных датасетах. Иногда — слишком огромных.
Факты из исследований Stanford и OpenAI:
Модели:
– воспроизводили фрагменты приватных GitHub-репозиториев,
– выдавали строки API-ключей,
– генерировали дословные абзацы книг, попавших в обучающие данные,
– создавали тексты, идентичные конфиденциальным документам.
Если в компании сотрудники передают модели внутренние файлы, риск удваивается: ИИ будет использовать фрагменты этих данных в будущих ответах, даже когда это не предполагается.
Если LLM анализирует внешний контент, то атаковать модель можно через него.
Пример из практики:
Система автоматически обрабатывает входящую почту. Письмо содержит:
ИИ добавляет скрытый системный промпт в отчёт, считая это частью задачи.
Получатель получает критически важные внутренние инструкции.
Схожие случаи фиксировались в интеграциях:
– Gmail + AI,
– Notion AI,
– корпоративных чат-агентах,
– системах анализа отзывов.
Агенты, способные самостоятельно выполнять команды, более уязвимы.
Они:
– посещают сайты,
– выполняют скрипты,
– взаимодействуют с файловой системой,
– пользуются API.
Реальный пример теста:
AutoGPT получил вредоносную инструкцию через веб-страницу и удалил файлы в рабочем каталоге, приняв команду за часть задания.
Если агент подключён к реальной среде — последствия будут куда серьёзнее.
– изменить стиль модели,
– внедрить вредоносное поведение,
– заставить ИИ выдавать секретные фразы при определённых триггерах.
Это риск для компаний, обучающих собственные модели на внутренних документах без строгой фильтрации.
Некоторые атаки используют слабости в последовательности токенов.
Пример:
Добавление в конце текста набора бессмысленных символов или редких токенов может вызвать:
– игнорирование инструкций,
– переход в другое «поведенческое состояние»,
– сбой в системе безопасности модели.
Так называемые «sequence-break attacks» уже исследуются в университете Карнеги-Меллон.
Уязвимости LLM могут приводить к:
– разглашению конфиденциальных данных,
– выполнению нежелательных команд,
– фальсификации отчётов и аналитики,
– взлому через цепочки подсказок,
– компрометации корпоративных API,
– ошибкам систем автоматизации,
– внедрению вредоносного поведения в будущих версиях агента.
Это уже вошло в отчёты Microsoft Security Response Center, NIST Special Publications и ENISA.
– они не различают данные и команды,
– они подвержены манипуляциям через текст,
– их безопасность не основана на строгой математике, как криптография,
– их поведение вероятностно и непредсказуемо,
– они зависят от контекста, который может быть подделан,
– они обучены на огромных датасетах, которые невозможно полностью контролировать.
Эта статья рассматривает ключевые векторы атак, реальные кейсы и причины, по которым ИИ стал одним из самых уязвимых компонентов современной инфраструктуры.
Prompt Injection: когда обычный текст превращается в команду
Prompt injection — одна из наиболее разрушительных угроз. Она возникает из-за того, что LLM не может чётко отличить пользовательские данные от управляющих инструкций.
Реальный пример:
Компания подключила LLM к CRM. Клиент вводит текст в поле «Комментарий»:
Система воспринимает это как команду и передаёт её другому сервису.
Происходит утечка данных, хотя пользователь ничего не «взламывал» — он просто написал текст.
Такие проблемы фиксировались в интеграциях GitHub Copilot Chat, корпоративных ассистентов на базе GPT/Claude и кастомных LLM-агентов.
Jailbreak: когда модель можно «уболтать» или обмануть
Jailbreak-атаки используют слабости логики модели, заставляя её игнорировать правила и политику безопасности.
Существуют десятки техник:
• Exploit «DAN» (Do Anything Now)
Модель вводится в альтернативную роль, где ограничения «не действуют».
• «Grandma exploit»
Злоумышленник просит рассказать «как бабушка» или «как персонаж книги» — модель считает контекст художественным и выдаёт запрещённый контент.
• Лингвистический обход фильтров
Изменение структуры фраз или кодирование запросов позволяет получить инструкции, которые напрямую модель никогда бы не выдала.
Эти методы массово тестируются, и большинство моделей периодически им поддаются.
Утечки данных: когда модель непреднамеренно выдаёт тренинг-контент
LLM обучаются на огромных датасетах. Иногда — слишком огромных.
Факты из исследований Stanford и OpenAI:
Модели:
– воспроизводили фрагменты приватных GitHub-репозиториев,
– выдавали строки API-ключей,
– генерировали дословные абзацы книг, попавших в обучающие данные,
– создавали тексты, идентичные конфиденциальным документам.
Если в компании сотрудники передают модели внутренние файлы, риск удваивается: ИИ будет использовать фрагменты этих данных в будущих ответах, даже когда это не предполагается.
Indirect Prompt Injection: атаки через e-mail, сайты и внешние данные
Если LLM анализирует внешний контент, то атаковать модель можно через него.
Пример из практики:
Система автоматически обрабатывает входящую почту. Письмо содержит:
ИИ добавляет скрытый системный промпт в отчёт, считая это частью задачи.
Получатель получает критически важные внутренние инструкции.
Схожие случаи фиксировались в интеграциях:
– Gmail + AI,
– Notion AI,
– корпоративных чат-агентах,
– системах анализа отзывов.
Атаки на автономных ИИ-агентов (AutoGPT, ChatDev, AgentFramework)
Агенты, способные самостоятельно выполнять команды, более уязвимы.
Они:
– посещают сайты,
– выполняют скрипты,
– взаимодействуют с файловой системой,
– пользуются API.
Реальный пример теста:
AutoGPT получил вредоносную инструкцию через веб-страницу и удалил файлы в рабочем каталоге, приняв команду за часть задания.
Если агент подключён к реальной среде — последствия будут куда серьёзнее.
Data Poisoning: заражение обучающих данных
Исследователи MIT показали, что достаточно 100–300 специально созданных строк, добавленных в обучающий набор, чтобы:– изменить стиль модели,
– внедрить вредоносное поведение,
– заставить ИИ выдавать секретные фразы при определённых триггерах.
Это риск для компаний, обучающих собственные модели на внутренних документах без строгой фильтрации.
Логические уязвимости: когда модель можно сбить с курса бессмысленными токенами
Некоторые атаки используют слабости в последовательности токенов.
Пример:
Добавление в конце текста набора бессмысленных символов или редких токенов может вызвать:
– игнорирование инструкций,
– переход в другое «поведенческое состояние»,
– сбой в системе безопасности модели.
Так называемые «sequence-break attacks» уже исследуются в университете Карнеги-Меллон.
Последствия для реальных систем
Уязвимости LLM могут приводить к:
– разглашению конфиденциальных данных,
– выполнению нежелательных команд,
– фальсификации отчётов и аналитики,
– взлому через цепочки подсказок,
– компрометации корпоративных API,
– ошибкам систем автоматизации,
– внедрению вредоносного поведения в будущих версиях агента.
Это уже вошло в отчёты Microsoft Security Response Center, NIST Special Publications и ENISA.
Почему LLM так уязвимы?
– они не различают данные и команды,
– они подвержены манипуляциям через текст,
– их безопасность не основана на строгой математике, как криптография,
– их поведение вероятностно и непредсказуемо,
– они зависят от контекста, который может быть подделан,
– они обучены на огромных датасетах, которые невозможно полностью контролировать.
