Внедрение AI — это не только возможности, но и новая зона кибер рисков. Документ “Critical AI Security Guidelines” систематизирует основные угрозы, подходы и контрольные меры, которые помогут CISO, архитекторам и инженерам по безопасности выстроить защищённую AI-инфраструктуру. Ниже — ключевые выводы и практические рекомендации.
1. Контроль доступа и защита моделей
Принцип наименьших привилегий должен применяться не только к пользователям, но и ко всем взаимодействующим сервисам: API, векторным БД, агентам.
Важно защищать файлы модели при помощи шифрования, Trusted Execution Environments (TEE), обфускации и цифровой подписи.
Использование Zero Trust в AI-архитектурах — новая норма: модели — это не просто алгоритмы, а активные участники бизнес-процессов, способные быть точкой компрометации
2. Защита данных и тренировки
Компрометация обучающих данных может привести к обучению «вредной» модели (poisoning attacks).
В Retrieval-Augmented Generation (RAG) важна не только защита LLM, но и целостность векторных баз данных. Подмена или инъекция данных в RAG легко приводит к токсичным или искажающим ответам.
Рекомендуется:
Проверка данных перед загрузкой (pipeline hardening)
Подпись и аудит содержимого
Разделение прав доступа на чтение и запись
3. Развёртывание моделей: локально или в облаке?
Локальный хостинг = больше контроля, но больше затрат и ограничений.
Облачные платформы = удобство и масштабируемость, но нужно учитывать риски логирования, ретеншн-политик и возможности вторичного обучения.
Важно: закреплять требования в контрактах (например, запрет на использование данных провайдером).
4. Безопасность вывода (Inference Security)
Основная угроза — prompt injection: подмена запроса или контекста с целью получения несанкционированного ответа.
Рекомендовано:
Многоуровневая фильтрация ввода и вывода
Изоляция пользовательских запросов от системных
Использование «вторичного» LLM как валидатора ответов
5. Мониторинг и поведенческий контроль
Необходимо логировать и анализировать не только входные/выходные данные, но и поведение модели:
Аномалии API-активности
Всплески токенов, неожиданные ответы
Отказы от выполнения запросов
Все это становится частью AI Observability и должно быть интегрировано в SIEM.
6. GRC и соответствие новым регламентам
Уже действуют или готовятся к запуску такие нормативы, как:
EU AI Act
Executive Order 14110 (США)
MITRE ATLAS
OWASP Top 10 for LLMs
Рекомендуется внедрение:
AI Bill of Materials (AIBOM) — аналог SBOM, содержащий информацию о модели, тренировочных данных и источниках
Model Registry — контроль версий, rollback и аудит
AI GRC Board — рабочая группа для оценки, одобрения и контроля AI-интеграций
