Объяснимый ИИ в кибербезопасности: как сделать системы обнаружения вторжений прозрачными

Объяснимый ИИ в кибербезопасности: как Random Forest добился 95.3% точности и почему это важнее «чёрного ящика»

Научная группа из университетов Саудовской Аравии, Пакистана, Ирландии и Малайзии опубликовала технический фреймворк для интеграции объяснимого ИИ (XAI) в системы обнаружения вторжений (IDS). По данным журнала Frontiers, исследование демонстрирует, как инструменты интерпретации моделей, такие как LIME и SHAP, превращаются из визуальных надстроек в ключевой компонент поддержки решений для аналитиков.

Итерация от чёрного ящика к прозрачным гипотезам

Исследователи взяли за основу бенчмарк UNSW-NB15 и сравнили три классификатора: решающее дерево (Decision Tree), метод опорных векторов (SVM) и случайный лес (Random Forest). Лидером стала модель RF с точностью 95.3% (precision — 94.8%, recall — 96.1%, F1 — 95.4%). Но главный сдвиг — не в цифрах, а в последующей итерации с XAI.

Применив LIME и SHAP к лучшей модели, команда выявила ключевые параметры, влияющие на предсказание вторжений: объём трафика на назначение и источник, длительность потока. Эти данные из «чёрного ящика» превратились в рабочие гипотезы для аналитиков: например, почему конкретный сетевой поток был помечен как аномальный. Как подчёркивают авторы, это не просто визуализация, а артефакты для аудита и настройки политик — от тонкой подстройки порогов срабатывания до корректировки правил триажа.

Параллельный кейс: от архива тикетов к актуальной базе знаний

Параллельно Amazon Web Services показал практическую сторону работы с «объяснимыми» данными в смежной сфере — IT-сервисах. Их инструмент KnowledgeForge решает противоположную задачу: извлекать золото из «кладбища» решённых тикетов, где знания о проблемах и фиксах так и не попадают в базу знаний.

Система использует генеративные модели на базе Amazon Bedrock для автоматического создания статей из кластеров связанных инцидентов. Параллельно она курирует существующую базу: классифицирует статьи, ищет дубликаты через векторный индекс Amazon S3 Vectors, оценивает качество и переписывает слабые материалы. Итог — не автоматизация ради автоматизации, а петля обратной связи, где куратор-человек всё ещё контролирует финальную публикацию.

Вывод для практика: не гонитесь за одной метрикой

Оба случая — разные стороны одной медали. В кибербезопасности XAI помогает не просто обнаруживать атаки, а понимать логику модели, снижая ложные срабатывания через ручную доработку. В ITSM генеративный ИИ не заменяет инженера, а помогает превратить поток инцидентов в структурированные знания.

Для тех, кто внедряет подобные системы, ключевой параметр — не только точность на тестовом датасете. Важнее, как модель объясняет свои решения и насколько её выводы интегрируются в рабочие процессы: будь то триаж инцидента в SOC или написание статьи в базе знаний. Следующий логичный шаг — тестирование стабильности объяснений (LIME/SHAP) на новых данных, о чём прямо говорят авторы научной работы.