Скрытые угрозы искусственного интеллекта: чем опасны дипфейки и дезинформация

Для команд, которые уже встроили ИИ и SaaS в рабочие процессы, вопрос теперь такой: можно ли доверять каналу, запросу и подтверждению действия.

Что обсуждали в Астане

6 ноября в Астане прошел саммит Aqaba Process, посвященный безопасности в сфере искусственного интеллекта. Встреча объединила руководителей и официальных представителей стран Центральной Азии, Иордании и Азербайджана.

В фокусе оказались террористическое и экстремистское использование ИИ, дезинформация, кибератаки и дипфейки. Отдельный трек был посвящен тому, как поддельные материалы распространяются во время кризисов, когда пользователи быстро ищут новости и редко успевают проверить источник.

Для ИИ-команд это означает, что контроль генерации необходимо сопоставлять с контролем публикации. Если сгенерированный текст, изображение или аудио могут быть выданы за подлинные, в процесс должен быть включен отдельный параметр доверия к источнику.

Почему привычная проверка перестала работать

Дипфейк способен имитировать внешность и голос человека. Такие материалы используют для ложных заявлений политиков, провокации напряжения и манипуляции общественным мнением. Даже после разоблачения подлинки исходная запись или видео могли уже разойтись по соцсетям и мессенджерам.

Есть обратный эффект: когда дипфейки встречаются часто, люди начинают сомневаться и в настоящих записях. Это снижает доверие к самому каналу коммуникации.

ИИ также изменил онлайн-мошенничество. Злоумышленники могут имитировать голос родственника, сотрудника банка или руководителя компании, чтобы получить деньги или конфиденциальные данные. Генеративные инструменты создают убедительные сообщения на разных языках, поддельные сайты и изображения документов.

Прежний признак «в тексте нет ошибок, значит, сообщение настоящее» больше не работает. Некоторые мошеннические письма выглядят полностью достоверно. Источник предлагает простое правило: срочный запрос о переводе денег необходимо подтверждать по другому каналу, даже если голос звучит знакомым.

Рабочий протокол для бизнес-процессов

1. Проверяйте голос, фото и видео отдельно от содержания запроса. Они могут подтверждать личность, но не должны быть единственным основанием для платежа или передачи данных.

2. Отделяйте генерацию от авторизации. Отчет, письмо или документ, созданный моделью, проходит тот же контроль, что и материал из внешнего источника.

3. Установите лимит для действий по одному входящему сигналу. Платеж, изменение реквизитов, выдача доступа или публичное заявление требуют независимого подтверждения.

4. Не ищите мошенничество только в стиле текста. Для многоязычных сообщений и поддельных сайтов надежнее проверять контекст, домен, канал связи и историю запроса.

Принцип независимой проверки работает и за пределами ИИ. Перед оплатой услуги полезно заранее сверить сроки платной доставки в 2026 году.

Итоговая итерация простая: генеративный ИИ делает сообщение убедительнее, а решение о деньгах, доступе или репутации должно опираться на отдельный канал подтверждения.