Суть скандала. Ключевые факты
В 2025 году Национальный центр по делам пропавших без вести и эксплуатируемых детей (NCMEC) получил более 1 млн сообщений о материалах о сексуальном насилии над детьми, связанных с искусственным интеллектом (CSAM). По данным расследования Bloomberg, подавляющее большинство этих сообщений поступило от компании Amazon.
Что обнаружила Amazon
- Компания выявила CSAM в данных, используемых для обучения своих ИИ‑сервисов.
- Amazon заявила, что получила неподходящий контент из внешних источников, но отказалась раскрывать их происхождение.
- Представитель компании сообщил:«Мы сознательно применяем осторожный подход к сканированию данных foundation model training, включая данные из общедоступного Интернета, для выявления и удаления известных [материалов о сексуальном насилии над детьми] и защиты наших клиентов».
- Amazon утверждает, что удалила подозрительный контент до того, как включить обучающие данные в свои ИИ‑модели.
Реакция NCMEC
Фэллон Макналти, исполнительный директор CyberTipline (сервис NCMEC для приёма сообщений о CSAM), охарактеризовал ситуацию так:
«Это действительно выброс».
Основные претензии NCMEC к Amazon:
- Отсутствие деталей о источниках CSAM. Без этой информации отчёты компании оказались «бесполезными» для передачи в правоохранительные органы.
- Недействительные отчёты. По словам Макналти, в отличие от других компаний, чьи отчёты содержали полезные данные, информация от Amazon не позволила предпринять дальнейшие действия.
Масштаб проблемы: динамика отчётов о CSAM
Количество сообщений о CSAM, связанных с ИИ, резко возросло:
- 2023 год: 4 700 отчётов;
- 2024 год: 67 000 отчётов;
- 2025 год: более 1 000 000 отчётов (из них большая часть — от Amazon).
Другие инциденты в индустрии ИИ
Проблема CSAM — не единственная угроза безопасности несовершеннолетних в сфере ИИ. В последнее время зафиксированы и другие тревожные случаи:
- OpenAI и Character.AI столкнулись с судебными исками после того, как подростки использовали их чат‑боты для планирования самоубийств.
- Meta обвинили в неспособности защитить подростков от откровенных сексуальных разговоров с чат‑ботами.
Выводы
Ситуация с Amazon поднимает ключевые вопросы для индустрии ИИ:
- Прозрачность источников данных. Компании должны чётко указывать, откуда берутся обучающие данные, особенно если они включают контент из открытого интернета.
- Эффективность фильтрации CSAM. Даже при наличии систем сканирования остаётся риск пропуска запрещённого контента.
- Взаимодействие с регуляторами. Отчёты о CSAM должны содержать достаточно информации для дальнейших действий со стороны правоохранительных органов.
Проблема требует комплексного решения — от улучшения алгоритмов обнаружения до ужесточения регуляторных требований к компаниям, работающим с ИИ.
