OpenAI и водяные знаки: что происходит
OpenAI объявила, что будет соблюдать часть новых правил ЕС о прозрачности ИИ. В Европейском союзе компания начнёт добавлять невидимый водяной знак к текстам и программному коду, которые создают её модели. Ранее похожий шаг сделала Anthropic.
Как работает технология textGrain
OpenAI использует собственную систему textGrain. Она добавляет к тексту невидимый статистический сигнал — он «зашит» в выбор слов, который делает модель. Специальный детектор умеет находить эти сигналы и определять, есть ли водяной знак.
В компании считают, что textGrain не уступает другим подходам (например, SynthID для текста) и даже может их превосходить. Но при этом честно предупреждают: высокая эффективность в идеальных условиях не означает, что система будет надёжно работать в обычной практике.
Ограничения технологии
У системы есть заметные слабые места:
- Короткие тексты. В 80 % случаев система не может обнаружить водяной знак в коротких материалах.
- Математические выкладки. С такими текстами тоже возникают сложности.
- Редактирование. Если текст отредактировать, вероятность обнаружения заметно снижается.
OpenAI планирует выпустить технологию с открытым исходным кодом. Так другие разработчики смогут её дорабатывать и улучшать.
Как это будет работать для пользователей и партнёров
Водяной знак не включают по умолчанию — исключение только для текстов, которые генерируют ChatGPT и Codex в ЕС. Клиенты смогут подписываться на отдельные модели, но какие именно будут доступны широкой публике, пока не уточняется.
Доступ к самому программному обеспечению для обнаружения сначала ограничат: он будет у уполномоченных исследователей и экспертных организаций. При этом детектор не идентифицирует пользователя и не раскрывает содержание запросов или диалогов.
Требования ЕС и сроки
Статья 50 Закона ЕС об искусственном интеллекте требует, чтобы поставщики генеративного ИИ обеспечивали возможность идентифицировать текстовые выходные данные в машиночитаемом формате.
Это правило уже действует для новых компаний, которые выходят на рынок. У уже работающих игроков (включая OpenAI, Anthropic, Microsoft, Google, Meta и других) есть время до 2 декабря, чтобы привести деятельность в соответствие с законом.
