OpenAI начнёт добавлять невидимые водяные знаки в текст ChatGPT в ЕС
OpenAI начнёт добавлять невидимые водяные знаки в текст, созданный ChatGPT и Codex, в Евросоюзе, выполняя требования закона ЕС об искусственном интеллекте. Метод незаметно меняет выбор слов, чтобы детектор мог распознать текст, созданный ИИ, хотя редактирование может эту защиту обойти.
OpenAI объявила в понедельник, что в ближайшие недели начнёт добавлять невидимые водяные знаки в текст, генерируемый ChatGPT и Codex, для пользователей всех тарифных планов в Европейском союзе. Этот шаг связан с требованиями закона ЕС об искусственном интеллекте о прозрачности, которые вступили в силу 2 августа и обязывают компании помечать контент, созданный ИИ, так, чтобы его могли распознать другие системы.
По словам компании, водяной знак — это не видимый символ, а результат незначительного изменения того, как модель выбирает слова: в тексте возникает незаметный для читателя узор, который, однако, способен обнаружить специальный детектор. Поскольку этот узор встроен в сами слова, он сохраняется даже после копирования текста в другое место.
За пределами ЕС разработчики, использующие API OpenAI в любой точке мира, с сегодняшнего дня могут включить эту функцию для отдельных моделей, однако по умолчанию она отключена, и OpenAI пока не делает её глобальным стандартом.
Метод и ограничения
Одновременно с объявлением OpenAI опубликовала технический отчёт о методе под названием textGrain, написанный в соавторстве с исследователями из Пенсильванского и Йельского университетов. Метод использует секретный ключ для упорядочивания вероятностей следующего слова; суммируя сотни таких небольших сдвигов, детектор способен определить текст, созданный ИИ, используя только сам текст и ключ.
OpenAI признаёт, что водяной знак можно удалить редактированием: в одном из тестов замена 10% слов синонимами снизила точность обнаружения с примерно 92% до 66%. Короче также труднее надёжно распознать короткие фрагменты текста, ответы на математические задачи и переведённые тексты. Именно из-за этих ограничений компания пока предоставляет доступ к детектору только одобренным исследователям и экспертным организациям. OpenAI также предупредила, что отсутствие водяного знака не доказывает, что текст написан человеком, поскольку он может быть слишком коротким, сильно отредактированным или созданным ИИ-системой другой компании.
Объявление последовало спустя два месяца после того, как Anthropic начала добавлять водяные знаки в текст, созданный моделью Claude, по всему миру — решение, вызвавшее недовольство части пользователей. По данным Wall Street Journal за 2024 год, OpenAI ранее уже разработала похожий инструмент, но не стала его выпускать, отчасти опасаясь, что пользователи перейдут к конкурентам, не применяющим водяные знаки. Anthropic, Google, Meta, Microsoft и OpenAI входят в число компаний, обязавшихся следовать кодексу поведения ЕС в отношении контента, созданного ИИ.
