Discord признал ошибку ИИ-модерации: более 8000 пользователей ошибочно заблокированы за безобидные изображения

Платформа Discord подтвердила, что ошибка в автоматизированной системе модерации привела к неправомерной блокировке более 8000 пользователей с мая. Проблема возникла, когда безобидные изображения – например, таблицы, шахматные доски, игровые текстуры, а также белые и серые прозрачные фоны – были ошибочно помечены как запрещённый контент.

Дополнительно около 200 пользователей были заблокированы в выходные, прежде чем команда Discord выявила и исправила ошибку. Компания заявила, что все затронутые аккаунты восстанавливаются. В подробной теме на X Discord объяснил, что система безопасности работает путём сравнения загружаемого контента с базами данных известных вредоносных материалов. Обычно перед блокировкой контент проверяет человек-модератор, но из-за ошибки система немедленно блокировала аккаунты.

«Мы работаем над улучшением защиты, чтобы это не повторилось», – написал Discord. Пользователи на X и Reddit жаловались на постоянную блокировку за изображения с квадратными сетками. Некоторые предположили, что ИИ Discord стал чрезмерно чувствителен к таким узорам, поскольку их ранее использовали для маскировки неприемлемого контента от автоматического обнаружения.

Пострадавшие пользователи выражали недовольство, подчёркивая, что постоянная блокировка на основе только автоматического обнаружения может иметь серьёзные последствия, особенно для тех, кто использует Discord для работы, игр или социальных связей. «Потерять аккаунт Discord из-за такой несправедливости может быть крайне разрушительно… миллионы пользователей страдают от ложных блокировок ИИ. Это нужно прекратить», – написал один пользователь X.

Discord не единственная платформа, столкнувшаяся с проблемами из-за автоматизированной модерации. В прошлом году пользователи Instagram и Facebook Groups сообщали о массовых необъяснимых блокировках, а пользователи Tumblr жаловались на блокировки без чётких объяснений.