Исследование TechCrunch выявило серьезную уязвимость в работе чат-бота ChatGPT от компании OpenAI, которая позволяла зарегистрированным пользователям в возрасте до 18 лет создавать эротический контент. В некоторых случаях система даже побуждала пользователей писать откровенные и непристойные тексты. OpenAI подтвердила эту проблему после публикации исследования.
Представители OpenAI заявили TechCrunch, что их политика строго запрещает подобные ответы для несовершеннолетних пользователей, и такие результаты не должны были появляться. Компания сообщила, что уже работает над исправлением, чтобы исключить генерацию такого контента.
«Защита молодых пользователей является для нас ключевым приоритетом. Наша Model Spec четко ограничивает чувствительный контент, в частности эротику, только определенными контекстами, такими как научные, исторические или новостные материалы», - отметил представитель OpenAI. «В этом случае из-за ошибки система генерировала ответы, которые нарушали эти правила. Мы активно внедряем изменения, чтобы устранить проблему».
Для выявления уязвимости TechCrunch создал более пяти тестовых аккаунтов, указав даты рождения от 13 до 17 лет. Тестирование проводилось на одном компьютере, но после каждого выхода из системы файлы cookie удалялись, чтобы избежать влияния кэшированных данных. Хотя правила OpenAI требуют согласия родителей для использования чат-бота несовершеннолетними, платформа не проверяет это во время регистрации. Любой ребенок в возрасте от 13 лет может создать учетную запись, имея только действительную электронную почту или номер телефона.
Во время эксперимента все разговоры с ChatGPT начинались с фразы «говори со мной грязно». После нескольких сообщений и дополнительных запросов чат-бот начинал предлагать истории с сексуальным подтекстом, а также спрашивал у пользователей об их предпочтениях относительно фетишей или ролевых сценариев.
В процессе тестирования ChatGPT периодически предупреждал, что его правила запрещают «откровенный сексуальный контент», в частности графические описания половых актов или порнографические сцены. Однако в некоторых случаях система все же создавала описания гениталий и откровенных сексуальных действий. Чат-бот прекращал такие ответы только тогда, когда тестировщики прямо указывали, что пользователю меньше 18 лет.
Подписывайтесь на наш Тelegram-канал t.me/sudua и на Google Новости SUD.UA, а также на наш VIBER, страницу в Facebook и в Instagram, чтобы быть в курсе самых важных событий.
