Новое исследование показало, что чат-бот на основе искусственного интеллекта (ИИ) Replika AI, которого позиционируют как эмоционального компаньона, сексуально домогается некоторых своих пользователей. Об этом утверждает издание Livescience.
Чат-бот Replika AI насчитывает около 10 млн пользователей по всему миру, приглашая других присоединиться к ним и найти свою вторую половинку с помощью ИИ-компаньона.
Однако исследование, основанное на более чем 150 000 обзорах в Google Play Store в США, выявило около 800 случаев, когда пользователи говорили, что чат-бот зашел слишком далеко, внедряя нежелательный сексуальный контент в разговор, занимаясь «хищническим» поведением и игнорируя команды пользователя остановиться. Исследователи опубликовали свои выводы 5 апреля на сервере препринтов arXiv, поэтому они еще не прошли рецензирование.
Разработчики предполагают, что неадекватное поведение чат-бота может быть следствием его обучения, которое проводилось с использованием более 100 млн диалогов из Интернета. В Replika уверяют, что отвергали бесполезную или вредную информацию с помощью краудсорсинга и алгоритмов классификации, однако по мнению авторов исследования, этого оказалось недостаточно.
Исследователи также не исключают, что проблема может крыться в самой бизнес-модели Replika. Платные платформы, предлагающие романтические и интимные отношения, могут использовать ИИ, который будет включать сексуальный контент в диалоги с пользователями для их привлечения ради подписки.
Авторы исследования также подчеркивают, что подобное поведение моделей ИИ может быть особенно опасным, поскольку немалое количество пользователей обращается к ИИ-компаньонам за психологической и эмоциональной поддержкой. Особенно, если учесть, что часть пользователей, с которыми пытался флиртовать Replika AI, предлагая селфи 18+ и общаясь на откровенные сексуальные темы, были несовершеннолетними.
Также некоторые пользователи сообщили, что чат-бот заявлял, что «видит» их и сохраняет видео с камер их смартфонов. По мнению разработчиков, в этом случае речь идет о дерзкой лжи и галлюцинациях ИИ. Тем не менее, такое поведение провоцировало панику и бессонницу у пользователей.
В исследовании явление названо «сексуальными домогательствами, вызванными ИИ». Исследователи считают, что к нему следует относиться так же серьезно, как и к домогательствам со стороны людей, и призывают к более жесткому контролю и регулированию.
Некоторые из рекомендуемых ими мер включают четкие рамки согласия для разработки любого взаимодействия, содержащего сильный эмоциональный или сексуальный контент, автоматическую модерацию в реальном времени (тип, используемый в приложениях для обмена сообщениями, который автоматически отмечает рискованные взаимодействия), а также настраиваемые пользователем параметры фильтрации и контроля.
Подписывайтесь на наш Тelegram-канал t.me/sudua и на Google Новости SUD.UA, а также на наш VIBER, страницу в Facebook и в Instagram, чтобы быть в курсе самых важных событий.
