Пользователи обвинили стартап ElevenLabs, разрабатывающий ИИ-сервис клонирования голоса, в распространении расистских аудиодипфейков.
Как выяснили журналисты издания, пользователи платформы 4chan использовали сервис для создания аудиодорожек с голосами известных политиков и знаменитостей для высказывания расистских и гомофобных заявлений. Так, в одной из подборок голос актрисы Эммы Уотсон читал отрывок из «Майн кампф». В другом случае дипфейк политического комментатора Бена Шарпио делал расистские замечания в адрес конгрессвумен Александрии Окасио-Кортес.
Вскоре после распространения такого контента в ElevenLabs признали проблему злоупотреблений и приостановили тестирование своего сервиса. В компании сообщили, что отследить любой сгенерированный звук для конкретного пользователя не представляется возможным, однако в ElevenLabs изучают вероятность введения дополнительных мер безопасности – запрос платежной информации, «полная идентификация личности» для работы с сервисом или ручная проверка каждого запроса.
До остановки тестирования воспользоваться сервисом мог любой желающий после регистрации на сайте проекта. А генерация нового аудио происходила на основе загруженного фрагмента с голосом длительностью не менее одной минуты.
Источник: Vice
