Теперь Amazon Polly может клонировать голос человека всего по нескольким минутам записей. Благодаря этому компаниям, использующим облако Amazon, стало проще воспользоваться клонированием голоса. Встроены проверки согласия и скрытые водяные знаки.
Ключевые выводы
Клонирование голоса в Amazon Polly теперь доступно в рамках запуска с ограниченным доступом
Клиенты могут создать клонированный голос на основе нескольких минут записей одного человека, давшего согласие
Функция запускается с поддержкой английского, испанского, немецкого, французского, итальянского, португальского и хинди
Создание клонированного голоса бесплатно, а его использование оплачивается по факту использования
Amazon Web Services (AWS) объявила, что клиенты могут передать Amazon Polly несколько минут аудиозаписи человека, давшего согласие на клонирование голоса, а затем генерировать новую речь этим голосом с помощью генеративного движка Amazon Polly.
Доступ уже открыт для некоторых клиентов Amazon Polly. Остальные могут обратиться к своей команде по работе с аккаунтом AWS или подать заявку на доступ. Функция доступна во всех регионах AWS, поддерживаемых генеративным движком Amazon Polly, включая AWS GovCloud (US).
Как работает клонирование голоса
Amazon Polly создает пользовательский голос на основе записей одного человека, после чего клиенты могут использовать его для синтеза аудио в реальном времени с помощью SynthesizeSpeech или для создания длинных аудиозаписей, сохраняемых в Amazon S3 с помощью StartSpeechSynthesisTask. AWS сообщила, что клонированный голос можно использовать так же, как и другие генеративные голоса в Amazon Polly, если выбран Engine=”generative”.
Процесс создания состоит из четырех шагов. Клиенты записывают речь одного человека, вызывают CreateVoice, передавая от 1 до 10 записей и язык речи, ожидают, пока Amazon Polly создаст голос в фоновом режиме, а затем используют возвращенный идентификатор голоса, когда его статус меняется с pending на active или failed. Создание выполняется асинхронно и обычно занимает от 5 до 10 минут.
Этап клонирования голосаЧто делает Amazon PollyЗаписьЗапишите речь одного человека и отправьте записи напрямую, загрузите их в консоли или сохраните в S3 в целевом регионе AWSСозданиеВызовите CreateVoice, передав от 1 до 10 записей, язык и TermsAccepted=True для подтверждения согласияОжиданиеAmazon Polly сразу возвращает идентификатор голоса, создает голос в фоновом режиме и обычно завершает процесс за 5–10 минутИспользованиеПередайте идентификатор голоса в SynthesizeSpeech для синтеза аудио в реальном времени или в StartSpeechSynthesisTask для создания длинного аудио
Качество записи имеет значение. AWS рекомендует записывать от 2 до 10 минут естественной речи, разбивая ее на фрагменты длительностью до минуты; допускается до 10 записей общей продолжительностью до 15 минут. Компания рекомендует записываться в тихом помещении, использовать голос одного человека, сохранять постоянное расстояние до микрофона и записывать монофонический звук в WAV с параметрами 16 бит и 24 кГц. Также AWS предупреждает, что не следует использовать приложения для видеоконференций и браузерные диктофоны, поскольку подавление эха и шума может изменить голос, на котором обучается клон.
Читайте также: Bedrock от Amazon устраняет проблему с доступом к GPT на пяти азиатских рынках — больше никаких ограничений скорости
Согласие и средства контроля
Клонированный голос создается на основе записей одного человека, и клиенты подтверждают согласие этого человека при каждом создании голоса — в консоли или задавая TermsAccepted=True в API. AWS также рекомендует хранить подтверждение согласия каждого человека, удалять голос в случае отзыва согласия, при необходимости сообщать слушателям, что они слышат синтетический голос, и ограничивать разрешения кругом людей и систем, которым они необходимы.
Сгенерированная речь содержит водяной знак. Клонированный голос доступен только в аккаунте AWS, в котором он был создан, а доступ к нему можно контролировать с помощью AWS Identity and Access Management. Клиенты могут шифровать голоса собственным ключом AWS Key Management Service, добавлять к ним теги и удалять их с помощью DeleteVoice после активации голоса или в случае неудачного создания.
AWS сообщила, что после создания голоса Amazon Polly не сохраняет копию аудиозаписей и не использует их для обучения моделей Amazon Polly. Сервис хранит только данные голоса, необходимые для синтеза речи, шифрует их и утверждает, что DeleteVoice удаляет эти данные немедленно.
Почему это важно
Раньше клонирование голоса было доступно преимущественно в специализированных инструментах. Интеграция этой функции в одно из крупнейших облачных решений в мире позволяет банкам, игровым студиям и создателям онлайн-курсов добавить в свои приложения голос реального человека за считаные минуты и на семи языках, включая хинди, не покидая уже используемые системы.
Это также повышает риски злоупотреблений. Клонированные голоса уже используют в телефонном мошенничестве, поэтому AWS требует подтверждать согласие для каждого голоса, добавляет водяные знаки к аудио и ограничивает использование голосов аккаунтами, в которых они созданы. Эти меры защиты зависят от правдивости сведений клиентов о согласии, поэтому важно, насколько строго Amazon проверяет заявки на доступ к функции, доступной по запросу.
За чем следить дальше
Эта функция открывает широкий спектр сценариев использования брендированного и пользовательского аудио в приложениях AWS: от автоматизированных телефонных меню, голосовых помощников, мобильных приложений и объявлений в магазинах до аудиокниг, курсов, подкастов, игровых персонажей и видео. Однако для многоязычных проектов есть очевидное ограничение: каждый клонированный голос говорит только на том языке, на котором была сделана запись, поэтому клиентам нужно создавать и проверять одобренные голоса для каждого поддерживаемого языка.
AWS уже открыла доступ для некоторых клиентов, а остальным по-прежнему нужно подать заявку или обратиться к своей команде по работе с аккаунтом. Компания сообщила, что создание клонированного голоса для клиентов Amazon Polly бесплатно, однако использование сгенерированной речи оплачивается по мере использования.
Читайте далее: предварительная версия Drama 3 от Fish Audio возглавила рейтинг Open Speech и устранила дефект произношения