Amazon Polly peut désormais cloner la voix d’une personne à partir de quelques minutes d’enregistrements seulement, rendant le clonage vocal accessible aux entreprises utilisant le cloud d’Amazon, avec des vérifications du consentement et des filigranes invisibles intégrés.
Points essentiels à retenir
Le clonage vocal dans Amazon Polly est désormais généralement disponible dans le cadre d’un lancement à accès contrôlé
Les clients peuvent créer une voix clonée à partir de quelques minutes d’enregistrements d’une seule personne ayant donné son consentement
La fonctionnalité est lancée en anglais, espagnol, allemand, français, italien, portugais et hindi
La création d’une voix clonée est gratuite, tandis que son utilisation est facturée à l’usage
Amazon Web Services (AWS) a annoncé que les clients peuvent fournir à Amazon Polly quelques minutes d’enregistrement audio d’un locuteur ayant accepté que sa voix soit clonée, puis générer de nouveaux discours avec la voix de cette personne grâce au moteur génératif d’Amazon Polly.
L’accès est déjà activé pour certains clients d’Amazon Polly. Les autres peuvent contacter leur équipe de compte AWS ou demander l’accès. La fonctionnalité est disponible dans toutes les régions AWS prises en charge par le moteur génératif d’Amazon Polly, y compris AWS GovCloud (US).
Fonctionnement du clonage vocal
Amazon Polly crée une voix personnalisée à partir des enregistrements d’un seul locuteur. Les clients peuvent ensuite l’utiliser pour générer de l’audio en temps réel avec SynthesizeSpeech ou de l’audio long enregistré dans Amazon S3 avec StartSpeechSynthesisTask. AWS indique que la voix clonée peut être utilisée comme les autres voix génératives d’Amazon Polly lorsque Engine="generative" est sélectionné.
Le processus de création comporte quatre étapes. Les clients enregistrent un seul locuteur, appellent CreateVoice avec 1 à 10 enregistrements et la langue parlée, attendent qu’Amazon Polly crée la voix en arrière-plan, puis utilisent l’identifiant vocal renvoyé lorsque son statut passe de « en attente » à « actif » ou « échec ». La création est asynchrone et prend généralement de 5 à 10 minutes.
Étape du clonage vocalCe qu’Amazon Polly faitEnregistrementCapturer la voix d’un seul locuteur et envoyer directement les enregistrements, les importer dans la console ou les stocker dans S3 dans la région AWS cibleCréationAppeler CreateVoice avec 1 à 10 enregistrements, la langue et TermsAccepted=True pour confirmer le consentementAttenteAmazon Polly renvoie immédiatement un identifiant vocal, crée la voix en arrière-plan et termine généralement en 5 à 10 minutesUtilisationTransmettre l’identifiant vocal à SynthesizeSpeech pour l’audio en temps réel ou à StartSpeechSynthesisTask pour l’audio long
La qualité des enregistrements est importante. AWS recommande de 2 à 10 minutes de parole naturelle, réparties en prises d’une minute maximum, avec jusqu’à 10 enregistrements et un total pouvant atteindre 15 minutes d’audio. L’entreprise conseille d’enregistrer dans une pièce calme, avec un seul locuteur, à une distance constante du micro, au format WAV mono, en 16 bits et à 24 kHz. Elle déconseille également les applications de réunion et les enregistreurs de navigateur, car la suppression de l’écho et du bruit peut altérer la voix apprise par le clone.
À lire également : Bedrock d’Amazon comble le déficit d’accès à GPT dans 5 marchés asiatiques et met fin à la limitation du débit
Consentement et contrôles
Une voix clonée est créée à partir des enregistrements d’une personne. Les clients confirment le consentement du locuteur à chaque création de voix, que ce soit dans la console ou en définissant TermsAccepted=True dans l’API. AWS recommande également de conserver une preuve du consentement de chaque locuteur, de supprimer la voix si le consentement est retiré, d’informer les auditeurs lorsqu’ils entendent une voix synthétique, le cas échéant, et de limiter les autorisations aux personnes et aux systèmes qui en ont besoin.
La parole générée comporte un filigrane. Une voix clonée est limitée au compte AWS qui l’a créée, et son accès peut être contrôlé à l’aide d’AWS Identity and Access Management. Les clients peuvent chiffrer les voix avec leur propre clé AWS Key Management Service, leur attribuer des balises et les supprimer avec DeleteVoice une fois la voix activée ou si sa création a échoué.
AWS indique qu’Amazon Polly ne conserve pas de copie des enregistrements vocaux une fois la voix créée et ne les utilise pas pour entraîner les modèles d’Amazon Polly. Le service ne conserve que les données vocales nécessaires à la synthèse vocale, les stocke sous forme chiffrée et précise que DeleteVoice les supprime immédiatement.
Pourquoi est-ce important ?
Le clonage vocal était jusqu’ici surtout l’apanage d’outils spécialisés. Son intégration à l’un des plus grands services cloud au monde permet à une banque, à un studio de jeux vidéo ou à un créateur de cours en ligne de doter son application de la voix d’une vraie personne en quelques minutes, dans sept langues, dont l’hindi, sans quitter les systèmes qu’il utilise déjà.
Cela accroît également les risques d’utilisation abusive. Les voix clonées sont déjà utilisées dans des arnaques téléphoniques, d’où l’obligation pour AWS de lier chaque voix à une confirmation de consentement, d’apposer un filigrane sur l’audio et de réserver les voix au compte qui les a créées. Ces mesures de protection reposent sur la sincérité des clients quant au consentement. La rigueur avec laquelle Amazon vérifiera les demandes d’accès à cette version sur invitation sera donc déterminante.
À surveiller
Cette fonctionnalité ouvre la voie à un éventail plus large d’usages audio personnalisés et associés à une marque dans les applications AWS : menus téléphoniques automatisés, agents vocaux, applications mobiles et annonces en magasin, mais aussi livres audio, cours, podcasts, personnages de jeux vidéo et vidéos. Pour les projets multilingues, une limite est clairement établie : chaque voix clonée ne parle que la langue dans laquelle elle a été enregistrée. Les clients doivent donc créer et valider des voix approuvées pour chaque langue prise en charge.
AWS a déjà activé l’accès pour certains clients, tandis que les autres doivent encore en faire la demande ou passer par leur équipe de compte. L’entreprise indique que la création d’une voix clonée est gratuite pour les clients d’Amazon Polly, mais que l’utilisation générée est facturée à l’usage.
À lire ensuite : l’aperçu de Drama 3 de Fish Audio en tête du classement Open Speech et corrige un défaut de prononciation