Consumer Reports révèle que plusieurs outils de clonage vocale populaires manquent de garanties adéquates contre la fraude ou les abus, mettant en évidence les risques potentiels associés à la technologie vocale de l’IA. L’étude a examiné les produits de six sociétés: Descript, ElevenLabs, Lovo, Playht, ressemble à l’IA et à la discours.
L’enquête a révélé que seuls descriptions et ressembler à l’IA ont mis en œuvre des mesures significatives pour éviter une mauvaise utilisation. D’autres outils obligent simplement les utilisateurs à confirmer qu’ils ont le droit légal de cloner une voix, souvent par l’auto-assurance. Grace Gedye, analyste politique à Consumer Reportsa averti que sans mécanismes de sécurité appropriés, les outils de clonage vocale de l’IA pourraient «suralimenter» les escroqueries d’identité.
La technologie de clonage de la voix AI a considérablement progressé, capable d’imiter le discours d’une personne avec un minimum d’échantillons audio. Un incident notable s’est produit lors des primaires démocrates l’année dernière, où des robocalles mettant en vedette un faux Joe Biden ont induit en erreur les électeurs. Cela a abouti à une amende de 6 millions de dollars pour le consultant politique derrière le programme, et la Federal Communications Commission a par la suite interdit les robocaux générés par l’IA.
L’analyse des six outils de clonage vocale d’IA a indiqué que cinq ont contourné des garanties, ce qui facilite la clonation des voix sans consentement. Le logiciel de détection audio DeepFake a souvent du mal à faire la distinction entre les voix authentiques et synthétiques, compliquant le problème. L’IA générative, qui imite les caractéristiques humaines telles que la voix, a une réglementation fédérale limitée, avec la plupart des pratiques éthiques motivées par les entreprises elles-mêmes. Un décret exécutif signé par le président Biden en 2023 comprenait des demandes de sécurité pour l’IA, mais une révocation ultérieure par l’ancien président Trump a démantelé ces dispositions.
La voix Ai de Sesame est si réelle, elle est troublante
La technologie de clonage vocale utilise des échantillons audio d’individus pour créer des voix synthétiques. Sans sauvegardes, n’importe qui peut télécharger l’audio à partir de diverses plates-formes, telles que Tiktok ou YouTube, et faire répliquer le service cette voix. Quatre des services examinés – ElevenLabs, Speakify, Playht et LOVO – obligent simplement les utilisateurs à cocher une boîte d’autorisation d’affirmation de la zone du clone vocal. Ressemble AI, tout en insistant sur l’enregistrement audio en temps réel, a été contourné par Consumer Reports, qui a joué audio enregistré pendant la vérification.
Seule la description a offert une sauvegarde quelque peu efficace, obligeant les utilisateurs à enregistrer une déclaration de consentement spécifique. Cette méthode est difficile à falsifier, sauf lors de l’utilisation d’un autre service pour cloner la voix. Les six services sont accessibles au public sur leurs sites Web respectifs, avec onzelabs et ressemblent respectivement aux frais de charge d’IA de 5 $ et 1 $, pour créer des clones vocaux personnalisés, tandis que les autres sont libres à utiliser. Certaines entreprises ont reconnu le potentiel d’abus et ont déclaré avoir mis en œuvre des garanties plus fortes pour empêcher la création profonde et l’identité de la voix.
Il existe des applications légitimes pour le clonage de la voix d’IA, comme aider les individus handicapés et fournir des traductions audio. Cependant, les risques restent importants. Sarah Myers West, co-directrice co-exécutive de l’IA Now Institute, a noté que cette technologie pourrait faciliter la fraude, les escroqueries et la désinformation, y compris l’identité de chiffres influents.
La recherche sur la prévalence de l’IA dans les escroqueries audio est limitée. La Federal Trade Commission a indiqué Que l’IA puisse être employé dans des «escroqueries aux grands-parents», où les criminels se font passer pour les membres de la famille en détresse. De plus, certains musiciens ont été confrontés à des défis dus à des voix clonées utilisées pour la production musicale non autorisée, comme illustré par une chanson virale 2023 faussement attribuée à Drake et The Weeknd.
Crédit d’image en vedette: Bruno Cervera / Unsplash
