Product launch

Amazon Polly Launches Voice Cloning as a Gated Release

Generative voice cloning supports 7 languages and requires recorded speaker consent

4 min read
עב
Amazon Polly Launches Voice Cloning as a Gated Release
Based on original reporting byAWS Machine Learning ↗Translated and summarized by our AI-assisted news systemHow we work

Executive summary

5 things to know

  1. The feature is generally available as a gated release for approved AWS accounts.

  2. Creating a cloned voice requires 1 to 10 recordings of a consenting speaker, totaling up to 15 minutes.

  3. The service supports 7 languages: English, Spanish, German, French, Italian, Portuguese, and Hindi, with each voice operating exclusively in its recorded language.

  4. Amazon Polly does not retain original recordings after voice creation and does not use them to train models.

  5. Building a cloned voice is free of charge, with usage billed for voice synthesis on a pay-as-you-go basis.

According to an official announcement from AWS, the Amazon Polly service has launched a voice cloning capability that has become generally available as a gated release. The new feature allows users to provide Amazon Polly with a few minutes of audio recordings from a speaker who has agreed to have their voice cloned, and the service builds a dedicated cloned voice based on that speaker's voice. The cloned voices run on Amazon Polly's generative engine, which according to the company delivers naturalness and accuracy similar to the rest of the generative voices in the service. The launch includes support for seven languages: English, Spanish, German, French, Italian, Portuguese, and Hindi, with each cloned voice speaking exclusively in the language in which it was recorded. The voices are automatically encrypted and access-controlled so that only the account that created them is authorized to access them.

The Voice Cloning Lifecycle in Four Steps

According to the company's details, the process of creating a cloned voice moves through four defined steps:

  1. Record: The user records a single speaker. The recordings can be sent directly in a CreateVoice API request, uploaded through the console, or stored in an Amazon Simple Storage Service (Amazon S3) bucket in the relevant AWS Region and pointed to by the service.
  2. Create: The user calls the CreateVoice API with 1 to 10 recordings, an indication of the language in which they were spoken, and the parameter TermsAccepted=True, which serves as confirmation that the speaker's consent was obtained. Amazon Polly immediately returns a voice ID (starting with the prefix vc-) and builds the voice in the background.
  3. Wait: The creation process is asynchronous and typically takes 5 to 10 minutes. During this period, the service also checks the quality of the TTS voice for similarity to the original speaker. The user runs GetVoice calls until the voice status changes from pending to active or failed.
  4. Use: The user passes the voice ID to a SynthesizeSpeech call for real-time audio generation, or to a StartSpeechSynthesisTask call for long-form audio written directly to S3, setting the parameter Engine="generative" just as other generative voices in Amazon Polly are called. When the voice is no longer needed, a call to DeleteVoice is made.

A cloned voice is produced from the recordings of a single individual, and the user must confirm having obtained the speaker's consent for all recordings and having control over who is authorized to use the voice and when it is deleted. Confirmation of consent is completed for each voice individually, in the console or via TermsAccepted=True in the API, whereby the user confirms that they have obtained all necessary rights and consents. Use is subject to the AWS Service Terms, the Biometric Notice and Consent Terms, the AWS Responsible AI Policy, and the AWS Acceptable Use Policy.

All synthetic speech generated using the cloned voice includes a built-in watermark added by the service. The voice is scoped strictly to the AWS account that created it, and access control is managed via AWS Identity and Access Management (IAM). In addition, users can encrypt voices using their own symmetric encryption key through AWS Key Management Service (AWS KMS) and attach identifying tags to them.

Regarding data retention, Amazon Polly does not retain a copy of the source recordings after the voice is created and does not use them to train the service's models. The system retains only the voice data necessary for speech synthesis, stored encrypted, until a DeleteVoice call deletes the data immediately. Among its recommendations, the company notes keeping a record of speakers' consent, deleting the voice if the speaker withdraws consent, informing listeners that they are hearing a synthetic voice where appropriate, and granting access permissions only to the people and systems that need them.

Best Practices for Recordings

According to the technical explanation, the cloned voice learns from the recording and also mimics unwanted characteristics, such as laptop fan noise, room echo, or the noise filtering of meeting software. Therefore, AWS outlines several guidelines:

  • Recording duration: It is recommended to record between 2 and 10 minutes of natural speech, split into takes of up to one minute each. Users can send up to 10 recordings per voice, and up to 15 minutes of audio in total. Recording quality matters more than length, and additional audio does not necessarily change how the voice sounds.
  • Recording environment and equipment: A single speaker, a quiet room, and a consistent distance from the microphone. It is recommended to use a USB microphone or a phone app that records in WAV format. The recommendation is to record in mono WAV, 16-bit, at a 24kHz sampling rate (or 44.1/48kHz). The service also supports additional formats.
  • Avoiding noise filtering: The use of meeting apps or browser-based recorders should be avoided, as their echo cancellation and noise suppression mechanisms alter the voice, and the model learns these alterations as well.
  • Consistent style: Every take should be recorded in the style desired for the final voice, as the cloned voice takes its style from the recordings and cannot blend disparate styles (such as upbeat, sad, and angry takes together).
  • Recording language: Recording should take place in the language the voice is expected to speak. The service has been tested with recordings in US English, German, US Spanish, French, Italian, Brazilian Portuguese, and Hindi. Recordings in other accents of these languages, such as British English or Canadian French, also work but are less tested.

Use Cases and Applications Noted in the Article

The company highlights several scenarios in which cloned voices can be integrated:

  • Consistent brand voice across channels: Establishing a recognizable and uniform voice across interactive voice response (IVR) systems, cascaded voice agents, mobile apps, in-store announcements, advertisements, and connected devices, without the need to re-book a recording studio every time a script changes.
  • Contact centers: Providing a distinct brand voice across self-service flows, and creating custom prompts from text without additional studio sessions when promotions or policies change.
  • Media and content at scale: Producing audiobooks, courses, podcasts, non-player characters (NPCs) in games, and video content using custom voices.
  • Localization: Maintaining a recognizable voice identity across content libraries, while generating dedicated, approved voices for each supported language separately.
  • Accessibility and personalization: Delivering a human-sounding voice for reading tools, assistive aids, and personalized interactions.

Production Considerations, Architecture, Quotas, and Availability

Because voice creation takes several minutes, AWS states that it should be treated as an upfront provisioning step rather than part of a real-time user request. The CreateVoice and DeleteVoice API calls share a common limit of 1 request per second; therefore, bulk creation and deletion require queuing. Calling DescribeVoices lists cloned voices alongside built-in voices, with cloned voices marked by the attribute Origin=customer.

In terms of errors and quotas, exceeding the 1-request-per-second limit returns a ThrottlingException, and exceeding the voice quota for the account returns a ServiceQuotaExceededException. Attempting to synthesize with or delete a voice that is still being created returns a ConflictException. The initial default quota is 10 cloned voices per account in each supported AWS Region, and an increase can be requested through AWS Support. A cloned voice exists only in the account and AWS Region where it was created.

Before deploying to production, the company recommends testing the voice with product names, numbers, addresses, and long sentences. If a name or term is mispronounced, its spelling in the text can be adjusted or an SSML <phoneme> tag can be used, which is supported for cloned voices in English, French, Italian, German, and Spanish. For static announcements, it is recommended to generate the audio once and serve the saved file.

Creating a cloned voice is provided at no additional cost to Amazon Polly customers, with billing applied to synthesis usage on a pay-as-you-go basis. Access is enabled on a per-AWS-account basis; customers who do not see the feature in the console can reach out to their AWS account team or apply for access. Supported AWS Regions match the generative engine regions of the service, including US East (N. Virginia), US West (Oregon), Europe (Frankfurt), Europe (Zurich), Europe (London), Asia Pacific (Sydney), Asia Pacific (Seoul), Asia Pacific (Singapore), Asia Pacific (Tokyo), Canada (Central), and the AWS GovCloud (US) Region.

Was this useful for your business?

Questions & Answers

FAQ

This article was produced by our AI-assisted system through translation, summarization, and automated quality controls based on original reporting by AWS Machine Learning. Read about our editorial process. Link to the original source.

Get useful AI updates by email

A concise digest from our news desk.

More from AWS Machine Learning

All articles from AWS Machine Learning
תמיכה ב-Private CA ב-Amazon Bedrock AgentCore Identity
מדריך
5 דקות
מ־AWS Machine Learning

תמיכה ב-Private CA ב-Amazon Bedrock AgentCore Identity

בפוסט שפורסם בבלוג של AWS, הוכרזה תמיכה בתעודות רשות אישורים פרטית (Private CA) במסגרת AgentCore Identity, יכולת של Amazon Bedrock AgentCore. יכולת זו מאפשרת לסוכני בינה מלאכותית להתחבר לספקי זהות פרטיים כמו Keycloak המאוחסנים ברשת פנימית, תוך מתן אמון ב-CA הארגוני. התעודה בפורמט PEM נשמרת ב-Secrets Manager או ב-S3 ומאומתת מול נקודות הקצה של ה-IdP דרך Amazon VPC Lattice. הפוסט מפרט את אופן ההגדרה, שלבי הניטור ב-CloudWatch ותהליך ביצוע רוטציה ללא השבתה.

קרא עוד
ניהול עלויות מקצה לקצה ב-Amazon Bedrock: מדריך לצוותי FinOps
מדריך
5 דקות
מ־AWS Machine Learning

ניהול עלויות מקצה לקצה ב-Amazon Bedrock: מדריך לצוותי FinOps

בפוסט של מומחי AWS מוצג מודל תפעולי בן חמישה שלבים לניהול עלויות ב-Amazon Bedrock, המיועד לצוותי FinOps והנדסת פלטפורמה. המודל מתמקד בעומסי עבודה של סוכני בינה מלאכותית (agentic workloads), שבהם צריכת הטוקנים מושפעת מרמת האוטונומיה וגודל ההקשר. חמשת השלבים כוללים: שיוך עלויות לכל ישות וצוות באמצעות תגי IAM ודוחות CUR 2.0; יצירת יכולת תצפית ובקרה באמצעות רישום יומני הסקה ב-CloudWatch וב-S3 לצד מטא-דאטה מובנית; אכיפת תקציבים בשלוש רמות (התראות, שלילת הרשאות ב-IAM או חסימה סינכרונית בשער); מיטוב ברירות מחדל באמצעות שמירה במטמון (prompt caching) וניתוב מודלים חכם; והפעלת סקירת ביצועים משותפת מבוססת מדדים ברורים.

קרא עוד
אימון סוכנים ב-Multi-Turn Reinforcement Learning ב-SageMaker AI
מדריך
5 דקות
מ־AWS Machine Learning

אימון סוכנים ב-Multi-Turn Reinforcement Learning ב-SageMaker AI

מדריך טכני של מהנדסי AWS מציג את השימוש ב-Multi-Turn Reinforcement Learning (MTRL) על גבי Amazon SageMaker AI לאימון סוכני בינה מלאכותית על רצפי פעולות מרובי שלבים. באמצעות הדגמה על משחק Wordle, המאמר מפרט כיצד אימון מודל GPT-OSS-20B בעזרת סביבת Amazon Bedrock AgentCore ואלגוריתם GRPO העלה את שיעור הפתרון מ-61% ל-84% בהגדרות הגשה, בעלות של כ-339 דולר בטוקנים. המדריך כולל פירוט על ארכיטקטורת המערכת, הכנת מערך הנתונים ללא תוויות, נוסחת פונקציית התגמול המפרידה בין תוצאה לעיצוב התנהגות, והתמודדות עם תקלות תשתית ואימות במהלך האימון.

קרא עוד
תשלום לפי קריאה עבור סוכני AI: שילוב AgentCore payments ב-AWS
מוצר חדש
4 דקות
מ־AWS Machine Learning

תשלום לפי קריאה עבור סוכני AI: שילוב AgentCore payments ב-AWS

בפוסט שפרסמו מהנדסי AWS הוצגה היכולת המנוהלת AgentCore payments ב-Amazon Bedrock, המאפשרת לסוכני בינה מלאכותית לשלם לפי דרישה עבור שירותים דוגמת הסקת מודלים. השירות מנהל ארנקים, מטפל בפרוטוקול התשלום x402 ואוכף מגבלות הוצאה ברמת התשתית במקום ברמת המודל. הפוסט מפרט כיצד חברת Incarna שילבה את המערכת כדי לאפשר לסוכנים לשלם לנתב ההסקה BlockRun עבור כל קריאה בנפרד ברשת Base ב-USDC. האינטגרציה הושלמה בשלושה ימים ובכ-200 שורות קוד, ובשלב הבטא עובדו מעל 1,000 תשלומים בסכומים של 0.001 עד 0.05 דולר לקריאה. היכולת זמינה כעת באופן כללי.

קרא עוד

More articles you might like

All articles
חברת NiCE השיקה את הדור הבא של פלטפורמת Cognigy
מוצר חדש
4 דקות
מ־SiliconANGLE AI

חברת NiCE השיקה את הדור הבא של פלטפורמת Cognigy

לפי טור של האנליסט זאוס קרוואלה ב-SiliconANGLE, חברת .NiCE Ltd השיקה את הדור הבא של פלטפורמת NiCE Cognigy. העדכון כולל סביבת פיתוח מחודשת, כלי ליווי בשם AI Assist, מעקב מפורט אחר שלבי שיחה, ובדיקות מרובות משתנים מבוססות סימולציה. הפלטפורמה משלבת תמיכה במודלי קול-אל-קול, לצד חיבור לפרוטוקול MCP ושיתוף פעולה לפיתוח Personal Agent Protocol יחד עם Meta ו-Sierra. הגרסה מתמקדת במודל עבודה היברידי, המאפשר לארגונים לשלב תהליכים דטרמיניסטיים קיימים יחד עם סוכנים אוטונומיים תוך שמירה על ניטור ובקרה.

קרא עוד
גוגל הכריזה על Gemini 4 Hydrogen לקידוד ותהליכי סוכנים
מוצר חדש
4 דקות
מ־DeepMind

גוגל הכריזה על Gemini 4 Hydrogen לקידוד ותהליכי סוכנים

Google DeepMind הכריזה על השקת Gemini 4 Hydrogen, מודל המיועד לביצועים מהירים ויעילים בתהליכי קידוד ועבודת סוכנים יומיומית. המודל מתומחר ב-1.50 דולר למיליון טוקני קלט ו-7.50 דולר למיליון טוקני פלט לחלון הקשר של מיליון טוקנים. לצד פעילותו כמודל עצמאי, הוא משתלב עם מודלי החזית Carbon ו-Argon באמצעות Orchestrator ב-Google Antigravity, המאפשר חיסכון ממוצע של 24% במכסה והשלמת משימות מהירה ב-19% במבחן Terminal-Bench 4.0. בנוסף, המודל מציע ארבע רמות חשיבה, מציג שיפורי מהירות ובטיחות, וזמין למפתחים, ארגונים ומשתמשי קצה.

קרא עוד
סיילספורס השיקה את AI Skills ב-Agentforce Coworker
מוצר חדש
4 דקות
מ־Salesforce Blog

סיילספורס השיקה את AI Skills ב-Agentforce Coworker

סיילספורס הודיעה על זמינות כללית של AI Skills בתוך Agentforce Coworker. מיומנויות אלו מאפשרות למשתמשים להגדיר בשפה פשוטה סט הוראות לשימוש חוזר עבור משימות שחוזרות על עצמן, כך שהסוכן יוכל לבצע אותן בעקביות. Coworker, המתאם בין סוכני Agentforce ב-Salesforce, ב-Microsoft Teams ובמובייל, הוא הסוכן הראשון שכולל יכולת זו. בניגוד לתבניות הנחיה המפיקות פלטי טקסט בלבד, מיומנות מתארת משימה שלמה ומאפשרת לסוכן לנקוט פעולות על פי הרשאות המשתמש ולאחר קבלת אישור לעדכון רשומות.

קרא עוד
LinearB מציגה את Agentic Studio כדי להאיץ אספקת תוכנה בעזרת הקשר
מוצר חדש
4 דקות
מ־SiliconANGLE AI

LinearB מציגה את Agentic Studio כדי להאיץ אספקת תוכנה בעזרת הקשר

חברת LinearB Inc. הכריזה על השקת Agentic Studio, כלי שנועד להקל על העומסים בצינורות אספקת התוכנה שנוצרו בעקבות השימוש הגובר בכלי בינה מלאכותית לכתיבת קוד. לפי דוח מדדי התוכנה של החברה, ארגונים המסתמכים על כלי קידוד מבוססי AI כמעט הכפילו את כמות שינויי הקוד שמוזגו, אך בקשות המשיכה הללו גדולות בשיעור של כמעט פי 2.6 וממתינות פי חמישה יותר לסקירה. הפלטפורמה החדשה מאחדת נתונים ותובנות ממאגרי Git ומכלי מעקב לכדי שכבת הקשר אחידה, המאפשרת למהנדסים לקבל המלצות ולתשאל את המערכת בשפה פשוטה. בנוסף, באמצעות אינטגרציה דרך Model Context Protocol, המערכת מזינה סוכני קידוד אוטונומיים בהקשר היסטורי כדי למנוע שינויים עיוורים בקוד.

קרא עוד