לפי הודעה רשמית של AWS, שירות Amazon Polly השיק יכולת שכפול קול (voice cloning) שהפכה לזמינה באופן כללי במסגרת שחרור מבוקר (gated release). היכולת החדשה מאפשרת למשתמשים לספק ל-Amazon Polly מספר דקות של הקלטות שמע מדובר שהסכים שקולו ישוכפל, והשירות בונה קול משוכפל ייעודי המבוסס על קולו של אותו דובר. הקולות המשוכפלים פועלים על גבי המנוע היוצר (generative engine) של Amazon Polly, אשר לפי החברה מספק טבעיות ודיוק דומים לשאר הקולות היוצרים בשירות. ההשקה כוללת תמיכה בשבע שפות: אנגלית, ספרדית, גרמנית, צרפתית, איטלקית, פורטוגזית והינדי, כאשר כל קול משוכפל מדבר אך ורק בשפה שבה הוא הוקלט. הקולות מוצפנים באופן אוטומטי ומוגבלים בגישה כך שרק החשבון שיצר אותם מורשה לגשת אליהם.
מחזור החיים של שכפול קול בארבעה שלבים
לפי פירוט החברה, תהליך יצירת הקול המשוכפל עובר ארבעה שלבים מוגדרים:
- הקלטה (Record): המשתמש מקליט דובר יחיד. את ההקלטות ניתן לשלוח ישירות בבקשת ה-API מסוג CreateVoice, להעלות דרך ממשק הניהול (console), או לאחסן בדלי של Amazon Simple Storage Service (Amazon S3) באזור ה-AWS הרלוונטי ולהפנות את השירות אליהן.
- יצירה (Create): המשתמש קורא ל-API בשם CreateVoice עם 1 עד 10 הקלטות, ציון השפה שבה הן הוקלטו, והפרמטר TermsAccepted=True שמהווה אישור לכך שהתקבלה הסכמת הדובר. Amazon Polly מחזיר מזהה קול (המתחיל בקידומת vc-) באופן מיידי ובונה את הקול ברקע.
- המתנה (Wait): תהליך היצירה הוא אסינכרוני ונמשך בדרך כלל בין 5 ל-10 דקות. במהלך פרק זמן זה, השירות בודק גם את איכות קול ה-TTS מבחינת דמיון לדובר המקורי. המשתמש מפעיל קריאות GetVoice עד שסטטוס הקול משתנה מ-pending ל-active או ל-failed.
- שימוש (Use): המשתמש מעביר את מזהה הקול לקריאת SynthesizeSpeech עבור יצירת שמע בזמן אמת, או לקריאת StartSpeechSynthesisTask עבור שמע באורך מלא הנכתב ישירות ל-S3, תוך הגדרת הפרמטר Engine="generative", בדיוק כפי שמופעלים קולות יוצרים אחרים ב-Amazon Polly. כאשר אין עוד צורך בקול, מתבצעת קריאה ל-DeleteVoice.
הסכמת הדובר, אבטחת מידע ובקרת גישה
הקול המשוכפל מיוצר מהקלטותיו של אדם יחיד, ועל המשתמש לאשר כי קיבל את הסכמת הדובר לכל ההקלטות וכי הוא שולט בזהות המורשים להשתמש בקול ובמועד מחיקתו. אישור ההסכמה מתבצע עבור כל קול בנפרד, בקונסולה או באמצעות TermsAccepted=True ב-API, ובכך מאשר המשתמש כי השיג את כל הזכויות וההסכמות הנדרשות. השימוש כפוף לתנאי השירות של AWS, לתנאי ההודעה וההסכמה הביומטריים, למדיניות ה-AI האחראי של AWS ולמדיניות השימוש המקובל.
כל שמע סינתטי המופק באמצעות הקול המשוכפל כולל סימן מים (watermark) מובנה שנוסף על ידי השירות. הקול מוגבל אך ורק לחשבון ה-AWS שיצר אותו, ובקרת הגישה מנוהלת באמצעות AWS Identity and Access Management (IAM). בנוסף, משתמשים יכולים להצפין את הקולות באמצעות מפתח הצפנה סימטרי משלהם דרך AWS Key Management Service (AWS KMS) ולהוסיף להם תגיות זיהוי (tags).
בנוגע לשמירת נתונים, Amazon Polly אינו שומר עותק של הקלטות המקור לאחר יצירת הקול ואינו משתמש בהן לאימון מודלים של השירות. המערכת שומרת אך ורק את נתוני הקול הנחוצים לסינתזת דיבור, כשהם מוצפנים, עד לקריאת DeleteVoice שמוחקת את המידע באופן מיידי. במסגרת ההמלצות, החברה מציינת לתעד את הסכמת הדוברים, למחוק את הקול אם הדובר חוזר בו מהסכמתו, ליידע מאזינים שהם שומעים קול סינתטי במקומות המתאימים, ולהעניק הרשאות גישה אך ורק לאנשים ולמערכות שזקוקים להן.
שיטות מומלצות לביצוע ההקלטות
לפי ההסבר הטכני, הקול המשוכפל לומד מתוך ההקלטה ומחקה גם מאפיינים לא רצויים, כגון רעש מאוורר של מחשב נייד, הדהוד בחדר או סינון רעשים של תוכנות שיחה. לכן, AWS מפרטת מספר הנחיות:
- משך ההקלטה: מומלץ להקליט בין 2 ל-10 דקות של דיבור טבעי, המחולק למקטעים (takes) של עד דקה אחת כל אחד. ניתן לשלוח עד 10 הקלטות לכל קול, ועד 15 דקות שמע בסך הכול. איכות ההקלטה חשובה יותר מאורכה, וכמות שמע נוספת אינה בהכרח משנה את אופן הצליל של הקול.
- סביבת ההקלטה וציוד: דובר יחיד, חדר שקט ומרחק קבוע מהמיקרופון. מומלץ להשתמש במיקרופון USB או באפליקציית טלפון המקליטה בפורמט WAV. ההמלצה היא להקליט ב-WAV בפורמט מונו, 16-ביט וקצב דגימה של 24kHz (או 44.1/48kHz). השירות תומך גם בפורמטים נוספים.
- הימנעות מסינון רעשים: יש להימנע משימוש ביישומי פגישות או מקליטים מבוססי דפדפן, משום שמנגנוני ביטול ההד ודיכוי הרעשים שלהם משנים את הקול, והמודל לומד שינויים אלה.
- סגנון אחיד: יש להקליט כל מקטע בסגנון הרצוי לקול הסופי, שכן הקול המשוכפל נוטל את סגנונו מההקלטות ואינו יכול למזג סגנונות שונים (כגון מקטעים שמחים, עצובים וכועסים יחד).
- שפת ההקלטה: יש להקליט בשפה שבה הקול אמור לדבר. השירות נבדק עם הקלטות באנגלית של ארה"ב, גרמנית, ספרדית של ארה"ב, צרפתית, איטלקית, פורטוגזית ברזילאית והינדי. הקלטות במבטאים אחרים, כגון אנגלית בריטית או צרפתית קנדית, עובדות אף הן אך נבדקו פחות.
תרחישי שימוש ויישומים שצוינו במאמר
החברה מציינת מספר תרחישים שבהם ניתן לשלב את הקולות המשוכפלים:
- קול מותג עקבי בין ערוצים: שימוש בקול מוכר ואחיד במערכות ניתוב שיחות (IVR), בסוכני קול מדורגים (cascaded voice agents), באפליקציות מובייל, בהודעות בחנויות, בפרסומות ובמכשירים מחוברים, ללא צורך בהזמנת אולפן הקלטות מחדש בכל שינוי תסריט.
- מוקדי שירות (Contact centers): אספקת קול מותג מובחן בערוצי שירות עצמי, ויצירת הודעות מותאמות מטקסט ללא הקלטות אולפן נוספות בעת שינוי מבצעים או נהלים.
- מדיה ותוכן בהיקף רחב: הפקת ספרי שמע, קורסים, פודקאסטים, דמויות שאינן שחקנים במשחקים (NPC) וסרטוני וידאו באמצעות קולות מותאמים אישית.
- לוקליזציה: שמירה על זהות קולית מוכרת בספריות תוכן, תוך יצירת קולות ייעודיים מאושרים עבור כל שפה נתמכת בנפרד.
- נגישות והתאמה אישית: אספקת קול בעל צליל אנושי עבור כלי הקראה, עזרי נגישות ואינטראקציות מותאמות אישית.
שיקולי הפקה, ארכיטקטורה, מכסות וזמינות
מאחר שיצירת הקול אורכת מספר דקות, AWS מציינת כי יש להתייחס אליה כאל שלב הקצאה (provisioning) מקדים ולא כחלק מבקשת משתמש בזמן אמת. קריאות ה-API של CreateVoice ו-DeleteVoice חולקות מגבלה משותפת של בקשה אחת לשנייה, ולכן יצירה ומחיקה בכמויות גדולות דורשות תור (queue). קריאת DescribeVoices מציגה את הקולות המשוכפלים לצד הקולות המובנים, כאשר קולות משוכפלים מסומנים עם המאפיין Origin=customer.
מבחינת שגיאות ומכסות, חריגה ממגבלת הבקשות לשנייה תחזיר שגיאת ThrottlingException, וחריגה ממכסת הקולות לחשבון תחזיר ServiceQuotaExceededException. ניסיון לבצע סינתזה או מחיקה לקול שנמצא עדיין בתהליך יצירה יחזיר ConflictException. ברירת המחדל הראשונית של המכסה היא 10 קולות משוכפלים לחשבון בכל אזור AWS נתמך, וניתן לבקש הגדלה דרך תמיכת AWS. קול משוכפל קיים רק בחשבון ובאזור ה-AWS שבו הוא נוצר.
לפני עלייה לסביבת ייצור, החברה ממליצה לבדוק את הקול עם שמות מוצרים, מספרים, כתובות ומשפטים ארוכים. במידה ששם או מונח נהגה באופן שגוי, ניתן לשנות את איותו בטקסט או להשתמש בתג SSML מסוג
יצירת קול משוכפל ניתנת ללא עלות נוספת ללקוחות Amazon Polly, והחיוב מתבצע עבור השימוש בסינתזה על בסיס צריכה בפועל (pay-as-you-go). הגישה מאופשרת לפי חשבון AWS; לקוחות שאינם רואים את התכונה בקונסולה יכולים לפנות לצוות החשבון שלהם ב-AWS או להגיש בקשת גישה. אזורי ה-AWS הנתמכים תואמים לאזורי המנוע היוצר של השירות, וכוללים את צפון וירג'יניה, אורגון, פרנקפורט, ציריך, לונדון, סידני, סיאול, סינגפור, טוקיו, מרכז קנדה ואזור AWS GovCloud בארה"ב.