La capacidad de clonar una voz, se ha convertido en una innovación asombrosa, que está transformando en muchos casos la forma en que interactuamos con el sonido y la comunicación. Tenemos muchas consultas a través de nuestra web y hemos querido hacer un análisis del estado de esta tecnología, que hemos seguido muy de cerca desde sus orígenes.
Qué es clonar la voz
Clonar una voz es un concepto, que se refiere a la capacidad de replicar de manera precisa y convincente la voz de una persona de forma sintética o artificial. La idea es que suene indistinguible de la voz humana original. Este proceso es muy complejo e implica capturar y analizar numerosos aspectos de una voz, como el tono, la velocidad, la entonación y otros rasgos distintivos. Luego, se utiliza la tecnología para sintetizar una voz similar, creando una copia virtual de la voz original.
Aspectos esenciales de una voz: timbre y prosodia
Para clonar una voz de forma convincente hay que tener en cuenta dos aspectos básicos que hacen que una voz humana suene de un forma determinada. Hay muchos más aspectos dentro de la voz humana, pero la tecnología se centra en dos elementos básicos que son los que hacen que tu voz «suene a ti».
Timbre
El timbre de voz se refiere a las características distintivas y únicas que identifican y diferencian una voz individual de otra. Es la «firma sonora» que hace que una voz sea reconocible. El timbre de voz está relacionado con la forma en que las cuerdas vocales, la cavidad oral y otros elementos anatómicos interactúan para producir sonido. Cada persona tiene un timbre de voz único, lo que significa que nuestras voces son tan individuales como nuestras huellas dactilares. Las voces clonadas se han centrado principalmente en el timbre.
Prosodia
La prosodia hace referencia a la forma en que la persona habla: sus variaciones de ritmo al hablar, la entonación, el énfasis, coletillas y otros elementos que dan forma al significado emocional y contextual. En otras palabras, es la manera en que las palabras son habladas, más que lo que se dice en sí.
Repetimos: una voz además de un timbre único, también tiene una prosodia única que son su acento, su manera de expresarse, su velocidad, sus expresiones, etc. Clonar la prosodia de una voz es mucho más complicado, pero veremos que ya hay formas de hacerlo.
Ejemplos para explicar timbre y prosodia
Como metáfora de lo que es el timbre y la prosodia, podríamos utilizar un teclado musical infantil, de esos que tienen unas melodías pregrabadas y se puede escuchar la misma melodía con distintos instrumentos. La prosodia sería la melodía misma (cumpleaños feliz, estrellita…) y el timbre sería el sonido con el que suena la melodía cada vez que elegimos un instrumento en concreto (piano, guitarra…).
Video con voz original
Como ejemplo, vamos a usar un vídeo en el que hay una interpretación de Papá Noel. Podemos observar detalles en la prosodia, como la voz entrecortada (que interpreta para dar más sensación de voz anciana), la dramatización al final de las frases y palabras que se alargan para dar un tono más teatral:
Video en inglés con voz clonada
Ahora vamos a clonar su voz para escuchar este mismo vídeo en inglés. Como puede apreciarse, el timbre está bastante bien conseguido. La prosodia, en cambio, vemos que ya es bastante más complicada de conseguir, y le faltan muchos de los giros teatrales comentados: voz entrecortada, dramatización y palabras alargadas para dar intensidad, aunque está evolucionando y probablemente la idea es que imite en breve la prosodia del original, todavía no están conseguido.
Basándose en estas dos características de la voz: timbre y prosodia, vamos a ver los tipos de clonación que formas de clonar una voz hay, porque no todas son iguales y si sirven para los mismo fines.
Por cierto si estás interesado en saber con qué tecnología hemos realizado este doblaje, contáctanos. y si quieres averiguar cómo es posible conseguir la prosodia en una clonación, tendrás que leer hasta el final.
Tipos de clonación de voz
No todas las clonaciones de voz son iguales, ni sirven para los mismos propósitos. Dependiendo del uso para el que desees clonar una voz, tienes una tecnología y un tipo de clonación específicos.
Clonar la voz para que lea textos (Tecnología TTS)
Si queremos clonar una voz para leer textos escritos, la tecnología que necesitas es clonación de voz TTS (Text to Speech).
Historia del TTS y la síntesis de voz
Esta tecnología existe desde la década de 1960, cuando IBM lanzó el primer sistema TTS, denominado IBM Shoebox. Aunque primitivo en comparación con las capacidades actuales, este sistema pionero permitía a las computadoras generar voz a partir de texto escrito.
La base de la tecnología TTS radicaba en la síntesis de voz, un proceso mediante el cual las máquinas convierten el texto en discurso audible. En sus primeras etapas, la voz generada era robótica y de baja calidad. Sin embargo, a medida que avanzaron las décadas, el TTS experimentó avances notables. A mediados de la década de 1990, las voces sintéticas comenzaron a sonar más naturales.
En 2001 la empresa Locuendo consigue la primera síntesis de voz que suena razonablemente humana, convirtiéndose en la pionera del sector.
Aún así, seguimos hablando desde su origen de ‘sintetizar una voz’ y no de ‘clonar una voz’, ya que la posibilidad de clonar una voz ha surgido casi 20 años después, con la introducción de las tecnologías basadas en Inteligencia Artificial. Durante los años 2018 y 2019, la enorme cantidad de bases de datos de audios en todos los idiomas, recopiladas a través de aparatos inteligentes (smartphones, altavoces inteligentes, etc.), unida al rápido avance que supone la introducción de la IA en los procesos, ha permitido que clonar una voz sea posible en la actualidad.
Clonar la voz como timbre de otros audios base (Tecnología STS)
La tecnología STS o Speech to Speech no genera los audios a partir de texto, sino que clona únicamente el timbre y lo «monta» sobre otras grabaciones de voz que sirven de base. El resultado es clavado a la grabación base pero con el timbre de voz clonado. Así, podemos generar grabaciones con nuestro timbre en cualquier acento (argentino, mexicano…) o idioma (inglés, chino…) y sin necesidad de grabarlas nosotros mismos. Estos audios suenan completamente naturales, porque conservan toda la prosodia de la grabación base (velocidad, ritmo, entonación… ¡hasta las disfluencias y respiraciones!). Escucha estas grabaciones de 2 personas diferentes, pero que acaban ambas sonando con el mismo timbre de voz:
- Ejemplo 1 (base con disfluencias)
- Ejemplo 1 (clon STS)
- Ejemplo 2 (base acento argentino)
- Ejemplo 2 (clon STS)
La clonación de voz STS la presentamos a finales de 2022 con este vídeo, que explica en menos de 3 minutos la diferencia entre TTS y STS:
Clonar voz: las mejores tecnologías, precios y evolución
Plataformas y precios para clonar voz que lea textos (TTS)
Hasta el 2020 clonar una voz y usarla para leer textos era un lujo que costaba mucho tiempo y dinero. Se necesitaban unas 12 horas de voz, grabadas con alta calidad en estudio de sonido y asumir un coste de clonación de 20.000 euros. El resultado que se obtenía eran una voz como esta:
Con la introducción de la IA, el cambio que se ha producido es radical. Ahora mismo existen en el mercado dos tipos de clonación TTS: de baja calidad (o voces semi-clonadas) y de alta calidad.
1. Clonación TTS de baja calidad
Esta clonación requiere de tan sólo unos minutos de grabación, con la mayor calidad posible y la menor cantidad de ruido de fondo. No necesitamos un estudio profesional, basta grabar con el micrófono del teléfono móvil. Cuanta más calidad tengan los audios usados, mejor será la clonación, que se consigue en unos instantes. Es una clonación rápida y muy barata, pero el resultado es una voz que se asemeja un poco a la original, con lo que podríamos hablar de voces semi-clonadas.
Ejemplos y precios de la clonación de baja calidad
En la actualidad han surgido muchas plataformas que hacen este tipo de clonación rápida, os presentamos los 3 que más nos han gustado de las que hemos probado:
Ventajas: Puedes clonar tu voz de forma muy rápida con un minuto de grabación, lo interesante de esta plataforma no es tanto la clonación en sí, que no es de mucha calidad, como que permite hacer muchas modificaciones con las voces: Cambiar acentos, mezclar con otras voces, doblar a otros idiomas con tu voz semiclonada.
Desventajas: Complejo de manejar, muchas opciones y una curva de aprendizaje mayor que otras plataformas del mismo estilo. Otra desventaja que vemos es el precio que parte de 59 euros al mes el plan mas bajo.
Ventajas: Semi-clonación rápida y cómoda que funciona bien para textos muy cortos y sobre todo para palabras sueltas. Muy útil para podcasting y para generadores de contenidos ya que tiene también herramientas de edición de videos, grabación de pantalla y transcripción y publicación. Otra ventaja, es el precio y es que tiene 1000 palabras gratuitas al mes para usar con tu voz propia voz semi-clonada que puede ser suficente para hacer pequeñas correcciones en un podcast o video.
Desventajas: No es una clonación de alta calidad y queda bien solo en textos muy, muy cortos o palabras sueltas.
Ventajas: Puedes clonar una voz inmediatamente, solo tienes que logarte en la aplicación y hablar un minuto por el micrófono de tu ordenador o tu smartphone. Además es gratuito.
Desventajas: La clonación de muy baja calidad.
Ventajas: Es la aplicación más completa de todas para la clonación rápida y de la que todo el mundo habla últimamente. Su utilidad principal es la de doblar tu voz a otros idiomas. El precio está muy bien ya que por 5 dólares al mes tienes acceso a clonar tu voz de forma rápida y tienen otra opción de clonación de alta calidad.
Desventajas: Puede resultar útil para el doblaje de vídeos con tu voz, eso si, actualmente en muchos casos cuela acentos indeseados.
2. Clonación TTS de alta calidad
Para conseguir el mejor resultado necesitaremos, en la mayoría de los casos, unos 20 minutos de grabación, preferiblemente con calidad de estudio de sonido. La generación de clonación TTS de alta calidad no es inmediata y suele requerir más tiempo de procesamiento (se suele entregar en 24-48 horas).
Ejemplos y precios de clonación de alta calidad
Ventajas: Son de lo mejor que hemos probado en clonación de voz y tienen una opción de clonación de voz en la que no pagas nada; sólo te cuesta 0,0006 dólares por carácter generado.
Desventaja: Esta opción de clonación con alta calidad sólo está disponible para voces en inglés.
Ventajas: Tienen una clonación muy buena y cuidada que funciona muy bien para sistemas telefónicos. Si estás diagnosticado con una enfermedad neuromotora, tienen una fundación para financiar la clonación de voz, pero sólo en Reino Unido e Irlanda.
Desventaja: El precio de la clonación es de 499,99 libras.
Ventajas: Aquí tenemos de nuevo a nuestros amigos de ElevenLabs, una tecnología de clonación de voz de la que os hemos hablado para la clonación rápida de voz. Pero en este caso, en la versión de pago de 22 dólares al mes, te hacen un doblaje especial de alta calidad en el que prometen que el timbre de tu voz clonada suena como tu timbre real.
Desventajas: Son ahora mismo los mejores del mercado, tienen la desventaja que cuando usamos la clonación para hablar en otros idiomas nos cuela a veces acentos indeseados en esos idiomas.
Plataformas y precios para clonar voz como timbre de otros audios base (STS)
La verdadera revolución de esta tecnología es que permite imitar la prosodia por lo que resultado es muy, muy igual a la voz real, y puedes darle todos sus giros y matices. Suena humana ya que no elimina al humano de la ecuación, es lo que llamamos nosotros: «clonar con alma«. De todas las plataformas anteriores la única que ofrece el STS con garantías es Resemble.ai y os hablaremos después de otra que es nuestra favorita y por la hemos apostado en nuestra web. Para este tipo de clonación siempre se necesitan unos 20 minutos de grabaciones de la voz con alta calidad.
Ventajas: Resemble.ia fueron los pioneros en clonación STS; hemos probado su tecnología y son muy buenos. De hecho, el vídeo de este artículo, en el que explicamos la diferencia entre TTS y STS», está hecho con la tecnología de Resemble.ia.
Desventajas: La principal desventaja es su precio, que ronda los 7.500 dólares al año.
Ventajas: Y de nuevo está aquí ElevenLabs, su tecnología de clonación de voz desde hace poco permite realizar STS, tanto en la versión de pago de 22 dólares al mes como en la de 5 dólares lo que hace que sean los más competitivos en le mercado.
Desventajas: Cuando subes el audio en principio debería reproducir la prosodia tal cual pero no lo consigue en todos los casos. Para hacer STS de voz femenina tienes que usar una voz femenina y para masculina igual, si no, el timbre se distorsiona mucho.
Ejemplo de clonación de voz STS
Os dejamos aquí un meme de vídeo que tiene voz clonada con nuestro STS:
Aquí puedes escuchar el audio base con la voz original:
Si estás interesado en clonación STS contáctanos.
