Investigadores de la Universidad de Bremen y SUPSI presentaron recientemente Diff-ETS, un modelo para la conversión ETS que podría producir un habla sintetizada más natural.
Este modelo, presentado en un artículo publicado en el servidor de preimpresión arXiv , podría usarse para desarrollar nuevos sistemas que permitan a las personas que no pueden hablar, como los pacientes que se sometieron a una laringectomía (una cirugía para extirpar parte de la laringe humana), para comunicarse con los demás.
La mayoría de las técnicas introducidas anteriormente para la conversión ETS tienen dos componentes clave: un codificador EMG y un codificador de voz.
El codificador de electromiografía (EMG) puede convertir señales EMG en características acústicas del habla, mientras que el vocodificador utiliza estas características del habla para sintetizar señales del habla.
“Debido a una cantidad inadecuada de datos disponibles y señales ruidosas, el habla sintetizada a menudo exhibe un bajo nivel de naturalidad”, escribieron Zhao Ren, Kevin Scheck y sus colegas en su artículo.
Vocodificador
“En este trabajo, proponemos Diff-ETS, un modelo ETS que utiliza un modelo probabilístico de difusión basado en puntuaciones para mejorar la naturalidad del habla sintetizada. El modelo de difusión se aplica para mejorar la calidad de las características acústicas predichas por un codificador EMG. “
A diferencia de muchos otros modelos de conversión ETS desarrollados en el pasado, que consisten en un codificador y un codificador de voz, el modelo de los investigadores tiene tres componentes: un codificador EMG, un modelo probabilístico de difusión y un codificador de voz. El modelo probabilístico de difusión, el segundo de estos componentes, es, por tanto, una nueva incorporación que podría dar como resultado un habla sintetizada más natural.
Ren, Scheck y sus colegas entrenaron el codificador EMG para predecir el llamado espectrograma log Mel (es decir, una representación visual de señales de audio) y objetivos de fonemas a partir de señales EMG. El modelo probabilístico de difusión, por otro lado, fue entrenado para mejorar los espectrogramas log Mel, mientras que el vocodificador previamente entrenado puede traducir este espectrograma en voz sintetizada.
Fuente: techxplore.com
