El viernes 28 de noviembre a las 11:30 en la Sala Multimedia ha tenido lugar la lectura de la Tesis Doctoral de Dª. Marina Perea Trigo, titulada “Inteligencia Artificial para la traducción, reconocimiento y producción de lengua de signos”. La tesis ha sido dirigida por D. Juan Antonio Álvarez y D. Juan José Vegas.
En esta tesis se exploran diferentes enfoques basados en Inteligencia Artificial para mejorar la accesibilidad y la comunicación entre personas sordas y oyentes mediante el reconocimiento, traducción y producción de Lengua de Signos Española (LSE). Este objetivo se aborda a través de tres líneas complementarias de investigación: la generación de corpus sintéticos, el aumento de datos mediante intercambio facial y la síntesis de vídeo para la anonimización de signantes.
En primer lugar, se propone un sistema basado en reglas lingüísticas, denominado ruLSE, para generar corpus textuales paralelos entre castellano y glosas en LSE. Este enfoque permite superar la escasez de datos reales y facilita el entrenamiento de modelos de traducción automática. Se evaluaron modelos neuronales como MarianMT y STMC-Transformer, observándose mejoras significativas al incorporar incrustaciones preentrenadas en español.
En segundo lugar, se desarrolla el conjunto de datos CALSE, dividido en CALSE-100 y CALSE-1000, con vídeos de signos aislados anotados en LSE. A partir de estos vídeos, se implementaron técnicas de aumento de datos mediante transformaciones afines e intercambio facial (face swapping), analizando su impacto en la precisión de modelos de reconocimiento. Los resultados demostraron mejoras notables en métricas de clasificación top-1, top-5 y top-10, validando estas estrategias como mecanismos eficaces para enriquecer los conjuntos de datos sin necesidad de nuevas grabaciones.
En tercer lugar, se amplía el uso del intercambio facial para evaluar su potencial en la anonimización de los signantes, comparándolo con una segunda técnica basada en la síntesis de avatares fotorrealistas.
En conjunto, este trabajo contribuye al desarrollo de tecnologías inclusivas para la comunidad sorda, proponiendo soluciones que abordan de manera conjunta los problemas de escasez de datos, privacidad y evaluabilidad en tareas de reconocimiento y traducción de lengua de signos.
¡Enhorabuena a doctoranda y directores!
Fuente: Gabinete de Comunicación de la ETSII.
