Aprender a representar señales fisiológicas multimodales mediante variaciones de múltiples escalas para el reconocimiento de la depresión
Autores: Kai Shao, Roy Wang, Yixue Hao, Ho largo, Min Chen, Hans Arno Jacobsen
Resumen: El reconocimiento de la depresión basado en señales fisiológicas como la espectroscopia funcional del infrarrojo cercano (fNIRS) y la electroencefalografía (EEG) ha logrado avances significativos. Sin embargo, la mayoría de los estudios existentes ignoran la integración y la consistencia semántica de señales fisiológicas multimodales bajo la misma tarea de estímulo en patrones espacio-temporales complejos. En este artículo, presentamos un marco para aprender representaciones de señales fisiológicas multimodales utilizando una arquitectura siamesa mediante covarianza multiescala para el reconocimiento de la depresión (MRLMC). Primero, fNIRS y EEG se transforman en datos diferentes pero correlacionados según la estrategia de aumento de datos en el dominio del tiempo. Luego, diseñamos un módulo de covarianza espacio-temporal para aprender la representación fNIRS y EEG a través de convolución espacio-temporal de peso compartido de múltiples escalas. Además, para mejorar el aprendizaje de representaciones semánticas asociadas con tareas de estímulo, se propuso un módulo de contraste de consistencia semántica, con el objetivo de maximizar la similitud semántica entre fNIRS y EEG. Amplios experimentos realizados en conjuntos de datos de señales fisiológicas multimodales disponibles públicamente y autorecopilados indican que MRLMC supera a los modelos de última generación. Además, nuestro marco propuesto es capaz de transferir a tareas posteriores de series de tiempo multimodales.
«Solucionador de problemas. Gurú de los zombis. Entusiasta de Internet. Defensor de los viajes sin disculpas. Organizador. Lector. Aficionado al alcohol».