Google presenta SensorLM, que traduce las señales de los sensores en información de salud centrada en el ser humano.

División centrada en la investigación tanto fundamental como aplicada. Google Research Introducido SensorLM , una nueva familia de modelos de base sensor-lenguaje diseñados para mejorar la interpretación de datos de sensores portátiles de alta dimensión. Entrenado con 59.7 millones de horas de información de sensores multimodales de más de 103,000 personas, SensorLM es capaz de generar descripciones detalladas y legibles a partir de señales de sensores complejas, estableciendo un nuevo referente en el análisis de datos de sensores.

Para desarrollar el conjunto de datos de entrenamiento de SensorLM, se recopilaron aproximadamente 2.5 millones de días-persona de datos de sensores anonimizados de 103,643 participantes en 127 países. Estos datos se recopilaron de dispositivos Fitbit y Pixel Watch entre el 1 de marzo y el 1 de mayo de 2024. Todos los participantes dieron su consentimiento informado para el uso de sus datos anonimizados en investigaciones destinadas a promover el conocimiento general en salud y ciencia.

Los investigadores implementaron un flujo de trabajo jerárquico automatizado que genera títulos descriptivos mediante el cálculo de estadísticas, el reconocimiento de patrones y el resumen de eventos directamente desde los datos de los sensores para abordar el desafío de etiquetar datos a gran escala. Este enfoque permitió la creación del mayor conjunto de datos conocido que alinea las entradas de los sensores con el lenguaje, superando la escala de los conjuntos de datos utilizados en investigaciones anteriores.

La arquitectura de SensorLM incorpora y armoniza metodologías de preentrenamiento multimodal ampliamente utilizadas, en particular el aprendizaje contrastivo y el preentrenamiento generativo, en un marco unificado. En la fase de aprendizaje contrastivo, el modelo se entrena para asociar segmentos de datos del sensor con las descripciones textuales adecuadas, seleccionadas entre un grupo de alternativas. 

Este proceso permite al modelo diferenciar con precisión entre diversas actividades físicas o estados fisiológicos, como distinguir entre una natación ligera y un entrenamiento de fuerza. En la fase generativa de preentrenamiento, el modelo aprende a producir descripciones textuales directamente a partir de las entradas de los sensores, lo que mejora su capacidad para transmitir interpretaciones complejas y contextuales de datos de alta dimensión. La integración de estas estrategias de entrenamiento permite a SensorLM obtener una comprensión multimodal completa y matizada de cómo los datos de los sensores se traducen al lenguaje natural.

Experimentos revelan las capacidades avanzadas de SensorLM en clasificación de disparo cero, aprendizaje de pocos disparos y comprensión intermodal

Según Google Research Se evaluó el rendimiento de SensorLM en diversos escenarios reales que involucran reconocimiento de actividad humana y aplicaciones de atención médica, mostrando claras mejoras con respecto a los modelos líderes existentes en estos ámbitos. SensorLM funciona particularmente bien en entornos con datos etiquetados limitados. Demostró sólidas capacidades de clasificación de cero disparos, identificando correctamente 20 actividades diferentes sin necesidad de ajustar el modelo, y mostró un aprendizaje de pocos disparos eficaz, adaptándose rápidamente a nuevas tareas con ejemplos mínimos. Su funcionalidad de recuperación intermodal también facilita la interpretación mutua entre los datos de los sensores y el lenguaje natural, permitiendo a los usuarios buscar patrones de sensores mediante texto o generar descripciones relevantes a partir de las entradas de los sensores, un enfoque que facilita los flujos de trabajo de análisis expertos.

Además de la clasificación, SensorLM es capaz de generar resúmenes textuales estructurados y contextuales, basándose únicamente en las entradas de sensores portátiles. Las comparaciones experimentales indican que estos resultados son, en general, más coherentes y precisos que los generados por modelos lingüísticos no específicos de dominio. La investigación también observó que el rendimiento de SensorLM escala de forma consistente con el aumento de los datos de entrenamiento, el tamaño del modelo y los recursos computacionales, en consonancia con los principios previamente establecidos en el escalamiento de modelos. Estos hallazgos sugieren que el enfoque se encuentra en una fase inicial de su potencial y justifica una exploración continua.

El desarrollo de SensorLM introduce un marco para interpretar datos complejos de sensores portátiles mediante lenguaje natural. Esto es posible gracias a un nuevo método de subtitulado jerárquico y a lo que se considera el mayor conjunto de datos de lenguaje sensor recopilado hasta la fecha. Como resultado, la familia de modelos SensorLM supone un avance en la mejora de la accesibilidad y la utilidad de los datos personales de salud. Al permitir que las máquinas interpreten señales fisiológicas mediante el lenguaje, este trabajo sienta las bases para una retroalimentación de salud más personalizada e informativa. Las futuras iniciativas explorarán la expansión a ámbitos como la elaboración de perfiles metabólicos y la monitorización avanzada del sueño, con el objetivo más amplio de respaldar herramientas de bienestar personalizadas, sistemas de monitorización clínica y asistentes digitales de salud capaces de interactuar con lenguaje natural. El desarrollo y la implementación de futuros productos basados en esta investigación podrían estar sujetos a validación clínica y supervisión regulatoria.