Traducido por el equipo de SOTT.net

Un nuevo sistema de inteligencia artificial llamado descodificador semántico puede traducir la actividad cerebral de una persona -mientras escucha una historia o se imagina contándola- en un flujo continuo de texto. El sistema desarrollado por investigadores de la Universidad de Texas en Austin podría ayudar a las personas mentalmente conscientes pero físicamente incapaces de hablar, como las debilitadas por accidentes cerebrovasculares, a volver a comunicarse de forma inteligible.
brain thoughts stories
© Jerry Tang/Martha Morales/The University of Texas at AustinUn nuevo sistema de inteligencia artificial llamado decodificador semántico puede traducir la actividad cerebral de una persona -mientras escucha una historia o imagina en silencio que la cuenta- en un flujo continuo de texto.
El estudio, publicado en la revista Nature Neuroscience, ha sido dirigido por Jerry Tang, estudiante de doctorado en informática, y Alex Huth, profesor adjunto de neurociencia e informática en la UT Austin. El trabajo se basa en parte en un modelo de transformador similar al que utilizan ChatGPT, de Open AI, y Bard, de Google.

A diferencia de otros sistemas de decodificación del lenguaje en desarrollo, este sistema no requiere que los sujetos se sometan a implantes quirúrgicos, lo que hace que el proceso no sea invasivo. Tampoco es necesario que los participantes utilicen únicamente palabras de una lista prescrita. La actividad cerebral se mide con un escáner de IRMf tras un entrenamiento exhaustivo del decodificador, en el que el individuo escucha horas de podcasts en el escáner. Más tarde, siempre que el participante esté dispuesto a que se decodifiquen sus pensamientos, su audición de una nueva historia o su imaginación contando una historia permite a la máquina generar el texto correspondiente a partir únicamente de la actividad cerebral.

"Para un método no invasivo, esto supone un verdadero salto adelante respecto a lo que se ha hecho hasta ahora, que suele consistir en palabras sueltas o frases cortas", explica Huth. "Estamos consiguiendo que el modelo decodifique un lenguaje continuo durante largos periodos de tiempo con ideas complicadas".

El resultado no es una transcripción palabra por palabra. En su lugar, los investigadores lo diseñaron para captar lo esencial de lo que se dice o piensa, aunque de forma imperfecta. Aproximadamente la mitad de las veces, cuando el decodificador ha sido entrenado para monitorizar la actividad cerebral de un participante, la máquina produce un texto que se acerca mucho (y a veces con precisión) al significado intencionado de las palabras originales.

Por ejemplo, en los experimentos, cuando un participante escuchaba a un orador decir: "Todavía no tengo el carné de conducir", sus pensamientos se traducían como: "Todavía ni siquiera ha empezado a aprender a conducir". Al escuchar las palabras: "No sabía si gritar, llorar o salir corriendo. En lugar de eso, dije: "¡Déjame en paz!", esto se decodificó como: "Empecé a gritar y a llorar, y entonces ella sólo dijo: 'Te he dicho que me dejes en paz.'"

perceived predictions mind reading
© The University of Texas at AustinEsta imagen muestra las predicciones del decodificador a partir de grabaciones cerebrales recogidas mientras un usuario escuchaba cuatro historias. Se seleccionaron y anotaron manualmente segmentos de ejemplo para mostrar comportamientos típicos del decodificador. El decodificador reproduce exactamente algunas palabras y frases y capta la esencia de muchas otras.
A partir de una versión anterior del artículo, que apareció como preimpresión en Internet, los investigadores abordaron cuestiones sobre el posible uso indebido de la tecnología. El artículo describe cómo la decodificación sólo funcionó con participantes cooperativos que habían participado voluntariamente en el entrenamiento del decodificador. Los resultados de las personas en las que el decodificador no había sido entrenado eran ininteligibles, y si los participantes en los que el decodificador había sido entrenado oponían resistencia posteriormente -por ejemplo, pensando otras cosas- los resultados eran igualmente inutilizables.

"Nos tomamos muy en serio la posibilidad de que pudiera usarse con malos fines y hemos trabajado para evitarlo", afirma Tang. "Queremos asegurarnos de que la gente sólo utilice este tipo de tecnologías cuando lo desee y le sirva de ayuda".

Además de hacer que los participantes escucharan o pensaran en historias, los investigadores pidieron a los sujetos que vieran cuatro vídeos cortos y silenciosos mientras estaban en el escáner. El decodificador semántico fue capaz de utilizar su actividad cerebral para describir con precisión ciertos acontecimientos de los vídeos.

En la actualidad, el sistema no es práctico para su uso fuera del laboratorio debido a su dependencia del tiempo necesario en una máquina de IRMf. Pero los investigadores creen que este trabajo podría trasladarse a otros sistemas de imagen cerebral más portátiles, como la espectroscopia funcional del infrarrojo cercano (fNIRS).

"La fNIRS mide dónde hay más o menos flujo sanguíneo en el cerebro en distintos momentos, lo que resulta ser exactamente el mismo tipo de señal que mide la fMRI", explica Huth. "Por lo tanto, nuestro planteamiento exacto debería trasladarse a la fNIRS", aunque observó que la resolución con fNIRS sería menor.

Este trabajo ha contado con el apoyo de la Fundación Whitehall, la Fundación Alfred P. Sloan y el Fondo Burroughs Wellcome.

Los otros coautores del estudio son Amanda LeBel, antigua ayudante de investigación en el laboratorio de Huth, y Shailee Jain, estudiante de postgrado de informática en la Universidad de Texas en Austin.

Alexander Huth y Jerry Tang han presentado una solicitud de patente PCT relacionada con este trabajo.

Para más información sobre el proyecto, visite el comunicado de prensa completo en College of Natural Sciences.