Dos investigadores de la New York University y la Universidad Pompeu Fabra han desarrollado una red neuronal capaz de aprender nuevos conceptos y asociarlos con otros ya existentes. Los autores afirman que el avance puede servir para mejorar las capacidades de herramientas de IA generativa como el ChatGPT.
Los humanos tenemos la capacidad de aprender un concepto nuevo y, una vez adquirido, comprender los diferentes contextos y expresiones en los que se usa. Por ejemplo, cuando un niño o niña aprende qué significa “saltar”, también es capaz de saber de inmediato qué quiere decir“ saltar dos veces alrededor de la habitación” o “saltar con las manos en alto”. Esta capacidad se denomina generalización composicional.
Ahora, investigadores de la New York University (NYU) y de la Universidad Pompeu Fabra (UPF) acaban de crear una técnica pionera que tiene el potencial de desarrollar la generalización composicional en los sistemas computacionales al mismo nivel que en los seres humanos o, en algunos casos, incluso a un nivel superior.
Los autores señalan que este descubrimiento, que puede servir para mejorar las capacidades de herramientas de inteligencia artificial (IA) generativa como el ChatGPT, se expone en un artículo publicado en Nature.
La tecnología desarrollada por los investigadores de la NYU y la UPF llega después de cerca de cuatro décadas de trabajo de la comunidad científica para desarrollar la capacidad de generalización composicional entre las máquinas. A finales de los ochenta, Jerry Fodor y Zenon Pylyshyn, filósofos y científicos cognitivos, ya plantearon que las redes neuronales artificiales –los motores que impulsan la inteligencia artificial y el aprendizaje automático– no son capaces de hacer estas conexiones o generalizaciones composicionales.
Desde entonces, se han desarrollado distintas formas de incentivar esta capacidad en las redes neuronales y tecnologías afines, pero con resultados desiguales. Así pues, a día de hoy, aún se mantiene vivo el debate sobre cómo lograrlo.
Hemos demostrado, por primera vez, que una red neuronal genérica puede imitar o superar la generalización sistemática humana en una comparación cara a cara
Según explica Brenden Lake, profesor del Centro de Ciencia de Datos y del Departamento de Psicología de la NYU y coautor del trabajo, en el nuevo estudio “hemos demostrado, por primera vez, que una red neuronal genérica puede imitar o superar la generalización sistemática humana en una comparación cara a cara”.
La técnica desarrollada se denomina Meta-learning for Compositionality (MLC), que se centra en entrenamiento de redes tecnológicas neuronales para mejorar la generalización composicional de los sistemas computacionales a través de la práctica.
Los creadores de los sistemas existentes hasta hoy, incluidos los modelos lingüísticos usados por tecnologías de IA generativa, partían del supuesto que la generalización composicional de las tecnologías surgiría a partir de métodos de entrenamiento estándar, o bien habían desarrollado arquitecturas especiales para lograr que las máquinas adquirieran estas capacidades. En cambio, la MLC muestra que las máquinas pueden desarrollar las habilidades de generalización composicional a partir de la práctica explícita de ejercicios que la ayuden a adquirirla.
Marco Baroni, investigador profesor e investigador ICREA de Ciencias del Lenguaje de la UPF y otro coautor del estudio opina que “la tecnología MLC puede mejorar aún más las habilidades composicionales de los grandes modelos lingüísticos como ChatGPT, que siguen teniendo problemas con la generalización composicional, aunque hayan mejorado en los últimos años”.
MLC parte de un innovador procedimiento de aprendizaje en el que una red neuronal se actualiza continuamente para mejorar sus habilidades a lo largo de una serie de fases. En una fase, la tecnología recibe una palabra nueva y se le pide que la utilice en nuevas composiciones. Por ejemplo, se le pide que tome la palabra "saltar" y luego cree nuevas combinaciones, como “saltar dos veces” o “saltar dos veces a la derecha”. A continuación, el MLC recibe, en una nueva fase, una palabra diferente, y así sucesivamente, mejorando cada vez las habilidades composicionales de la red.
Para probar la eficacia de esta tecnología Lake y Baroni han realizado una serie de experimentos con participantes humanos donde les planteaban tareas idénticas a las realizadas por el sistema MLC.
Además, en lugar de aprender el significado de palabras reales –términos que las personas ya conocerían–, tuvieron que aprender el significado de términos sin sentido (por ejemplo,“zup” y “dax”), definidos por los investigadores, y aprender a aplicarlos de distintas maneras.
El rendimiento del MLC fue igual de bueno, y en algunos casos mejor, que el de los participantes humanos. Tanto el MLC como las personas también superaron a ChatGPT y GPT-4, que, a pesar de mostrar capacidades sorprendes en términos generales, mostraron dificultades con esta tarea de aprendizaje vinculada a la generalización composicional”.
Referencia:
Lake, B.M., Baroni, M. “Human-like systematic generalization through a meta-learning neural network”. Nature (2023).
Esta actuación, que proporciona un innovador visualizador de imágenes, forma parte de las labores de asesoramiento experto científico-técnico en la gestión de la emergencia y la recuperación de las zonas afectadas por la DANA que presta el CSIC.
Las herramientas de código abierto están transformando el manejo de la esta enfermedad metabólica, a través de páncreas artificiales que permiten un control automatizado y personalizado de la glucosa. Este avance no solo mejora la calidad de vida de las personas con diabetes, sino que también abre el camino hacia tecnologías de salud accesibles y colaborativas.
