Los modelos de lenguaje de gran tamaño (LLM), un tipo de IA que analiza el texto, pueden predecir los resultados de los estudios neurocientíficos propuestos con mayor precisión que los expertos humanos, según un estudio dirigido por investigadores del UCL (University College London).
Los hallazgos, publicados en Nature Human Behaviour, demuestran que los LLM entrenados en grandes conjuntos de datos de texto pueden extraer patrones de la literatura científica, lo que les permite pronosticar resultados científicos con una precisión sobrehumana.
De acuerdo con los autores del estudio, esto resalta su potencial como herramientas poderosas para acelerar la investigación, yendo mucho más allá de la mera recuperación de conocimientos.
El equipo de investigación internacional comenzó su estudio desarrollando BrainBench, una herramienta para evaluar qué tan bien los LLM podían predecir resultados en neurociencia .
BrainBench consta de numerosos pares de resúmenes de estudios de neurociencia. En cada par, una versión es un resumen de estudio real que describe brevemente los antecedentes de la investigación, los métodos utilizados y los resultados del estudio. En la otra versión, los antecedentes y los métodos son los mismos, pero los resultados han sido modificados por expertos en el campo de la neurociencia relevante para obtener un resultado plausible pero incorrecto.
Los investigadores probaron 15 LLM de propósito general diferentes y 171 expertos en neurociencia humana (quienes habían pasado una prueba de detección para confirmar su experiencia) para ver si la IA o la persona podían determinar correctamente cuál de los dos resúmenes emparejados era el real con los resultados reales del estudio.
Los resultados de los LLM fueron más que prometedores
Todos los LLM superaron a los neurocientíficos: los LLM tuvieron una precisión promedio del 81 % y los humanos del 63 %. Incluso cuando el equipo de estudio restringe las respuestas humanas sólo a aquellos con el mayor grado de experiencia en un dominio determinado de la neurociencia (según la experiencia autodeclarada), la precisión de los neurocientíficos aún estuvo por debajo de la de los LLM, con un 66 %.
Además, los investigadores descubrieron que cuando los LLM tenían más confianza en sus decisiones, era más probable que estuvieran en lo cierto. Los investigadores afirman que este hallazgo abre el camino para un futuro en el que los expertos humanos podrían colaborar con modelos bien calibrados.
Los investigadores adaptaron entonces un LLM existente, (una versión de Mistral, un LLM de código abierto) entrenando específicamente con literatura sobre neurociencia. El nuevo LLM especializado en neurociencia, al que llamaron Brain GPT, fue incluso mejor en la predicción de resultados de estudios neurocientíficos, alcanzando una precisión del 86 %, una mejora de tres puntos porcentuales con respecto a la versión de propósito general de Mistral.
El autor principal, el profesor Bradley Love (UCL Psychology & Language Sciences), pronosticó que, a la luz de los resultados, no pasará mucho tiempo antes de que los científicos utilicen herramientas de IA para diseñar el experimento más eficaz para su requerimiento.
En el estudio participaron investigadores de la UCL, la Universidad de Cambridge, la Universidad de Oxford, el Instituto Max Planck de Neurobiología del Comportamiento (Alemania), la Universidad Bilkent (Turquía) y otras instituciones del Reino Unido, Estados Unidos, Suiza, Rusia, Alemania, Bélgica, Dinamarca, Canadá, España y Australia.
Continúa leyendo: Phishing en Google: cibercriminales utilizan Calendar y Drawings para difundir enlaces maliciosos
Se parte de nuestra comunidad en nuestras redes sociales
