Una investigación de la UC Merced y la Universidad Estatal de Pensilvania reveló que las personas son muy susceptibles a la influencia de la inteligencia artificial (IA) al momento de tomar decisiones críticas, incluso en ocasiones en las que la IA reconoce abiertamente sus propias limitaciones.
El estudio, publicado en Scientific Reports, incluyó dos experimentos que examinaron cómo las personas interactuaban con los sistemas de IA en operaciones simuladas con drones militares. Los hallazgos pintan un panorama preocupante de la susceptibilidad humana a la influencia de la IA, en particular durante contextos de incertidumbre.
Los dos experimentos involucraron a 558 participantes (135 en el primer estudio y 423 en el segundo). Los investigadores encontraron patrones notablemente consistentes de exceso de confianza en las personas: una influencia notable de la IA a la hora de tomar decisiones críticas, inclusive de vida o muerte.
El equipo de investigación diseñó sus experimentos para simular la incertidumbre y la presión de las decisiones militares del mundo real. Para crear una sensación de gravedad en torno a sus decisiones simuladas, los investigadores mostraron primero a los participantes imágenes de civiles inocentes, incluidos niños, junto a la devastación que dejó el ataque de un dron.
Enmarcaron la tarea como un dilema de suma cero: no identificar y eliminar objetivos enemigos podría resultar en víctimas civiles, pero identificar erróneamente a civiles como enemigos significaría matar a personas inocentes.
Los participantes vieron secuencias rápidas de ocho imágenes aéreas, cada una de las cuales se mostró durante sólo 650 milisegundos, marcadas con símbolos enemigos o civiles. Después de hacer su identificación inicial, la IA respondía en forma conversacional.
“Sí, creo que también vi una marca de verificación enemiga”, podría decir. O “No estoy de acuerdo. Creo que esta imagen tenía un símbolo de aliado”. Luego, los participantes tuvieron dos oportunidades para confirmar o cambiar su elección mientras el robot añadía comentarios como “Espero que tengas razón” o “Gracias por cambiar de opinión”.
Detalles de los experimentos
El primer experimento, realizado en un laboratorio con estudiantes universitarios, exploró si la presencia física de un robot influiría en los niveles de confianza de forma diferente a la de uno virtual. En un escenario, los participantes estuvieron acompañados en el laboratorio por un androide de tamaño real, parecido a un humano, que podía girar la cintura y hacer gestos hacia la pantalla.
Este robot, de 1,75 metros de altura, utilizaba expresiones faciales, lenguaje corporal y respuestas conversacionales para interactuar con los participantes. El grupo de comparación interactuó con el mismo robot proyectado en una pantalla. Sorprendentemente, la presencia física del robot no tuvo mucha influencia en la tendencia de los participantes a confiar en su consejo.
El segundo experimento se llevó a cabo en línea con un grupo más grande y demográficamente más diverso de participantes para probar si los diferentes niveles de sofisticación de los robots afectarían la confianza.
Algunos participantes interactuaron con un robot virtual altamente antropomórfico que mostraba comportamientos similares a los humanos, mientras que otros trabajaron con una interfaz de computadora básica que simplemente mostraba respuestas de texto. Incluso en su forma más simple, la IA mantuvo una influencia notable sobre la toma de decisiones humana.
Resultados más relevantes de la influencia de la IA en la toma de decisiones críticas
Cuando una IA no estaba de acuerdo con la identificación inicial de un objetivo por parte de una persona, los participantes cambiaron sus decisiones el 58,3 % de las veces en el primer experimento y el 67,3 % en el segundo, a pesar de que el consejo de la IA era completamente aleatorio.
Lo más preocupante es que, si bien las elecciones iniciales de los participantes fueron correctas aproximadamente el 70 % de las veces, su precisión final se redujo a alrededor del 50 % después de seguir el consejo poco fiable de la IA.
Cuando la IA estuvo de acuerdo con su evaluación inicial, los participantes informaron un aumento del 16 % en la confianza. Sin embargo, cuando se enfrentaron a un desacuerdo de la IA, aquellos que se mantuvieron en sus decisiones originales informaron una caída promedio del 9,48 % en la confianza, incluso cuando su evaluación inicial había sido correcta.
Aún más sorprendente, los participantes que cambiaron de opinión para estar de acuerdo con la IA no mostraron un aumento significativo en la confianza, lo que sugiere que se remitieron a la máquina a pesar de mantener la incertidumbre sobre la elección correcta.
Si bien las interfaces similares a las humanas generaron niveles de confianza ligeramente más altos (67,9 % frente al 65,1 % de las interfaces básicas), el factor más crucial pareció ser la inteligencia percibida de la IA.
Los participantes que calificaron a su compañero de IA como más inteligente tenían más probabilidades de ceder ante su juicio y manifestar una mayor confianza al estar de acuerdo con él, independientemente de su presentación física o virtual.
Relevancia
La Fuerza Aérea de Estados Unidos ya ha probado copilotos con IA para la identificación de lanzamisiles durante misiones simuladas, mientras que el Ejército está desarrollando sistemas de orientación con asistencia de IA para vehículos no tripulados.
Según se informa, Israel ha desplegado sistemas de IA para ayudar a identificar objetivos de bombardeo en zonas densamente pobladas.
A medida que la IA influye cada vez más en decisiones militares letales, comprender y mitigar el exceso de confianza perjudicial se vuelve imperativo.
“Como sociedad, en la que la IA se acelera tan rápidamente, debemos preocuparnos por la posibilidad de un exceso de confianza ”, afirma el autor del estudio, el profesor Colin Holbrook, miembro del Departamento de Ciencias Cognitivas y de la Información de la UC Merced, en una declaración.
Continúa leyendo: ¿Es buena idea generar mi currículum y carta de presentación para una solicitud de empleo desde cero con IA?
Se parte de nuestra comunidad en nuestras redes sociales
