Geyto Research · Juan Ferreiro · Ensayo · · 2 min de lectura
Confiar en el sistema. Uso, mal uso y desuso de la automatización
Confiar de más o de menos en un sistema tiene costos. Qué dice la investigación sobre la confianza en la automatización y qué implica para adoptar IA.
En breve: cuando una organización incorpora un sistema que sugiere o decide, el problema no es sólo que la gente lo use. También importa cuánto confía en él. Confiar de menos lleva a ignorar una herramienta útil; confiar de más lleva a aceptar errores sin verlos. La investigación sobre automatización propone un objetivo distinto: una confianza calibrada, que corresponda con lo que el sistema realmente puede hacer.
Cuatro formas de relacionarse con un sistema
En 1997, Raja Parasuraman y Victor Riley ordenaron la relación entre personas y automatización en cuatro palabras:
- Uso: recurrir al sistema cuando conviene.
- Mal uso (misuse): confiar de más, aceptar sus resultados sin control o dejar de monitorearlo.
- Desuso (disuse): no usarlo cuando sí convendría, por ejemplo por desconfianza después de algunos errores o falsas alarmas.
- Abuso (abuse): automatizar sin considerar el efecto sobre quienes trabajan con el sistema.
La clasificación es útil porque muestra que la adopción no es una variable de "más o menos uso". Un sistema muy usado puede estar mal usado.
Calibrar, no maximizar
John Lee y Katrina See revisaron la investigación sobre confianza en la automatización y propusieron una idea central: el objetivo es una confianza apropiada. Es decir, una confianza que se ajuste a la capacidad real del sistema en cada situación.
Para eso, las personas necesitan entender qué hace el sistema, cómo llega a sus resultados y en qué condiciones falla. Sin esa información, la confianza se forma por intuición, por experiencias aisladas o por lo que dicen los demás.
Por qué la IA hace esto más urgente
Las herramientas de IA generativa producen resultados que parecen correctos aunque no lo sean. Eso hace más difícil detectar errores y más fácil confiar de más. Al mismo tiempo, una mala experiencia puede llevar a un equipo entero al desuso.
Lisanne Bainbridge advirtió hace cuarenta años que la automatización deja a las personas con las tareas más difíciles: supervisar, detectar el error y actuar en el caso excepcional. Si la herramienta hace el trabajo rutinario, la práctica para esos momentos se pierde.
La confianza como capacidad situada
La confianza calibrada no es una actitud que se pide en una comunicación. Es una capacidad que se construye en el lugar donde ocurre el trabajo:
- conociendo los casos en los que el sistema se equivoca;
- practicando la verificación con ejemplos reales;
- sabiendo quién decide cuando el sistema y la persona no coinciden;
- revisando juntos los errores sin buscar culpables.
Qué hacer con esto
- Mostrar los límites del sistema desde el principio, no sólo sus beneficios.
- Incluir en la formación casos en los que la herramienta falla.
- Medir también el mal uso y el desuso, no sólo la frecuencia de uso.
- Definir con claridad quién responde por cada resultado.
Más en IA generativa en el trabajo y en Geyto Learning.
Geyto Research publica ensayos, revisiones de evidencia y notas de mercado sobre lo que pasa después del go-live.
Preguntas frecuentes
¿Qué es el mal uso de la automatización?
Es confiar en un sistema más de lo que su desempeño justifica: aceptar sus resultados sin revisar o dejar de controlar lo que hace. Parasuraman y Riley lo distinguieron del desuso, que es no usarlo cuando sí convendría.
¿Qué es una confianza bien calibrada?
Es una confianza que se ajusta a lo que el sistema realmente puede hacer en cada situación. Lee y See plantearon que el objetivo no es confiar más, sino confiar en la medida justa.
¿Cómo se construye esa confianza?
Mostrando cómo funciona el sistema y dónde falla, practicando con casos reales y dando a las personas la posibilidad de verificar los resultados.
Fuentes
- Parasuraman, R. y Riley, V. (1997). Humans and automation: Use, misuse, disuse, abuse. Human Factors, 39(2), 230–253.
- Lee, J. D. y See, K. A. (2004). Trust in automation: Designing for appropriate reliance. Human Factors, 46(1), 50–80.
- Bainbridge, L. (1983). Ironies of automation. Automatica, 19(6), 775–779.
Compartir