Эксперт по факторам человека объясняет риски и проблемы контроля над автоматизированными системами в эпоху ИИ

‌ ‌ ‌ ‌ ‌ ‌ ‌ Ron McLeod, de Glasgow, Escocia, y especialista jubilado en el campo de los “factores humanos”, dedicó su carrera a estudiar cómo el cerebro humano y la automatización colaboran. Knowable Magazine habló con McLeod sobre el pasado, el presente y el futuro de la supervisión de la automatización a medida que evoluciona en la era de la IA. Esta entrevista ha sido editada para lograr mayor claridad. ¿Cómo complica la IA la supervisión de la automatización? Hay cuatro niveles posibles en los que se puede automatizar algo: la adquisición de información, la interpretación de la información, la toma de decisiones y la ejecución de acciones. La IA se puede aplicar a cualquiera de ellos. La IA generativa, por ejemplo, se sitúa principalmente en el ámbito de la adquisición de información. Hay un trabajo muy interesante sobre la IA publicado recientemente por Steven Shaw y Gideon Nave en la Wharton School de la Universidad de Pensilvania. Partieron de los dos estilos de pensamiento definidos por el difunto psicólogo y premio Nobel Daniel Kahneman en su libro Thinking, Fast and Slow (Pensar, rápido y lento). El sistema 1 es intuitivo; no requiere esfuerzo. El sistema 2 es lento y se toma su tiempo para analizar las cosas a fondo. Shaw y Nave crearon una IA que daba respuestas erróneas y, en más de la mitad de los casos, la gente simplemente las aceptaba. Sugieren que, cuando se utiliza la IA como herramienta, existe un tercer tipo de pensamiento, al que denominan “rendición cognitiva”: es decir, cuando uno simplemente deja de pensar y permite que la IA le dé la respuesta. ¿En qué otros ámbitos podría plantearse el tema de la supervisión de la automatización? En la industria y la fabricación. Pasé diez años trabajando en el sector del petróleo y el gas, y allí tienen una larga tradición de automatización de la sala de control. Y cualquier aspecto relacionado con el control de vehículos. Ya sean automóviles, barcos o aviones, todos están pasando por el mismo proceso. Otro ámbito es la atención de la salud: por ejemplo, donde la IA ayudará a los radiólogos y es posible que estos no tengan la confianza necesaria para ignorar sus recomendaciones. ¿Qué tipo de antecedentes influyen en su comprensión de los retos que plantea la supervisión de la automatización en diversos sectores? En 1979, con el accidente nuclear de Three Mile Island, fue la primera vez que se tomaron realmente en serio estas cuestiones relacionadas con los factores humanos. Con una información incompleta e inexacta, los operadores pensaron que existía el riesgo de que se inundara el sistema, por lo que cortaron el suministro de agua de emergencia. El núcleo quedó al descubierto y se sobrecalentó. Afortunadamente, nadie resultó herido. Si no hubieran hecho nada, la central se habría apagado automáticamente de forma segura. Al principio se culpó a los operadores, pero más tarde se comprendió que estos habían actuado de forma perfectamente lógica, basándose en la información de que disponían. ¿Qué otros problemas concretos surgen cuando se supervisan sistemas que están mayoritariamente automatizados? Uno de los problemas fundamentales tiene que ver con el equilibrio de autoridad entre las personas y la automatización. ¿Quién tiene realmente el control? Se trata de una cuestión habitual: ¿en qué condiciones es admisible que los humanos intervengan en la automatización, o que la automatización prevalezca sobre los humanos? En el automóvil, por ejemplo, cuando el piloto automático está activado, si piso el freno, se desactiva y vuelvo a tener el control. ¿Qué deberían hacer los fabricantes de automóviles para facilitar esta transición a los conductores? Como mínimo, ya sea al conducir un vehículo, ejercer de médico o supervisar una sala de control, no se me ocurre ninguna razón por la que no deba existir un paquete de formación en línea que repase la información básica y te someta a algunas situaciones hipotéticasI Estos sistemas supervisarían a los supervisores humanos que se supone que deben vigilar la conducción automatizada. Se ha dedicado mucho esfuerzo a la investigación y el desarrollo de productos para monitorizar su estado de alerta. Y lo hacen, por ejemplo, supervisando aspectos como los movimientos oculares o los movimientos de la cabeza. ¿Qué más se puede hacer para ayudar a los supervisores humanos a mantenerse atentos y ser eficaces en otras situaciones automatizadas? La cuestión fundamental aquí no es realmente tan difícil. Se trata simplemente de un buen diseño. Si te das cuenta de que estás cambiando el papel de las personas de una función manual a una de supervisión, entonces, por parte del sistema, diseñas la interfaz de usuario basándote en comprender: ¿Cuál es la tarea de la persona? ¿Qué información necesita? ¿Cómo optimizamos eso? Este artículo apareció originalmente en Knowable en español, una publicación sin ánimo de lucro dedicada a poner el conocimiento científico al alcance de todos. Suscríbase al boletín de Knowable en español.