Психология контроля: как ошибки в дизайне систем с ИИ приводят к катастрофам

A medida que las máquinas realizan cada vez más tareas —especialmente ahora, con la IA—, las personas pasan cada vez más de ser controladores manuales a supervisores. Los diseños deben tener en cuenta la psicología humana o se corre el riesgo de cometer errores desastrosos. La automatización está presente en todas partes, desde el piloto automático de los aviones hasta los ciclos de la lavadora de su casa. Y con la llegada de la inteligencia artificial, las computadoras y las máquinas están asumiendo cada vez más tareas. Eso no significa necesariamente que los puestos de trabajo humanos desaparezcan, sino que cambian: se pasa de realizar la tarea en sí a supervisar a la máquina que la lleva a cabo, afirma Ron McLeod, de Glasgow, Escocia. McLeod, especialista jubilado en el campo de los "factores humanos", dedicó su carrera a estudiar cómo el cerebro humano y la automatización colaboran —o no lo hacen— en entornos industriales como las salas de control de las refinerías de petróleo. McLeod escribió un libro, publicado en febrero de 2026, sobre este tema: Transitioning to Autonomy: The Psychology of Human Supervisory Control (La transición hacia la autonomía: la psicología del control supervisor humano). En el ámbito laboral, la IA, los robots y la automatización ofrecen ventajas potenciales, pero también limitaciones, tal y como explican las sociólogas de la Universidad de Harvard Ya-Wen Lei y Rachel Kim en el Annual Review of Sociology. Las herramientas de IA, señalan, pueden resultar opacas o simplemente erróneas, y los trabajadores humanos no siempre pueden anular sus decisiones, lo que deja a los empleados desmotivados y frustrados. La transición hacia la supervisión plantea retos tanto tecnológicos como psicológicos, postula McLeod. La mente humana se aburre y se distrae, y no siempre está preparada para entrar en acción si la máquina necesita ayuda. Pero eso es solo una parte. Los sistemas, ya sean salas de control, cabinas de mando o árbitros deportivos automáticos, deben diseñarse para funcionar eficazmente con los seres humanos, no para dejarlos al margen. Y los ingenieros y diseñadores no siempre saben cómo equilibrar los sensores y las acciones de los sistemas automatizados con las necesidades y capacidades de las personas que están al mando. Cuando la supervisión de la automatización falla, ya sea en el momento de la ejecución o en las fases previas de diseño o formación, los resultados pueden ser desastrosos. Knowable Magazine habló con McLeod sobre el pasado, el presente y el futuro de la supervisión de la automatización a medida que evoluciona en la era de la IA. Esta entrevista ha sido editada para lograr mayor claridad. ¿Qué lo inspiró a escribir este libro? Desde que era estudiante universitario a finales de los años setenta, me ha interesado la disciplina aplicada de los factores humanos. Es una combinación de psicología, ingeniería, sociología y otras ciencias. Intentamos comprender cómo actúan los seres humanos en relación con los sistemas técnicos y cómo podemos apoyarles mejor. Como parte de este trabajo, ya conocía el control de supervisión; lo enseñaba a otras personas como parte de mi función en Shell International. Pero la primera vez que experimenté realmente esa transición por mí mismo fue en 2022, cuando adquirí un vehículo capaz de conducir solo. La empresa no me proporcionó ninguna formación. Me dieron las llaves, me enseñaron a usar las luces intermitentes y a encender la radio, pero no me dijeron absolutamente nada sobre la conducción autónoma. No fue hasta los días siguientes, mientras intentaba estudiar el manual y las instrucciones de ayuda integradas en el vehículo, cuando me di cuenta de cómo se suponía que funcionaba esa opción. Pero seguía sin tenerlo claro. Hay una autopista cerca de mi casa, con un límite de velocidad de 70 millas por hora, y hay una curva cerrada en la que la velocidad baja a 40. Yo sé que se acerca esa curva — ¿pero lo sabe el vehículo?—. Si la carretera está cubierta de hielo, ¿el vehículo va a reducir la velocidad? No lo sé. Tengo que estar constantemente atento, tomando estas decisiones mentales: ¿intervengo o no? El problema es que la automatización es realmente fiable y no hay mucho que hacer. El cerebro no está involucrado en la tarea. Y es difícil prestar atención, recabar información y comprender lo que está sucediendo si no estás mentalmente involucrado en la tarea. Ese periodo de transición hacia el papel de supervisión, que es mentalmente exigente, es lo que me interesa. Los fabricantes tienen que empezar a hacer bien estas cosas. Eso es lo que me llevó a escribir el libro. ¿Cómo complica la IA la supervisión de la automatización? La automatización puede incluir o no IA. Sin duda, la IA aporta nuevos elementos. Hay cuatro niveles posibles en los que se puede automatizar algo: la adquisición de información, la interpretación de la información, la toma de decisiones y la ejecución de acciones. La IA se puede aplicar a cualquiera de ellos. La IA generativa, por ejemplo, se sitúa principalmente en el ámbito de la adquisición de información. Hay un trabajo muy interesante sobre la IA publicado recientemente por Steven Shaw y Gideon Nave en la Wharton School de la Universidad de Pensilvania. Partieron de los dos estilos de pensamiento definidos por el difunto psicólogo y premio Nobel Daniel Kahneman en su libro Thinking, Fast and Slow (Pensar, rápido y lento). El sistema 1 es intuitivo; no requiere esfuerzo. El sistema 2 es lento y se toma su tiempo para analizar las cosas a fondo. Shaw y Nave crearon una IA que daba respuestas erróneas y, en más de la mitad de los casos, la gente simplemente las aceptaba. Sugieren que, cuando se utiliza la IA como herramienta, existe un tercer tipo de pensamiento, al que denominan "rendición cognitiva": es decir, cuando uno simplemente deja de pensar y permite que la IA le dé la respuesta. Lo que más me interesa son los casos en los que la automatización y la persona controlan elementos físicos en tiempo real, lo que significa que el ser humano tiene la oportunidad de supervisar y, si cree que las cosas van un poco mal, de intervenir. Esto está ocurriendo en todas partes. Hemos hablado de los vehículos autónomos. ¿En qué otros ámbitos podría plantearse el tema de la supervisión de la automatización? En la industria y la fabricación. Pasé diez años trabajando en el sector del petróleo y el gas, y allí tienen una larga tradición de automatización de la sala de control. Y cualquier aspecto relacionado con el control de vehículos. Ya sean automóviles, barcos o aviones, todos están pasando por el mismo proceso. Otro ámbito es la atención de la salud: por ejemplo, donde la IA ayudará a los radiólogos y es posible que estos no tengan la confianza necesaria para ignorar sus recomendaciones. Hace poco conocí a un anestesista que me contó que, en un principio, se le formó para monitorizar manualmente los signos vitales de un paciente y administrar anestésicos, pero hoy en día todo es automático. Él se limita a sentarse allí y vigilar los valores. Y en cirugía también se va a introducir la automatización. Hoy en día, según tengo entendido, el cirujano sigue teniendo el control, pero no estamos muy lejos de que la autoridad para realizar una operación recaiga en alguna tecnología. Y los cirujanos tendrán que pasar por la misma transición, de realizar la cirugía manualmente a convertirse en supervisores de la tecnología, con exactamente los mismos problemas que en otros casos de automatización. ¿Qué tipo de antecedentes influyen en su comprensión de los retos que plantea la supervisión de la automatización en diversos sectores? En 1979, con el accidente nuclear de Three Mile Island, fue la primera vez que se tomaron realmente en serio estas cuestiones relacionadas con los factores humanos. Este accidente se debió a una serie de fallos en el sistema de refrigeración de la central, pero un factor determinante fue una sala de control mal diseñada. Una válvula de alivio de presión se atascó en posición abierta, pero el indicador de la sala de control mostraba que estaba cerrada. Los operadores no disponían de ningún indicador del nivel de agua que cubría el núcleo del reactor, ya que se suponía que este nivel no debía variar. Con una información incompleta e inexacta, los operadores pensaron que existía el riesgo de que se inundara el sistema, por lo que cortaron el suministro de agua de emergencia. El núcleo quedó al descubierto y se sobrecalentó. Afortunadamente, nadie resultó herido. Si no hubieran hecho nada, la central se habría apagado automáticamente de forma segura. Al principio se culpó a los operadores, pero más tarde se comprendió que estos habían actuado de forma perfectamente lógica, basándose en la información de que disponían. Así que ese fue el primer verdadero momento revelador sobre parte de la complejidad psicológica. Otro ejemplo fue la pérdida del Airbus de Air France que se estrelló cuando volaba de Río de Janeiro a París en 2009. Hubo una serie de problemas relacionados con el factor humano, entre ellos un diseño de la cabina de mando que no proporcionaba a los pilotos la información necesaria, así como una formación de los pilotos y unos protocolos de emergencia ineficaces. He encontrado varios casos como estos. Una y otra y otra vez, cuando los sistemas no son fáciles de usar, las cosas salen mal y la gente comete errores. Los responsables de las empresas que implantan la automatización dan por sentado que el diseño será sencillo basándose en el sentido común, pero no siempre es así. ¿Qué otros problemas concretos surgen cuando se supervisan sistemas que están mayoritariamente automatizados? Uno de los problemas fundamentales tiene que ver con el equilibrio de autoridad entre las personas y la automatización. ¿Quién tiene realmente el control? Esto salió a relucir durante el torneo de tenis de Wimbledon de 2025. Era la primera vez que Wimbledon otorgaba plena autoridad a un sistema automatizado de detección de líneas, llamado Hawk-Eye, para decidir si las pelotas estaban "dentro" o "fuera". Era la cuarta ronda del individual femenino, entre Anastasia Pavlyuchenkova y Sonay Kartal. Kartal golpeó una pelota que estaba claramente fuera, pero el sistema automatizado no la señaló como tal. Las jugadoras lo vieron, los árbitros lo vieron, todo el mundo que lo veía por televisión pudo ver que estaba fuera, pero el árbitro no tenía autoridad para anular la decisión del sistema automatizado. El árbitro hizo que las jugadoras repitieran el punto, y Pavlyuchenkova perdió ese juego, aunque acabó ganando el partido. Resultó ser un error humano: el sistema se había apagado accidentalmente. Las autoridades se sintieron muy avergonzadas y su reacción instintiva —en lugar de reconocer que se enfrentaban a un sistema complejo que dependía del comportamiento humano— fue dar una garantía general de que habían introducido cambios para evitar que se repitiera el mismo error. Pero al día siguiente se produjo otro error de decisión. No habían aprendido la lección correcta: el sistema no es fiable al 100 %, por lo que sigue siendo necesario contar con las personas. Se trata de una cuestión habitual: ¿en qué condiciones es admisible que los humanos intervengan en la automatización, o que la automatización prevalezca sobre los humanos? En el automóvil, por ejemplo, cuando el piloto automático está activado, si piso el freno, se desactiva y vuelvo a tener el control. Me permite "anularlo". ¿Qué deberían hacer los fabricantes de automóviles para facilitar esta transición a los conductores? Así que, en mi vehículo, en cuanto quito las manos del volante, paso a desempeñar ese papel de supervisión. Necesito información diferente. No necesito saber en qué marcha voy; ni siquiera necesito saber a qué velocidad voy. Necesito saber quién tiene el control, ¿yo o el automóvil? Y necesito saber qué está pensando el vehículo, ¿puede detectar una amenaza inminente? Como mínimo, ya sea al conducir un vehículo, ejercer de médico o supervisar una sala de control, no se me ocurre ninguna razón por la que no deba existir un paquete de formación en línea que repase la información básica y te someta a algunas situaciones hipotéticas. En lo que respecta específicamente a los vehículos, la Junta Nacional de Seguridad en el Transporte de Estados Unidos (NTSB) celebró recientemente una reunión tras las investigaciones de dos colisiones mortales ocurridas en 2024, en las que unos SUV Ford Mustang en modo de conducción parcialmente automatizada chocaron contra vehículos que estaban parados en la autopista. En ambos casos, los conductores de los Ford se encontraban en estado de ebriedad o distraídos y no supervisaban la conducción automatizada del SUV. La NTSB recomendó a los fabricantes de automóviles que instalaran sistemas para reducir la posibilidad de que los conductores se desconectaran o se volvieran complacientes con la automatización. Estos sistemas supervisarían a los supervisores humanos que se supone que deben vigilar la conducción automatizada. Se ha dedicado mucho esfuerzo a la investigación y el desarrollo de productos para monitorizar su estado de alerta. Y lo hacen, por ejemplo, supervisando aspectos como los movimientos oculares o los movimientos de la cabeza. Un ejemplo relacionado es que, durante muchos años, el sector ferroviario de algunos países ha recurrido a un dispositivo de "vigilancia" para garantizar que el maquinista no se haya quedado dormido, dada la monotonía de su tarea. Consiste en una alarma sonora que suena cada 30 segundos. El maquinista debe pulsar un botón para silenciarla. Una tecnología bastante rudimentaria, pero aparentemente eficaz para asegurarse de que el maquinista esté despierto. Y no todo el mundo va a tener las habilidades cognitivas necesarias para conducir como supervisor. ¿Debería incluirse en el examen de conducir una pregunta sobre si se tiene la capacidad mental para tomar esas decisiones? No lo sé, pero debería investigarse más al respecto. ¿Qué más se puede hacer para ayudar a los supervisores humanos a mantenerse atentos y ser eficaces en otras situaciones automatizadas? La cuestión fundamental aquí no es realmente tan difícil. Se trata simplemente de un buen diseño. Si te das cuenta de que estás cambiando el papel de las personas de una función manual a una de supervisión, entonces, por parte del sistema, diseñas la interfaz de usuario basándote en comprender: ¿Cuál es la tarea de la persona? ¿Qué información necesita? ¿Cómo optimizamos eso? En el caso de mi vehículo, la interfaz se diseñó para conductores manuales, no para mí como supervisor. Parte del problema era que había tanta información en las pantallas que no sabía dónde mirar. No sabía qué significaban los símbolos. Había mucho texto, gran parte de él abreviado. Parte de él, de todos modos, no podía leerlo porque estaba en un lugar que no podía ver. Para el usuario, es importante tener en cuenta la formación, los sistemas de incentivos, la carga de trabajo y las tareas concurrentes. Las empresas deben asegurarse de que las personas que supervisan la automatización reciban formación para que comprendan lo que implica su función de supervisión: por ejemplo, qué tipo de señales o información deben buscar y dónde se encuentra esa información, y qué podría suceder si las cosas salieran mal. Y, por ejemplo, no debe haber incentivos que disuadan al supervisor de tomar las mejores decisiones. Cuando trabajaba en el sector del petróleo y el gas, hubo varios casos en los que el personal de las salas de control había intervenido para detener o ralentizar la producción —algo que tiene un valor económico asociado—. Y, de hecho, habían hecho lo correcto, pero se les culpó por ello. Cuando se añade la dimensión de la IA, surgen aún más problemas potenciales, como la "rendición cognitiva". Seguimos necesitando a las personas; solo se trata de cómo asegurarnos de que cuenten con el apoyo necesario. No es ciencia espacial; solo se trata de reconocer la complejidad de este nuevo papel. Artículo traducido por Debbie Ponchner. Esta nota fue publicada originalmente en Knowable Magazine, una publicación sin ánimo de lucro dedicada a poner el conocimiento científico al alcance de todos. Suscríbase al boletín de Knowable en español".