Dónde deben seguir mandando las personas

La pregunta interesante de diseño no es qué puede decidir el sistema. Es qué tiene que devolver, a quién, y qué tan rápido.
La mayoría de las organizaciones trata eso como papeleo de cumplimiento, escrito después de que la cosa está construida, por alguien que no estuvo en las juntas de diseño. Eso es el diseño.
El artículo que debería estar en la pared
En 1983 Lisanne Bainbridge publicó cuatro páginas que han envejecido mejor que casi todo lo escrito sobre automatización desde entonces. El argumento está en el título: las ironías de la automatización.
Su primera ironía: el diseñador que automatiza porque los humanos son poco confiables deja al humano a cargo de las tareas que no supo cómo automatizar, que son por definición las más difíciles.
La segunda es la que más importa aquí. Si automatizas el trabajo rutinario, el operador pierde la práctica que lo hacía bueno en el trabajo excepcional. La destreza se degrada sin uso. Así que en el momento exacto en que el sistema entrega el control, porque pasó algo inusual, se lo entrega a una persona que ahora está menos preparada de lo que habría estado sin la automatización.
Y la tercera: pedirle a una persona que monitoree un sistema que casi siempre acierta es pedirle algo en lo que los humanos son malos. La vigilancia durante largos tramos de no-pasa-nada no es una destreza que el esfuerzo arregle.
Bainbridge escribía sobre plantas de control de procesos. Cada palabra se transfiere a una operación de siniestros donde noventa por ciento de los casos ahora se atienden automáticamente y a un ajustador se le pide revisar el diez por ciento que el sistema marcó.
Qué significa esto para su diseño de escalamiento
Se desprenden tres consecuencias, y no son lo que suelen pedir los marcos de cumplimiento.
El caso escalado llega sin contexto. Quien lo recoge no vio los noventa casos anteriores, así que no tiene noción de cómo se veía lo normal esta semana. Lo que el sistema entregue tiene que cargar el contexto que el humano habría acumulado haciendo el trabajo él mismo. La mayoría de las entregas pasan el caso y no el contexto, que es por lo que los revisores aprueban cosas.
La destreza se tiene que mantener deliberadamente. Si un equipo ahora solo ve casos difíciles, va a empeorar en ellos con el tiempo, no a mejorar, porque el juicio se calibra contra una distribución y ya no ve la distribución. Algunas organizaciones enrutan una muestra de casos fáciles a humanos sin ninguna razón operativa. Eso parece desperdicio en un tablero y es el seguro más barato del sistema.
Monitorear no es un trabajo. Si la única instrucción es vigile esto e intervenga si se ve mal, la persona no lo va a cazar, y la culpa es del diseño. Deles una decisión que tomar en vez de una pantalla que mirar.
Dónde van realmente los umbrales
Dos preguntas, hechas por tipo de decisión y no por sistema.
¿Cuál es el costo de equivocarse, y es reversible? Un ticket mal enrutado es barato y reversible. Un siniestro rechazado es caro y reversible solo si el cliente reclama, cosa que se subreporta sistemáticamente. Un pago es caro e irreversible. Esos necesitan umbrales distintos y la mayoría de los diseños aplica uno solo.
¿El sistema está calibrado sobre su propia incertidumbre? Si lo está, los umbrales de confianza funcionan y puede escalar el decil inferior. Si no lo está, y muchos no lo están, un puntaje de confianza es un número que parece información y no lo es, y entonces hay que escalar por características del caso.
La segunda pregunta se salta constantemente. Un umbral fijado sobre un puntaje de confianza sin calibrar es teatro de gobernanza, y es peor que no tener umbral porque ahora todos creen que los casos difíciles se están cazando.
Cuatro patrones de entrega, en orden de cuánto confío en ellos
Revisión posterior. El sistema actúa, un humano revisa una muestra después. El más barato, y apropiado solo donde la acción es reversible y la tasa de error ya se conoce. No es un diseño de escalamiento, es control de calidad, y con frecuencia se vende como lo primero.
Aprobar antes de actuar. El sistema propone, un humano libera. Este es el default y es donde vive el problema de asimetría de más abajo. Funciona cuando quien aprueba tiene capacidad genuina de considerar el caso y falla en silencio cuando no la tiene.
Entregar por incertidumbre. El sistema actúa cuando tiene confianza y escala cuando no. Bueno cuando la confianza está calibrada, activamente dañino cuando no, por la razón de arriba.
Entregar por categoría. Ciertos tipos de caso nunca se acercan a la automatización, decidido por adelantado según qué es el caso y no según qué opina el sistema de él. Tosco, poco de moda, y el primero al que recurro en cualquier cosa irreversible, porque falla en una dirección predecible y se le explica a un regulador en una oración.
La ruta de escalamiento que diseñé mal
Construí una que satisfacía todos los requisitos y no hacía nada.
Un cliente de servicios financieros. Umbrales claros, un revisor definido, una bitácora de auditoría, tasas de aprobación monitoreadas. Pasó su revisión interna con holgura.
El revisor aprobaba como noventa y seis por ciento de lo que le llegaba, cosa que durante demasiado tiempo leí como evidencia de que el sistema era preciso. En parte lo era. También era que el revisor recibía cuarenta casos al día con una recomendación ya escrita, la recomendación normalmente era correcta, y estar en desacuerdo exigía escribir una justificación mientras estar de acuerdo exigía un clic.
Yo había diseñado una asimetría en el costo de las dos respuestas y luego me sorprendí de cuál elegía la gente.
El arreglo fue poco glamoroso. Quitar la recomendación preescrita de la primera pantalla, mostrar el caso, pedir un juicio, y luego mostrar qué pensaba el sistema. La aprobación bajó a mediados de los ochenta y los desacuerdos se concentraron justo en los casos que importaban.
Así que la regla que ahora aplico: si estar de acuerdo sale más barato que estar en desacuerdo, no construiste un escalamiento, construiste una recolección de firmas.
Cuatro preguntas antes del próximo despliegue
¿Qué devuelve el sistema, y la entrega incluye el contexto que la persona habría tenido si hubiera hecho los noventa casos anteriores?
¿Cómo mantiene este equipo afilado su juicio una vez que el trabajo rutinario desapareció?
¿Estar en desacuerdo con el sistema es tan fácil como estar de acuerdo?
¿Y quién se entera cuando cambia la tasa de escalamiento? Una caída súbita en escalamientos es o una mejora o una falla del detector, y las dos se ven idénticas en un tablero hasta que alguien va y revisa.
El diseño de escalamiento es el capítulo ocho de The AI Advantage. Esto sigue a Copiloto, flujo, agente. Luego, el ciclo de seis pasos dentro del cual vive todo esto: Percibir, entender, predecir, decidir, actuar, aprender.