Todos los textos

Medir la productividad sin engañarse

Medir la productividad sin engañarse

El tiempo ahorrado es el número más fácil de producir y el más fácil de falsear. No falsear a propósito. Falsear en el sentido de que gente honesta lo puede generar, defender y creer sin que jamás corresponda a nada.

Aquí está la versión difícil, que produce un número más chico que sobrevive.

Por qué la medición corre al revés

El enfoque estándar le pregunta a la gente cuánto tiempo le ahorra la herramienta, lo multiplica por la plantilla, y reporta el producto.

Tres cosas salen mal antes de llegar a la aritmética.

La gente es mala estimando cuánto tardaban antes las tareas, y la dirección del error no es aleatoria. A quien le gusta una herramienta va a estimar un ahorro mayor, lo que significa que el número mide entusiasmo.

La línea base se reconstruye después del hecho, de memoria, por la misma persona. No hay registro de cuánto tardaba antes porque nadie estaba midiendo antes, que es la razón más común por la que estos ejercicios no se pueden auditar.

Y el tiempo ahorrado tiene que ir a algún lado para volverse valor. La pieza anterior de esta serie sobre casos de negocio cubre la cadena. Sin ella, mediste algo real que no produce nada.

El patrón que vuelve esto más difícil de lo que parece

Hay una razón por la que la medición honesta de una tecnología nueva de propósito general tiende a mostrar menos de lo esperado al principio, y no es que la tecnología sea inútil.

Erik Brynjolfsson, Daniel Rock y Chad Syverson lo describen como la curva J de la productividad. Cuando llega una tecnología de propósito general, las empresas tienen que construir grandes cantidades de capital complementario intangible, procesos nuevos, habilidades nuevas, trabajo reorganizado, y esa inversión en buena medida no se mide. Así que la productividad medida se ve peor que la real al principio, y mejor después, cuando los intangibles empiezan a rendir.

La consecuencia práctica es una trampa en las dos direcciones. Mide temprano y con honestidad y vas a subestimar lo que está pasando, lo que le da municiones a los escépticos. Mide temprano y con generosidad y produces un número que nadie puede auditar, lo que le da un problema peor dieciocho meses después.

La salida es medir el trabajo intangible explícitamente en vez de fingir que no está ocurriendo. El rediseño de procesos y la construcción de capacidad son inversiones. Ponlas en el caso como inversiones con retorno esperado, no como gastos generales que hay que esconder.

Métricas de actividad y métricas de valor

Sepáralas en la página y nunca las sumes.

Las métricas de actividad le dicen si la cosa se está usando y son legítimas para operar el programa. Proporción de decisiones relevantes que pasan por el sistema. Tiempo de señal a acción. Tasa de anulación. Casos atendidos por persona. Son indicadores adelantados y pertenecen a una revisión operativa.

Las métricas de valor son cosas que el área financiera puede rastrear. Plazas no contratadas. Tiempo extra eliminado. Contratos no renovados. Ingreso aceptado que antes se rechazaba. Inventario reducido al mismo nivel de servicio.

La prueba de a qué columna pertenece una métrica: ¿alguien fuera del programa podría verificarla desde un sistema que el programa no controla? Si no, es actividad.

La medición que hay que montar antes de empezar

Esta es la parte que nadie hace y no cuesta casi nada.

Antes del despliegue, mida el estado actual durante cuatro semanas. Tiempos reales sobre casos reales, no recuerdos. Veinte casos bastan para establecer una distribución.

Luego conserve un grupo de control. Un equipo, una región, un tipo de caso que no recibe la herramienta el primer trimestre. Es lo único que separa su efecto de todo lo demás que cambió, y se rechaza rutinariamente por ser injusto con el grupo de control, que es una objeción razonable a algo que de todos modos es necesario.

Si un grupo de control es genuinamente imposible, escalone el despliegue y trate la secuencia como su comparación. Es más débil y es muchísimo mejor que nada.

Cuatro números que deberían darle desconfianza

Un ahorro expresado como porcentaje de toda la semana laboral de alguien. Nadie pasa una semana entera en una sola tarea, así que esto se escaló de una tarea a un puesto en algún punto de la cadena, normalmente suponiendo que la tarea es más parte de la semana de lo que es.

Un beneficio idéntico en todos los equipos. Los efectos reales varían por equipo porque los equipos varían. Un número uniforme significa que se le aplicó una estimación a todos, y esa estimación vino del equipo al que más le gustó.

Una cifra que creció entre el piloto y el caso de negocio del despliegue. La dirección debería ser la contraria. Los pilotos los corre gente motivada sobre casos seleccionados y casi siempre sobreestiman lo que el caso general va a entregar.

Y cualquier número que cite horas ahorradas al año sin un renglón correspondiente en algún presupuesto. Ese es todo el argumento de esta pieza en una sola prueba, y elimina casi todo lo que se presenta.

Donde mi propia medición me engañó

Corrí esto como se debe en un cliente. Línea base, grupo de control, tiempos limpios. El resultado fue una reducción de treinta por ciento en el tiempo de atención, que se sostuvo.

No produjo el valor del caso de negocio, y la razón me tomó meses verla.

El treinta por ciento era real y estaba concentrado en los casos que ya eran rápidos. Los casos largos, que eran una proporción chica del volumen y la mayoría de las horas totales, casi no se movieron, porque lo que los hacía largos era esperar información de fuera de la empresa.

El tiempo promedio de atención cayó treinta por ciento. El trabajo total no, porque a la media la jalaba una cola que el sistema no tocaba. Yo había medido lo correcto y reportado el estadístico equivocado.

Lo que hago ahora es reportar la distribución, no el promedio, y específicamente la proporción de horas totales y no la proporción de casos. En la mayoría de las operaciones esos dos dan respuestas muy distintas, y el área financiera está pagando las horas.

Qué poner frente a un directivo

Una métrica de valor, rastreada a un renglón, con dueño. Una métrica de actividad que la anticipe. Una declaración honesta de la inversión intangible que todavía se está haciendo y cuándo debería rendir.

Esa es una página menos impresionante que la de las decenas de millones. También es la que sigue en pie el año que viene, y quien la presenta conserva su credibilidad para lo siguiente que quiera financiar.


Medir el valor son los capítulos seis y veintitrés de The AI Advantage. Esto sigue a La adopción determina el retorno. Luego, las cinco dimensiones que sostienen todo esto: El scorecard de valor de IA.

Más textos

5 min de lectura

Pisos de precio antes del evento, no durante

La compra automática significa que una promoción se activa en el instante en que cambias un precio. No hay botón de pausa, no hay reflexión de…

5 min de lectura

El número que no se queda quieto

Las compradoras referidas por IA convierten mejor que las que llegan de cualquier otro lado. La cifra es real, es grande y no es un plan.…