La tiranía de las métricas

Conceptos clave

• La “fijación métrica” es la creencia de que la medición numérica puede sustituir la experiencia y el juicio personal
• Esta fijación en las métricas crea la idea de responsabilidad y transparencia
• Los críticos dicen que las métricas pueden distorsionar la información y fomentar que la gente engañe al sistema
• Medir cosas simples y fáciles cuando se desea un resultado complejo crea distorsiones
• Podemos engañar o jugar con el sistema al bajar sus estándares para aumentar sus números, u omitiendo o manipulando datos para obtener mejores resultados
• “Creaming” –otra forma de jugar con el sistema– significa aceptar solo clientes o casos fáciles para aumentar su tasa de éxito
• Las organizaciones son presas de una fijación métrica a medida que crecen y se vuelven más complejas
• El pago por rendimiento (PPD) asume que los empleados están motivados solo por recompensas externas
• Una configuración PPD puede llevar a una caída en la creatividad
• Siempre pregunte qué es lo que está midiendo, por qué lo está midiendo y qué planea hacer con la información que encuentre

¿De qué trata el libro La tiranía de las métricas?

En este libro, Muller muestra cómo los investigadores, directivos, médicos y profesores se ven impulsados ​​a sacrificar los objetivos profesionales que valoran para mejorar sus números. Jerry Z. Muller es un reconocido historiador, cuyos libros están en la frontera entre historia, ciencias sociales, filosofía y políticas públicas. Es profesor de historia en la Universidad Católica de América y autor de muchos libros, incluidos La Mente y el Mercado y El Capitalismo y los Judíos.

«Muller ofrece una respuesta a los contadores de frijoles en todas partes con este estudio mordaz de nuestra fijación con las métricas de rendimiento». – Barbara Kiser, Nature

Muller argumenta que las organizaciones de todo tipo se rigen por la creencia de que el camino hacia el éxito consiste en cuantificar el rendimiento humano, publicar los resultados y dividir las recompensas en función de los números. En este proceso, hemos pasado de medir el rendmiento a fijarnos en el propio proceso de medir, creando la Tiranía de las Métricas. Y esta se ha vuelta en nuestro contra amenazando la calidad de nuestras organizaciones y vidas.

Ejemplos

Muller utiliza varios ejemplos para explicar de una manera muy accesible cómo las métricas causan daños. A su vez propone soluciones para resolver el problema de la tiranía sin prescindir los beneficios que aportan los datos. Cuando se usan como complemento del juicio basado en la experiencia personal, las métricas pueden ser beneficiosas. Incluye una lista de verificación de cuándo y cómo usarlos.

“Muchos de nosotros tenemos la vaga sensación de que las métricas nos están llevando por mal camino, eliminando el contexto, devaluando el juicio humano sutil y recompensando a aquellos que saben cómo jugar con el sistema. El libro de Muller explica claramente de dónde vino esta moda, por qué puede ser tan contraproducente y por qué no aprendemos. Debería ser una lectura obligatoria para cualquier gerente que esté a punto de cometer de nuevo el error del recuento de cadáveres en Vietnam”. Tim Harford, Financial Times

I El argumento

El argumento de Muller en contra de las métricas se divide en dos secciones. Primero explica a qué se refiere con el térmo «fijación de métricas». A continuación, aporta una lista para reconocer y anticipar los errores recurrentes.

El argumento en contra de las métricas

Existe un patrón cultural que se ha vuelto omnipresente en las últimas décadas y que engloba a una gama cada vez mayor de instituciones. Dependiendo del gusto, uno podría llamarlo un “meme” cultural, una “episteme”, un “discurso”, un “paradigma”, un “sistema retórico que se refuerza a sí mismo”  o simplemente una moda. Viene con su propio vocabulario y términos maestros. Afecta la forma en que las personas hablan sobre el mundo y, por tanto, cómo piensan sobre el mundo y cómo actúan en él. Para mayor comodidad, llamémoslo fijación métrica.

Los profesionales con una “fijación métrica” dicen que la medición exacta y la difusión de métricas aumenta la transparencia y la responsabilidad. Un sintoma de fijación métrica es creer que los cálculos numéricos son un sustituto aceptable de la experiencia y el talento.

Creaming

El concepto del Creaming nos introduce a otro argumento importante en contra de la fijación métrica, y esta es la posibilidad y mal práctica de manipulación de los datos para conseguir mejores resultados. La fijación métrica puede distorsionar la información. Fomenta el engaño al sistema. Concretamos, hacemos Creaming, cuando elegimos solo los mejores casos cómo ejemplo, excluyendo aquellos resultados que empeoraran la tasa de éxito.
Esto también se conoce como La falacia de prueba incompleta.
El impulso para implementar métricas surge de las mejores intenciones. Queremos encontrar soluciones, y muchas veces las métricas pueden ayudar a encontrarlas. Sin embargo, y cómo ocurre con las mejores intenciones, también pueden tener resultados dañinos. Identificar la disfuncción métrica es posible ahora que ya contamos con muchos casos de estudio.

II La Evolución

Cómo evolucionó la fijación de las métricas

«La “responsabilidad”, las “métricas” y los “indicadores de rendimiento” se han convertido en memes culturales».

En la Inglaterra victoriana surgió un primer ejemplo de “pago por rendimiento” (PPD). En 1862 el político Robert Lowe basó la financiación de las escuelas en el rendimiento de los estudiantes en lectura, escritura y aritmética. Una escuela perdía los fondos del gobierno por cada respuesta incorrecta en una prueba y por cada estudiante ausente. Uno de los inspectores, Matthew Arnold, cuestionó este enfoque y predijo correctamente que los alumnos aprenderían lo suficiente para aprobar sus exámenes y que los estudiantes más pobres no tomarían los exámenes o encontrarían otras formas de reprobar.

«En política, administración y (…) otros campos, los números son valorados precisamente porque reemplazan la confianza en los juicios subjetivos y basados en experimentos de los que están en el poder”.

Las organizaciones son presas de la fijación métrica a medida que crecen y se vuelven más complejas. Los ejecutivos pueden utilizar métricas para impulsar decisiones más rápidas. Los gerentes pueden sufrir de “complicación”, en la que la presentación de informes sobre su trabajo supera a la realización de su trabajo. Aquellos obsesionados con las métricas exigen más datos y pueden estar menos dispuestos a escuchar. La TI facilita la tabulación rápida de los resultados, especialmente en forma de hojas de cálculo.

“No hay una bala de plata, no hay sustituto para conocer realmente el tema y la organización, lo cual es en parte una cuestión de experiencia y en parte una cuestión de habilidad incuantificable”.

Durante las décadas de 1970 y 1980, la fijación métrica empeoró. La experiencia profesional fue criticada, igual que aquellas corporativas que favorecian los intereses de sus gerentes sobre los de sus accionistas.

Teoría del agente principal

Según la Teoría del agente principal, se abren brechas entre el propósito o la misión de una organización y sus gerentes y empleados. En presencia de tales brechas, los ejecutivos tenían que proporcionar incentivos para involucrar a los responsables y empleados. Los negocios fueron los principales defensores de la teoría del agente principal en la década de 1970.
En la década de 1980, las agencias gubernamentales y las organizaciones sin fines de lucro comenzaron a adoptarla bajo el nombre “Nueva Gestión Pública”. Bajo esa estrategia, aquellos que pagaban por las agencias gubernamentales (como los contribuyentes) o por las organizaciones sin fines de lucro (como los donantes) eran los principales agentes. Los agentes eran los usuarios, como estudiantes, pacientes o clientes. La idea era hacer que estas instituciones públicas funcionaran más como un negocio.
Sin embargo, este modelo puede no ser apropiado para las agencias gubernamentales y las organizaciones sin fines de lucro, porque su objetivo es el servicio, no la obtención de ganancias.

II La Medición Errónea de Todas las Cosas. Casos de estudio

“El engaño de las métricas ocurre en todos los ámbitos: en la policía, en la educación primaria, secundaria y superior, en la medicina, en las organizaciones sin fines de lucro y, por supuesto, en los negocios”.

Medición errónea en la educación

Muchos estadounidenses asisten a la universidad porque los graduados universitarios tienden a ganar más durante su vida que los graduados de la escuela secundaria. Pero una licenciatura no significa necesariamente que esté mejor preparado para incorporarse al mundo laboral. Muchos graduados de las escuelas preparatorias de Estados Unidos no están preparados para el rigor académico de la universidad.
Debido a que muchos de los estudiantes que ingresan no están listos, deben tomar cursos de recuperación cuando comienzan la universidad antes de comenzar sus clases. Las universidades bajan sus estándares porque quieren que se gradúen tantos estudiantes como sea posible, y los índices de graduación determinan en parte las clasificaciones de las universidades. Los estudiantes toman clases fáciles de recuperación y las escuelas presionan a los profesores para que les den calificaciones más altas. Las universidades con bajas tasas de graduación pierden a los estudiantes potenciales.

EEUU

El Departamento de Educación de Estados Unidos está detrás de muchas de las métricas utilizadas en la educación estadounidense. En septiembre de 2015, durante la administración del presidente Barack Obama, el departamento desarrolló un College Scorecard que vincula los fondos federales a las calificaciones. El gobierno calificó y clasificó a las universidades con base en “acceso, asequibilidad y resultados” para todos los estudiantes, independientemente de su género, raza, etnia u otras divisiones. La idea era eliminar las escuelas con fines de lucro con altas tasas de matrícula y bajas tasas de egresados, y exigir más responsabilidad de los colegios y universidades tradicionales.

“Tendemos a asumir que el rendimiento y la transparencia aumentan y disminuyen juntos. Pero eso es una falacia o al menos una generalización engañosa”.

Un acceso más fácil para los estudiantes de bajos ingresos, que especialmente carecen de preparación para la universidad, típicamente significa menores tasas de graduación. Las escuelas juegan con el sistema aumentando sus estándares de admisión o restringiendo el acceso de los solicitantes. Los exámenes estandarizados hacen que se genere un efecto de creaming, en el que las universidades reclasifican a los estudiantes potenciales con baja puntuación como “discapacitados”, lo que les impide tomar los exámenes. Los maestros pueden hacer trampa cambiando las respuestas de los exámenes o tirando los exámenes de bajo rendimiento.

“La recompensa basada en el rendimiento medido tiende a promover no la cooperación sino la competencia”.

Medición errónea en medicina

Las estimaciones sugieren que es probable que los costos de la atención médica constituyan el 20,1% de la economía de Estados Unidos para el año 2025; eran del 17,5% en el 2014. La Ley de Atención Asequible aumentó la participación del gobierno en los gastos de atención médica y redujo la carga financiera de los estadounidenses. La ley también tenía la intención de controlar los costos, reducir las readmisiones hospitalarias, medir el rendimiento de los médicos y hospitales, y más.
Las aseguradoras gubernamentales y privadas han reducido las tasas de reembolso de los médicos y han presionado a los médicos y hospitales para que adopten el mantenimiento electrónico de registros. Según la Organización Mundial de la Salud (OMS), que administra un sistema global que utiliza métricas para clasificar la atención médica, Estados Unidos ocupa el puesto 37, a pesar de ser el primero en el gasto per cápita en atención médica. Estados Unidos ocupa el puesto 39 en mortalidad infantil, 42 y 43 en mortalidad adulta masculina y femenina, respectivamente, y 36 en esperanza de vida.

“Las pruebas de valor añadido, que miden los cambios en el rendimiento de los estudiantes de año en año, tienen una utilidad real. Ha ayudado a identificar a los maestros de bajo rendimiento, que han abandonado el sistema”.

Scott W. Atlas

Sin embargo, el médico y especialista en atención médica Scott W. Atlas dice que las cifras son ambiguas porque carecen de contexto. La calidad real de la atención médica representa solo una cuarta parte de la escala de la OMS; otro 25% mide la distribución de la salud y un 25% más representa la equidad financiera, lo que significa que todos pagan la misma proporción de sus ingresos por la atención médica.
La cultura y el estilo de vida contribuyen a la mortalidad. Los estadounidenses también son más propensos a morir a causa de la violencia armada. Los acuerdos de pago por rendimiento (PPD) se arriesgan a generar métricas defectuosas. Con PPD, los médicos reciben una compensación por alcanzar ciertos objetivos de rendimiento, como seguir listas de control, reducir costos o mejorar los resultados de salud. Los sistemas de clasificación y PPD no cambian los resultados y pueden incitar a los médicos a jugar con el sistema aceptando solo pacientes de bajo riesgo.

“La privacidad está siendo erosionada tanto por la tecnología (internet) como por una cultura que proclama la virtud de la franqueza mientras que descarta la necesidad de la vergüenza”.

A veces las métricas pueden ser muy útiles.

Cuando los investigadores midieron los resultados médicos de los pacientes con “vías centrales” (cierto tipo de catéteres), encontraron que casi 32 mil personas murieron en el 2001 debido a infecciones sanguíneas relacionadas con una vía central. Un especialista en cuidados críticos del Hospital de la Universidad Johns Hopkins creó una lista de control de cinco puntos para reducir las infecciones de vías centrales. La probó y generó una reducción del 66% en las infecciones del torrente sanguíneo. Los proveedores se reúnen mensualmente para discutir su información, la cual distribuyen a los administradores para ayudar a todos a aprender de los errores.

Medición errónea en los negocios y las finanzas

Una estrategia PPD puede ser útil para trabajos rutinarios y mecánicos, pero las investigaciones sugieren que las empresas no deberían pagar a los directores ejecutivos y otros altos ejecutivos por su rendimiento. El uso de PPD lleva a mediciones imperfectas, una disminución de la creatividad, excepto aquella dedicada a manipular los datos. Además, el PPD puede reemplazar la motivación intrínseca a largo plazo de un ejecutivo por incentivos extrínsecos a corto plazo.

“‘La luz del sol es el mejor desinfectante’ se ha convertido en el credo de la nueva fe del ‘wikileakismo’: la creencia de que hacer públicas las deliberaciones internas de todas las organizaciones y gobiernos hará del mundo un lugar mejor. Pero más a menudo, el resultado es la parálisis”.

El ejemplo de la crisis financiera del 2008
La crisis financiera del 2008 mostró lo que sucede cuando los analistas sustituyen las métricas por el juicio. Las compañías financieras crecieron en tamaño al añadir niveles de gestión. Los líderes que no eran expertos en sus campos se volcaron a las métricas. Los clientes obtenían hipotecas a través de los bancos, que exigían que los consumidores mostraran cierto nivel de ingresos. Las leyes comenzaron a cambiar en el 2000, y para el 2008, las firmas de corretaje hipotecario podían vender hipotecas como intermediarios entre prestamistas y prestatarios. Los corredores ganaban dinero por volumen, así que no les importaba si los clientes podían pagar sus hipotecas. Los originadores de préstamos hipotecarios, como Countrywide, agrupaban los préstamos en grupos de mil y los vendían a bancos, como Lehman Brothers, cuyos altos ejecutivos recibían bonos de rendimiento. La incapacidad de muchos compradores para pagar sus hipotecas desestabilizó la industria financiera.

Filantropía y organizaciones benéficas

Como las empresas, las organizaciones benéficas y las organizaciones sin fines de lucro se enfrentan a la presión de los donantes para que sean transparentes y responsables. Las organizaciones benéficas publican la parte de sus presupuestos que dedican a los gastos administrativos. Sin embargo, la reducción de los gastos generales no significa necesariamente que la organización de beneficencia cree más programas o que sea más eficaz en su misión filantrópica. Gestionar una organización sin ánimo de lucro requiere invertir en empleados de calidad y en sistemas informáticos para evitar la ineficiencia.

Una lista de control

Una fijación métrica puede desviarnos de nuestras metas. Es más difícil centrarse en metas importantes que en grandes números.

Si quieres saber más sobre cómo establecer objetivos para tu ecommerce y hacer seguimiento de dichos objetivos con métricas, sigue leyendo Los KPIs de un Ecommerce

Fijarse en métricas puede potenciar el pensamiento a corto plazo a expensas de los objetivos a largo plazo. Puede agotar el tiempo de los trabajadores, dañar la ética del trabajo, costar dinero y fomentar las trampas, a la vez que desalienta la toma de riesgos, la cooperación y el propósito común. Para que las métricas tengan sentido, debemos preguntarnos:

• ¿Qué tipo de información estoy pensando medir? – Si lo que estás midiendo implica recompensa y castigo, revisa cómo eso podría sesgar los resultados.
• ¿Cuán útil es la información? – ¿Qué harás con esta y vale la pena medirla?
• ¿Qué tan útiles son más métricas? – Los números pueden identificar valores atípicos, como los de bajo rendimiento, pero rara vez pueden diferenciar entre bueno y excelente.
• ¿Cuáles son los costos de no depender de mediciones estandarizadas? – Tal vez el juicio personal y la experiencia puedan reemplazar o superar a las estadísticas.
• ¿Con qué propósito se realizará la medición? – Las métricas pueden ser más útiles para los empleados que para externos que carecen de contexto.
• ¿Cuáles son los costos de adquirir las métricas? – La recolección y el análisis de datos requiere tiempo y esfuerzo.
• ¿Cómo y quién desarrolla las medidas de rendimiento? – Las métricas deben desarrollarse internamente, de abajo hacia arriba.

“Lo que se mide es lo que llama la atención”.

Además, la gente debe reconocer que incluso las métricas mejor diseñadas tienen limitaciones y que la medición no puede resolver todos los problemas.