La perversión (o el poder) de los KPI y de las métricas.
Cuando hablamos de métricas y KPI, hay dos cosas muy a tener en cuenta, su estandarización, y su alcance estratégico (y posible perversión del modelo), sobre todo si el mercado está más o menos asentado.
La importancia de la estandarización de la métrica
En una métrica se tiende a sobrevalorar el qué y el cómo mide, cuando lo importante en términos macro es que sea estándar o referencia. O dicho de otra manera, si el mercado sabiendo inconvenientes y virtudes de una métrica, la acepta y por tanto, se cree lo que dice la métrica.
Son muchos los ejemplos; a saber: PIB, TIR, Tipo de cambio, GRP de la televisión, visionados… e incluso el dinero en el sistema FIAT.
Que una métrica no sea estándar impide algo que es relevante, poder comparar peras con peras y no con manzanas. Un ejemplo de esto lo vemos en la reciente EURO. Las cifras de audiencia del EGM han sido magníficas, y claro, los “expertos” las comparan con las cifras de La Liga, siendo dos productos diferentes (distintos volúmenes de audiencia, geografías, y por supuesto, precio). Si esto ocurre en un ítem tan similar como el de “audiencia de partidos de fútbol”, imaginaos en otras cosas como son el índice de la pobreza o similares.
La perversión de la métrica (y en ocasiones, del modelo de negocio).
Es evidente que una vez que la métrica es estándar, los incentivos tenderán a maximizar la métrica correspondiente, y será en sus inconvenientes donde más riesgo haya de pervertir el modelo.
Tres leyes para explicar la perversión de la métrica y KPI
- “Cuando una métrica se convierte en un objetivo, deja de ser una buena métrica” – Ley de Goodhart.
- “Cuanto más se utilice cualquier indicador social cuantitativo para la toma de decisiones sociales, más sujeto estará a las presiones de la corrupción y más apto será para distorsionar y corromper los procesos sociales que pretende supervisar”. – Ley de Campbell.
- “Los incentivos pueden tener resultados no deseados y no intencionados, perjudicando potencialmente a aquello que pretendían mejorar”. – El efecto cobra.
Cuando se estandarice la perversión del modelo (cuando la métrica perversa sea norma) entonces, si hay una alternativa sólida, la métrica volverá a cambiar.
Aquí os puedo poner un ejemplo: los medios de comunicación en internet.
La métrica estándar les hace ir pivotando de modelo. Empezaron en páginas vistas, después usuarios únicos y ahora, que se han pervertido ambas métricas (clickbait?), van con suscriptores y visionados de vídeo (métrica que ya están pervirtiendo con vídeos insulsos de 10 sg y preview de 5 sg).
Por fortuna, también puede usarse esta métrica para pervertir en el buen sentido e incentivar ciertas prácticas. Si se detecta que hay un problema de transferencia tecnológica, cambiar o dar más peso a los KPI de transferencia tecnológica en la investigación, puede incentivar a ciertos perfiles investigadores más emprendedores.
Para mí, la clave no es tanto la calidad de la métrica, sino su Time to Market (es bueno que mida, mejor que mida bien y con precisión, pero si no hay un estándar en el mercado de la misma, la comparabilidad será menor y cuestionable). En otras palabras, es preferible cuestionar precisión y fallos que cuestionar comparabilidades.
Por desgracia en la estandarización es cuando la métrica puede pervertir modelos de negocio… ya que muchos modelos pivotan para optimizar métricas comerciales muy cortoplacistas que comprometen el futuro y las métricas “estrella polar” de una organización.
Hay que tenerlo claro, la definición de métricas es un péndulo que hay que balancear continuamente.
Artículos relacionados
