Engañados por las métricas: siete errores de KPI que cometen los líderes de TI

Mark Twain comentó que hay tres tipos de mentiras: mentiras, malditas mentiras y estadísticas. Hoy en día, muchos CIO sienten lo mismo acerca de las métricas.

Las métricas son tan buenas como su fuente. “Con demasiada frecuencia, las empresas de tecnología pagan a firmas de consultoría o analistas para crear métricas basadas en las mejores características de sus ofertas”, dice Judith Hurwitz, directora ejecutiva de Hurwitz Strategies, una firma de consultoría de tecnología emergente. “Por lo tanto, los CIO deben tener cuidado al tomar las métricas al pie de la letra [y] los líderes deben comprender los datos detrás de las métricas”.

La interpretación de métricas es esencialmente un juego de números y, como en cualquier juego de números, es posible ganar o perder. Aquí se exponen siete formas en las que los líderes de TI a menudo son engañados por los indicadores clave de rendimiento (KPI) y otras métricas críticas de negocios y TI.

1. No considerar la fuente

Al estudiar una métrica, es importante saber quién la creó y cuál es la fuente de datos. Los resultados pueden basarse en una encuesta, por ejemplo. De ser así, pregunte cuántas personas fueron encuestadas y los roles que desempeñaron en sus respectivas organizaciones. Compruebe también si las métricas se basan en una metodología bien probada. “Es importante entender la investigación y los datos detrás de las métricas”, dice Hurwitz.

Considere también el propósito de la métrica. ¿Se utilizará como una herramienta de planificación? Si es así, ¿ayudará a determinar una estrategia comercial, una selección de tecnología o alguna otra necesidad? “Las métricas son solo una herramienta para la toma de decisiones”, señala Hurwitz. “Por lo tanto, aborde las métricas con escepticismo”.

2. No colaborar con el personal de primera línea

A estas alturas, la mayoría de las empresas han alcanzado la madurez de los datos. “Si su empresa tiene datos, definitivamente los está aprovechando y tratando de utilizar los conocimientos de análisis para impulsar resultados comerciales positivos”, dice John Loury, presidente y director ejecutivo de Cause + Effect Strategy, una firma de consultoría de inteligencia comercial. "Estamos en 2022, hemos superado la era de DRIP: datos ricos, conocimiento pobre".

Loury cree que la mayoría de las organizaciones no profundizan lo suficiente cuando se comunican con el personal comercial de primera línea que, en última instancia, utilizará las métricas recopiladas para tomar decisiones e impulsar acciones. Antes de crear análisis, recomienda recopilar los requisitos comerciales de todas las partes involucradas. Esto significa destilar las métricas hasta los puntos de datos más relevantes para impulsar los resultados. “Priorice lo que impacta más directamente en la decisión comercial que su usuario está tratando de tomar”, señala.

Loury aconseja desarrollar y perfeccionar las habilidades de comunicación para transmitir conocimientos basados en métricas a los miembros del equipo. “Los CIO modernos y los líderes analíticos deben ser expertos en reunir las métricas clave que generarán el mayor impacto para un equipo y presentarlas de una manera que tenga sentido para el usuario y ayude a guiar su comportamiento”, dice.

El experto agrega que también es hora de que los CIO encarguen a sus equipos que entiendan verdaderamente a sus usuarios y construyan soluciones analíticas efectivas y personalizadas. “Los días en que los líderes de datos y sus equipos se esforzaban por crear algo, cualquier cosa, y enviarlo a los equipos comerciales quedaron atrás”, explica. “Estamos viviendo con los resultados de esos días, donde los equipos están inundados con tableros que les dicen todo y nada”.

3. Pasar por alto la importancia de la propiedad, la participación y el equilibrio

Las métricas presentan una excelente oportunidad para la propiedad y la participación del personal, así como para la mejora continua y el control de procesos. “La clave para interpretar correctamente las métricas es involucrar a todo el equipo y usarlas para mejorar los procesos de manera colectiva”, dice Paul Gelter, coordinador de servicios de CIO en la consultora de negocios y tecnología Centric Consulting.

Al evaluar las métricas, Gelter cree que es esencial lograr un equilibrio entre coste, calidad y servicio. Las métricas de costes, por ejemplo, se pueden rastrear en los boletos completados por persona, pero la calidad del boleto se puede degradar debido a la repetición del trabajo o los boletos repetidos. “Entonces, el servicio podría verse afectado por el tiempo de respuesta, la acumulación y el tiempo de actividad”, señala. Se trata de obtener un equilibrio óptimo.

4. Perseguir los números equivocados

El tiempo realmente es dinero, así que no desperdicies horas examinando métricas irrelevantes. Identifique claramente todos los objetivos antes de decidir qué métricas estudiar. En la mayoría de los casos, las métricas que no respaldan o reflejan las opciones de decisiones futuras son innecesarias y, lo que es peor, distraen y hacen perder el tiempo.

Una vez que el objetivo se haya definido por completo, dedique suficiente tiempo a comprender los factores que hacen que las métricas individuales fluctúen, sugiere Alex Levin, cofundador del estudio de tecnología y diseño L+R. A continuación, investigue cómo se vinculan las métricas individuales entre sí y qué es probable que suceda durante las diferentes etapas dentro del ciclo de vida de una iniciativa o proyecto que podría afectar directamente a los KPI que se están rastreando.

Mientras tanto, no pierda el tiempo del personal ocultando o acumulando conclusiones. Levin aconseja compartir los resultados del estudio con su equipo, asegurándose de que cada individuo pueda usar conocimientos basados en métricas para mejorar el rendimiento y/o los resultados.

5. Ir solo

La investigación y el estudio de métricas no deberían ser un esfuerzo solitario. Mike Capone, director ejecutivo del desarrollador de la plataforma de análisis e integración de datos Qlik, y ex director de informática, recomienda trabajar con los propietarios de áreas funcionales desde el principio para recopilar y aplicar detalles contextuales valiosos. “Estas entradas y relaciones brindan al CIO y al equipo de TI el nivel correcto de comprensión de lo que realmente sucede en el negocio para respaldar las metas operativas a corto y largo plazo”, explica. Capone también recomienda crear sólidas asociaciones de asesoramiento con C-suite y otros líderes empresariales clave.

6. Confiar demasiado en los números

Una buena dosis de escepticismo puede evitar que te lleven por el camino de conclusiones erróneas. Recuerde la broma de Twain sobre las estadísticas y las mentiras. Siempre existe la posibilidad de que los datos recopilados sean defectuosos de alguna manera.

Los datos pueden ser defectuosos de muchas maneras. El tamaño de la muestra podría ser demasiado bajo, la escala de tiempo podría estar fuera de lugar o quien haya recopilado los datos podría tener su propia conclusión para promover. “Es de vital importancia asegurarse de comprender completamente cómo se recopilan los datos y qué se incluye en el alcance antes de que pueda tomar una determinación sobre lo que le está diciendo”, dice Brian Winters, CTO del desarrollador de software ERP ECI Software Solutions.

De hecho, cualquier métrica puede ser engañosa, especialmente si no tiene una buena comprensión general de los datos. “Las métricas del sistema pueden ser particularmente engañosas porque a menudo proporcionan métricas para una parte muy pequeña de un sistema grande y complejo”, señala Winters. “Esa vista estrecha puede llevarte fácilmente a una madriguera de conejo”.

7. No ver más allá de las estadísticas

Las métricas, aunque suelen ser perspicaces y valiosas, pueden no contar toda la historia. De hecho, tomar cualquier métrica al pie de la letra puede conducir ocasionalmente a conclusiones totalmente erróneas. “A veces, es necesario profundizar más con otras métricas menos obvias para determinar lo que realmente está sucediendo”, explica Adi Gelvan, director ejecutivo y cofundador del desarrollador de software de base de datos Speedb.

Por ejemplo, una lectura de nivel de uso de memoria podría implicar que una aplicación está sobrecargando la memoria. “Pero algo completamente diferente puede estar en cuestión, tal vez un componente que no está limpiando la memoria lo suficientemente rápido”, dice Gelvan. La investigación adicional puede señalar el cuello de botella real, que puede no estar en la memoria en absoluto. “Por ejemplo, si el motor de almacenamiento no puede volcar los datos en los discos de manera efectiva mientras el consumo de E/S es alto, la memoria se llenará rápidamente y afectará el rendimiento del sistema”.

Para protegerse contra ideas engañosas, aprenda a pensar críticamente y no salte inmediatamente a lo que parece ser la conclusión más obvia. A medida que los procesos comerciales y las arquitecturas de datos crecen y se vuelven más complejos, muchas cosas pueden salir mal y encontrar la causa principal puede ser complicado. “El mejor enfoque es rodearse de un equipo diverso de expertos en la materia para consultar antes de tomar decisiones”, aconseja Gelvan.