Auditoría de tablas de clasificación agregadas en benchmarks de análisis de causa raíz para microservicios
Una auditoría sobre benchmarks de RCA en arquitecturas de microservicios demuestra que los puntajes promedio ocultan variaciones críticas entre subsistemas, donde baselines sencillos superan a las propuestas líderes del estado del arte.
En la ingeniería de fiabilidad para microservicios, los benchmarks de análisis de causa raíz (RCA) suelen jerarquizar algoritmos mediante métricas agregadas (*pooled scores*) calculadas sobre múltiples aplicaciones. Esta práctica introduce un sesgo metodológico fundamental: oculta tanto la dispersión del rendimiento en subsistemas individuales como las discrepancias en el preprocesamiento de datos.
Al reproducir 16 métodos publicados sobre tres familias de benchmarks abiertos (OpenRCA, RCAEval y PetShop), los investigadores observaron que cuando el margen de ventaja es menor que la varianza entre subsistemas, en 6 de cada 8 casos el ranking se invierte por completo. De hecho, en varias arquitecturas evaluadas, un sondeo determinista elemental o una línea base estándar superó a todos los métodos complejos reportados en la literatura.
Asimismo, la auditoría reveló fallas severas de reproducibilidad en los pipelines de ingesta: dependencias sin fijar (*unpinned*), cabeceras de columnas duplicadas y tablas de métricas no documentadas provocaban que ciertos algoritmos devolvieran el orden original de entrada sin lanzar excepciones. Se recomienda exigir tablas de resultados desglosadas por subsistema, especificación rigurosa de entradas y publicación de trazas completas por escenario.
Puntos clave analíticos:
- Evitar la toma de decisiones arquitectónicas basadas únicamente en tablas de clasificación agregadas de RCA sin revisar la varianza por subsistema.
- Implementar baselines deterministas simples en observabilidad antes de adoptar pipelines complejos de análisis de causa raíz con IA.
- Fijar estrictamente esquemas de métricas y versiones de dependencias en pipelines de telemetría para prevenir fallos silenciosos.
- Exigir reportes por escenario y pruebas de reversión antes de integrar herramientas de RCA en producción.
Una auditoría sobre benchmarks de RCA en arquitecturas de microservicios demuestra que los puntajes promedio ocultan variaciones críticas entre subsistemas, donde baselines sencillos superan a las propuestas líderes del estado del arte.