Mi verificador daba 100% de conformidad hasta que medí cuánto rechaza

Cada uno de mis equipos de agentes declara un proceso: qué roles juegan, en qué etapas y en qué orden. En el equipo de producto las etapas son decidir → mirar → construir → verificar. La traza de una ronda es la secuencia de roles que efectivamente jugaron. Revisé si las trazas siguen el proceso declarado, y las 718 rondas de los cuatro equipos que revisé pasaron.

Ese número es fitness: cuánto del registro puede reproducir el modelo. Lo usé para afirmar que el equipo cumple su proceso, que es una afirmación sobre el modelo, y la literatura de conformance checking separa esos dos usos en su primera página:

“fitness is certainly the most used metric as it states how well an observed behavior fits the defined process model, i.e. to evaluate the quality of the executed work. When making statements about the quality of the defined process model process analysts prefer the metrics precision, generalization and simplicity.”

El control

Mi verificador acepta cualquier subsecuencia de las etapas que vaya en orden. Para ver cuánto deja pasar, barajé cada traza (mismos roles, mismo largo) y la volví a evaluar. Si las barajadas pasan tanto como las reales, el 100% no dice nada.

TABLA 1 · Barajado: la misma traza en orden aleatorio. Aleatorio: roles sorteados del conjunto declarado del equipo, mismo largo. Corrido un día después del primer conteo, sumando lab y landing; para entonces producto tenía 335 rondas, una más que las 334 de las 718.

Dónde el 100% significa algo

En el equipo de producto el orden real pasa el 100% y el barajado el 9,1%: el modelo rechaza nueve de cada diez órdenes alternativos de los mismos roles, en 335 rondas de 6,17 turnos cada una.

En plataforma pasa el 35,4%: con 2,52 turnos por ronda y tres etapas hay pocos órdenes que distinguir.

En gerencia pasa el 67,7% porque el rol gerente está declarado en dos etapas, decide al comienzo de la ronda y verifica al final. La primera versión del verificador le asignaba una sola etapa a cada rol, leía la vuelta del gerente como un retroceso y marcaba como desviadas el 71% de las rondas de ese equipo. Arreglar ese bug es lo que hizo que el modelo aceptara casi cualquier orden.

En hotfix pasa el 93,4%. El 87,5% de sus rondas tiene un solo turno, y una traza de un turno es conforme por definición. Lab (4 rondas) y landing (1 ronda de un turno) son el mismo caso.

Desde este control no reporto una cifra de conformidad sin su tasa de barajado al lado, y con menos de unos dos turnos por ronda no la reporto: no hay orden que verificar.