El equipo de nueve roles cuesta 3,5× más por tarea verificada que el de cuatro
· 5 min de lectura
Opero ocho equipos de agentes y los comparo por costo de tarea verificada: una que un rol dio por hecha y otro rol revisó y aprobó. Quería saber si un equipo chico le gana a uno grande y, si es así, si conviene partir el grande.
El marcador
| Equipo | Roles | Repos | Mtok por verificada | Mcaché/turno | Tool calls/turno | Cobertura |
|---|---|---|---|---|---|---|
| lab | 3 | 0 | 2,4 | 0,29 | 6,1 | 100% |
| landing | 3 | 1 | 2,5 | 0,67 | 15,7 | 100% |
| lealtad | 3 | 1 | 2,6 | 1,30 | 25,3 | 86% |
| plataforma | 4 | 2 | 4,2 | 1,70 | 20,7 | 91% |
| gestión | 3 | — | 7,8 | 0,22 | 4,6 | n/d |
| producto (9 roles) | 9 | 3 | 14,5 | 2,31 | 28,6 | 62% |
| hotfix | 3 | — | 15,8* | 0,46 | 10,6 | n/d |
| despliegue | 2 | 2 | — | 0,58 | 11,4 | 0% |
TABLA 1 · Mtok por verificada: millones de tokens por tarea verificada. Mcaché/turno: millones de tokens de caché leída en un turno medio. Cobertura: de las tareas dadas por hechas, qué parte llegó a verificarse. *hotfix verificó una sola tarea en toda su vida, así que su cifra es ruido. La cobertura de gestión no se pudo calcular; despliegue no verificó ninguna tarea.
Lab es un equipo de prueba sobre un proyecto de juguete, sin repositorio. Landing mantiene un sitio estático, lealtad un programa de lealtad, plataforma el motor y las herramientas que usan los demás equipos, y producto un punto de venta con cliente móvil y backend. Gestión escribe documentos, hotfix se activa solo ante incidentes en producción y despliegue revisa y publica lo que construyen los otros.
Producto contra landing da 5,8×, pero un punto de venta y un sitio estático son trabajos distintos, y el marcador no puede separar estructura de dificultad. Plataforma se parece más: es otro equipo de ingeniería sobre bases de código grandes. Contra plataforma el cociente es 3,5×.
De dónde sale el costo
| Rol | Tool calls/turno | Mcaché/turno |
|---|---|---|
| dev front (producto) | 51,5 | 3,54 |
| dev back (producto) | 31,7 | 3,56 |
| dev plataforma | 33,5 | 3,12 |
| operación | 13,8 | 0,99 |
| todo el equipo lab | 6,1 | 0,29 |
TABLA 2 · Motores de costo por rol. En los cuatro roles individuales, cada tool call lee entre 70k y 110k tokens de caché; en el equipo lab, unos 48k.
Tool calls por turno, por rol
Cada tool call vuelve a leer el prefijo cacheado, así que esto es lo que cuesta un turno.
FIG. 1 · Dos roles explican la brecha. Partir el equipo al medio deja a los dos haciendo exactamente lo mismo que antes.
Cada tool call vuelve a leer el prefijo cacheado (instrucciones, herramientas, historial). La lectura de caché se cobra más barata que la entrada nueva, pero se cobra cada vez, así que un turno cuesta más o menos su contexto multiplicado por las tool calls que hace. Un rol que hace 51 llamadas en un turno paga su contexto 51 veces. Agregar un rol a un equipo cuesta lo que cuesten sus turnos: con 51 llamadas por turno sale caro, con 6 es casi gratis.
Por qué no parto el equipo grande
Nueve roles parecían demasiados, y dos equipos de cuatro o cinco parecían el arreglo. Pero la mayor parte del costo de producto está en dos roles que hacen entre 30 y 50 tool calls por turno contra una base de código grande. Después de partir harían las mismas llamadas, contra los mismos repositorios y con el mismo contexto, y además habría que coordinar las dos mitades.
Lo que miraría ahora
La cobertura de verificación sigue casi exacto el ranking de costo: los equipos con 100% son los baratos, y producto, con 62%, es el caro. Con estos datos no sé en qué dirección va. El trabajo barato es más fácil de verificar, y el verificado necesita menos retrabajo. Es lo próximo en lo que quiero hacer un experimento.
Cómo se midió. Medido sobre ocho equipos y 3.948 turnos, usando el registro de turnos, los reportes de tarea y los veredictos de cada equipo. Solo lectura: no corrí ningún agente para producir estas cifras.
Relacionadas
- En una prueba chica, mantener vivo el hilo de un agente costó menos que reiniciarlo Reiniciar el hilo de un rol en cada turno parecía la forma de gastar menos tokens. En una prueba controlada con un rol y una tarea, el hilo largo salió más barato, por la escritura de caché.
- El disparador por ocupación compacta sin saber cuántas llamadas quedan Compactar tiene un costo fijo y un ahorro por cada llamada restante. En 13 compactaciones medidas el cruce quedó cerca de 17 llamadas. La ocupación no ve ese número; la historia de turnos de cada rol sí lo puede estimar.