Carlos Tapia
← Todas las notas

El equipo de nueve roles cuesta 3,5× más por tarea verificada que el de cuatro

· 5 min de lectura

Opero ocho equipos de agentes y los comparo por costo de tarea verificada: una que un rol dio por hecha y otro rol revisó y aprobó. Quería saber si un equipo chico le gana a uno grande y, si es así, si conviene partir el grande.

El marcador

EquipoRolesReposMtok por verificadaMcaché/turnoTool calls/turnoCobertura
lab302,40,296,1100%
landing312,50,6715,7100%
lealtad312,61,3025,386%
plataforma424,21,7020,791%
gestión3—7,80,224,6n/d
producto (9 roles)9314,52,3128,662%
hotfix3—15,8*0,4610,6n/d
despliegue22—0,5811,40%

TABLA 1 · Mtok por verificada: millones de tokens por tarea verificada. Mcaché/turno: millones de tokens de caché leída en un turno medio. Cobertura: de las tareas dadas por hechas, qué parte llegó a verificarse. *hotfix verificó una sola tarea en toda su vida, así que su cifra es ruido. La cobertura de gestión no se pudo calcular; despliegue no verificó ninguna tarea.

Lab es un equipo de prueba sobre un proyecto de juguete, sin repositorio. Landing mantiene un sitio estático, lealtad un programa de lealtad, plataforma el motor y las herramientas que usan los demás equipos, y producto un punto de venta con cliente móvil y backend. Gestión escribe documentos, hotfix se activa solo ante incidentes en producción y despliegue revisa y publica lo que construyen los otros.

Producto contra landing da 5,8×, pero un punto de venta y un sitio estático son trabajos distintos, y el marcador no puede separar estructura de dificultad. Plataforma se parece más: es otro equipo de ingeniería sobre bases de código grandes. Contra plataforma el cociente es 3,5×.

De dónde sale el costo

RolTool calls/turnoMcaché/turno
dev front (producto)51,53,54
dev back (producto)31,73,56
dev plataforma33,53,12
operación13,80,99
todo el equipo lab6,10,29

TABLA 2 · Motores de costo por rol. En los cuatro roles individuales, cada tool call lee entre 70k y 110k tokens de caché; en el equipo lab, unos 48k.

Tool calls por turno, por rol

Cada tool call vuelve a leer el prefijo cacheado, así que esto es lo que cuesta un turno.

Roles del equipo de producto (9 roles) Roles de equipos de 3–4
0 10 20 30 40 50 dev front — 51,5 dev front 51,5 dev back — 31,7 dev back 31,7 equipo lealtad — 25,3 equipo lealtad 25,3 equipo plataforma — 20,7 equipo plataforma 20,7 operación — 13,8 operación 13,8 equipo lab — 6,1 equipo lab 6,1 TOOL CALLS POR TURNO

FIG. 1 · Dos roles explican la brecha. Partir el equipo al medio deja a los dos haciendo exactamente lo mismo que antes.

Cada tool call vuelve a leer el prefijo cacheado (instrucciones, herramientas, historial). La lectura de caché se cobra más barata que la entrada nueva, pero se cobra cada vez, así que un turno cuesta más o menos su contexto multiplicado por las tool calls que hace. Un rol que hace 51 llamadas en un turno paga su contexto 51 veces. Agregar un rol a un equipo cuesta lo que cuesten sus turnos: con 51 llamadas por turno sale caro, con 6 es casi gratis.

Por qué no parto el equipo grande

Nueve roles parecían demasiados, y dos equipos de cuatro o cinco parecían el arreglo. Pero la mayor parte del costo de producto está en dos roles que hacen entre 30 y 50 tool calls por turno contra una base de código grande. Después de partir harían las mismas llamadas, contra los mismos repositorios y con el mismo contexto, y además habría que coordinar las dos mitades.

Lo que miraría ahora

La cobertura de verificación sigue casi exacto el ranking de costo: los equipos con 100% son los baratos, y producto, con 62%, es el caro. Con estos datos no sé en qué dirección va. El trabajo barato es más fácil de verificar, y el verificado necesita menos retrabajo. Es lo próximo en lo que quiero hacer un experimento.

Cómo se midió. Medido sobre ocho equipos y 3.948 turnos, usando el registro de turnos, los reportes de tarea y los veredictos de cada equipo. Solo lectura: no corrí ningún agente para producir estas cifras.

Relacionadas