En una prueba chica, mantener vivo el hilo de un agente costó menos que reiniciarlo
· 4 min de lectura
El hilo es el historial de mensajes que un rol arrastra de un turno al siguiente. Reciclarlo es empezar el turno siguiente desde cero, con menos contexto y, en apariencia, más barato.
Entre los roles de producción, el piso de un turno (los tokens que la primera llamada ya trae cargados) seguía al intervalo de reciclado:
| Intervalo de reciclado | Piso medio (tokens) |
|---|---|
| Cada turno | 50.104 |
| Cada 5 turnos | 110.034 |
TABLA 1 · Observado entre roles de producción, sin controlar nada.
Eso sugiere que reiniciar seguido baja el piso a la mitad. Pero los roles que mantienen hilos largos son también los de trabajo más grande, y la tabla no separa una cosa de la otra.
El experimento
Un rol, un modelo y una tarea trivial, en un equipo de prueba aislado. Lo único que cambié fue el intervalo de reciclado: la variante A reiniciaba el hilo cada turno y la B cada cinco. De ocho rondas descarté la primera de A (la 5), que corrió justo después de un cambio en el motor, así que son 3 rondas contra 4.
| Variante | Ronda | Tool calls | Caché leída | Caché escrita | Ventana ponderada |
|---|---|---|---|---|---|
| A · reinicia cada turno | 6 | 5 | 104.020 | 21.284 | 50.013 |
| A · reinicia cada turno | 7 | 5 | 104.325 | 20.905 | 47.532 |
| A · reinicia cada turno | 8 | 6 | 105.101 | 21.435 | 50.257 |
| B · reinicia cada 5 | 9 | 4 | 104.084 | 20.880 | 46.409 |
| B · reinicia cada 5 | 10 | 4 | 141.982 | 8.348 | 40.569 |
| B · reinicia cada 5 | 11 | 3 | 107.933 | 5.314 | 26.029 |
| B · reinicia cada 5 | 12 | 4 | 182.215 | 6.759 | 34.486 |
TABLA 2 · La “ventana ponderada” es el costo del turno en tokens equivalentes: la escritura de caché a 1,25× y la lectura a 0,1×, como las factura el proveedor.
La ventana ponderada media fue 49.267 para A y 36.873 para B, 25% menos. B además promedió 3,8 tool calls por turno contra 5,3.
Caché reconstruida por turno, según la variante
Más bajo es más barato. Una escritura de caché se cobra a 1,25× una lectura.
FIG. 1 · La variante A reconstruye el prefijo cacheado entero cada turno. La B paga una vez y después lo reusa.
La escritura de caché
Con reinicio en cada turno, el rol vuelve a escribir entero su prefijo cacheado (instrucciones, herramientas, historial) cada vez: unos 21.000 tokens en cada ronda de A, cobrados con recargo. La primera ronda de B hace lo mismo porque su hilo es nuevo. Desde la segunda, la escritura baja a 5.000–8.000 tokens. Las lecturas suben (141k, 182k), pero son la parte barata.
O sea, el hilo corto sí baja el piso, y lo paga reconstruyendo la caché en cada turno. Las lecturas siguen creciendo mientras el hilo vive, así que un hilo largo tampoco es gratis; no medí dónde se cruzan los dos costos.
Por qué B necesitó menos tool calls no lo sé. Mi hipótesis es que no tuvo que releer archivos que ya tenía en contexto.
Lo que sigue
El rol de prueba quedó en B. Lo siguiente es barrer el intervalo de 1 a 10 con el mismo rol y repetirlo con un rol que use herramientas de verdad, que acumula historial más rápido. Los roles de producción se tocan después, de a uno.
Cómo se midió. Ocho rondas en un equipo de prueba aislado, sin tráfico de producción. Mismo rol, mismo modelo, misma tarea trivial; la única variable fue cada cuántos turnos se recicla el hilo. Hilo reiniciado entre variantes para que la segunda no heredara la caché de la primera. Se descartó una ronda de la variante A, así que la comparación es 3 rondas contra 4.
Relacionadas
- El disparador por ocupación compacta sin saber cuántas llamadas quedan Compactar tiene un costo fijo y un ahorro por cada llamada restante. En 13 compactaciones medidas el cruce quedó cerca de 17 llamadas. La ocupación no ve ese número; la historia de turnos de cada rol sí lo puede estimar.
- El 38% de las entregas entre mis agentes nunca llegó al prompt del destinatario 11.845 entregas en 312 rondas de un equipo, y 4.445 descartadas por el tope del buzón antes de que el destinatario las viera. Con un fan-out de 3,37×, cada rol le avisaba todo a casi todos.