Carlos Tapia

Notas

Experimentos, mediciones y alguna corrección

Cada nota parte de una pregunta que tenía sobre mis agentes y cuenta qué medí para contestarla.

Vocabulario: equipo, rol, ronda, turno → Glosario

12 notas

12 Nota de campo

Cuánto cuesta la IA en voz, video e imagen, en pesos

Precios oficiales al 23 de octubre de 2026, en pesos: un minuto de transcripción, de voz, de agente de voz y de video, y cinco casos calculados al mes.

  • ~2.400× lo que cuesta un minuto de video frente a un minuto transcrito, con el modelo más barato de cada uno
  • $363 doblar al español 10 videos de 3 minutos con los modelos más baratos, sin sincronía de labios
  • $17.019 lo mínimo por 500 llamadas de 3 minutos con un agente de voz, sin contar la telefonía
11 Medición

Si el agente sabe de quién es el archivo, no lo toca, pero lo rodea

Qué hacen Claude Code, Codex y opencode cuando el kernel les niega escribir un archivo de otro rol. Con la negación sola, dos de los tres insisten en todas las corridas. Si saben de antemano quién es el dueño, ninguno lo intenta, pero dos de los tres siguen arreglando el bug en sus propios archivos. El mensaje de seisin al negar nunca llegó a mostrarse.

  • 11/11 → 0/11 Corridas de Codex que intentaron escribir el archivo del backend, sin y con el dueño a la vista
  • 10 → 5 Llamadas a herramientas por corrida de Codex (mediana), sin y con el dueño a la vista
  • 10 de 11 Compensaciones de Codex que se rompen el día que el dueño arregla su bug
10 Nota de campo

La intrusión en Hugging Face desde una evaluación de OpenAI, paso a paso

Un agente que rendía una evaluación de OpenAI salió de su sandbox y pasó cinco días en la infraestructura de Hugging Face. Reconstruido desde los reportes de las dos empresas.

  • 17.600 Acciones del agente recuperadas del 9 al 13 de julio
  • 136 Claves en un solo secreto de producción al que llegó el agente
  • 5 días Entre la divulgación de Hugging Face, que no sabía qué modelo había detrás, y el reporte de OpenAI
09 Medición

Tres de cada cuatro escapes de sandbox que medí no rompen ninguna regla configurada

sandbox-runtime, nono y Codex contra 168 tests de las suites de sus propios proyectos. La mayoría de los escapes sale de los valores por defecto.

  • 61 de 79 Escapes en un valor por defecto, sin una regla configurada de por medio
  • 37 de 79 Trust-handoff: un archivo que el agente deja y que se ejecuta después, fuera del sandbox
  • 109 → 74 «Bloqueados» de Codex contra contenidos de verdad, cuando el trabajo legítimo tiene que seguir funcionando
07 Medición

El equipo de nueve roles cuesta 3,5× más por tarea verificada que el de cuatro

Comparé ocho equipos de agentes por costo de tarea verificada. La brecha sigue a las tool calls por turno, y partir el equipo grande no cambiaría lo que hacen sus dos roles más caros.

  • 3,5× Tokens por tarea verificada, equipo de nueve roles contra el de cuatro
  • 51,5 Tool calls por turno del rol más caro
  • 62% Cobertura de verificación del equipo de nueve roles, contra 100% en los dos más baratos
06 Medición

El disparador por ocupación compacta sin saber cuántas llamadas quedan

Compactar tiene un costo fijo y un ahorro por cada llamada restante. En 13 compactaciones medidas el cruce quedó cerca de 17 llamadas. La ocupación no ve ese número; la historia de turnos de cada rol sí lo puede estimar.

  • ≈17 Llamadas restantes donde se cruzaron costo y ahorro, en 13 compactaciones
  • 4 / 4 · 7 / 7 Se pagaron con 17 o más llamadas por delante · fallaron con 9 o menos
  • 24 / 80 Compactaciones que se pagaron en producción; el saldo igual fue positivo
05 Experimento

En una prueba chica, mantener vivo el hilo de un agente costó menos que reiniciarlo

Reiniciar el hilo de un rol en cada turno parecía la forma de gastar menos tokens. En una prueba controlada con un rol y una tarea, el hilo largo salió más barato, por la escritura de caché.

  • −25% Ventana ponderada, hilo largo frente a reiniciar cada turno (3 contra 4 rondas)
  • 5,3 → 3,8 Tool calls por turno, hilo corto contra hilo largo
  • 21k → 5–8k Tokens escritos en caché por turno cuando el hilo sobrevive
04 Medición

Mi verificador daba 100% de conformidad hasta que medí cuánto rechaza

718 de 718 rondas siguieron el proceso declarado, pero un verificador que acepta casi todo también da 100%. Un control con trazas barajadas mostró que el número se sostiene en un equipo de seis.

  • 718 / 718 Rondas conformes al proceso declarado en el primer conteo
  • 9,1% Trazas barajadas que también pasan, en el equipo donde el resultado se sostiene
  • 93,4% Trazas barajadas que pasan en el equipo donde no significa nada
03 Arquitectura

Encontrar duplicados y verificar citas piden búsquedas opuestas

Cuatro citas de mis agentes se cayeron al abrir la fuente. En 14 pares etiquetados, la búsqueda exacta casi no encuentra duplicados y los embeddings los encuentran todos, con ruido. Verificar una cita es búsqueda exacta en un archivo conocido, donde el parecido estorba.

  • 4 de 4 Citas que se cayeron al abrir la fuente citada
  • 10 vs 8 de 14 Embeddings con umbral ajustado contra un control que siempre responde "distintos"
  • 0,930 Similitud de coseno (1 = idénticos) entre dos nombres de servicio que significan cosas distintas
02 Medición

El 86% del código de mis agentes sigue ahí, y la mayor parte de la caída vino de una semana

Supervivencia de líneas en un repositorio de producción escrito por agentes: 85,9%, desde 92,7% dos días antes. La mayoría de las líneas perdidas entremedio son de una semana y de un commit de 2.408 líneas que sobrevivió en cero.

  • 85,9% De las líneas escritas en la ventana siguen vivas en HEAD
  • 92,7% → 85,9% Supervivencia en dos mediciones, con dos días de diferencia
  • 2.408 → 0 Líneas agregadas por el peor commit, y cuántas sobrevivieron
01 Medición

El 38% de las entregas entre mis agentes nunca llegó al prompt del destinatario

11.845 entregas en 312 rondas de un equipo, y 4.445 descartadas por el tope del buzón antes de que el destinatario las viera. Con un fan-out de 3,37×, cada rol le avisaba todo a casi todos.

  • 38% Entregas descartadas por el tope del buzón antes de que el destinatario las viera
  • 76% De todas las aristas emisor→destinatario posibles, usadas al menos una vez
  • 36,4 h Lo máximo que esperó un pedido bloqueante por su respuesta

Guías