Encontrar duplicados y verificar citas piden búsquedas opuestas

Una noche, cuatro afirmaciones de mis agentes que citaban una fuente se cayeron al abrir la fuente:

TABLA 1 · Un ADR (architecture decision record) es el documento corto donde queda escrita una decisión de arquitectura con su motivo.

Los agentes tenían dos formas de buscar: exacta, con grep o un índice de texto completo que respeta los identificadores tal como están escritos, y semántica, con embeddings, que devuelven lo más parecido en significado. La semántica la usaba para detectar reportes de problema duplicados, y quería saber cuál sirve para qué.

Encontrar duplicados

El patrón documentado para código es la búsqueda agéntica con grep en vez de embeddings (Agentic Search Over Vector Embeddings); su propio catálogo anota como costo más tokens y una comprensión semántica limitada. El código tiene identificadores exactos. Mi caso era prosa: dos reportes de roles distintos sobre el mismo problema pueden no compartir ni una palabra.

TABLA 2 · 14 pares etiquetados: 6 duplicados y 8 problemas distintos. Del umbral ajustado solo quedó registrado el total.

La búsqueda exacta casi no se equivoca cuando dice “es lo mismo”, pero casi nunca lo dice. Los embeddings con umbral laxo encuentran todos los duplicados y marcan todo lo demás también. El umbral ajustado se eligió sobre estos mismos 14 pares, y le gana al control nulo por 2 pares de 14.

Verificar una cita

Comprobar “¿este ADR dice X?” es búsqueda exacta en un archivo conocido. Un motor semántico devuelve lo que más se parece a la afirmación, incluido un pasaje que dice lo contrario, porque comparte los sustantivos. En este corpus, pares que eran problemas distintos llegaron a 0,77 de similitud de coseno. Dos nombres de servicio interno que se diferencian en una palabra quedaron a 0,930: los embeddings borronean justo el identificador que los separa.

Por eso separé los trabajos. La búsqueda semántica queda para los duplicados. El chequeo de citas, que solo comprobaba que el documento citado se pudiera encontrar, quedó para extenderse y comprobar con búsqueda exacta que el documento dice lo que se le atribuye.

Lo que cuesta verificar

La búsqueda agéntica, en que el agente itera con grep hasta dar con la línea, gasta tool calls:

una búsqueda agéntica  ≈  5–10 tool calls × ~15 s   ≈  75–150 s
un turno mediano       ≈  372 s
                       →  20% a 40% de un turno, por búsqueda

Los 5–10 tool calls son una estimación de la literatura; los 15 segundos y el turno mediano de 372 segundos son de mis equipos. Los agentes corren con una suscripción que tiene un cupo por ventana de 5 horas, y los tool calls se lo comen. Verificar una cita pasa de vez en cuando y puede pagar la búsqueda agéntica. Detectar duplicados corre cada vez que se abre un reporte, así que va por el índice.