El 16 de septiembre un equipo de UC Berkeley y de Arena publicó HarnessTax, un estudio que separa dos decisiones que suelen tomarse juntas: qué modelo usa un agente de código y en qué arnés corre. El arnés es el programa que le da al modelo sus herramientas, arma su contexto y ejecuta cada paso.
Probaron siete modelos en tres arneses: Claude Code, Codex CLI y Pi, de código abierto y con solo cuatro herramientas. Cada una de las 21 combinaciones resolvió las mismas 30 tareas de SWE-bench Lite y de Terminal-Bench 2.0, tres veces cada una, con la misma lista de precios de API para todas.
La misma tabla para los tres arneses
| Modelo | Claude Code | Codex CLI | Pi |
|---|---|---|---|
| Claude Fable 5 | 1,33 USD · 97,8 % | 0,89 USD · 96,7 % | 0,67 USD · 96,7 % |
| Claude Opus 4.8 | 0,98 USD · 86,7 % | 0,69 USD · 88,9 % | 0,47 USD · 82,2 % |
| Claude Sonnet 4.6 | 0,67 USD · 66,7 % | 0,74 USD · 68,9 % | 0,68 USD · 64,4 % |
| Claude Haiku 4.5 | 0,43 USD · 52,2 % | 0,39 USD · 57,8 % | 0,37 USD · 60,0 % |
| GPT-5.6 Sol | 1,54 USD · 77,8 % | 0,56 USD · 73,3 % | 0,44 USD · 74,4 % |
| GPT-5.6 Luna | 0,15 USD · 55,6 % | 0,04 USD · 55,6 % | 0,03 USD · 53,3 % |
| Kimi K3 (pesos abiertos) | 0,78 USD · 76,7 % | 0,85 USD · 74,4 % | 0,46 USD · 72,2 % |
SWE-bench Lite: coste medio por intento y tasa de éxito, con los datos publicados por HarnessTax. Precios de API fijados al 1 de septiembre de 2026.
El acierto casi no se mueve, la factura sí
Con el mismo modelo, el efecto medio del arnés sobre la tasa de éxito quedó dentro de dos puntos en SWE-bench Lite y de unos cinco en Terminal-Bench 2.0. El coste llegó a multiplicarse por cinco. Los autores lo llaman impuesto del arnés: pagar más por la misma calidad por aceptar la herramienta por defecto sin comparar.
Parte de la diferencia está en la primera llamada. En SWE-bench Lite, la primera petición al modelo lleva de media unos 2.000 tokens de contexto con Pi, unos 11.300 con Codex y unos 27.000 con Claude Code, sumando instrucciones, definiciones de herramientas y el enunciado de la tarea.
Y el arnés del propio laboratorio no asegura la tasa más alta: los modelos de Anthropic y OpenAI lograron su tasa más alta con un arnés ajeno en nueve de doce comparaciones. Son 30 tareas por prueba sobre benchmarks públicos, y los autores advierten que otras cargas pueden dar otro resultado.
Qué cambia para una empresa en Colombia
El arnés es media decisión de compra. Con la TRM del 17 de septiembre (3.128,46 pesos), mil intentos de tarea con Claude Fable 5 cuestan unos 4,16 millones de pesos en Claude Code y unos 2,08 millones en Pi, con casi el mismo acierto. Quien compara agentes de código mirando solo el modelo deja la otra mitad de la factura sin decidir.
La comparación que vale es la tuya. Veinte o treinta tareas reales de tu propio código, en dos arneses, midiendo coste por tarea resuelta. El argumento contrario lo dan los propios autores: un arnés con más funciones puede rendir más en sesiones largas o interactivas, que el estudio no midió.
El modelo no te ata a la herramienta. Si los modelos rinden igual o mejor fuera de su arnés de origen, cambiar de herramienta no obliga a cambiar de proveedor. Y el gasto en agentes de código ya no es menor: OpenAI publicó cuánto consume por investigador.
La misma trampa aparece cuando dos modelos se comparan con un solo número que nadie midió en la misma mesa: Laya contra Jev, y lo que dicen los dos bancos que corrieron los dos.
Escribimos desde la operación de agentes en producción (casos). Si quieres esta cuenta con las tareas de tu equipo, hablemos.