Antes de que un agente conteste algo hay una decisión más pequeña y más importante: qué acaba de hacer la persona del otro lado. Si prometió pagar se abre un compromiso, si discute la deuda entra una persona, y si pidió que no la vuelvan a contactar el canal se cierra y no se reabre. Casi todo el mundo toma esa decisión con una lista de palabras clave, porque es lo que se escribe el primer día y funciona lo suficiente como para quedarse.
Quisimos ponerle un número. Armamos 60 conversaciones cortas de WhatsApp en español colombiano, todas inventadas, etiquetadas a mano antes de consultar a ningún modelo, con seis clases que cambian lo que pasa después: promesa, disputa, otra persona, no contacto, información y nada útil. 44 de las 60 están construidas a propósito para romper una regla de texto.
Los números
Las reglas y el modelo reciben exactamente el mismo texto y exactamente las mismas seis definiciones de clase.
| Clasificador | Aciertos | Directos | Con trampa | «No me escriban» perdidos |
|---|---|---|---|---|
| Reglas de palabras clave | 42 de 60 | 15 de 16 | 27 de 44 | 2 de 9 |
| Jev | 56 de 60 | 16 de 16 | 40 de 44 | 0 de 9 |
La última columna es la que importa de verdad. Las reglas perdieron dos revocaciones: «Ejerzo mi derecho a que no me sigan escribiendo», que no usa ninguna de las palabras esperadas, y «Esa deuda no es mía y no quiero que me escriban nunca más», que se la lleva la disputa porque aparece primero. Seguir escribiéndole a cualquiera de esos dos no cuesta un punto porcentual: cuesta una queja. Y en el otro sentido, las reglas marcaron como revocación un «No me vuelvan a escribir hasta el viernes que es cuando pago», que es exactamente lo contrario, una promesa.
Lo que no se ve en el total
Jev no devuelve una etiqueta: devuelve la distribución completa sobre las seis clases y una confianza derivada de cómo está repartida. Eso permite una pregunta que un clasificador de etiqueta suelta no admite: ¿y si solo automatizamos aquello en lo que el modelo está seguro?
| Se escala a una persona | Automáticos | Aciertos de lo automático |
|---|---|---|
| Nada, se automatiza todo | 60 | 56 de 60 |
| Confianza bajo 0,7 | 56 | 54 de 56 |
| Confianza bajo 0,8 | 54 | 54 de 54, sin un error |
Los seis casos con confianza por debajo de 0,8 contienen los cuatro errores. Los cuatro. La mediana de confianza del banco entero es 1,00, así que el corte no manda a revisión una cola larga: manda el 10%, y lo que queda sale limpio.
Repetirlo cuatro veces es parte de la medición
Corrimos el mismo banco cuatro veces: dos pasadas idénticas, y luego las dos versiones del modelo por separado. Solo dos veredictos de 60 se movieron, y los dos eran de los casos con menos confianza de todo el banco, entre 0,35 y 0,52. El resto no se movió: ninguna probabilidad cambió más de 0,08.
Entre versiones no hubo diferencia de aciertos, 56 y 56. Sí la hubo en la cautela: la versión nueva marcó nueve casos bajo 0,8 donde la anterior marcaba seis, con los mismos errores dentro. Un detalle para quien vaya a fijar un umbral: pedir jev-latest nos devolvió la versión anterior, no la del 14 de octubre, así que la versión se pide por su nombre completo o se lee en la respuesta.
De los cuatro fallos, tres son casos donde dos personas también discutirían: «Ya le dije que sí» sin saber a qué, «Pague» a secas, y un «No soy yo. Y les agradezco que no sigan escribiendo a este número» que etiquetamos como número equivocado y el modelo leyó como revocación. El modelo no se equivocó en silencio en ninguno: los tres estaban marcados.
Qué se lleva quien clasifique cualquier cosa
El margen contra las reglas es grande, pero el resultado útil es el otro. Un clasificador que devuelve solo la etiqueta obliga a tratar igual lo que tiene clarísimo y lo que está partido entre dos clases, y la única forma de encontrar lo segundo es auditando a mano. Una salida con su distribución convierte eso en una línea de código y en una decisión de negocio: dónde pones el umbral, cuánto trabajo mandas a una persona y qué error estás dispuesto a dejar pasar en lo que no revisa nadie.
Dos advertencias sobre la cifra: el banco es nuestro y es sintético, así que mide la dificultad que nosotros diseñamos, y 60 casos dan una señal, no una garantía. Pero la parte que no depende de eso es que los errores vinieron marcados, y eso se puede comprobar en cualquier banco propio en una tarde.
Las 60 llamadas costaron 42.244 tokens de entrada, con mediana de 413 milisegundos. Al precio publicado, un millón de conversaciones de este tamaño sale por unos 30 dólares, así que el coste no decide nada aquí. Nosotros operamos agentes de mensajería y de voz en producción con dueño humano, y esta es la segunda vez que medimos este modelo contra una decisión real: la primera fue de portero de un agente de código.