# Jev acierta 56 de 60 conversaciones, y sus cuatro errores caen donde él mismo dijo que dudaba > 60 conversaciones de cobranza etiquetadas a mano, contra reglas de palabras y contra Jev: 42 frente a 56. Los cuatro fallos están entre los seis casos que el modelo marcó dudosos. - Publicado: 16 de octubre de 2026 - Autor: Equipo de IntegraLaIA - Categoría: Ingeniería - Temas: Agentes, Modelos, Cobranza - Original: https://integralaia.com/blog/medimos-jev-clasificando-conversaciones - Cómo se hizo: Borrador asistido por IA (Claude); revisado, editado y verificado por Equipo de IntegraLaIA el 16 de octubre de 2026. Ilustración generada con IA. --- Antes de que un agente conteste algo hay una decisión más pequeña y más importante: qué acaba de hacer la persona del otro lado. Si prometió pagar se abre un compromiso, si discute la deuda entra una persona, y si pidió que no la vuelvan a contactar el canal se cierra y no se reabre. Casi todo el mundo toma esa decisión con una lista de palabras clave, porque es lo que se escribe el primer día y funciona lo suficiente como para quedarse. Quisimos ponerle un número. Armamos 60 conversaciones cortas de WhatsApp en español colombiano, todas inventadas, etiquetadas a mano antes de consultar a ningún modelo, con seis clases que cambian lo que pasa después: promesa, disputa, otra persona, no contacto, información y nada útil. 44 de las 60 están construidas a propósito para romper una regla de texto. ## Los números Las reglas y el modelo reciben exactamente el mismo texto y exactamente las mismas seis definiciones de clase. | Clasificador | Aciertos | Directos | Con trampa | «No me escriban» perdidos | |---|---|---|---|---| | Reglas de palabras clave | 42 de 60 | 15 de 16 | 27 de 44 | 2 de 9 | | Jev | 56 de 60 | 16 de 16 | 40 de 44 | 0 de 9 | La última columna es la que importa de verdad. Las reglas perdieron dos revocaciones: *«Ejerzo mi derecho a que no me sigan escribiendo»*, que no usa ninguna de las palabras esperadas, y *«Esa deuda no es mía y no quiero que me escriban nunca más»*, que se la lleva la disputa porque aparece primero. Seguir escribiéndole a cualquiera de esos dos no cuesta un punto porcentual: cuesta una queja. Y en el otro sentido, las reglas marcaron como revocación un *«No me vuelvan a escribir hasta el viernes que es cuando pago»*, que es exactamente lo contrario, una promesa. ## Lo que no se ve en el total Jev no devuelve una etiqueta: devuelve la distribución completa sobre las seis clases y una confianza derivada de cómo está repartida. Eso permite una pregunta que un clasificador de etiqueta suelta no admite: ¿y si solo automatizamos aquello en lo que el modelo está seguro? | Se escala a una persona | Automáticos | Aciertos de lo automático | |---|---|---| | Nada, se automatiza todo | 60 | 56 de 60 | | Confianza bajo 0,7 | 56 | 54 de 56 | | Confianza bajo 0,8 | 54 | 54 de 54, sin un error | Los seis casos con confianza por debajo de 0,8 contienen los cuatro errores. Los cuatro. La mediana de confianza del banco entero es 1,00, así que el corte no manda a revisión una cola larga: manda el 10%, y lo que queda sale limpio. ## Repetirlo cuatro veces es parte de la medición Corrimos el mismo banco cuatro veces: dos pasadas idénticas, y luego las dos versiones del modelo por separado. Solo dos veredictos de 60 se movieron, y los dos eran de los casos con menos confianza de todo el banco, entre 0,35 y 0,52. El resto no se movió: ninguna probabilidad cambió más de 0,08. Entre versiones no hubo diferencia de aciertos, 56 y 56. Sí la hubo en la cautela: la versión nueva marcó nueve casos bajo 0,8 donde la anterior marcaba seis, con los mismos errores dentro. Un detalle para quien vaya a fijar un umbral: pedir `jev-latest` nos devolvió la versión anterior, no la del 14 de octubre, así que la versión se pide por su nombre completo o se lee en la respuesta. De los cuatro fallos, tres son casos donde dos personas también discutirían: *«Ya le dije que sí»* sin saber a qué, *«Pague»* a secas, y un *«No soy yo. Y les agradezco que no sigan escribiendo a este número»* que etiquetamos como número equivocado y el modelo leyó como revocación. El modelo no se equivocó en silencio en ninguno: los tres estaban marcados. ## Qué se lleva quien clasifique cualquier cosa El margen contra las reglas es grande, pero el resultado útil es el otro. Un clasificador que devuelve solo la etiqueta obliga a tratar igual lo que tiene clarísimo y lo que está partido entre dos clases, y la única forma de encontrar lo segundo es auditando a mano. Una salida con su distribución convierte eso en una línea de código y en una decisión de negocio: dónde pones el umbral, cuánto trabajo mandas a una persona y qué error estás dispuesto a dejar pasar en lo que no revisa nadie. Dos advertencias sobre la cifra: el banco es nuestro y es sintético, así que mide la dificultad que nosotros diseñamos, y 60 casos dan una señal, no una garantía. Pero la parte que no depende de eso es que los errores vinieron marcados, y eso se puede comprobar en cualquier banco propio en una tarde. Las 60 llamadas costaron 42.244 tokens de entrada, con mediana de 413 milisegundos. Al precio publicado, un millón de conversaciones de este tamaño sale por unos 30 dólares, así que el coste no decide nada aquí. Nosotros operamos [agentes](/agentes) de mensajería y de voz en producción con dueño humano, y esta es la segunda vez que medimos este modelo contra una decisión real: [la primera fue de portero de un agente de código](/blog/jev-portero-de-comandos-agente-de-codigo). --- ## Sobre qué se escribió - Medición propia del 16 de octubre de 2026 contra la API de TypeSafe (`POST https://api.typesafe.ai/v1/systemone`). Banco de 60 conversaciones cortas de WhatsApp en español colombiano, todas sintéticas, etiquetadas a mano antes de consultar a ningún modelo, con seis clases: promesa (11), disputa (10), otra persona (8), no contacto (9), información (11) y nada útil (11). 44 de los 60 están construidos para romper una regla de texto y 16 son directos. Una sola pregunta de tipo choice por conversación, con las mismas seis definiciones que recibe cualquier otro clasificador. Resultados: reglas de palabras clave 42 de 60, Jev 56 de 60; en los 16 casos directos, 15 y 16; en los 44 con trampa, 27 y 40. Cuatro pasadas sobre el mismo banco (jev-latest, que devolvió jev-1.13.0, una repetición, jev-1.13.0 explícito y jev-1.14.0 explícito): dos veredictos de 60 se movieron, y en las cuatro pasadas ningún error quedó fuera del grupo de casos marcados con confianza bajo 0,8. 42.244 tokens de entrada por las 60 llamadas, latencia mediana 413 ms y percentil 95 de 461 ms: https://docs.typesafe.ai/api - TypeSafe AI, página de modelos: Jev 1.14 y Jev 1.13 cuestan ambos 42 dólares por mil millones de tokens de entrada, los tokens de salida no se cobran, y Jev 1.14 está disponible desde el 14 de octubre de 2026. Consultada el 16 de octubre de 2026: https://docs.typesafe.ai/models - TypeSafe AI, referencia del primitivo choice: la respuesta trae la opción elegida, la distribución completa de probabilidad sobre todas las opciones y una confianza entre 0 y 1 calculada a partir de cómo está repartida esa distribución. Consultada el 16 de octubre de 2026: https://docs.typesafe.ai/primitives/choice IntegraLaIA (https://integralaia.com). Publicado bajo el enlace original; cítalo si lo reutilizas.