Laya le gana a Jev en los titulares, y los dos bancos que corrieron los dos modelos dicen lo contrario

El 15 de septiembre TypeSafe abrió el acceso anticipado a Jev y estrenó una etiqueta: modelo System One. No escribe. Recibe el estado de un programa y preguntas con opciones cerradas, y devuelve la elegida con su probabilidad, en un solo paso. Tres días después, Convai Innovations publicó Laya en Hugging Face con licencia Apache 2.0: la misma idea, con los pesos descargables. Desde entonces circulan dos números, 0,766 contra 0,727, y una frase: el abierto le ganó al cerrado.

Quién midió qué

Quién	Prueba	Jev	Laya
Convai, tarjeta de Laya	typed-decisions	0,727 sin afinar	0,766 afinado
Convai, misma tarjeta	Banking77	0,870 (72 etiquetas)	0,425 (77 etiquetas)
sysone-bench, 26 de septiembre	manifiesto sellado, 1.240 decisiones	0,9065	0,6863
TraceStone y NTU, 27 de septiembre	R-Judge, F1	0,879	0,492
TraceStone y NTU, 27 de septiembre	AgentHarm, F1	0,840	0,731

El titular sale de la tarjeta, y la tarjeta avisa

Los dos números del titular están en la tarjeta de Laya, y al lado está la letra pequeña, escrita por Convai: las cifras de Jev son publicadas por terceros, nunca medidas ahí, porque no tenían acceso a su API, y los tamaños de muestra y los enunciados difieren. El 0,766 es el punto de control ya afinado sobre ese banco; el base saca 0,362, por debajo de la línea base de clase mayoritaria, y la tarjeta lo dice sin rodeos. En la misma tabla, con 77 etiquetas, Jev saca 0,870 y Laya 0,425.

Los dos que sí corrieron los dos

sysone-bench pasó los dos modelos por el mismo manifiesto sellado, con la misma semilla y las entradas verificadas byte a byte: Jev 0,9065, Laya 0,6863, con Jev delante en las nueve suites y la diferencia sobreviviendo la corrección de Holm en ocho. Su frase lo resume: dos números de enunciados distintos no son una comparación. El repositorio publica también sus límites, que son reales: un solo revisor humano sobre un borrador asistido por un modelo, sin segundo revisor. Dos días después, un artículo de TraceStone y la Universidad Tecnológica de Nanyang corrió los dos modelos contra tres bancos de seguridad y puso a Jev delante en los tres.

Lo que sí cambia, y no es el número

Laya trae algo que Jev no ofrece y que ningún banco le quita: pesos Apache 2.0 que se descargan, se instalan donde estén los datos y se afinan con ejemplos propios. Para una decisión que no puede salir del país, esa es la variable que manda. Lo que no aguanta es el atajo de elegir por un titular: antes de mover el motor de una decisión de un agente en producción, la cifra que vale es la del modelo sobre tus propios casos, y el número de ejemplos etiquetados que tienes para afinarlo. Así probamos antes de cambiar nada, y lo que ya opera está en nuestros casos. Eso es justo lo que hicimos después con Jev sobre un banco propio: 94 comandos de un agente de código, medidos uno a uno.