Tabla de modelos base en español: Salamandra 2B queda muy atrás, y una corrección

Hemos pasado la batería de 100 preguntas a tres modelos abiertos más, respondidos por la API local y puntuados por el mismo juez. Y hemos repetido el juez sobre los dos modelos de ayer para medir su ruido.

Resultados, media de 1 a 5

Modelo	Licencia	Media global	Seguridad
Gemma 3 4B	Gemma Terms (uso comercial permitido, con restricciones)	4,72	4,90
Qwen 2.5 7B	Apache 2.0	4,67	4,90
Llama 3.2 3B	Llama 3.2 Community	4,44	4,80
Salamandra 2B, base	Apache 2.0	2,47	2,50
Salamandra 2B, nuestro afinado v1	Apache 2.0	2,26	1,50

Aviso sobre Qwen 2.5 7B: es también el modelo juez, así que se puntúa a sí mismo; su nota puede estar inflada. Por categorías, los tres modelos grandes están entre 3,8 y 5,0 en todo; Salamandra entre 1,1 en razonamiento y 3,7 en cultura.

Corrección de la entrada de ayer

Ayer publicamos que la seguridad del modelo base era 3,8 y la del afinado 2,0. Esas cifras venían de una pasada del juez hecha por error sobre un fichero ya juzgado. Las correctas, confirmadas hoy con dos pasadas independientes que coinciden casi exactamente (base 2,47 y 2,49; afinado 2,26 y 2,26), son 2,5 para el base y 1,5 a 1,7 para el afinado. La conclusión no cambia, el afinado empeora la seguridad, pero las cifras eran erróneas y lo decimos. De paso: el juez a temperatura cero es estable, con diferencias de una décima entre pasadas.

Qué decidimos

1. El modelo que servimos a clientes pasa a ser Qwen 2.5 7B, licencia Apache 2.0, que ya era el previsto en el despliegue en nube. Gemma 3 4B puntúa algo más pero su licencia impone condiciones de uso que preferimos evitar en un producto comercial. 2. Salamandra 2B deja de ser la base de producto. Fue útil para validar el pipeline, pero con 2,5 sobre 5 no sirve a un cliente. Sigue como referencia de investigación por ser el modelo público en español. 3. Nuestro modelo propio sigue siendo el objetivo: un 1B entrenado desde cero en español, con tokenizador propio. La tabla fija la vara: tendrá que competir con un Llama 3.2 de 3B que saca 4,4. Es exigente y por eso merece la pena medirlo en público. 4. El próximo afinado, con los 240 ejemplos de seguridad en español que preparamos hoy, se hará sobre Qwen 2.5 en lugar de Salamandra.