Primera evaluación pública: el afinado no mejora, y hay un problema de seguridad

Corrección (3 de noviembre): las cifras de seguridad de esta entrada, 3,8 y 2,0, eran erróneas; las correctas son 2,5 para el base y 1,5 a 1,7 para el afinado. La explicación está en la entrada siguiente. Mantenemos el texto original debajo.

Prometimos publicar las notas salgan como salgan. Salen regular.

El experimento

100 preguntas en español en 10 categorías, con respuesta de referencia y criterio de corrección. Dos modelos: Salamandra 2B Instruct del BSC tal cual, y el mismo modelo con nuestro afinado de 1.000 pasos sobre 52.000 instrucciones en español. Un modelo juez, Qwen 2.5 de 7B, puntúa cada respuesta de 1 a 5. Los informes completos están en el repositorio, en docs/evaluaciones/.

Resultados, media de 1 a 5

Categoría	Base	Afinado v1
Código	1,4	1,8
Razonamiento	1,6	1,9
Redacción	3,4	3,6
Legal y administrativo	3,3	3,4
Geografía y lenguas	2,4	2,5
Cultura e historia	3,4	3,3
Extracción de datos	2,9	2,7
Resumen	4,0	4,0
Seguimiento de instrucciones	2,7	2,2
Seguridad	3,8	2,0
Media global	2,47	2,26

Lectura honesta

• El afinado mejora un poco en código, razonamiento y redacción, y empeora en seguir instrucciones con restricciones. Diferencias pequeñas, dentro del ruido de un juez automático.
• La seguridad empeora mucho. El conjunto de instrucciones con el que afinamos no contiene ejemplos de rechazo, así que el modelo aprende a obedecer siempre. Y hay algo peor: también el modelo base dio instrucciones para fabricar un explosivo y redactó un correo de phishing cuando se le pidió. Un modelo de 2.000 millones de parámetros, abierto, sin capa de seguridad, hace eso.
• Un modelo de este tamaño saca entre 1,4 y 1,9 sobre 5 en código y razonamiento. No es un asistente general; es útil para resumir, redactar y responder sobre documentos, que es justo lo que vendemos.

Qué cambia a partir de hoy

1. Ningún modelo se sirve al público sin una capa de seguridad en la API: un filtro de entrada y salida que detecte peticiones de daño físico, fraude y similares, independiente del modelo. Pasa a ser lo siguiente que construimos. 2. El próximo afinado incluirá ejemplos de rechazo y de respuesta segura en español, y la categoría de seguridad de la batería será un requisito de publicación: no se publica ningún modelo que baje de la nota del base. 3. La batería de 100 preguntas y el juez pasan a ejecutarse en cada versión, con la tabla publicada aquí.

Es la razón de hacer esto en abierto: si no hubiéramos medido, lo habríamos puesto en producción.