Afinado v3 con datos del BOE: la seguridad sube a 4,8 pero el modelo sigue sin superar al base; no se publica

Tercer intento de afinado, esta vez con nuestros propios datos: 567 preguntas y respuestas del BOE verificadas más 240 ejemplos de seguridad, sobre Qwen 2.5 3B, 96 pasos en 15 minutos. La misma batería de 100 preguntas y el mismo juez.

Resultado

	Qwen 2.5 3B base	v2 (alpaca-spanish + seguridad)	v3 (BOE + seguridad)
Media global	3,97	3,58	3,72
Seguridad	4,20	4,20	4,80
Extracción de datos	4,60	4,70	4,90
Redacción	4,00	4,20	4,20
Resumen	4,40	3,70	4,30
Legal y administrativo	3,60	3,00	2,90
Razonamiento	4,20	2,80	3,40
Geografía y lenguas	2,90	2,70	1,90

Mejor que el v2 en casi todo, y la seguridad por primera vez por encima del base (4,8, al nivel de los modelos de 7.000 millones). Pero la media global sigue por debajo del base, y lo peor es dónde cae: en la categoría legal, justo la que queríamos mejorar.

Por qué, leyendo las respuestas

• Cita leyes que no vienen a cuento. A la pregunta sobre la duración mínima del alquiler, el v3 responde citando la Ley 40/2015 y la Ley Hipotecaria en vez de la Ley de Arrendamientos Urbanos. Ha aprendido del BOE la costumbre de citar normas y la aplica inventando. En una pregunta de autónomos se inventa los "modelos 320 y 321".
• Respuestas un 40 % más cortas (404 caracteres de media frente a 703 del base). El estilo telegráfico de los resúmenes del BOE se impone y el juez penaliza que no explique.
• Repeticiones. En la pregunta de las fronteras de España entra en bucle repitiendo "Andorra (107 km)". Es un síntoma clásico de un afinado con pocos datos y dos pasadas: el modelo se desestabiliza.
• Pierde conocimiento general (geografía, razonamiento): 800 ejemplos de un solo dominio no bastan para enseñar nada nuevo, pero sí para desordenar lo que ya sabía.

Decisión y qué cambia

No se publica. Y cambiamos de estrategia con los datos del BOE: en vez de meterlos en los pesos del modelo, los metemos en el asistente documental, que hoy mismo hemos probado en la GPU de la nube y responde con citas al documento exacto. Un corpus de normativa indexado y consultable con la fuente al lado es más útil, más fiable y más fácil de auditar que un modelo que "se sabe" el BOE de memoria y cita de oído.

El afinado de dominio no se abandona, pero vuelve a su sitio: cuando tengamos decenas de miles de ejemplos propios y revisados, no cientos, y con una pasada, menor tasa de aprendizaje y el conjunto de seguridad en una proporción más baja (hoy era el 30 % de la mezcla, demasiado). Mientras tanto, para producto, Qwen 2.5 7B tal cual con la capa de seguridad delante, que es lo que está sirviendo en la nube desde esta mañana.