Afinado de 1.000 pasos terminado, y cómo lo hicimos tres veces más rápido

El segundo afinado de Salamandra 2B ha terminado: 1.000 pasos sobre 16.000 instrucciones en español, en la misma GPU portátil de 8 GB. Pérdida de validación 0,549, frente a 0,568 con 300 pasos y 0,665 con 30. Precisión por token del 86,9 %.

El problema de velocidad

A mitad del entrenamiento cada paso tardaba 24 segundos, el triple que en la prueba inicial. Dos causas. La primera, tonta: siete servidores de vista previa que habíamos dejado abiertos durante el día comiendo CPU. La segunda, más interesante: la memoria de vídeo estaba al límite, 7,9 de 8,1 GB, y Windows desborda silenciosamente a la RAM del sistema, que es decenas de veces más lenta. El culpable es el vocabulario de Salamandra, 256.000 entradas: solo los logits de cuatro secuencias de 512 tokens ocupan 2 GB.

La solución

Añadimos al script la capacidad de reanudar desde un punto de control y relanzamos desde el paso 400 con secuencias de 512 tokens, lotes de 2 con acumulación de 8, misma matemática, y la evaluación solo al final. Resultado: 4,6 segundos por paso, los 600 pasos restantes en 77 minutos en lugar de las 3 horas y media previstas.

Lección que vale para cualquiera que entrene en una GPU pequeña: vigila la memoria, no solo la utilización. Al 100 % de uso y memoria llena, la GPU está esperando a la RAM.

Lo siguiente

Está corriendo la evaluación completa: 100 preguntas en 10 categorías, respondidas por el modelo base y por el afinado, puntuadas por un modelo juez. Publicaremos la tabla, salga como salga.