Primer corpus en español y un tokenizador propio

El modelo empieza por los datos. Hoy hemos descargado y filtrado una primera muestra de 200.000 documentos web en español del corpus abierto FineWeb-2, unos 147 millones de tokens.

Qué hace el pipeline

• Filtra calidad y deduplica con MinHash.
• Elimina correos electrónicos y teléfonos antes de que entren al entrenamiento: en esta muestra, 6.719 correos y 14.529 teléfonos.
• Guarda un informe por lote con las fuentes y las cifras, que es lo que exige el Reglamento de IA para el resumen de datos de entrenamiento.

El tokenizador

Con la primera muestra entrenamos un tokenizador propio de 32.000 unidades. Resultado sobre texto en español: 1,27 tokens por palabra, frente a 1,45 de Salamandra, el modelo público del BSC, y 1,79 de Qwen3. Entre un 12 y un 30 % menos tokens significa entre un 12 y un 30 % menos coste por petición y más contexto útil. Es una muestra pequeña; lo repetiremos con el corpus grande.