Un modelo libre en español

Qué es

Un modelo pequeño y bueno en español, no el más grande del mundo. Con ese tamaño cabe en un portátil, en un móvil o en un servidor sin GPU, que es justo lo que una pyme puede desplegar en sus propias instalaciones.

• Tokenizador propio

  Vocabulario entrenado con texto real en español. Menos tokens por palabra que los modelos sesgados al inglés: más contexto útil y menos coste por petición.

• Datos documentados

  Mezcla de web filtrada, texto legal de dominio público, enciclopedias, código y lenguas cooficiales. Respetamos las reservas de derechos y publicamos el resumen de fuentes que exige el Reglamento de IA.

• Evaluación honesta

  Lo comparamos con los modelos abiertos de su tamaño en las mismas tareas en español y publicamos todos los resultados, también los malos.

Arquitectura: transformer decodificador de tipo Llama, con RMSNorm, SwiGLU, RoPE y atención con consultas agrupadas. Nada experimental en la primera versión; lo que queremos es que funcione.

Licencia Apache 2.0

Todo lo que publiquemos, pesos y código, lleva licencia Apache 2.0. En la práctica significa que puedes:

• Usarlo con fines comerciales sin pagarnos nada.
• Modificarlo, afinarlo con tus datos y redistribuir el resultado.
• Desplegarlo donde quieras, también en tus propios servidores, sin depender de nosotros.

A cambio solo pedimos que conserves el aviso de licencia y la atribución. El nombre del modelo y la marca de Proyecto IA no se ceden con la licencia. Si una versión partiera de una base con licencia más restrictiva, lo indicaremos en la ficha del modelo.

Calendario de publicación

Fechas previstas. Publicaremos la curva de pérdida durante el entrenamiento y avisaremos de cualquier retraso en esta misma página.

1. Febrero de 2027 Corpus en español preparado: de 50 a 100 mil millones de tokens filtrados, deduplicados y documentados. Tokenizador propio entrenado y evaluado.
2. Marzo de 2027 Solicitud de horas de cómputo a la Red Española de Supercomputación.
3. Marzo a abril de 2027 Modelo de ensayo de 100 a 300 millones de parámetros para validar datos, tokenizador y código.
4. Mayo a julio de 2027 Preentrenamiento del modelo de 1 a 3 mil millones de parámetros, en supercomputación pública o en nube reservada en la UE.
5. Julio de 2027 Ajuste de instrucciones, optimización de preferencias, evaluación completa y pruebas de seguridad.
6. Agosto de 2027 Publicación en Hugging Face con ficha completa, versiones GGUF cuantizadas y Modelfile para Ollama. Nota técnica en esta web.

Dónde descargarlo

Cuando esté publicado, el modelo estará disponible en:

• Hugging Face: pesos en safetensors, GGUF en varias cuantizaciones y tokenizador. (Enlace provisional; se actualizará con la dirección definitiva del repositorio.)
• Ollama: ollama pull con el Modelfile publicado.
• Repositorio público con el código de entrenamiento y la configuración exacta de cada versión.

Si quieres que te avisemos el día de la publicación, déjanos tu correo.

Cómo contribuir

El modelo es un proyecto abierto y hay varias formas de ayudar antes y después de la publicación:

• Datos: si gestionas un corpus en español o en lenguas cooficiales con licencia que permita el uso, cuéntanoslo. Especialmente texto técnico, administrativo y conversacional.
• Evaluación: necesitamos prompts en español revisados a mano y personas que valoren respuestas. Si trabajas en un sector concreto (derecho, sanidad, agro), tu criterio vale más que cualquier métrica automática.
• Código: cuando abramos el repositorio aceptaremos propuestas de cambio en el pipeline de datos, la evaluación y las herramientas de despliegue.
• Errores: cuando el modelo esté publicado, abre una incidencia con el prompt y la respuesta problemática. Los fallos de seguridad, por correo y no en público.

Escríbenos a erspagos@gmail.com con el asunto «Modelo libre».