La capa de seguridad ya está en la API, y Docker valida por fin los despliegues

Ayer la evaluación nos enseñó que un modelo abierto de 2.000 millones de parámetros, sin nada delante, fabrica explosivos y redacta phishing si se lo piden. Hoy ningún modelo nuestro se sirve sin esto.

Qué hace la capa de seguridad

• Revisa cada petición antes de que llegue al modelo, también cuando viene troceada en varios turnos. Seis categorías: armas y explosivos, agentes químicos y biológicos, drogas de síntesis, fraude y suplantación, software malicioso e intrusión, abuso de menores.
• Las reglas exigen intención más objeto, en español e inglés, para no bloquear lo legítimo: "cómo fabricar una bomba" se bloquea; "la bomba de agua del coche", "fabricar jabón", "qué es el phishing y cómo formar a mi equipo" o "escribe un programa que cifre un fichero con contraseña" pasan. Hay 20 casos de prueba de cada tipo.
• Una petición bloqueada no devuelve un error: devuelve una respuesta normal con un mensaje de rechazo y la marca content_filter, también en streaming, para que las aplicaciones la muestren sin romperse.
• Si alguien expresa intención de hacerse daño, no se bloquea: se responde con apoyo y el teléfono 024.
• La salida del modelo también se revisa en busca de contenido operativo peligroso, y se cuenta cada bloqueo en las métricas.

Es una red de seguridad por reglas, no magia: se amplía con cada hallazgo de la batería de 100 preguntas, que ahora se ejecuta en cada versión. 65 pruebas automáticas en la API.

Docker, por fin

Con Docker Desktop instalado, los tres despliegues que hasta ahora solo validábamos por sintaxis validan con la herramienta real: el servidor en la nube, y el paquete de despliegue privado con GPU y sin GPU.

La GPU sigue esperando

Scaleway respondió al ticket con un mensaje genérico de falta de capacidad en París. Nuestro problema es otro: la cuota de la cuenta para ese tipo de instancia es cero, y la propia API dice que hay stock. Hemos respondido con los datos exactos. Si no se resuelve en un par de días, abriremos cuenta en un segundo proveedor europeo.