Sin stock de GPU en la nube europea

Para servir la API en público necesitamos una GPU alquilada en la Unión Europea. Elegimos Scaleway, con regiones en París y Varsovia, y una NVIDIA L4 de 24 GB a 0,79 euros la hora, suficiente para modelos de hasta 8.000 millones de parámetros cuantizados.

Lo que pasó

Cuenta creada, identidad verificada y gasto aprobado. Y en el momento de crearla, todas las GPU aparecen sin stock en todas las zonas: L4, L40S y H100. Solo quedaba una Tesla P100 de hace casi diez años, más cara y peor.

Lo que hicimos

En lugar de pagar el doble por la única opción disponible, escribimos un vigilante que consulta el stock cada tres minutos y crea el servidor por la API en cuanto aparece. Mientras tanto, el stack completo está listo en Docker Compose: vLLM, pasarela de API, Qdrant, Postgres, Prometheus, Grafana y Caddy con TLS automático. Cuando la GPU llegue, el despliegue son unos minutos.

Lección: la escasez de GPU no es solo cosa de los grandes. Conviene tener plan B de proveedor.