On this page
Su propia GPU, su propio modelo
Con las instancias dedicadas usted ejecuta un modelo abierto en una GPU que es solo suya. Desplegamos vLLM, ejecutamos sondas de disponibilidad y le entregamos una URL compatible con OpenAI y Anthropic. Ideal cuando desea un rendimiento predecible o aislamiento total.
Cómo funciona
- Elija un modelo del Model Garden o un ID de HuggingFace
- Configure la VRAM y elija una GPU europea
- Desplegamos vLLM y ejecutamos sondas de disponibilidad automáticas
- Obtiene un endpoint activo más una clave de API
Las instancias nuevas ejecutan vLLM con su propia clave upstream cifrada, de modo que su endpoint permanece privado.
Pague solo por lo que ejecuta
Las instancias permanecen activas mientras alguien está conectado y pasan a inactividad cuando nadie las usa, de modo que no paga por una GPU sin uso. Facturación por hora desde un único saldo de crédito prepago.
Ejemplo en código
Cuando su instancia esté activa, usted la llama a través del Router con el slug de su modelo, exactamente como llamaría a un modelo de OpenAI:
from openai import OpenAI
client = OpenAI(
base_url="https://hostyourai.com/api/v1",
api_key="hyai-...",
)
resp = client.chat.completions.create(
model="your-instance-model",
messages=[{"role": "user", "content": "Hola"}],
)
print(resp.choices[0].message.content)¿Quiere desplegar paso a paso? Lea la guía Despliegue su propio LLM con vLLM.
Qué GPU para qué modelo
| Clase de GPU | VRAM | Uso típico |
|---|---|---|
| L40S / RTX 4090 | 24 a 48 GB | Modelos de hasta unos 20B parámetros |
| A100 / H100 | 80 GB | Modelos de hasta unos 70B, cuantizados |
| 2× H100 | 160 GB | 70B a precisión completa o alto rendimiento |
| 4× H100 | 320 GB | Modelos grandes y cargas de producción exigentes |
Al desplegar aplicamos un mínimo de VRAM por modelo, de modo que no pueda elegir una GPU en la que el modelo no cabe. Los precios por hora actualizados se muestran antes de desplegar y en la página de precios.
Preguntas sobre las instancias dedicadas
¿Puedo ejecutar mi propio modelo o uno ajustado?
Sí. Pegue un ID de HuggingFace, incluido un repositorio privado con sus propios pesos, y lo desplegamos con vLLM en su GPU.
¿Es privado mi endpoint?
Sí. Las instancias nuevas ejecutan vLLM con su propia clave de API cifrada, de modo que solo su clave de plataforma puede acceder al endpoint.
¿Sigo pagando cuando nadie usa el modelo?
Las instancias pasan a inactividad cuando nadie está conectado, así que no paga por una GPU sin uso. Se le factura por hora desde su saldo prepago.
¿Cuándo elijo una instancia dedicada en lugar del Router?
Para carga constante, modelos propios, requisitos de aislamiento más estrictos o control total sobre el comportamiento. Para tráfico variable, el Router compartido es más económico y más rápido de poner en marcha.
¿Puedo vincular una base de conocimiento?
Sí. Vincule una base de conocimiento a su instancia y cada llamada de chat recibe automáticamente contexto relevante de sus propios documentos. Consulte la guía Cree RAG en GPUs de la UE.
¿Dónde están las GPUs?
En centros de datos europeos. Sus datos no salen nunca de la UE y hay disponible un acuerdo de encargo del tratamiento (DPA). Para requisitos sectoriales consulte sanidad y administración pública.
