A12 jornadas
Inferencia
Qué ocurre desde que se envía una petición hasta que el modelo responde, cuánto cuesta y cómo se sirve.
- Inferencia I · usar modelos
- Tokens, contexto, latencia y coste. Cómo elegir modelo para cada tarea. APIs y agregadores con una sola clave.
- Inferencia II · servir modelos
- Ejecutar modelos en servidor propio o alquilado, cuantización, hardware necesario y cuándo compensa frente a pagar por uso.