A12 jornades
Inferència
Què passa des que s'envia una petició fins que el model respon, quant costa i com se servix.
- Inferència I · usar models
- Tokens, context, latència i cost. Com triar model per a cada tasca. APIs i agregadors amb una sola clau.
- Inferència II · servir models
- Executar models en un servidor propi o llogat, quantització, maquinari necessari i quan compensa davant de pagar per ús.
