Scaling, Distributed Training & Inference Optimization

Qué dominarás.

Objetivo de aprendizaje: Entender cómo se construyen y se sirven modelos frontera: scaling laws, entrenamiento distribuido y optimización de inferencia (quantization, distillation, serving).

• Scaling laws, compute y economía del entrenamiento; GPU/TPU, mixed precision
• Entrenamiento distribuido: data/model/pipeline parallelism, FSDP/DeepSpeed
• Inference optimization: quantization, distillation, KV-cache, speculative decoding
• Serving a escala: batching, latencia, costo, autoscaling y LLM gateways