Deep Learning
Backprop, MLP, atención, Transformers, entrenamiento y fine-tuning.
Volver a los 11 temas · Referencia · el temario oficial: Syllabus IOAI
📋 En el syllabus oficial: sección 4. Neural networks and deep learning.
La sección 4 del syllabus y el núcleo de la olimpiada. Si solo pudieras entrenar un tema, es este: el fine-tuning de un modelo preentrenado resuelve, total o parcialmente, la mayoría de las tareas.
📌 Qué abarca
- Bases 🧠💻: perceptrón, descenso de gradiente, backpropagation, activaciones (ReLU, Sigmoid, Tanh), pérdidas (MSE, MAE, cross-entropy).
- Arquitectura 🧠💻: MLP, embeddings (texto, imagen, audio), pooling, atención, Transformers (teoría solo para texto e imagen), SGD y mini-batch.
- Entrenamiento 💻: Adam/AdamW, learning rates y convergencia, dropout, early stopping, weight decay, inicialización, batch norm, autoencoders.
- Fine-tuning 💻: completo y parameter-efficient (LoRA vía
peft). ⭐ La técnica que más tareas resuelve.
Alcance y prioridades de estudio
Distingue lo no incluido oficialmente de lo que esta ruta pospone por presupuesto. El alcance oficial lo fija Syllabus IOAI.
- Límite del entorno 2026: TensorFlow / Keras (no existen en la plataforma).
- No listado como subtema en el syllabus 2026: Aprendizaje por refuerzo profundo.
- Alcance teórico explícito 2026: Teoría de Transformers aplicada a audio o video — el syllabus la acota explícitamente a texto e imagen.
- Prioridad didáctica: medir primero modelos pequeños; entrenar desde cero no está excluido del syllabus y algunas tareas lo exigen.
🎯 En competencia
El presupuesto manda: una GPU de ~16 GB y minutos, no horas (en 2026 cada tarea tenía entre 5 y 12 minutos de wall clock que debían cubrir entrenamiento e inferencia). Eso empuja a modelos chicos, LoRA, mixed precision y early stopping. IOAI Field (2026) llevó el límite al extremo opuesto: entrenar desde cero; el score se divide por dos si la red tiene más de 20.260 parámetros.
⚠️ La trampa típica
Presupuestar el tiempo como si el reloj corriera solo en tu máquina. El notebook se re-ejecuta sobre los datos ocultos, y ese re-run también tiene que caber en el límite. Un fine-tuning de 9 minutos con límite de 10 es una bomba de tiempo.
⚙️ Recetas de este tema
Código listo para consultar, con su implementación verificada. El catálogo completo, ordenado por el momento en que se necesita, está en Catálogo de recetas.
- Bucle de entrenamiento en PyTorch — El bucle mínimo de entrenamiento: forward, pérdida, zero_grad, backward, step.
- MLP — Construye un perceptrón multicapa con activaciones y dropout opcional.
- Contar parámetros — Cuenta los parámetros de un modelo exactamente como lo hace un grader, y verifica si caben en un presupuesto.
- Congelar capas — Congela un modelo entero, o deja entrenables solo sus últimas capas.
- Early stopping — Corta el entrenamiento cuando la métrica de validación deja de mejorar durante
pacienciaépocas.
🏋️ Tareas de la IOAI con este tema
Ordenadas por media observada descendente. La ronda y el tamaño de cohorte importan: este orden no prescribe una progresión de estudio.
| Tarea | Edición | Ronda | Rendimiento observado |
|---|---|---|---|
| Chicken Counting | IOAI 2025 | Día 1 | 🟡 media ≥25 · media 26.11 · n=284 |
| Double Agent Dilemma | IOAI 2026 | Día 2 | 🟠 media ≥12 · media 20.32 · n=440 |
| IOAI Field | IOAI 2026 | Día 2 | 🟠 media ≥12 · media 15.52 · n=440 |
| Robot Chasing | IOAI 2026 | Día 1 | 🔴 media <12 · media 11.98 · n=440 |
| Find the Order | IOAI 2026 | Día 1 | 🔴 media <12 · media 9.72 · n=440 |
| Help BOBAI | IOAI 2024 | Científica on-site | ⚪ sin datos |
| Bobai | IOAI 2024 | Científica at-home | ⚪ sin datos |
| Lost in Translation | IOAI 2024 | Científica at-home | ⚪ sin datos |
| Weather | IOAI 2025 | At-home | ⚪ sin datos |
| Operation Night Watch | IOAI 2026 | At-home | ⚪ sin datos |
| Robot Delivery Academy | IOAI 2026 | At-home | ⚪ sin datos |
Las otras puertas del vault: Ruta de Aprendizaje · Referencia · IOAI