Metodología y Datos

Métricas, validación, overfitting, feature engineering y preprocesamiento.

Volver a los 11 temas · Referencia · el temario oficial: Syllabus IOAI

📋 En el syllabus oficial: sección 3. Data science / methodology.

La sección 3 del syllabus, y el tema transversal: no se practica aparte, se practica en cada tarea. Es lo que separa un puntaje que se sostiene en el test oculto de uno que se desinfla.

📌 Qué abarca

  • Métricas: accuracy, precision, recall, F1, ROC/AUC, matriz de confusión 🧠💻.
  • Underfitting / overfitting 🧠 y cómo se ven en las curvas.
  • Validación: splits train/val/test, validación cruzada, splits por grupo cuando las filas no son independientes 💻.
  • Feature engineering: one-hot, ventanas deslizantes, pooling, momentos estadísticos, PCA, embeddings de redes 💻.
  • Data processing: imputación, padding, normalización, augmentation básica, tokenización, patching de imágenes 💻.
  • Hiperparámetros con presupuesto acotado 💻.

Alcance y prioridades de estudio

Distingue lo no incluido oficialmente de lo que esta ruta pospone por presupuesto. El alcance oficial lo fija Syllabus IOAI.

  • No listado como subtema en el syllabus 2026: Búsqueda automática de arquitecturas (NAS) y AutoML pesado: no hay tiempo.
  • No listado como subtema en el syllabus 2026: MLOps, despliegue, monitoreo — nada de eso se evalúa.

🎯 En competencia

La IOAI tiene dos scoreboards: el A (validación, visible durante la prueba) y el B (test oculto, el único que rankea). Toda la metodología existe para que tu número local prediga el B. Los enunciados de 2026 lo dicen sin rodeos: los splits ocultos vienen de la misma distribución que train, así que tu score local es una previsión fiel si validaste bien.

⚠️ La trampa típica

Perseguir el scoreboard A. Con 60 envíos por tarea es perfectamente posible sobreajustar a la validación pública y desplomarse en el B. Un split local honesto vale más que veinte envíos de tanteo.

⚙️ Recetas de este tema

Código listo para consultar, con su implementación verificada. El catálogo completo, ordenado por el momento en que se necesita, está en Catálogo de recetas.

  • Modo competencia — Activa ayudas de práctica: rechaza comandos de instalación en IPython, solicita modo offline a HuggingFace y mide el tiempo de un bloque. No sustituye al grader oficial.
  • Baseline trivial — Predice la clase mayoritaria (o la mediana) sin mirar las features. Es el punto de partida contra el que se mide todo.
  • Split estratificado — Parte los datos en train y validación conservando la proporción de cada clase.
  • Split por grupo — Parte los datos sin que un mismo grupo aparezca en train y en validación a la vez.
  • Estandarizar sin fuga — Centra y escala las features usando media y desviación calculadas solo con train.
  • Métricas de clasificación — Accuracy, precision, recall, F1 y la matriz de confusión, escritas a mano.
  • Umbral óptimo — Encuentra el corte de probabilidad que maximiza F1, en O(n log n) en vez de probando una grilla.

🏋️ Tareas de la IOAI con este tema

Ordenadas por media observada descendente. La ronda y el tamaño de cohorte importan: este orden no prescribe una progresión de estudio.

TareaEdiciónRondaRendimiento observado
RadarIOAI 2025Día 1🟢 media ≥50 · media 73.41 · n=284
Combinatorial Word SegmentationIOAI 2025GAITE🟢 media ≥50 · media 55.35 · n=16
Antique Painting AuthenticationIOAI 2025Día 2🟡 media ≥25 · media 47.73 · n=284
Pixel EfficiencyIOAI 2025Día 2🟠 media ≥12 · media 20.11 · n=284
Robot ChasingIOAI 2026Día 1🔴 media <12 · media 11.98 · n=440
Ghost of the MachineIOAI 2026Día 2🔴 media <12 · media 8.7 · n=440
Restroom Icon MatchingIOAI 2025Día 2🔴 media <12 · media 3.98 · n=284
Widget CorpIOAI 2024Científica at-home⚪ sin datos
Help BOBAIIOAI 2024Científica on-site⚪ sin datos
BobaiIOAI 2024Científica at-home⚪ sin datos
Lost in a HyperspaceIOAI 2024Científica on-site⚪ sin datos
Radar (at-home)IOAI 2025At-home⚪ sin datos
Operation Night WatchIOAI 2026At-home⚪ sin datos
Robot Delivery AcademyIOAI 2026At-home⚪ sin datos

Las otras puertas del vault: Ruta de Aprendizaje · Referencia · IOAI