🧭 Formato IOAI y estrategia de competencia
Cómo se compite, cómo se puntúa y qué implica todo eso para entrenar. Léela antes de tu primera tarea: entender el puntaje y el contrato permite evitar errores de evaluación y entrega.
Fuentes: Reglas 2026 + apéndice técnico (PDF) · reglamento general · los enunciados oficiales de 2025 y 2026 (que es de donde salen los números finos: límites por tarea, modelos permitidos, baselines). ⚠️ Las reglas cambian por edición. Revisar las de 2027 (Singapur) cuando salgan — ver IOAI 2027.
🏁 Los tres concursos
- Individual Contest — el único que da medallas. Es a lo que apunta todo este repositorio.
- Team Challenge — desafío creativo por equipos, con trofeos: contenido con herramientas de IA en 2024, robots humanoides en 2025.
- GAITE Contest — pista adaptada para delegaciones nuevas. En 2026 usó exactamente las mismas seis tareas que el Individual, con pistas por tarea y un chatbot algo más capaz, y se rankeó aparte. Su pertinencia para una nueva delegación debe confirmarse con la organización (ver Chile y LATAM).
📅 Estructura del Individual Contest
| Fase | Qué es | ¿Cuenta? |
|---|---|---|
| At-home round | 3 tareas enviadas ~1 mes antes, se trabajan en casa | ❌ solo educativa |
| Sesión de práctica | familiarización con la plataforma | ❌ |
| Contest 1 | 3 tareas · 6 horas | ✅ |
| Contest 2 | 3 tareas nuevas · 6 horas | ✅ |
El at-home no puntúa, pero decide: en 2025 el día 1 repitió literalmente el tema del at-home (Radar), y en 2026 las tres tareas de casa eran versiones preparatorias de tres tareas del concurso. Quien las trabajó en serio llegó con una ventaja enorme. Trátalas como parte de la competencia.
Las seis tareas cubren ML, CV y NLP, y los datos pueden ser texto, tabla, imagen, audio, video o series de tiempo.
¿Hay que entrenar un modelo en cada tarea?
No siempre. Entrenar significa ajustar los parámetros de un modelo con datos. En IOAI también puedes reutilizar modelos ya entrenados, construir reglas, buscar una buena combinación o decidir qué preguntar a un juez. El enunciado determina qué métodos, datos y modelos están permitidos.
Estas son las seis tareas del Individual 2026. La tabla resume sus enunciados; las alternativas mencionadas no garantizan un buen puntaje.
| Tarea y fuente | Qué debes resolver | Papel del entrenamiento |
|---|---|---|
| Find the Order · Enunciado | Reconstruir el orden de turnos de un diálogo a partir de audios. | Opcional: se permite usar Qwen sin ajustarlo (zero-shot) o afinarlo con train; también usar Whisper para transcribir o extraer representaciones. |
| Robot Chasing · Enunciado | Predecir la siguiente acción de seis robots a partir de observaciones. | Aprendizaje a partir de ejemplos: se dan acciones correctas para aprender los patrones; no se exige una arquitectura concreta. Se evalúan las acciones predichas. |
| Potato · Enunciado | Adivinar una palabra mediante comparaciones con un juez. | No se exige entrenar: no hay split train. Puedes diseñar una estrategia de consultas usando los vectores y modelos permitidos. |
| Double Agent Dilemma · Enunciado | Modificar imágenes para que falle uno de dos clasificadores y el otro siga acertando. | Se optimiza la entrada: los clasificadores ya están entrenados; buscas perturbaciones de los píxeles, no nuevos pesos para esos clasificadores. |
| Ghost of the Machine · Enunciado | Localizar el carácter donde un texto pasa de autoría humana a generación automática. | Varias opciones: el encoder permitido puede usarse congelado o afinarse. También se admiten métodos estadísticos y modelos clásicos sobre las representaciones. |
| IOAI Field · Enunciado | Aproximar con una red una función espacial que dibuja un logotipo. | Sí, desde cero: el contrato pide entrenar una red y producir sus pesos durante la ejecución; no permite pesos preentrenados. |
Conviene distinguir tres operaciones que pueden aparecer en una solución:
- Usar un modelo congelado calcula salidas sin modificar sus pesos. Si después entrenas un clasificador sobre esos vectores, sí estás entrenando una parte de la solución.
- Ajustar un método estadístico también aprende de los datos. En Ghost, el baseline estima una fracción del largo con train: es un ajuste sencillo, aunque no entrene una red neuronal.
- Optimizar una entrada puede usar gradientes sin entrenar el modelo. En Double Agent Dilemma cambia la imagen y se evalúan los clasificadores dados.
Como en programación competitiva, puedes elegir algoritmos dentro del contrato. En IOAI esa elección incluye representaciones, aprendizaje, búsqueda e interacción, y se compara mediante la métrica de cada tarea. La flexibilidad del método no elimina los requisitos de salida, los permisos ni el presupuesto de ejecución. El tipo de dato —texto, imagen o audio— por sí solo no decide si hay que entrenar.
🧮 Puntuación: esto es lo que define la estrategia
Cada tarea vale 0–100, normalizada contra el baseline:
Norm = (TuScore − Min) / (Max − Min) × 100
- Min = el puntaje de la solución baseline que entrega la organización.
- Max =
máx(0.9 × solución del Comité Científico, mejor envío de un concursante).
Empatar el baseline da cero en la parte lineal de esta fórmula. Ejecutarlo valida el recorrido y conserva una entrega funcional. Los ceros publicados no identifican si faltó intento, falló la ejecución o no hubo mejora suficiente.
ScoreComité no equivale automáticamente a Max, y un intervalo pequeño no
demuestra que una tarea rinda menos por hora. Con extremos fijos, la sensibilidad
es 100/(Max−Min). Hay que estimar la mejora factible y el coste para elegir.
Para reconstruir resultados necesitas el mismo grader, split, escala y parámetros que se usaron oficialmente. Los valores 28.6 y 93.41 de Ghost son de A; no se trasladan a B ni a una validación propia. Si faltan datos, reporta score bruto o una estimación rotulada. No mezcles reglas de 2025 y 2026 para deducir una medalla. Ver Protocolo de simulacro.
Los tres datasets
| Split | Quién lo ve | Para qué |
|---|---|---|
| train | tú, con etiquetas | entrenar |
| leaderboard A | oculto; te devuelve puntaje en vivo | Scoreboard A |
| leaderboard B | oculto; se evalúa al final | Scoreboard B, el único oficial |
Durante la prueba solo ves tu puntaje, el del baseline y el mejor puntaje anónimo.
🔁 El detalle que más gente pisa: tu notebook se vuelve a ejecutar
En varias tareas de 2026 se entrega un notebook que produce las predicciones
al reejecutarse sobre datos ocultos en dataset/test_public/. Consulta cada
contrato: IOAI Field exige también custom_model.py; Potato es
interactiva. De la reejecución se desprenden tres comprobaciones:
- El límite de tiempo debe cubrir toda esa reejecución, incluido cualquier entrenamiento que hagas y la inferencia, no solo lo medido en tu sesión. Un fine-tuning de 9 minutos con límite de 10 es una bomba de tiempo.
- Lee solo las etiquetas permitidas por el contrato. En Robot Chasing y Ghost of the Machine no hay respuestas en el test oculto. En Double Agent Dilemma sí se permiten etiquetas de test.
- Nada de rutas absolutas ni de estado que dependa de celdas que corriste a mano: tiene que funcionar con Run all desde cero.
⏱️ Límites reales (2026, por tarea)
El apéndice técnico fija un tope general, pero cada tarea trae el suyo en el enunciado, y son mucho más ajustados:
| Tarea | Límite | Modelos permitidos |
|---|---|---|
| Find the Order | 10 min | wav2vec 2.0 · Whisper · Qwen2.5-0.5B |
| Robot Chasing | 5 min | sin restricción declarada |
| Potato | 10 min (las 120 partidas completas) | Qwen3-Embedding-0.6B · bge-m3 |
| Double Agent Dilemma | 12 min | resnet18 · vit_tiny_patch16_224 |
| Ghost of the Machine | 10 min | bge-base-en-v1.5 |
| IOAI Field | 5 min | ninguno: entrenar desde cero |
Además: 60 envíos por tarea, solution.ipynb de ≤ 1 MB (20 MB en Ghost)
y 5 GB de almacenamiento. En IOAI Field el límite de 1 MB es combinado
para solution.ipynb y custom_model.py; el notebook produce model.pt.
La lista de modelos es cerrada, y está en el enunciado
No es «usa el modelo que quieras». Cada tarea nombra los modelos preentrenados que admite, ya cacheados en la máquina. Saber exprimir ese modelo vale más que conocer diez. Usa las rutas de carga exigidas y prepara los activos antes del reloj. Un ID del Hub puede resolverse desde caché en modo offline, pero eso no acredita autorización ni satisface una exigencia explícita de ruta local.
🏅 Medallas (solo el Individual Contest)
Se reparten por ranking, no por puntaje fijo: oro al menos 1/12 de los concursantes · oro+plata ≥ 1/4 · oro+plata+bronce ≥ 1/2. La mención honrosa se reserva a quienes no obtienen medalla y cumplen el criterio por día: en al menos una jornada, menos de la mitad de concursantes tienen un score estrictamente mayor. No es un umbral de total de ambas jornadas.
Cortes reales, sacados de las tablas oficiales (están en cada hub de año):
| Edición | Concursantes | 🥇 Oro | 🥈 Plata | 🥉 Bronce | Máximo |
|---|---|---|---|---|---|
| IOAI 2025 | 284 | ≥ 351.81 (24) | ≥ 269.50 (47) | ≥ 175.91 (71) | 542.05 |
| IOAI 2026 | 440 | ≥ 222.51 (37) | ≥ 104.64 (73) | ≥ 42.83 (110) | 428.49 |
Los participantes de estas tablas pasan de 284 a 440 (+54.9%). Los cortes y las tareas también cambian; las tablas no permiten atribuir causalmente una variación a la otra. Los 42.83 puntos del bronce 2026 son un resultado histórico, no una garantía de preparación para otra edición. Tampoco se divide por dos un corte de dos jornadas para evaluar una sola.
💻 Entorno técnico (2026, para replicarlo entrenando)
- Python 3.13 en JupyterLab contra una GPU remota. Laptops Ubuntu sin GPU local.
- GPU: las reglas hablan de un slice MIG de H200 con 18 GB de VRAM; los enunciados y el repo oficial dicen «una GPU (≈16 GB VRAM)». Para entrenar, usa 16 GB como referencia conservadora y mide el pico real de tu programa.
- Sin internet, salvo una whitelist de documentación (pytorch.org, huggingface.co/docs…). Prohibido instalar paquetes.
- Envío por git: se hace commit y push de
solution.ipynbdesde la pestaña Git de JupyterLab y luego Submit en la plataforma (Yandex Contest). Practica ese flujo: perder cinco minutos con git al final del día es real. - Librerías: torch/torchvision/torchaudio, transformers, accelerate, peft, trl, sklearn, xgboost/lightgbm/catboost, sentence-transformers, datasets, evaluate, spacy/nltk/gensim, numpy/pandas/scipy/polars, opencv/Pillow/ albumentations, matplotlib/seaborn, pytorch-lightning… Sin TensorFlow ni Keras.
- LLM integrado (2026: Gemma 3, máx. 1.000 tokens de salida por consulta). Prohibidos los LLM externos, copilots y agentes de código.
Cómo replicarlo en los entrenamientos
- Preparar primero sin reloj el entorno, los datos y los modelos. Usar el formato exigido por cada tarea y cronometrar después la ejecución completa.
- En el simulacro autónomo de este curso no se instalan paquetes ni se usan asistentes de IA. Es una variante explícita: el concurso 2026 sí incluía un asistente integrado restringido. Solo se usan los modelos permitidos.
- Ensayar el ciclo completo: baseline → «envío» → mejora barata → «envío».
- Verificar Run all desde cero, con los mismos datos y permisos de etiquetas que tendrá la tarea al calificar.
🎯 Las cinco consecuencias estratégicas
- Asegura entregas válidas y estima el siguiente experimento. Los puntos se suman: tres mejoras pequeñas no garantizan superar una grande. Reparte tiempo considerando coste, incertidumbre y ganancia esperada.
- No sobreajustes al Scoreboard A. Con 60 envíos se puede perseguir el leaderboard público hasta desplomarse en el B. Validación local honesta > tanteo.
- Mide el coste. Modelos pequeños, embeddings congelados, LoRA y early stopping son opciones; que una configuración quepa debe comprobarse.
- Lee la métrica antes de diseñar. En Ghost,
exp(-|error|/100)premia cercanía al índice correcto. Compara formulaciones de regresión, clasificación de fronteras o detección de cambio con esa misma métrica. - El formato de salida mata soluciones buenas. Tensores en la resolución original, un zip plano, un JSON con la clave exacta: un error de formato es un cero con la idea correcta adentro.
👥 Equipos y elegibilidad
- Equipo nacional: hasta 4 estudiantes + 1 team leader adulto (inglés B2).
- Estudiante elegible: ≤ 20 años al 1 de julio del año de la edición, y matriculado en enseñanza escolar al 1 de diciembre del año anterior.
- El líder traduce los enunciados (las reglas 2026 prevén acceso tres horas antes del concurso), presenta apelaciones y representa al país en la General Assembly. En 2026 las traducciones revisadas por los líderes se publicaron con el material oficial.
- El idioma oficial es el inglés. Se puede competir con el enunciado traducido; el original inglés prevalece ante discrepancias. El repositorio oficial distingue traducciones revisadas por delegaciones de traducciones automáticas no verificadas. La ruta introduce vocabulario técnico inglés de forma gradual; las actividades iniciales obligatorias se explican en español.
Sigue por: Syllabus IOAI (qué entra y qué no) · IOAI (las tareas de todas las ediciones) · Chile y LATAM (cómo llegaría Chile) · el protocolo para entrenar en casa está en Protocolo de simulacro.