Protocolo de simulacro
Un simulacro mide cómo resuelves con un presupuesto y unas condiciones fijadas. Siempre reporta el resultado bruto. Solo reconstruye un puntaje histórico cuando el evaluador, los datos y todos los parámetros corresponden a la misma edición y al mismo split. Una adaptación didáctica tiene su propio baseline.
Antes de poner el reloj
- Elige tres tareas y registra si son nuevas, ya practicadas o si leíste su solución. Las conocidas sirven para consolidación; reserva tareas inéditas para medir transferencia. El entrenador guarda las soluciones hasta el cierre.
- Lee el contrato de ejecución de cada ficha: entregables, archivos producidos, entradas, splits, modelos, límite y estado de preparación. «Fuente revisada» no significa «ejecutado en el entorno oficial».
- Prepara el entorno, datos y modelos con conexión. Ejecuta el baseline, guarda versiones y comprueba el evaluador antes de la sesión. Distingue este trabajo del tiempo de resolución.
- Fija las condiciones de práctica: seis horas, tres tareas, recursos permitidos, hardware y restricciones por tarea. Para el modo autónomo no se usan asistentes de IA. Las reglas oficiales 2026 incluían un asistente integrado restringido; prescindir de él es una variante de entrenamiento, no una réplica exacta.
- Separa entrenamiento, validación para decidir y evaluación final reservada. No consultes etiquetas reservadas durante la sesión. Algunas tareas tienen un contrato distinto: Double Agent Dilemma permite etiquetas de test y Potato no tiene train. Respeta ese contrato, no una regla universal sobre nombres de carpetas.
Durante y al cerrar la sesión
- Anota solo lo útil para decidir: hipótesis, métrica local y coste completo.
- Prioriza ganancia esperada por minuto con incertidumbre. Conserva una solución válida mientras experimentas y reserva tiempo para ejecutar desde cero.
- Al cierre, congela la solución y evalúa una vez sobre el conjunto reservado. Ejecuta también el baseline en esas mismas condiciones. Conserva lo necesario para repetir la evaluación; un error de formato se registra como tal.
- El límite del juez abarca el proceso indicado por la tarea, que puede incluir arranque, preparación, entrenamiento e inferencia. El cronómetro del notebook es una ayuda; no sustituye el control externo del evaluador.
Qué puntaje puedes reportar
| Categoría | Datos necesarios | Cómo nombrarlo |
|---|---|---|
| Bruto local | Métrica exacta, dirección, split y evaluador identificados | Por ejemplo, score local de Ghost: 31,2/100 |
| Normalización de práctica | Baseline y techo fijados antes de la sesión en ese split | Estimación con parámetros de práctica; no puntaje IOAI oficial |
| Reconstrucción histórica | Mismo grader, split, escala, baseline y Max oficiales de la edición | Reconstrucción de esa tarea y ese split; indicar diferencias de entorno |
Para 2026, con todos los parámetros correspondientes al mismo split:
Norm = 100 × (TuScore − Baseline) / (Max − Baseline)
Max = max(0.9 × ScoreComité, mejor score bruto de un concursante)Es la parte lineal de la normalización; los fallos y límites los resuelve el
grader y el reglamento de la edición. Se requiere Max > Baseline. Si falta el
mejor envío bruto, usar el score del Comité como Max cambia la regla. Un supuesto
explícito permite estudiar escenarios, pero no adjudicar medallas. No traslades
esta fórmula a 2025 sin verificar las reglas que se aplicaron allí.
Reglas 2026.
En Ghost of the Machine, 28,6 y 93,41 corresponden a leaderboard A. No son automáticamente baseline y Comité de B, de test_public ni de tu validación. Medir el baseline local es obligatorio. Fuente.
Comparación histórica responsable
Los hubs de IOAI 2025 y IOAI 2026 muestran rendimiento observado de sus cohortes. Compara un día con ese mismo día y registra el percentil solo si tienes resultados comparables. No dividas por dos un corte de dos días. Una suma de seis tareas solo es comparable si corresponde a las seis tareas y condiciones de esa edición. Las tareas practicadas previamente tienen ventaja de familiaridad.
Las medallas dependen del ranking. La mención honrosa de 2026 requiere no haber obtenido medalla y cumplir el criterio relativo de al menos un día; el menor total observado entre quienes la recibieron no es un umbral de adjudicación. Los cortes históricos tampoco predicen premios futuros. Ver Formato IOAI y estrategia.
Qué materiales están disponibles
Las tareas individuales 1–5 de 2026 ofrecen versiones educativas de baseline y
evaluación; deben prepararse y probarse en el entorno elegido. IOAI Field usa
artefactos originales y dependencias de la plataforma, sin ese recorrido Colab
uniforme. Sus entregables son solution.ipynb y custom_model.py; el notebook
produce model.pt. Potato ofrece un juez local con embeddings públicos:
reproduce el protocolo, pero su score no es el del juez privado.
Consulta las fuentes y el estado de preparación de cada ficha en IOAI. La descarga de materiales está documentada en el repositorio; descargar no implica haber validado su ejecución.
Después de la sesión
Conserva la solución, el score bruto y los datos mínimos para interpretarlo: tarea, split, evaluador, entorno y si ya conocías el problema. Si normalizaste, anota los parámetros y supuestos. Un registro breve basta; no hace falta llenar un formulario mientras resuelves.
Escoge una decisión que volverías a tomar y otra que cambiarías. ¿Qué evidencia te hizo cambiar de idea? ¿El bloqueo fue conceptual, experimental o de preparación? Prueba esa conclusión en la siguiente tarea no vista.