Bucle de entrenamiento en PyTorch

Tema: Deep Learning · Catálogo de recetas · temario: Syllabus IOAI

📍 Dónde se aprende: módulo 09 de la Ruta de Aprendizaje.

Qué hace

El bucle mínimo de entrenamiento: forward, pérdida, zero_grad, backward, step.

Cuándo usarla

Es el esqueleto de todo lo que entrenas. Vale la pena tenerlo escrito de memoria: en competencia se escribe cinco veces al día.

Implementación

Necesita: torch.

import torch
import torch.nn as nn
 
 
def entrenar(modelo, cargador, epocas=10, lr=1e-3, dispositivo="cpu",
             perdida=None):
    """El bucle mínimo de PyTorch. Devuelve la pérdida media de cada época.
 
    Los cinco pasos, en este orden y sin saltarse ninguno:
    forward -> pérdida -> zero_grad -> backward -> step.
    Olvidar `zero_grad` es el bug clásico: los gradientes se ACUMULAN, así que
    sin él cada paso usa la suma de todos los anteriores y el entrenamiento se
    va a cualquier parte sin dar error.
    """
    perdida = perdida or nn.MSELoss()
    optimizador = torch.optim.AdamW(modelo.parameters(), lr=lr)
    modelo.to(dispositivo).train()
    historial = []
    for _ in range(epocas):
        total, n = 0.0, 0
        for X, y in cargador:
            X, y = X.to(dispositivo), y.to(dispositivo)
            salida = modelo(X)
            valor = perdida(salida, y)
            optimizador.zero_grad()
            valor.backward()
            optimizador.step()
            total += valor.item() * len(X)   # .item() y no float(): no arrastra el grafo
            n += len(X)
        historial.append(total / max(n, 1))
    return historial

⚠️ Notas

Olvidar zero_grad() es el bug clásico y no da error: los gradientes se acumulan, cada paso usa la suma de todos los anteriores y el entrenamiento se va a cualquier parte.

El otro olvido caro es modelo.eval() antes de evaluar: sin él el dropout sigue activo y la batch norm sigue actualizando sus estadísticas, así que tu validación mide otra cosa. (La excepción es IOAI Field, donde el enunciado pedía que el dropout siguiera vivo en inferencia.)

🔗 Relacionadas


Verificada

Este código se ejecuta en cada publicación, contra una referencia obviamente correcta, en herramientas/pruebas/redes.py. Si se rompe, el sitio no se actualiza.

Las otras puertas del vault: Ruta de Aprendizaje · Referencia · IOAI