Bucle de entrenamiento en PyTorch
Tema: Deep Learning · Catálogo de recetas · temario: Syllabus IOAI
📍 Dónde se aprende: módulo 09 de la Ruta de Aprendizaje.
Qué hace
El bucle mínimo de entrenamiento: forward, pérdida, zero_grad, backward, step.
Cuándo usarla
Es el esqueleto de todo lo que entrenas. Vale la pena tenerlo escrito de memoria: en competencia se escribe cinco veces al día.
Implementación
Necesita: torch.
import torch
import torch.nn as nn
def entrenar(modelo, cargador, epocas=10, lr=1e-3, dispositivo="cpu",
perdida=None):
"""El bucle mínimo de PyTorch. Devuelve la pérdida media de cada época.
Los cinco pasos, en este orden y sin saltarse ninguno:
forward -> pérdida -> zero_grad -> backward -> step.
Olvidar `zero_grad` es el bug clásico: los gradientes se ACUMULAN, así que
sin él cada paso usa la suma de todos los anteriores y el entrenamiento se
va a cualquier parte sin dar error.
"""
perdida = perdida or nn.MSELoss()
optimizador = torch.optim.AdamW(modelo.parameters(), lr=lr)
modelo.to(dispositivo).train()
historial = []
for _ in range(epocas):
total, n = 0.0, 0
for X, y in cargador:
X, y = X.to(dispositivo), y.to(dispositivo)
salida = modelo(X)
valor = perdida(salida, y)
optimizador.zero_grad()
valor.backward()
optimizador.step()
total += valor.item() * len(X) # .item() y no float(): no arrastra el grafo
n += len(X)
historial.append(total / max(n, 1))
return historial⚠️ Notas
Olvidar zero_grad() es el bug clásico y no da error: los gradientes se acumulan, cada paso usa la suma de todos los anteriores y el entrenamiento se va a cualquier parte.
El otro olvido caro es modelo.eval() antes de evaluar: sin él el dropout sigue activo y la batch norm sigue actualizando sus estadísticas, así que tu validación mide otra cosa. (La excepción es IOAI Field, donde el enunciado pedía que el dropout siguiera vivo en inferencia.)
🔗 Relacionadas
Verificada
Este código se ejecuta en cada publicación, contra una referencia obviamente correcta, en
herramientas/pruebas/redes.py. Si se rompe, el sitio no se actualiza.
Las otras puertas del vault: Ruta de Aprendizaje · Referencia · IOAI