Congelar capas

Tema: Deep Learning · Catálogo de recetas · temario: Syllabus IOAI

📍 Dónde se aprende: módulo 14 de la Ruta de Aprendizaje.

Qué hace

Congela un modelo entero, o deja entrenables solo sus últimas capas.

Cuándo usarla

Fine-tuning parcial: cuando no cabe entrenar el encoder completo en el presupuesto de tiempo o de VRAM. Es el paso previo a LoRA y muchas veces alcanza.

Implementación

Necesita: torch.

import torch
 
 
def congelar(modulo):
    """Congela todos los parámetros de un módulo (no reciben gradiente)."""
    for p in modulo.parameters():
        p.requires_grad = False
    return modulo
 
 
def descongelar_ultimas(modelo, n_capas):
    """Congela todo y descongela solo las últimas `n_capas` con parámetros.
 
    Es el fine-tuning parcial de los pobres: cuando no cabe entrenar el encoder
    entero en el presupuesto de tiempo o de VRAM, se entrena la cabeza y las
    últimas capas, que son las que codifican lo específico de la tarea.
    """
    for p in modelo.parameters():
        p.requires_grad = False
    con_params = [m for m in modelo.modules()
                  if any(True for _ in m.parameters(recurse=False))]
    for m in con_params[-n_capas:] if n_capas else []:
        for p in m.parameters(recurse=False):
            p.requires_grad = True
    return modelo

⚠️ Notas

Congelar cambia qué se entrena, no cuántos parámetros declara el modelo (ver Contar parámetros).

Y hay un detalle que muerde: si el optimizador se creó antes de congelar, sigue teniendo esos parámetros en su lista. Congela primero, crea el optimizador después — o pásale explícitamente filter(lambda p: p.requires_grad, modelo.parameters()).

🔗 Relacionadas


Verificada

Este código se ejecuta en cada publicación, contra una referencia obviamente correcta, en herramientas/pruebas/redes.py. Si se rompe, el sitio no se actualiza.

Las otras puertas del vault: Ruta de Aprendizaje · Referencia · IOAI