MLP

Tema: Deep Learning · Catálogo de recetas · temario: Syllabus IOAI

📍 Dónde se aprende: módulo 11 de la Ruta de Aprendizaje.

Qué hace

Construye un perceptrón multicapa con activaciones y dropout opcional.

Cuándo usarla

Como cabeza sobre embeddings congelados, como modelo completo en tareas tabulares, y como el primer modelo que entrenas desde cero.

Implementación

Necesita: torch.

import torch
import torch.nn as nn
 
 
def mlp(entrada, ocultas, salida, dropout=0.0):
    """Un perceptrón multicapa. `ocultas` es la lista de anchos intermedios.
 
    Sin las activaciones no lineales entremedio, apilar capas lineales da otra
    capa lineal: la red no podría aprender ni un XOR.
    """
    capas, previa = [], entrada
    for ancho in ocultas:
        capas += [nn.Linear(previa, ancho), nn.ReLU()]
        if dropout:
            capas.append(nn.Dropout(dropout))
        previa = ancho
    capas.append(nn.Linear(previa, salida))
    return nn.Sequential(*capas)

⚠️ Notas

Sin las activaciones no lineales, apilar capas lineales equivale a una sola capa lineal: la red no podría aprender ni un XOR. Si tu MLP no aprende nada, revisa que las ReLU estén ahí antes de tocar el learning rate.

El dropout va entre capas ocultas, nunca después de la capa de salida.

🔗 Relacionadas


Verificada

Este código se ejecuta en cada publicación, contra una referencia obviamente correcta, en herramientas/pruebas/redes.py. Si se rompe, el sitio no se actualiza.

Las otras puertas del vault: Ruta de Aprendizaje · Referencia · IOAI