Split por grupo

Tema: Metodología y Datos · Catálogo de recetas · temario: Syllabus IOAI

📍 Dónde se aprende: módulo 05 de la Ruta de Aprendizaje.

Qué hace

Parte los datos sin que un mismo grupo aparezca en train y en validación a la vez.

Cuándo usarla

Cuando varias filas comparten origen: el mismo diálogo, el mismo sensor, el mismo paciente, la misma imagen recortada en parches. Es la defensa contra la fuga de información más común de todas.

Implementación

Necesita: numpy.

import numpy as np
 
 
def split_por_grupo(grupos, frac_val=0.2, semilla=0):
    """Parte los índices sin que un mismo grupo caiga en los dos lados.
 
    `grupos[i]` identifica de dónde viene la fila i: el diálogo, el paciente, el
    sensor, la sesión. Si dos filas del mismo grupo quedan una en train y otra
    en validación, puedes sobreestimar la generalización a grupos nuevos.
    Requiere un vector sin ausentes y al menos dos grupos. frac_val aproxima
    la proporción de grupos, no de filas; conserva un grupo en cada lado.
    """
    grupos = np.asarray(grupos)
    if grupos.ndim != 1 or len(grupos) == 0:
        raise ValueError("grupos debe ser un vector no vacío")
    if not 0 < frac_val < 1:
        raise ValueError("frac_val debe estar entre 0 y 1, sin incluirlos")
    if any(g is None or g != g for g in grupos):
        raise ValueError("los grupos no pueden tener valores ausentes")
    rng = np.random.default_rng(semilla)
    unicos = np.unique(grupos)
    if len(unicos) < 2:
        raise ValueError("se necesitan al menos dos grupos")
    rng.shuffle(unicos)
    n_val = min(len(unicos) - 1, max(1, int(round(len(unicos) * frac_val))))
    en_val = set(unicos[:n_val].tolist())
    mascara_val = np.array([g in en_val for g in grupos])
    return np.flatnonzero(~mascara_val), np.flatnonzero(mascara_val)

⚠️ Notas

Una brecha entre validación local y test oculto puede indicar fuga entre grupos, pero también variabilidad de la muestra, cambios de distribución o diferencias en la evaluación. Revisa cómo se construyeron ambos splits antes de atribuir la diferencia a una sola causa.

La fracción se aplica a grupos, no a filas: con grupos de tamaños distintos el porcentaje de filas puede alejarse del pedido. La receta exige al menos dos grupos y conserva uno en cada lado, incluso con fracciones extremas.

🔗 Relacionadas


Verificada

Este código se ejecuta en cada publicación, contra una referencia obviamente correcta, en herramientas/pruebas/datos.py. Si se rompe, el sitio no se actualiza.

Las otras puertas del vault: Ruta de Aprendizaje · Referencia · IOAI