Split por grupo
Tema: Metodología y Datos · Catálogo de recetas · temario: Syllabus IOAI
📍 Dónde se aprende: módulo 05 de la Ruta de Aprendizaje.
Qué hace
Parte los datos sin que un mismo grupo aparezca en train y en validación a la vez.
Cuándo usarla
Cuando varias filas comparten origen: el mismo diálogo, el mismo sensor, el mismo paciente, la misma imagen recortada en parches. Es la defensa contra la fuga de información más común de todas.
Implementación
Necesita: numpy.
import numpy as np
def split_por_grupo(grupos, frac_val=0.2, semilla=0):
"""Parte los índices sin que un mismo grupo caiga en los dos lados.
`grupos[i]` identifica de dónde viene la fila i: el diálogo, el paciente, el
sensor, la sesión. Si dos filas del mismo grupo quedan una en train y otra
en validación, puedes sobreestimar la generalización a grupos nuevos.
Requiere un vector sin ausentes y al menos dos grupos. frac_val aproxima
la proporción de grupos, no de filas; conserva un grupo en cada lado.
"""
grupos = np.asarray(grupos)
if grupos.ndim != 1 or len(grupos) == 0:
raise ValueError("grupos debe ser un vector no vacío")
if not 0 < frac_val < 1:
raise ValueError("frac_val debe estar entre 0 y 1, sin incluirlos")
if any(g is None or g != g for g in grupos):
raise ValueError("los grupos no pueden tener valores ausentes")
rng = np.random.default_rng(semilla)
unicos = np.unique(grupos)
if len(unicos) < 2:
raise ValueError("se necesitan al menos dos grupos")
rng.shuffle(unicos)
n_val = min(len(unicos) - 1, max(1, int(round(len(unicos) * frac_val))))
en_val = set(unicos[:n_val].tolist())
mascara_val = np.array([g in en_val for g in grupos])
return np.flatnonzero(~mascara_val), np.flatnonzero(mascara_val)⚠️ Notas
Una brecha entre validación local y test oculto puede indicar fuga entre grupos, pero también variabilidad de la muestra, cambios de distribución o diferencias en la evaluación. Revisa cómo se construyeron ambos splits antes de atribuir la diferencia a una sola causa.
La fracción se aplica a grupos, no a filas: con grupos de tamaños distintos el porcentaje de filas puede alejarse del pedido. La receta exige al menos dos grupos y conserva uno en cada lado, incluso con fracciones extremas.
🔗 Relacionadas
Verificada
Este código se ejecuta en cada publicación, contra una referencia obviamente correcta, en
herramientas/pruebas/datos.py. Si se rompe, el sitio no se actualiza.
Las otras puertas del vault: Ruta de Aprendizaje · Referencia · IOAI