Umbral óptimo

Tema: Metodología y Datos · Catálogo de recetas · temario: Syllabus IOAI

📍 Dónde se aprende: módulo 04 de la Ruta de Aprendizaje.

Qué hace

Encuentra el corte de probabilidad que maximiza F1, en O(n log n) en vez de probando una grilla.

Cuándo usarla

Siempre que el modelo devuelva probabilidades y la métrica sea F1 o similar. Es la mejora más barata que existe: no reentrena nada y suele valer varios puntos.

Implementación

Necesita: numpy.

import numpy as np
 
 
def mejor_umbral(y_true, puntajes):
    """El umbral que maximiza F1, probando solo los cortes que cambian algo.
 
    Un clasificador devuelve una probabilidad; convertirla en 0/1 con el 0.5 de
    fábrica casi nunca es lo óptimo, y menos con clases desbalanceadas. Solo
    hace falta probar los valores presentes en `puntajes`: entre dos puntajes
    consecutivos, las predicciones no cambian.
    """
    orden = np.argsort(-puntajes, kind="stable")
    s = np.asarray(puntajes)[orden]
    y = np.asarray(y_true)[orden].astype(int)
    positivos = int(y.sum())
    if positivos == 0:
        return float(np.max(puntajes) + 1.0), 0.0
    vp = np.cumsum(y)                       # verdaderos positivos al cortar tras i
    predichos = np.arange(1, len(y) + 1)    # cuántos se predicen positivos
    f1 = 2 * vp / (predichos + positivos)
    # Un corte solo es alcanzable si no parte un grupo de puntajes empatados:
    # `s >= t` se lleva a TODOS los empatados o a ninguno.
    alcanzable = np.ones(len(s), dtype=bool)
    alcanzable[:-1] = s[:-1] != s[1:]
    f1 = np.where(alcanzable, f1, -1.0)
    i = int(np.argmax(f1))
    return float(s[i]), float(f1[i])

⚠️ Notas

El 0.5 de fábrica es óptimo casi nunca. Y el umbral se elige en validación, no en test: si lo ajustas mirando el puntaje del scoreboard A, estás sobreajustando al leaderboard.

Solo hay que probar los valores presentes en los puntajes: entre dos consecutivos las predicciones no cambian.

El detalle que hay que cuidar son los empates. Cortar «después de las primeras k filas» no siempre es alcanzable con un umbral: puntajes >= t se lleva a todos los que empatan en t o a ninguno. Si se ignora eso, la función reporta un F1 que el umbral que devuelve no consigue — y con puntajes redondeados, que es lo normal, los empates abundan.

🔗 Relacionadas


Verificada

Este código se ejecuta en cada publicación, contra una referencia obviamente correcta, en herramientas/pruebas/datos.py. Si se rompe, el sitio no se actualiza.

Las otras puertas del vault: Ruta de Aprendizaje · Referencia · IOAI