Probabilidad y logaritmos para aprender

Fundamentos — Interpretar incertidumbre y pérdida · Ruta de Aprendizaje

De cien piezas, veinte tienen avería. Si elegimos una de esas cien sin favorecer ninguna, la probabilidad de avería es 20/100=0.2. Es una fracción de casos en este experimento; no significa que cada pieza esté «20% averiada». Un modelo intentará estimar probabilidades usando sus mediciones, con errores y supuestos que habrá que evaluar.

Cambiar el grupo cambia la pregunta

Un detector emite diez alertas: ocho corresponden a averías y dos no. Podemos contar sobre grupos diferentes:

PreguntaCuenta
¿Qué fracción de todas las piezas tiene avería?20/100
¿Qué fracción de las alertas es verdadera?8/10
¿Qué fracción de las averías encontró el detector?8/20

La probabilidad condicional restringe el universo observado. P(avería | alerta) se lee «probabilidad de avería dado que hubo alerta»: miramos solo las diez alertas. No es lo mismo que P(alerta | avería). El módulo 04 usará estos denominadores para explicar precision y recall.

La frecuencia observada estima una probabilidad en una población más amplia solo bajo condiciones adecuadas de muestreo. Ocho aciertos entre diez casos aportan menos evidencia que ochocientos entre mil, aunque la proporción coincida.

Un promedio ponderado de resultados posibles

Una propuesta tiene probabilidad 0.25 de aportar 8 puntos y 0.75 de aportar 0. Su valor esperado es 0.25×8+0.75×0=2. No promete ganar exactamente dos puntos: los resultados posibles siguen siendo ocho o cero. El promedio sirve para comparar decisiones bajo las probabilidades supuestas.

Para dos eventos independientes, sus probabilidades se multiplican. Dos monedas justas independientes dan dos caras con probabilidad 0.5×0.5=0.25. La independencia es una condición, no una regla para cualquier par de eventos. En general, P(A y B)=P(A)×P(B|A); la segunda probabilidad puede cambiar.

Potencias y logaritmos: ir y volver

Duplicar una cantidad tres veces la multiplica por 2³=8. El logaritmo responde la pregunta inversa: ¿a qué exponente elevo 2 para obtener 8? log₂(8)=3. El logaritmo natural, ln o log en las bibliotecas de esta ruta, usa la base e, aproximadamente 2.71828. exp(t) calcula e elevado a t; log(exp(t))=t en aritmética exacta.

import math
 
print(math.log2(8))        # 3.0
print(math.exp(0))         # 1.0
print(math.exp(math.log(4)))  # aproximadamente 4.0

Para números positivos, log(a×b)=log(a)+log(b). Esa propiedad permite convertir productos de probabilidades en sumas. El logaritmo real de cero no está definido; al acercarnos a cero por valores positivos tiende a −∞.

Por qué penalizar con menos logaritmo

Queremos penalizar asignar poca probabilidad a la respuesta que sí ocurrió. Considera pérdida=−log(p_correcta):

Probabilidad de la respuesta correctaPérdida aproximada
10
0.50.693
0.251.386
0.014.605

Cuanto menor sea esa probabilidad, mayor es la pérdida. Reducirla a la mitad añade log(2) a la pérdida. En clasificación con una clase correcta por ejemplo, esta es la entropía cruzada para ese ejemplo; se suele promediar en un lote. El módulo 10 mostrará cómo calcularla de forma estable desde logits.

probabilidades = [1., 0.5, 0.25, 0.01]
perdidas = [-math.log(p) for p in probabilidades]
print([round(v, 3) for v in perdidas])  # [0.0, 0.693, 1.386, 4.605]

De puntuaciones a una distribución: softmax

Supón tres clases con puntuaciones [0, log(2), log(3)]. No son probabilidades: no tienen por qué estar entre cero y uno ni sumar uno. Las llamaremos logits. Primero aplicamos exp y obtenemos [1,2,3]. Después dividimos cada valor por su suma, 6: [1/6,2/6,3/6]. Ese procedimiento es softmax.

import numpy as np
 
logits = np.log(np.array([1., 2., 3.]))
positivos = np.exp(logits)
probs = positivos / positivos.sum()
print(probs)             # aproximadamente [0.1667, 0.3333, 0.5]
print(probs.argmax())    # 2: índice de la clase con mayor probabilidad
perdida_correcta_2 = -np.log(probs[2])
print(perdida_correcta_2) # aproximadamente 0.6931

Softmax conserva el orden de los logits. Elegir por argmax solo devuelve una clase; la distribución conserva además diferencias de confianza. Obtener números positivos que sumen uno no demuestra que estén bien calibrados: entre muchas predicciones cercanas a 0.8, habría que observar aproximadamente 80% de ejemplos que pertenecen a esa clase para sostener esa interpretación.

En cálculos reales se resta primero el mayor logit antes de aplicar exp. Esto no cambia el resultado matemático: divide numerador y denominador por el mismo factor. Evita exponenciales positivas enormes. Las bibliotecas combinan operaciones para calcular la pérdida sin tomar el logaritmo de una probabilidad que ya se redondeó a cero.

Una variación para probar

Conserva las puntuaciones, pero considera correcta la clase 0. ¿Qué pérdida obtienes? Después suma 1000 a todos los logits: ¿debería cambiar la distribución?


← 03 - La competencia y la estrategia · Ruta de Aprendizaje · 04 - Métricas →