{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "# 04 · La pregunta que decide el split — solución de referencia\n\nComparar filas nuevas de grupos conocidos con grupos completamente nuevos sin confundir las dos preguntas.\n\n**Ideas que aparecen:** laboratorio 02; independencia y muestreo (cápsula 4). Puedes consultar las cápsulas\nopcionales de `ruta/Puentes de entrada.md` cuando alguna te haga falta.\n\nDatos **sintéticos educativos**, creados en este repositorio y dedicados a\nCC0-1.0. No representan personas ni un rendimiento oficial IOAI.\nTodo el ejercicio usa CPU y archivos locales; no requiere cuentas ni red.\n\nEsta es una propuesta para comparar con tus ideas; no es la única solución posible.\nPuedes recorrerlo en una o varias sesiones. No hay límite de juez ni\nobligación de completar todos los experimentos para abrir el siguiente cuaderno.\n",
   "id": "04-s-00"
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": "from pathlib import Path\nimport json\nimport numpy as np\nimport pandas as pd\nimport matplotlib.pyplot as plt\n\nplt.rcParams.update({\"figure.figsize\": (10, 4), \"axes.spines.top\": False,\n                     \"axes.spines.right\": False, \"font.size\": 11})\n\nDATOS = Path(\"datos\")\nassert DATOS.is_dir(), \"Abre el notebook desde su carpeta: deben existir datos/ e inicio.ipynb.\"\nSEMILLA = 17\n",
   "id": "04-s-01"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "## Datos hechos para revelar un error\nCada grupo ficticio tiene una firma numérica casi repetida y una\netiqueta aleatoria. Las filas de un grupo se parecen muchísimo.\nMemorizar firmas permite reconocer grupos conocidos, pero no\npredecir la etiqueta aleatoria de un grupo nuevo.\n\nEl objetivo de este laboratorio es **generalizar a grupos nuevos**.\nPor eso un split por filas responde otra pregunta. No es que usar\ngrupos sea siempre la solución: si el uso real fueran nuevas filas\nde esos mismos grupos, habría que diseñar esa evaluación.\n",
   "id": "04-s-02"
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": "from sklearn.model_selection import train_test_split, GroupShuffleSplit\nfrom sklearn.pipeline import make_pipeline\nfrom sklearn.preprocessing import StandardScaler\nfrom sklearn.neighbors import KNeighborsClassifier\nfrom sklearn.dummy import DummyClassifier\nfrom sklearn.metrics import accuracy_score\ndf = pd.read_csv(DATOS / \"desarrollo.csv\")\ncolumnas = [f\"firma_{i}\" for i in range(6)]\nindices = np.arange(len(df))\naleatorio_train, aleatorio_val = train_test_split(indices, test_size=0.25, random_state=SEMILLA, stratify=df.clase)\n",
   "id": "04-s-03"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "## Zona de experimentación\n`partir` debe devolver índices que no compartan grupos entre train\ny validación. Usa `GroupShuffleSplit`, una sola partición, 25% de\ngrupos para validación y la semilla fijada. Después explica por qué\nla accuracy por filas no estima el uso con grupos nuevos.\nNo busques semillas que eleven el resultado: eso usa validación para seleccionar.\n",
   "id": "04-s-04"
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": "def partir(datos):\n    separador = GroupShuffleSplit(n_splits=1, test_size=0.25, random_state=SEMILLA)\n    return next(separador.split(datos, datos.clase, groups=datos.grupo))\n",
   "id": "04-s-05"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "## Comparación en las mismas condiciones\nPara cada partición, ajusta un baseline mayoritario y k-NN con escalado solamente en ese entrenamiento. Compara también k-NN sobre el split por filas. Aquí la etiqueta de un grupo nuevo es aleatoria: subir el número no es el objetivo. La intersección de grupos revela qué situación está midiendo cada score.\n",
   "id": "04-s-06"
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": "def evaluar_particion(tr, va):\n    modelo = make_pipeline(StandardScaler(), KNeighborsClassifier(n_neighbors=1))\n    modelo.fit(df.iloc[tr][columnas], df.iloc[tr].clase)\n    base = DummyClassifier(strategy=\"most_frequent\").fit(df.iloc[tr][columnas], df.iloc[tr].clase)\n    score = accuracy_score(df.iloc[va].clase, modelo.predict(df.iloc[va][columnas]))\n    score_base = accuracy_score(df.iloc[va].clase, base.predict(df.iloc[va][columnas]))\n    return modelo, float(score), float(score_base)\n\ntr, va = partir(df)\nmodelo, score, score_base = evaluar_particion(tr, va)\n_, score_filas, _ = evaluar_particion(aleatorio_train, aleatorio_val)\ncompartidos = sorted(set(df.iloc[tr].grupo) & set(df.iloc[va].grupo))\nresultado = {\"baseline\": score_base, \"validacion\": score,\n             \"accuracy_por_filas\": score_filas, \"grupos_compartidos\": compartidos}\nassert not set(tr) & set(va) and len(tr) + len(va) == len(df)\n# Una evidencia adicional: StandardScaler aprendió exclusivamente train.\nassert np.allclose(modelo.steps[0][1].mean_, df.iloc[tr][columnas].mean())\nprint(resultado)\n",
   "id": "04-s-07"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "<details><summary>Idea · unidad</summary>La unidad de partición debe ser grupo, no fila, porque ese será el origen de los ejemplos futuros.</details>\n<details><summary>Idea · API</summary>next(GroupShuffleSplit(...).split(X, y, groups=...)) devuelve índices de filas respetando grupos.</details>\n<details><summary>Idea · evidencia</summary>Compara la intersección de conjuntos de grupos, además del score. Una métrica alta no certifica independencia.</details>\n",
   "id": "04-s-08"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "## Transferencia: decide antes de mirar el resultado\nEvalúa los doce grupos reservados usando el modelo congelado. No debe haber ninguno en desarrollo. No esperes que las dos accuracy por grupos sean idénticas: son pocas unidades independientes. Como segunda situación, explica cómo separarías datos si quisieras predecir el mes siguiente de sensores ya conocidos (corte temporal, sin futuro en train).\n",
   "id": "04-s-09"
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": "nuevo = pd.read_csv(DATOS / \"transferencia.csv\")\nassert not set(df.grupo) & set(nuevo.grupo)\nresultado[\"transferencia\"] = float(accuracy_score(nuevo.clase, modelo.predict(nuevo[columnas])))\nresultado[\"grupos_transferencia\"] = int(nuevo.grupo.nunique())\nfechas = pd.date_range(\"2026-01-01\", periods=12, freq=\"MS\")\ncorte = fechas[8]\npasado, futuro = fechas[fechas < corte], fechas[fechas >= corte]\nassert pasado.max() < futuro.min()\nresultado[\"corte_temporal_valido\"] = True\n",
   "id": "04-s-10"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "## Mirar la idea\nCompara el dibujo con lo que esperabas antes de ejecutar.\n",
   "id": "04-s-11"
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": "fig, ejes = plt.subplots(1, 2, figsize=(11, 4))\ncolores_grupo = pd.Categorical(df.grupo).codes\nejes[0].scatter(df.iloc[tr].firma_0, df.iloc[tr].firma_1, c=colores_grupo[tr], cmap=\"tab20\", vmin=0, vmax=df.grupo.nunique() - 1, marker=\"o\", alpha=0.65, label=\"train\")\nejes[0].scatter(df.iloc[va].firma_0, df.iloc[va].firma_1, c=colores_grupo[va], cmap=\"tab20\", vmin=0, vmax=df.grupo.nunique() - 1, marker=\"x\", s=75, label=\"validación\")\nejes[0].set(title=\"Firmas casi repetidas: ¿dónde quedó cada grupo?\", xlabel=\"firma 0\", ylabel=\"firma 1\")\nejes[0].legend()\nejes[1].bar([\"por filas\", \"tu split\", \"grupos nuevos\"], [resultado[\"accuracy_por_filas\"], resultado[\"validacion\"], resultado[\"transferencia\"]], color=[\"#d3a05b\", \"#287da3\", \"#65b5af\"])\nejes[1].set(title=\"Tres conjuntos, preguntas que hay que distinguir\", ylabel=\"accuracy\", ylim=(0, 1.05))\nfig.tight_layout()\nplt.show()\n",
   "id": "04-s-12"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "## Para seguir explorando\n¿Qué futuro imagina cada split? Observa puntos casi repetidos de un grupo y busca dónde aparecen sus vecinos. ¿Cambiaría tu evaluación si el siguiente ejemplo perteneciera a un grupo conocido, a uno nuevo o al mes siguiente?\n",
   "id": "04-s-13"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "## Comprobaciones del ejemplo\nEstas aserciones detectan errores técnicos en el cuaderno y en su solución de referencia. No son un examen ni una escala de capacidad.\n",
   "id": "04-s-14"
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": "assert resultado['grupos_compartidos'] == []\nassert resultado['accuracy_por_filas'] > resultado['validacion'] + 0.15\nassert resultado['grupos_transferencia'] == 12 and resultado['corte_temporal_valido']\n",
   "id": "04-s-15"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "## Resultado reproducible\nEsta celda guarda automáticamente las medidas para comprobar el material. Puedes conservar una copia de tu notebook y tus propias notas; no hay un formulario que rellenar.\n",
   "id": "04-s-16"
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": "resultado.update({\"laboratorio\": '04_validacion', \"version\": 'solución de referencia',\n                  \"datos\": \"sintéticos CC0-1.0\",\n                  \"metrica\": 'accuracy y solapamiento de grupos; una accuracy menor no es un fallo si cambia la pregunta', \"split\": 'datos de desarrollo: 24 grupos × 8 filas; transferencia: otros 12 grupos × 8 filas'})\nPath(\"resultado.json\").write_text(json.dumps(resultado, ensure_ascii=False, indent=2, allow_nan=False) + \"\\n\", encoding=\"utf-8\")\nprint(json.dumps(resultado, ensure_ascii=False, indent=2))\n",
   "id": "04-s-17"
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "name": "python",
   "version": "3.11"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}
