{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "# 01 · Una tabla con números, categorías y ausencias — solución de referencia\n\nInspeccionar una tabla y ajustar imputación y one-hot solo con entrenamiento, aceptando una categoría nueva.\n\n**Ideas que aparecen:** laboratorio 00 y lectura de archivos (cápsula 2). Puedes consultar las cápsulas\nopcionales de `ruta/Puentes de entrada.md` cuando alguna te haga falta.\n\nDatos **sintéticos educativos**, creados en este repositorio y dedicados a\nCC0-1.0. No representan personas ni un rendimiento oficial IOAI.\nTodo el ejercicio usa CPU y archivos locales; no requiere cuentas ni red.\n\nEsta es una propuesta para comparar con tus ideas; no es la única solución posible.\nPuedes recorrerlo en una o varias sesiones. No hay límite de juez ni\nobligación de completar todos los experimentos para abrir el siguiente cuaderno.\n",
   "id": "01-s-00"
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": "from pathlib import Path\nimport json\nimport numpy as np\nimport pandas as pd\nimport matplotlib.pyplot as plt\n\nplt.rcParams.update({\"figure.figsize\": (10, 4), \"axes.spines.top\": False,\n                     \"axes.spines.right\": False, \"font.size\": 11})\n\nDATOS = Path(\"datos\")\nassert DATOS.is_dir(), \"Abre el notebook desde su carpeta: deben existir datos/ e inicio.ipynb.\"\nSEMILLA = 17\n",
   "id": "01-s-01"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "## Contrato de los datos\nCada fila es una estación ficticia independiente. `temperatura`,\n`lluvia` y `zona` están disponibles al predecir; `alerta` es el\nobjetivo sintético. `id` identifica la fila y `particion` fija el\nexperimento: ninguna de esas dos es una feature.\n\nImputar aprende un valor de reemplazo. One-hot convierte cada\ncategoría en una columna indicadora. `ColumnTransformer` aplica\nprocedimientos distintos a columnas distintas y el `Pipeline`\nlos ajusta junto con el modelo, exclusivamente sobre train.\n",
   "id": "01-s-02"
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": "from sklearn.dummy import DummyClassifier\nfrom sklearn.metrics import accuracy_score\ndf = pd.read_csv(DATOS / \"estaciones.csv\")\nprint(df.shape, df.dtypes, df.isna().sum(), sep=\"\\n\")\nprint(df.groupby(\"particion\")[\"alerta\"].value_counts())\ncolumnas = [\"temperatura\", \"lluvia\", \"zona\"]\ntrain = df[df.particion == \"train\"]\nval = df[df.particion == \"val\"]\nnuevo = df[df.particion == \"transferencia\"]\nassert (len(train), len(val), len(nuevo)) == (160, 40, 40)\n",
   "id": "01-s-03"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "## Zona de experimentación\nUn pipeline puede combinar numéricas → mediana y escalado;\n`zona` → valor más frecuente y one-hot; luego logística. La figura\nayuda a relacionar esas decisiones con lo que hay en la tabla.\nCon `handle_unknown=\"ignore\"`, una categoría nueva se representa\n   con ceros en sus indicadores, no con una categoría conocida inventada.\nNo llames `fit` sobre validación ni sobre la tabla completa.\n",
   "id": "01-s-04"
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": "from sklearn.compose import ColumnTransformer\nfrom sklearn.impute import SimpleImputer\nfrom sklearn.preprocessing import OneHotEncoder, StandardScaler\nfrom sklearn.pipeline import make_pipeline\nfrom sklearn.linear_model import LogisticRegression\n\ndef construir_modelo():\n    numericas = make_pipeline(SimpleImputer(strategy=\"median\"), StandardScaler())\n    categorias = make_pipeline(SimpleImputer(strategy=\"most_frequent\"),\n                               OneHotEncoder(handle_unknown=\"ignore\"))\n    preparar = ColumnTransformer([\n        (\"numericas\", numericas, [\"temperatura\", \"lluvia\"]),\n        (\"categorias\", categorias, [\"zona\"]),\n    ])\n    return make_pipeline(preparar, LogisticRegression(max_iter=1000, random_state=SEMILLA))\n",
   "id": "01-s-05"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "## Comparación en las mismas condiciones\nAccuracy sobre las mismas 40 filas de validación para baseline mayoritario y propuesta. La solución muestra una mejora sobre el baseline local; su valor no equivale a ningún score oficial. Observar transferencia con la propuesta fijada permite distinguir selección de evaluación.\n",
   "id": "01-s-06"
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": "baseline = DummyClassifier(strategy=\"most_frequent\").fit(train[columnas], train.alerta)\nmodelo = construir_modelo().fit(train[columnas], train.alerta)\npred = modelo.predict(val[columnas])\nresultado = {\n    \"baseline\": float(accuracy_score(val.alerta, baseline.predict(val[columnas]))),\n    \"validacion\": float(accuracy_score(val.alerta, pred)),\n    \"nulos\": {c: int(df[c].isna().sum()) for c in columnas},\n}\nassert len(pred) == len(val) and set(pred) <= {0, 1}\nprint(resultado)\n",
   "id": "01-s-07"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "<details><summary>Idea · orden</summary>La columna particion ya fija el split; selecciona filas antes de ajustar el modelo.</details>\n<details><summary>Idea · API</summary>Combina SimpleImputer, StandardScaler y OneHotEncoder mediante ColumnTransformer.</details>\n<details><summary>Idea · novedad</summary>Comprueba el conjunto de categorías de train y luego las de transferencia. No reentrenes el encoder con ambas.</details>\n",
   "id": "01-s-08"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "## Transferencia: decide antes de mirar el resultado\nEn transferencia aparece `cordillera`, ausente de train. Congela la propuesta antes de ejecutar. Explica cómo la procesa y qué limitación tiene ignorar una categoría nueva. Revisa el score sin volver a ajustar hiperparámetros con estas etiquetas.\n",
   "id": "01-s-09"
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": "categorias_nuevas = sorted(set(nuevo.zona.dropna()) - set(train.zona.dropna()))\npred_nuevo = modelo.predict(nuevo[columnas])\nresultado[\"transferencia\"] = float(accuracy_score(nuevo.alerta, pred_nuevo))\nresultado[\"baseline_transferencia\"] = float(accuracy_score(nuevo.alerta, baseline.predict(nuevo[columnas])))\nresultado[\"categorias_nuevas\"] = categorias_nuevas\nassert categorias_nuevas == [\"cordillera\"] and len(pred_nuevo) == 40\n",
   "id": "01-s-10"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "## Mirar la idea\nCompara el dibujo con lo que esperabas antes de ejecutar.\n",
   "id": "01-s-11"
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": "fig, ejes = plt.subplots(1, 2, figsize=(11, 4))\nejes[0].scatter(train.temperatura, train.lluvia, c=train.alerta, cmap=\"coolwarm\", edgecolor=\"white\")\nejes[0].set(title=\"Train: dos variables, una decisión\", xlabel=\"temperatura\", ylabel=\"lluvia\")\nejes[1].bar(columnas, [train[c].isna().sum() for c in columnas], color=\"#2a7f9e\")\nejes[1].set(title=\"Lo que falta también necesita una decisión\", ylabel=\"ausencias en entrenamiento\")\nfig.tight_layout()\nplt.show()\n# Los puntos con una coordenada ausente no aparecen en el scatter; la barra los hace visibles.\n",
   "id": "01-s-12"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "## Para seguir explorando\n¿Qué aprende cada transformación y de qué filas? Quita una feature o cambia una categoría por un nombre nuevo. ¿Falla el programa, cambia la predicción o conserva exactamente la misma? Usa el dibujo para buscar ejemplos donde una sola variable no basta.\n",
   "id": "01-s-13"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "## Comprobaciones del ejemplo\nEstas aserciones detectan errores técnicos en el cuaderno y en su solución de referencia. No son un examen ni una escala de capacidad.\n",
   "id": "01-s-14"
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": "assert resultado['validacion'] >= 0.75 and resultado['validacion'] > resultado['baseline']\npreparar = modelo.steps[0][1]\nassert np.allclose(preparar.named_transformers_['numericas'].steps[0][1].statistics_, train[['temperatura', 'lluvia']].median())\n",
   "id": "01-s-15"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "## Resultado reproducible\nEsta celda guarda automáticamente las medidas para comprobar el material. Puedes conservar una copia de tu notebook y tus propias notas; no hay un formulario que rellenar.\n",
   "id": "01-s-16"
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": "resultado.update({\"laboratorio\": '01_tabla', \"version\": 'solución de referencia',\n                  \"datos\": \"sintéticos CC0-1.0\",\n                  \"metrica\": 'accuracy (mayor es mejor)', \"split\": 'columna particion fija: 160 entrenamiento, 40 validación, 40 transferencia'})\nPath(\"resultado.json\").write_text(json.dumps(resultado, ensure_ascii=False, indent=2, allow_nan=False) + \"\\n\", encoding=\"utf-8\")\nprint(json.dumps(resultado, ensure_ascii=False, indent=2))\n",
   "id": "01-s-17"
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "name": "python",
   "version": "3.11"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}
