{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "# 05 · Comparar modelos y geometrías — solución de referencia\n\nComparar modelos con el mismo protocolo y contrastar k-means, dbscan, jerárquico y espectral sobre dos geometrías.\n\n**Ideas que aparecen:** laboratorios 02 y 04; distancia entre vectores. Puedes consultar las cápsulas\nopcionales de `ruta/Puentes de entrada.md` cuando alguna te haga falta.\n\nDatos **sintéticos educativos**, creados en este repositorio y dedicados a\nCC0-1.0. No representan personas ni un rendimiento oficial IOAI.\nTodo el ejercicio usa CPU y archivos locales; no requiere cuentas ni red.\n\nEsta es una propuesta para comparar con tus ideas; no es la única solución posible.\nPuedes recorrerlo en una o varias sesiones. No hay límite de juez ni\nobligación de completar todos los experimentos para abrir el siguiente cuaderno.\n",
   "id": "05-s-00"
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": "from pathlib import Path\nimport json\nimport numpy as np\nimport pandas as pd\nimport matplotlib.pyplot as plt\n\nplt.rcParams.update({\"figure.figsize\": (10, 4), \"axes.spines.top\": False,\n                     \"axes.spines.right\": False, \"font.size\": 11})\n\nDATOS = Path(\"datos\")\nassert DATOS.is_dir(), \"Abre el notebook desde su carpeta: deben existir datos/ e inicio.ipynb.\"\nSEMILLA = 17\n",
   "id": "05-s-01"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "## Comparar necesita una pregunta fija\nPrimero clasifica puntos con frontera curva. Fija modelos y\nparámetros antes de medir; elige por validación y congela la\nelección antes de transferencia. El baseline mayoritario se mide\nsobre las mismas filas.\n\nDespués elimina la supervisión: ajusta agrupadores usando solo las\ncoordenadas. K-means busca grupos compactos alrededor de centros;\nDBSCAN une regiones densas y puede dejar ruido con etiqueta -1;\njerárquico construye un árbol de fusiones (aquí enlace simple);\nespectral usa la conectividad de un grafo de vecindad.\n\nComo los puntos son sintéticos conocemos su grupo generador y\ncalculamos ARI (índice de Rand ajustado) **después** del ajuste:\n1 indica coincidencia, cerca de 0 acuerdo esperado por azar y puede\nser negativo. Los números asignados a los grupos son arbitrarios:\naccuracy directa sería incorrecta. En datos sin verdad de referencia\nno puedes calcular ARI; examina geometría, estabilidad y objetivo.\nNo optimices con estas etiquetas ocultadas durante el ajuste.\n",
   "id": "05-s-02"
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": "from sklearn.dummy import DummyClassifier\nfrom sklearn.metrics import accuracy_score, adjusted_rand_score\nfrom sklearn.pipeline import make_pipeline\nfrom sklearn.preprocessing import StandardScaler\nfrom sklearn.linear_model import LogisticRegression\nfrom sklearn.neighbors import KNeighborsClassifier\nfrom sklearn.tree import DecisionTreeClassifier\nfrom sklearn.svm import SVC\nfrom sklearn.cluster import KMeans, DBSCAN, AgglomerativeClustering, SpectralClustering\ndf = pd.read_csv(DATOS / \"clasificacion.csv\")\ncolumnas = [\"x1\", \"x2\"]\ntrain, val, nuevo = [df[df.particion == p] for p in [\"train\", \"val\", \"transferencia\"]]\n",
   "id": "05-s-03"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "## Zona de experimentación\nAgrega logística, k-NN (k=7), árbol (profundidad 4) y SVM RBF\n(C=2) al diccionario; escala dentro del pipeline cuando corresponda.\nPuedes modificar esos parámetros después para ver qué geometría cambia. La comparación es\nlocal, no un ranking universal de algoritmos.\n\nPara clustering implementa `agrupar`: KMeans (k=2, n_init=10),\nDBSCAN (eps=0.22, min_samples=5), jerárquico (2 grupos, enlace\nsimple) y espectral (2 grupos, 12 vecinos, afinidad nearest_neighbors).\nPredice cuáles pueden recuperar dos medias lunas antes de medir.\nEstas coordenadas ya comparten unidad; no las reescales por separado.\n",
   "id": "05-s-04"
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": "modelos = {\n    \"mayoritario\": DummyClassifier(strategy=\"most_frequent\"),\n    \"logistica\": make_pipeline(StandardScaler(), LogisticRegression(max_iter=1000, random_state=SEMILLA)),\n    \"knn\": make_pipeline(StandardScaler(), KNeighborsClassifier(n_neighbors=7)),\n    \"arbol\": DecisionTreeClassifier(max_depth=4, random_state=SEMILLA),\n    \"svm\": make_pipeline(StandardScaler(), SVC(C=2, kernel=\"rbf\")),\n}\n\ndef agrupar(X):\n    algoritmos = {\n        \"kmeans\": KMeans(n_clusters=2, n_init=10, random_state=SEMILLA),\n        \"dbscan\": DBSCAN(eps=0.22, min_samples=5),\n        \"jerarquico\": AgglomerativeClustering(n_clusters=2, linkage=\"single\"),\n        \"espectral\": SpectralClustering(n_clusters=2, n_neighbors=12,\n                                        affinity=\"nearest_neighbors\", random_state=SEMILLA),\n    }\n    return {nombre: algoritmo.fit_predict(X) for nombre, algoritmo in algoritmos.items()}\n",
   "id": "05-s-05"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "## Comparación en las mismas condiciones\nElige mayor accuracy de validación; desempata por nombre en orden alfabético. Reporta también train para detectar diferencias de ajuste. Para clustering compara ARI con un solo grupo (0 en estos datos) y reporta el ruido en lugar de eliminarlo silenciosamente.\n",
   "id": "05-s-06"
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": "tabla = []\nfor nombre, modelo in modelos.items():\n    modelo.fit(train[columnas], train.clase)\n    tabla.append({\"modelo\": nombre,\n                  \"train\": float(accuracy_score(train.clase, modelo.predict(train[columnas]))),\n                  \"val\": float(accuracy_score(val.clase, modelo.predict(val[columnas])))})\ntabla = pd.DataFrame(tabla).sort_values([\"val\", \"modelo\"], ascending=[False, True])\nelegido = str(tabla.iloc[0].modelo)\nresultado = {\"baseline\": float(tabla.set_index(\"modelo\").loc[\"mayoritario\", \"val\"]),\n             \"validacion\": float(tabla.iloc[0].val), \"elegido\": elegido,\n             \"comparacion\": tabla.to_dict(orient=\"records\")}\nprint(tabla)\n\ndef comparar_clusters(archivo):\n    puntos = pd.read_csv(DATOS / archivo)\n    # La columna grupo jamás entra a agrupar: solo x1 y x2.\n    asignaciones = agrupar(puntos[columnas].to_numpy())\n    medidas = {}\n    for nombre, etiquetas in asignaciones.items():\n        assert len(etiquetas) == len(puntos)\n        medidas[nombre] = {\"ari\": float(adjusted_rand_score(puntos.grupo, etiquetas)),\n                           \"ruido\": float(np.mean(etiquetas == -1)),\n                           \"grupos\": len(set(etiquetas) - {-1})}\n    return medidas\n\nresultado[\"clusters_lunas\"] = comparar_clusters(\"lunas.csv\")\nprint(\"Medias lunas:\", resultado[\"clusters_lunas\"])\n",
   "id": "05-s-07"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "<details><summary>Idea · comparación</summary>Usa los mismos train y val para cada modelo; el escalador va dentro de cada pipeline.</details>\n<details><summary>Idea · agrupación</summary>Cada clase de sklearn.cluster ofrece fit_predict(X); los nombres de etiquetas no tienen significado ordinal.</details>\n<details><summary>Idea · ruido y conexión</summary>DBSCAN puede devolver -1. Si un grafo espectral no está conectado aparece un aviso: revisa su geometría y no lo ocultes como si fuera un entrenamiento fallido.</details>\n",
   "id": "05-s-08"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "## Transferencia: decide antes de mirar el resultado\nEvalúa el clasificador ya elegido en 80 filas nuevas. Luego conserva los cuatro agrupadores y sus parámetros sobre dos nubes compactas. Esta segunda parte vuelve a ajustar agrupaciones sobre otro conjunto completo: es una transferencia del procedimiento, no predict de un clusterizador sobre puntos nuevos. Compara cómo cambia el resultado con la geometría.\n",
   "id": "05-s-09"
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": "resultado[\"transferencia\"] = float(accuracy_score(nuevo.clase, modelos[elegido].predict(nuevo[columnas])))\nresultado[\"baseline_transferencia\"] = float(accuracy_score(nuevo.clase, modelos[\"mayoritario\"].predict(nuevo[columnas])))\nresultado[\"clusters_nubes\"] = comparar_clusters(\"nubes.csv\")\n# Renombrar clusters no debe cambiar ARI; una accuracy directa sí cambiaría.\ngrupos = np.array([0, 0, 1, 1])\nassert adjusted_rand_score(grupos, 1 - grupos) == 1.0\n",
   "id": "05-s-10"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "## Mirar la idea\nCompara el dibujo con lo que esperabas antes de ejecutar.\n",
   "id": "05-s-11"
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": "xx, yy = np.meshgrid(np.linspace(-1.6, 1.6, 90), np.linspace(-1.6, 1.6, 90))\ngrilla = pd.DataFrame({\"x1\": xx.ravel(), \"x2\": yy.ravel()})\nfig, ejes = plt.subplots(1, len(modelos), figsize=(3.1 * len(modelos), 3.3), squeeze=False)\nfor eje, (nombre, modelo) in zip(ejes.ravel(), modelos.items()):\n    eje.contourf(xx, yy, modelo.predict(grilla).reshape(xx.shape), levels=[-0.5, 0.5, 1.5], cmap=\"coolwarm\", alpha=0.25)\n    eje.scatter(val.x1, val.x2, c=val.clase, cmap=\"coolwarm\", s=16, edgecolor=\"white\", linewidth=0.3)\n    eje.set(title=nombre, xlabel=\"x1\", ylabel=\"x2\", aspect=\"equal\")\nfig.suptitle(\"Cada clasificador propone una geometría de frontera\", y=1.04)\nfig.tight_layout()\nplt.show()\n\nfor archivo, titulo in [(\"lunas.csv\", \"Medias lunas\"), (\"nubes.csv\", \"Nubes compactas\")]:\n    puntos = pd.read_csv(DATOS / archivo)\n    asignaciones = agrupar(puntos[columnas].to_numpy())\n    fig, ejes = plt.subplots(1, len(asignaciones), figsize=(3.3 * len(asignaciones), 3.3), squeeze=False)\n    for eje, (nombre, etiquetas) in zip(ejes.ravel(), asignaciones.items()):\n        ruido = etiquetas == -1\n        eje.scatter(puntos.loc[~ruido, \"x1\"], puntos.loc[~ruido, \"x2\"], c=etiquetas[~ruido], cmap=\"coolwarm\", s=18)\n        eje.scatter(puntos.loc[ruido, \"x1\"], puntos.loc[ruido, \"x2\"], color=\"black\", marker=\"x\", label=\"ruido\")\n        ari = adjusted_rand_score(puntos.grupo, etiquetas)\n        eje.set(title=f\"{nombre}; ARI={ari:.2f}\", xlabel=\"x1\", ylabel=\"x2\", aspect=\"equal\")\n    fig.suptitle(titulo + \": distintas ideas de parecido\", y=1.04)\n    fig.tight_layout()\n    plt.show()\n",
   "id": "05-s-12"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "## Para seguir explorando\n¿Qué forma de frontera aprende cada clasificador? Compara medias lunas y nubes compactas: ¿qué noción de grupo encaja en cada dibujo? Cambia eps de DBSCAN y observa cuándo aparecen ruido, uniones o fragmentos; no hay un ganador universal.\n",
   "id": "05-s-13"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "## Comprobaciones del ejemplo\nEstas aserciones detectan errores técnicos en el cuaderno y en su solución de referencia. No son un examen ni una escala de capacidad.\n",
   "id": "05-s-14"
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": "assert len(resultado['comparacion']) == 5\nassert resultado['validacion'] >= 0.85 and resultado['transferencia'] >= 0.80\nassert set(resultado['clusters_lunas']) == {'kmeans', 'dbscan', 'jerarquico', 'espectral'}\nassert set(resultado['clusters_nubes']) == set(resultado['clusters_lunas'])\nassert resultado['clusters_lunas']['dbscan']['ari'] > resultado['clusters_lunas']['kmeans']['ari'] + 0.2\nassert resultado['clusters_nubes']['kmeans']['ari'] > 0.9\n",
   "id": "05-s-15"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "## Resultado reproducible\nEsta celda guarda automáticamente las medidas para comprobar el material. Puedes conservar una copia de tu notebook y tus propias notas; no hay un formulario que rellenar.\n",
   "id": "05-s-16"
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": "resultado.update({\"laboratorio\": '05_modelos', \"version\": 'solución de referencia',\n                  \"datos\": \"sintéticos CC0-1.0\",\n                  \"metrica\": 'accuracy supervisada; ARI educativo en clustering, fracción de ruido y número de grupos', \"split\": 'clasificación: 160 train/80 validación/80 transferencia; clustering: dos conjuntos independientes de 160 puntos'})\nPath(\"resultado.json\").write_text(json.dumps(resultado, ensure_ascii=False, indent=2, allow_nan=False) + \"\\n\", encoding=\"utf-8\")\nprint(json.dumps(resultado, ensure_ascii=False, indent=2))\n",
   "id": "05-s-17"
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "name": "python",
   "version": "3.11"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}
