ML Simulatorv1.0
Semana 2
Semana 2 · Módulo 5

Curva ROC y AUC

Evalúa la calidad de un clasificador con la curva ROC y el área bajo la curva.

conceptos clave

Curva ROC y Área Bajo la Curva (AUC)

Curva ROCAUCTPR (Sensibilidad)FPR (1-Especificidad)Comparación de modelos

La curva ROC (Receiver Operating Characteristic) visualiza el rendimiento de un clasificador a todos los umbrales posibles simultáneamente. Eje Y: TPR (tasa de verdaderos positivos = Recall). Eje X: FPR (tasa de falsos positivos).

Interpretación geométrica: cada punto de la curva representa un umbral diferente. La diagonal (45°) es un clasificador aleatorio. Un clasificador perfecto pasa por la esquina superior izquierda (TPR=1, FPR=0).

El AUC (área bajo la curva) resume la calidad global del modelo en un solo número:

  • AUC = 1.0 — separación perfecta entre clases
  • AUC = 0.5 — modelo no mejor que lanzar una moneda
  • AUC < 0.5 — peor que aleatorio (invertir las predicciones lo mejoraría)

La principal ventaja de la curva ROC: permite comparar modelos de forma independiente del umbral. El modelo con mayor AUC es generalmente superior, sin importar qué umbral se elija.

Interpretabilidad

Usa la curva ROC para comparar modelos entre sí y el AUC como métrica resumen. Es especialmente útil cuando las clases están desbalanceadas o cuando el costo de los errores no está claro.

Visualizador de Curva ROC

Comprende como la calidad del modelo y el desbalance de clases afectan la curva ROC y el AUC

Calidad del modelo

Desbalance de clases50/50 (pos/neg)

Curva ROC

AUC del modelo:AUC: 0.996 - Bueno

Guia de interpretacion

  • AUC = 0.5: El modelo no es mejor que lanzar una moneda
  • AUC 0.6-0.8: Modelo aceptable, util pero mejorable
  • AUC > 0.8: Buen modelo con capacidad discriminativa alta
  • AUC = 1.0: Clasificacion perfecta (sospechoso en la practica)

Data Leakage

Un AUC de 1.0 en datos reales casi siempre indica data leakage o un error. Desconfia de modelos "perfectos" y verifica que no haya fuga de informacion del futuro hacia el entrenamiento.

Verificación de conocimiento

1 / 3

¿Qué AUC tendría un modelo que clasifica al azar?