Entropía y Selección de Features
Cómo los árboles de decisión eligen la mejor variable usando entropía y ganancia de información.
conceptos clave
Entropía y Ganancia de Información
El árbol de decisión construye su estructura eligiendo, en cada nodo, la variable que mejor separa las clases. “Mejor separa” se formaliza usando entropía de Shannon: una medida de desorden o incertidumbre.
Entropía máxima (= 1 bit para clasificación binaria) significa 50/50 — máxima incertidumbre. Entropía cero significa que todos los elementos pertenecen a una sola clase — certeza total. La fórmula: H = -Σ pᵢ·log₂(pᵢ).
La ganancia de información mide cuánta entropía se reduce al dividir los datos por una variable: IG = H(padre) - Σ(nᵢ/n)·H(hijoᵢ). La variable con mayor ganancia se coloca en la raíz del árbol, y el proceso se repite recursivamente en cada rama.
Alternativa práctica: Gini impurity (1 - Σ pᵢ²) es computacionalmente más rápida y produce árboles similares en la mayoría de los casos.
Interpretabilidad
Calculadora de Entropia e Information Gain
Explora como un arbol de decision elige la mejor variable para dividir los datos
Dataset: Aprobacion de credito
| # | Ingreso (k$) | Edad | Historial | Resultado |
|---|---|---|---|---|
| 1 | 85 | 35 | 1 | Aprobado |
| 2 | 20 | 22 | 0 | Rechazado |
| 3 | 60 | 45 | 1 | Aprobado |
| 4 | 30 | 28 | 0 | Rechazado |
| 5 | 75 | 55 | 1 | Aprobado |
| 6 | 40 | 30 | 1 | Rechazado |
| 7 | 90 | 40 | 0 | Aprobado |
| 8 | 15 | 20 | 0 | Rechazado |
| 9 | 55 | 50 | 1 | Aprobado |
| 10 | 45 | 33 | 0 | Rechazado |
| 11 | 70 | 42 | 1 | Aprobado |
| 12 | 25 | 25 | 0 | Rechazado |
Entropia del conjunto padre
Selecciona una variable para dividir
Information Gain por variable
Arbol resultante (profundidad 2)
Interpretabilidad
Verificación de conocimiento
1 / 3¿Qué valor de entropía tiene un nodo donde el 100% de los datos pertenece a una sola clase?