Grid Search
Búsqueda exhaustiva de la mejor combinación de hiperparámetros.
conceptos clave
Grid Search: Optimización de Hiperparámetros
Los parámetros los aprende el modelo (pesos, coeficientes). Los hiperparámetroslos elige el ingeniero (learning rate, profundidad del árbol, lambda de regularización). No existe fórmula para el hiperparámetro óptimo — hay que experimentar.
Grid Search define una grilla de combinaciones posibles y evalúa cada una usando Cross-Validation. Para cada combinación de hiperparámetros, se entrena y evalúa K veces, y se selecciona la combinación con el mejor score promedio.
- Grid Search — prueba todas las combinaciones. Exhaustivo pero exponencial: con 3 hiperparámetros de 5 valores cada uno = 125 combinaciones × K folds
- Random Search — muestrea combinaciones al azar. Sorprendentemente efectivo: Bergstra & Bengio (2012) demostraron que con el mismo presupuesto computacional, random search encuentra mejores resultados que grid search en la mayoría de los casos
Data Leakage
Grid Search de Hiperparámetros
Busca la mejor combinación de hiperparámetros evaluando todas las opciones con validación cruzada
Grid Search evalúa exhaustivamente todas las combinaciones de hiperparámetros. Cada combinación se evalúa con 3-fold CV para obtener una estimación confiable. El costo crece exponencialmente con cada hiperparámetro adicional.
Verificación de conocimiento
1 / 3Si tienes 4 valores de max_depth y 5 valores de min_samples, ¿cuántas combinaciones evalúa Grid Search?