La Bendición de la Dimensión
Por qué los modelos lineales funcionan sorprendentemente bien en espacios de alta dimensionalidad.
conceptos clave
La Bendición de la Dimensión
Resultado contra-intuitivo: los modelos lineales funcionan sorprendentemente bien en espacios de alta dimensionalidad. Un dataset que es imposible de separar linealmente en 2D puede volverse perfectamente separable en 100 o 1000 dimensiones.
La razón matemática es que en espacios de alta dimensión hay exponencialmente más “espacio libre” para colocar un hiperplano separador. Cover (1965) demostró que la probabilidad de separabilidad lineal tiende a 1 cuando la dimensión crece respecto al número de muestras.
Esto justifica técnicas como el kernel trick: proyectar los datos a un espacio de dimensión mucho mayor donde sí son linealmente separables, sin calcular explícitamente las coordenadas.
Riesgo de Sobre-ajuste
La Bendicion de la Dimension
Observa como la accuracy de un clasificador lineal mejora al aumentar las dimensiones
La separabilidad mejora dramaticamente con mas dimensiones. En alta dimension, casi cualquier conjunto de datos es linealmente separable.
Verificación de conocimiento
1 / 3¿Por que los modelos lineales funcionan 'irracionalmente bien' en alta dimension?