Vectorización TF-IDF

Los modelos de ML no entienden texto — necesitan vectores numéricos. El enfoque más efectivo para textos cortos es TF-IDF (Term Frequency · Inverse Document Frequency).

La idea central: una palabra es importante para un documento si aparece frecuentemente en ese documento (TF alto) pero raramente en el corpus (IDF alto). Palabras como “el”, “de”, “y” tienen TF alto pero IDF bajo — son ruido.

• TF(t,d) = frecuencia del término t en el documento d (a menudo normalizada)
• IDF(t) = log(N / df(t)), donde N es el total de documentos y df(t) es en cuántos aparece t
• TF-IDF(t,d) = TF(t,d) × IDF(t) — alto cuando la palabra es discriminativa

Cada documento se convierte en un vector donde cada dimensión corresponde a un término del vocabulario, y su valor es el peso TF-IDF. Esto se conoce como bag of words porque ignora el orden de las palabras.