Sobre el artículo de Domingos

Leí el otro día A Few Useful Things to Know about Machine Learning de Pedro Domingos, que me dejó ojiplático. Os cuento por qué.

El artículo yuxtapone una serie de temas (debidamente organizados en secciones independientes) tales como:

  • Lo que cuenta es la generalización
  • Que, por eso, los datos no son suficientes y hacen falta modelos testables
  • Que el overfitting es un problema serio
  • Que en dimensiones elevadas pasan cosas raras
  • Que hay que tener cuidado con la teoría (en particular, los resultados asintóticos)
  • Que hay que elegir muy bien las variables (las llama features) de los modelos
  • Que es bueno combinar modelos
  • Que la correlación no implica causalidad
  • Etc.

Cosas todas, como se puede apreciar, muy razonables. Por lo que el artículo no habría estado mal hace treinta o cuarenta años. Pero, desafortunadamente, es del 2012.

A estas alturas del siglo creo que ya va siendo hora de que quienes llegan al mundo del análisis de datos desde disciplinas tales como la ingeniería o la informática vayan abandonando esa jerga hermética de features (y feature engineering), learning, representation, etc. Existe una nomenclatura bien establecida para esas cosas, anterior a los balbuceos mismos de lo que salió de los perceptrones.

Y no es solo una cuestión de nomenclatura. Es más profundo. Es una cuestión de integración de esos recetarios y consejillos en una teoría coherente. En ese sentido, merece la pena releer The Elements of Statistical Learning no tanto para sumergirse hasta los últimos y más exóticos detalles de cada fórmula sino aprehender ese marco teórico que unifica técnicas dispares. Ese marco en el que, por ejemplo, técnicas tan dispares como la regresión por minímos cuadrados y los k-vecinos son los extremos de un abanico de opciones posibles que resuelven la tensión entre localidad y generalidad, sesgo y varianza, parsimonia y prolijidad, etc.

2 comentarios sobre “Sobre el artículo de Domingos

  1. ffernandez 17 marzo, 2014 11:16

    Me ha recordado al comentario de un jefe economista que tuve en unas prácticas cuando todavía estudiaba que me dijo: «Es que lo que has estudiado tiene mucho que ver con lo que estamos haciendo porque la estadística se basa toda en la econometría» (…)

  2. Isidro 17 marzo, 2014 13:22

    Lo que realmente importa es que uno sepa lo que está haciendo. Y para eso hay que estudiar duro y dedicar mucho tiempo. La potencia del PC que tenemos en casa y la fácil accesibilidad a estas técnicas tienen el peligro de que se apliquen con superficialidad. No es lo mismo usar un lda o un pca que entender en profundidad lo que se está haciendo. En este sentido, los 2 libros de Hastie, Tibshirani & Cia. son muy buenos, empezando por el de introducción y siguiendo con el que indicas.
    A la cuestión terminológica creo que le dais más importancia de la que tiene. Muchas veces tiene su origen en el idioma; otras en la metodología formativa: la formación de un ingeniero o informático estadounidense es muy diferente a la de un matemático español… En el fondo no creo que importe que llames «features» a las variables independientes o «bias» al sesgo. Un matemático probablemente use “variable dependiente” pero un profesor de “Machine Learning” lo más probable es que te hable de “label”…

Los comentarios están desabilitados.