El aprendizaje supervisado es un paradigma fundamental dentro del campo del aprendizaje automático, utilizado ampliamente para resolver problemas de predicción y clasificación. En este enfoque, se entrena un modelo utilizando un conjunto de datos etiquetados, lo que significa que cada instancia de entrada está asociada con una salida conocida. El objetivo es que el modelo aprenda una función o relación que permita predecir la salida para nuevos datos no etiquetados. Este tipo de aprendizaje es especialmente valioso en tareas como la clasificación, donde se asignan categorías a las entradas, o la regresión, donde se predicen valores continuos (Hastie, Tibshirani, & Friedman, 2009). El aprendizaje supervisado, por lo tanto, depende de la calidad y de la cantidad de los datos etiquetados, siendo clave para el rendimiento del modelo.

A medida que los datos de entrenamiento se procesan, el modelo ajusta sus parámetros internos para minimizar el error de predicción, utilizando técnicas matemáticas y estadísticas. Algunos de los algoritmos más conocidos en aprendizaje supervisado incluyen la regresión lineal, máquinas de soporte vectorial y redes neuronales, cada uno adecuado para distintos tipos de tareas y características de los datos. A pesar de su efectividad, el aprendizaje supervisado enfrenta desafíos como el overfitting y el underfitting, situaciones que pueden afectar la capacidad de generalización del modelo y, por ende, su rendimiento en datos nuevos. Estos desafíos resaltan la importancia de una correcta elección del modelo y de las técnicas de regularización para asegurar un aprendizaje efectivo y robusto (James, Witten, Hastie, & Tibshirani, 2013).

Términos importantes:

• Representación de features (variables):

• Convertir un objeto en números de forma que la computadora pueda entender. En la siguiente tabla se puede ver que las features son: mass, width, height, color_score, mismas que caracterizan a cada uno de los objetos o instancias.
•  

• Data instances/samples/examples (X):

• Es la agrupación de las features por cada una de las instancias o filas del dataset. Normalmente se representa con la letra X
•  

• Target value (y):

• Es la variable que se debe predecir, también conocida como labels; normalmente se la representa con la letra y.
•  

• Datasets de entrenamiento y de testeo:

• El dataset de entrenamiento es el conjunto de datos con los cuales se va a crear el modelo y que permite estimar los parámetros del mismo para que después pueda ser usado con datos nuevos. Por otro lado, el dataset de testeo se usa para esencialmente para medir la capacidad predictiva del modelo. Normalmente, de los datos disponibles se suele usar un 75 % de ellos para entrenar y el 25 % restante se usa para testear el modelo.
•  

• Fitting, traning

• Es el entrenamiento del modelo en sí mismo. Mientras que el entrenamiento es el proceso de estimación de los parámetros del modelo en función de los dataset de entrenamiento.
•  

• Método de evaluación

• Métrica usada para cuantificar la capacidad predictiva del modelo (accuracy, roc auc, presicion, recall, etc.).
•  
• 
  

  Figura N.º 2. Entrenamiento de un modelo.

  ×

  

Clasificación y regresión

• En ambos casos, tanto para modelos de clasificación como para modelos de regresión es necesario contar con instancias de entrenamiento con su variable target correspondiente.
• Para los modelos de clasificación, la variable target es una variable discreta; y pueden existir dos tipos de modelos de clasificación:
• Modelos binarios: valores entre 0 (clase negativa) o 1 (clase positiva). Por ejemplo: detectar transacciones fraudulentas en tarjetas de crédito. En la siguiente ilustración se muestra un ejemplo de detección de una instancia de transacción en tarjetas de crédito con su respectivo target (positivo o negativo).

• 
  

  Figura N.º 3. Binary classification: detección de fraude en tarjetas de crédito.

  ×

  

•  

• Modelos multiclase: es cuando la variable target es categórica y puede contener más de dos valores.

• Por ejemplo: Labelling el tipo de fruta en base a sus características físicas.
• 
  

  Figura N.º 4. Multiclass classification: reconocimiento de frutas.

  ×

  
•  

• Para modelos de regresión, la variable target es una variable continua. Por ejemplo: predecir el precio de venta de una casa en base a sus atributos.
• La selección del modelo de aprendizaje supervisado depende del tipo de dato que tenga la variable target.
• Muchos de los métodos de aprendizaje supervisado tienen implementaciones para ambos: clasificación y regresión.

La generalización se refiere a la habilidad que tienen los algoritmos de generar predicciones precisas para datos nuevos que el modelo no ha visto. Partiendo de las siguientes suposiciones:

• El conjunto de datos de entrenamiento o test set tendrá las mismas características que el traning set actual.
• Se esperaría que los modelos que tienen un buen performance en los datos de entrenamiento tengan también un buen performance en los datos de testeo.
• Los modelos que son muy complejos, dada la cantidad de datos de entrenamiento disponibles, se dice que tienen a caer en overfitting y no llegan a generalizar correctamente los datos nuevos.
• Por otro lado, los modelos que son muy simples, que ni siquiera tiene un buen performance en los datos de entrenamiento se dice que caen en underfitting y por supuesto no generalizan correctamente.

•  

Overfitting

El overfitting o sobreajuste es un problema en el aprendizaje automático, donde un modelo aprende demasiado bien los datos de entrenamiento, incluyendo ruido y patrones irrelevantes, lo que afecta su capacidad de generalización (Bishop, 2006). Esto significa que el modelo tiene un desempeño excelente en los datos de entrenamiento, pero falla al predecir con nuevos datos.

Ejemplos prácticos del overfitting

• Reconocimiento de imágenes. Un modelo de clasificación de imágenes entrenado con un conjunto de datos muy pequeño podría memorizar características específicas de cada imagen en lugar de aprender patrones generales. Por ejemplo, si un modelo de detección de gatos solo ha sido entrenado con imágenes de gatos en interiores, podría fallar al reconocer gatos en entornos exteriores.
• Predicción de ventas. Supongamos que se entrena un modelo para predecir las ventas de una tienda basándose en datos históricos. Si el modelo aprende patrones específicos de ciertos días festivos sin generalizar, podría predecir incorrectamente las ventas en días similares que no fueron parte del conjunto de entrenamiento (Goodfellow, Bengio & Courville, 2016).
• Análisis financiero. En el mercado de valores, un modelo de predicción de precios de acciones podría ajustarse demasiado a tendencias pasadas sin captar fluctuaciones reales del mercado. Esto resultaría en predicciones poco confiables cuando surjan nuevos factores económicos (Ng, 2018).

Prevención del overfitting

Para evitar el sobreajuste, se pueden aplicar varias técnicas:

• Regularización (como Regularización L1 y Regularización L2), para penalizar modelos excesivamente complejos.
• Aumento de datos para diversificar el conjunto de entrenamiento.
• Validación cruzada para evaluar el modelo con distintos subconjuntos de datos.
• Reducción de complejidad del modelo para evitar que se ajuste a detalles irrelevantes.

Underfitting

El underfitting o subajuste es un problema en el aprendizaje automático, donde un modelo es demasiado simple para capturar patrones significativos en los datos, lo que resulta en un bajo desempeño tanto en los datos de entrenamiento como en los datos de prueba (Bishop, 2006). Esto significa que el modelo no logra aprender lo suficiente de los datos, lo que lleva a predicciones inexactas.

Ejemplos prácticos del underfitting

• Reconocimiento de imágenes. Un modelo de clasificación de imágenes que utiliza una regresión lineal para distinguir entre perros y gatos probablemente no capture la complejidad de las diferencias visuales entre ambas especies, lo que resultaría en un desempeño deficiente.
• Predicción de ventas. Si un modelo intenta predecir las ventas de una tienda utilizando solo el promedio de ventas diarias sin considerar factores como días festivos o tendencias de mercado, su capacidad predictiva será muy baja (Goodfellow, Bengio & Courville, 2016).
• Análisis financiero. Un modelo de predicción de precios de acciones que solo usa un promedio móvil de precios históricos sin incorporar variables como tasas de interés o noticias económicas probablemente no prediga con precisión las fluctuaciones del mercado (Ng, 2018).

Prevención del underfitting

Para evitar el subajuste, se pueden aplicar varias estrategias:

• Aumento de la complejidad del modelo, usando algoritmos más sofisticados como redes neuronales profundas.
• Incorporación de más variables relevantes en el modelo.
• Mayor entrenamiento para permitir que el modelo aprenda mejor los patrones de los datos.
• Reducción del sesgo mediante algoritmos menos restrictivos y mayor iteración en el proceso de ajuste.

En la Figura N.º 5 se puede observar gráficamente el problema del overfitting, dado que el modelo se ajusta exactamente a los modelos de entrenamiento, logrando ser 100 % preciso en detectar sus labels. Por otro lado, en la esquina derecha se puede observar que el modelo no es lo suficientemente preciso (es demasiado simple), ya que clasifica mal muchos casos. Finalmente, en el gráfico del medio se puede ver una curva que separa los grupos y, si bien no clasifica correctamente todos los casos, se puede ver una buena generalización.

En la Figura N.º 6, en el gráfico de la izquierda vemos que el modelo de regresión tiene problemas de overfitting, dado que la curva que predice los puntos se ajusta 100 % a cada uno de ellos llegando a tener una predicción perfecta en los datos de entrenamiento. Por otro lado, en el caso del gráfico del extremo derecho la predicción se traduce en una línea que está muy distante de predecir muchos de los puntos, sobre todo los que se encuentran en los extremos. Finalmente, el gráfico del medio si bien no está distante de algunos de los puntos, tiende a tener una buena generalización ya que detecta los patrones de distribución de los datos.

K–vecinos más cercanos es un algoritmo de machine learning que puede ser usado tanto para clasificación como para regresión, y es uno de los algoritmos más simples de entender. Para modelos de clasificación, el algoritmo k-vecinos más cercanos funciona de la siguiente manera:

Dado un conjunto de entrenamiento X_train con labels y_train y dada una instancia de datos a ser clasificada x_test los pasos son los siguientes:

• Buscar las instancias más similares (las cuales las llamaremos X_NN) a x_test que se encuentran en X_train
• Obtener los labels y_NN para cada una de las instancias en X_NN
• Predecir el label para x_test combinando los labels y_NN Por ejemplo: por mayoría de votos.

En la figura anterior se ilustra el funcionamiento del algoritmo k–vecinos más cercanos para clasificación con un k = 1. En este caso el modelo es demasiado complejo y cae en overfitting debido a que se ajusta demasiado bien a los datos de entrenamiento. El color de fondo (amarillo y gris) indica el decision boundary e indica que si la observación está en uno de esos límites pertenecerá a la clase amarilla o a la clase gris.

Para el siguiente caso siguiente con k = 11 podemos ver que el decision boundary es mucho más y mejor definido, y no complejiza el modelo puedo que las dos clases casi se las puede separar con una línea con una inclinación de 45 grados.

 

A diferencia del caso de k vecinos más cercanos para clasificación para modelos de regresión la predicción final de una instancia nueva será el promedio de los k–vecinos más cercanos. En la figura anterior, en extremo izquierdo tenemos un scatter plot de los datos de entrenamiento, es decir cada valor de instancia con su respectivo target. Luego al aplicar el modelo de regresión con datos nuevos podemos ver en el gráfico del medio que los triángulos son los valores predichos para cada uno de los valores de entrada. El valor de predicción final será el promedio entre los k–valores más cercanos al target value de cada instancia.

 

Una de las métricas más usadas para poder evaluar la capacidad predictiva de un modelo de regresión es el R², la cual mide cuán buena es la predicción en función del valor real.

El valor puede fluctuar entre 0 y 1, en donde el valor de 0 significa que el modelo está prediciendo el promedio de los target values de entrenamiento, y en consecuencia tiene pésima capacidad predictiva. Por otro lado, el valor de 1 corresponde a una predicción perfecta. El R² también es conocido como coeficiente de determinación

 

Parámetros importantes para los modelos de clasificación y regresión usando k–vecinos más cercanos

Complejidad de los modelos:

n_neighbors: número de k–vecinos más cercanos a considerar; por defecto, en la implementación de Python se usa el valor de 5.

Model Fitting:

metric: función de distancia entre los puntos de datos; por defecto, en la implementación de Python se usa la distancia de Minkowski.

Los modelos lineales son uno de los tipos de modelos de aprendizaje supervisado más simples que hay. Un modelo lineal expresa la variable target en función de la suma de los pesos de las variables predictoras dada un input instance. La regresión lineal es un ejemplo de un modelo lineal.

En la figura anterior se muestra la ecuación que explica el precio de la casa en función de los impuestos por año y la edad de la casa expresada en años.

Una casa con los siguientes valores de features (Xtax, Xage) de (10 000, 75) tendría un valor de predicción de la casa de:

Yprice = 212 000 + 109*10 000 - 2 000*75 = 1 152 000

En la figura anterior se pueden apreciar los diferentes componentes del modelo de regresión lineal; por un lado, tenemos el vector de features. En el ejemplo anterior eran los impuestos por año y la edad de la casa en años.

El proceso de entrenamiento de una regresión lineal consiste en estimar las cargas de cada una de sus variables y el intercept, slope o pendiente. La siguiente figura muestra la ecuación resultante de entrenar el modelo de regresión lineal con una variable predictora. El método que se aplica para estimar el intercept y las cargas se llama mínimos cuadrados ordinarios.

Los mínimos cuadrados ordinarios consisten en encontrar los valores de w y b que minimizan error cuadrático medio del modelo. Esto es la suma de las diferencias al cuadrado del target con el valor predicho. Este concepto se ilustra con el siguiente gráfico, las líneas negras representan la diferencia entre el valor predicho y el valor real.

 

En la ecuación anterior, el valor de y representa el valor real a predecir, mientras que w * xi + b representa la predicción generada por el modelo.

Ridge regression usa el mismo criterio que los mínimos cuadros ordinarios para estimar el intercept y los coeficientes de cada una de las variables (w), pero añade una penalidad cuando existen grandes variaciones en los parámetros (w).

• Una vez que los parámetros son aprendidos, la fórmula de la rigde regression es la misma que la que generaría los mínimos cuadrados ordinarios.
• El parámetro de penalidad que le añade se denomina regularización. La regularización previene el overfitting, reduciendo la complejidad de los modelos; es decir, que el modelo se ajuste demasiado a los datos de entrenamiento.
• Ridge regression usa la regularización L2. La cual minimiza la suma de los cuadrados de los pesos (w) ver Figura N.º 14.
• La influencia de la regularización es controlada por el parámetro alfa (α).
• Valores altos de α implican mayor regularización y, en consecuencia, modelos más simples.

Normalización de features

La normalización de features es muy importante para muchos de los algoritmos de machine learning; es decir, que todas las variables tengan la misma escala. Algunos de los algoritmos que necesitan son regresión regularizada, k–vecinos más cercanos, support vector machines, redes neuronales. Hay diferentes maneras de normalizar los datos, una de las formas más usadas es por MinMax scaling.

Lasso regression usa el mismo criterio que los mínimos cuadros ordinarios para estimar el intercept y los coeficientes de cada una de las variables (w) pero añade una penalidad cuando existen grandes variaciones en los parámetros (w). En este caso incluye regularización L2.

• La regularización/penalización L1 minimiza la suma de los valores absolutos de los coeficientes.
• El parámetro α controla la cantidad de regularización L1 (por defecto es 1.0).
• La fórmula de predicción es la misma que la de los mínimos cuadrados ordinarios.