El deep learning, o aprendizaje profundo, es una subdisciplina del aprendizaje automático que ha ganado relevancia en la última década, debido a su capacidad para modelar y resolver tareas complejas, como el reconocimiento de voz, la visión por computadora y el procesamiento de lenguaje natural. Se basa en redes neuronales artificiales de múltiples capas, que le permite aprender representaciones jerárquicas y abstractas de los datos, esto mejora la capacidad de los modelos para generalizar y hacer predicciones precisas. A diferencia de modelos tradicionales, que requieren características seleccionadas a mano, los modelos deep learning pueden aprender de forma autónoma las representaciones de datos a medida que se entrenan (Goodfellow, Bengio & Courville, 2016).

Una de las arquitecturas más comunes utilizadas en deep learning son las redes neuronales convolucionales (CNN), especialmente efectivas en tareas de clasificación de imágenes y reconocimiento visual. Las CNN utilizan filtros convolucionales que recorren los datos de entrada, extrayendo características espaciales importantes, lo que las hace extremadamente poderosas en el análisis de imágenes. Además, las redes neuronales recurrentes (RNN), que incluyen variantes como las LSTM (Long Short-Term Memory), son esenciales para tareas que requieren de memoria y procesamiento secuencial, como el análisis de series temporales y la traducción automática. Estas redes son capaces de aprender dependencias a largo plazo entre los elementos de una secuencia, lo que las hace adecuadas para trabajar con datos temporales o secuenciales (LeCun, Bengio & Hinton, 2015).

La popularidad de deep learning se ha visto impulsada por los avances en potencia computacional y el acceso a grandes cantidades de datos, conocidos como big data. Las redes neuronales profundas requieren de gran cantidad de datos etiquetados para entrenarse adecuadamente; esto puede representar un desafío en dominios donde los datos etiquetados son limitados. Sin embargo, con la utilización de técnicas como el transfer learning, los modelos pueden aprovechar los conocimientos adquiridos en tareas previas, para mejorar el rendimiento en nuevas tareas con menos datos disponibles (Pan & Yang, 2010).

Las arquitecturas de deep learning combinan una sofisticada fase automática de extracción de features con una fase de aprendizaje supervisado. La fase de extracción de features usa jerarquía de múltiples capas de extracción de features. Empezando por features primitivos en la capa inicial, cada salida de las capas de features brinda los inputs features a la capa subsecuente. Todos los features creados se usarán en el modelo de aprendizaje supervisado final. La Figura 1 muestra un ejemplo de arquitectura simple de deep learning para una tarea de reconocimiento de imágenes, en este caso reconocimiento de números del 0 al 9:

La primera capa es la capa de entrada, donde se configuran las características relacionadas con el tamaño de la imagen. A continuación, se encuentra la capa de convolución, que actúa como un filtro para extraer patrones específicos de la imagen. Después, sigue la capa de subsampling, también conocida como pooling, que permite identificar versiones traducidas o rotadas de los patrones que componen la imagen, al mismo tiempo que reduce la complejidad computacional de la red. Finalmente, los patrones extraídos se detectan adecuadamente en la capa final, o capa de clasificación, que se implementa como una red completamente conectada (fully connected network).

Ese es solo un ejemplo, así que propiedades tales como el tamaño, la estructura y otras, podrían ser diferentes dependiendo del problema de aprendizaje. La Figura 2 muestra la primera, segunda y tercera etapa del feature learning, para un ejemplo de reconocimiento de imágenes. La matriz, en cada etapa, muestra un conjunto de features de imágenes con un feature por cuadrado.

Cada feature actúa como un detector o filtro, que se activa cuando el patrón está presente en la imagen. La primera capa de la arquitectura de la red extrae features de bajo nivel, como bordes y diferentes tipos de curvaturas. La segunda capa crea features a partir de combinaciones de las features extraídas en la primera capa; para la detección de caras, este podría considerarse un elemento clave de captura de formas, para detectar narices u ojos. La tercera capa crea features a partir de combinaciones de las features de las capas anteriores, permitiendo detectar tipos de caras y expresiones faciales.

Finalmente, todos estos features son usados como inputs para el paso final del aprendizaje supervisado; es decir, el clasificador de caras.

La Figura 3 indica la segunda y tercera capa de una red neuronal para reconocimiento de imágenes. En este caso hay una red neuronal por tipo de imagen: carro, elefante, sillas y una mezcla de objetos. Este proceso es similar al que hace el cerebro humano para reconocer imágenes, primero hace una detección inicial de patrones preliminares para después hacer un reconocimiento más exhaustivo, todo esto en cuestión de segundos.

Ventajas y desventajas del deep learning

Los algoritmos de aprendizaje no supervisado se usan para tareas en las cuales no se tiene un target o label en las instancias o registros; por lo tanto, no se busca crear un modelo que prediga un comportamiento. En lugar de eso, el objetivo principal es capturar información o estructuras de interés. Entre algunas de las aplicaciones del aprendizaje no supervisado se pueden citar:

• Visualización de la estructura de un dataset complejo.
• Estimación de grupos por densidad para predecir la probabilidad de eventos futuros.
• Compresión y sumarización de datos.
• Extracción de features para luego aplicar técnicas de aprendizaje supervisado.
• Descubrir grupos o outliers.

En la Figura 4 se muestra un ejemplo de uno de los métodos de aprendizaje no supervisado más usado, clustering. Se tiene un conjunto de datos que representan a las interacciones de los usuarios en diversas páginas web y se busca agrupar a los usuarios en función de sus similitudes respecto de los features que usan en las páginas, los servicios y productos buscados, etc. En función de ese conocimiento, se podrían recomendar productos a determinado grupo de usuarios.

Los algoritmos de aprendizaje no supervisados se pueden agrupar en dos grandes grupos:

• Transformaciones:
  • Procesos que extraen o computan información.
• Clustering:
  • Encontrar grupos en los datos.
  • Asignar un grupo a cada uno de los componentes del dataset (individuo).

En la Figura 5, se muestra un ejemplo de transformaciones mediante estimación por densidad. En este tipo de algoritmo, lo que se busca es estimar una probabilidad en función de cuán alta es la medición de determinada variable. En una aplicación médica relacionada con el diagnóstico de diabetes, la estimación por densidad con una variable podría ser usada para estimar la distribución de un determinado test; por ejemplo, el nivel de concentración de glucosa a base de una prueba de sangre en personas que padecen una determinada forma de diabetes.

Mediante esta estimación por densidad podríamos estimar la probabilidad de que cualquiera que tenga ese tipo de diabetes tenga un determinado valor de glucosa, aunque ese valor de glucosa no se incluya en el dataset. Luego, se puede comparar esta distribución con la distribución de la gente que no tiene diabetes, tal y como se muestra en la Figura 6. La estimación por densidad también se puede usar para generar features que serán usados en tareas de clasificación o regresión.

Por ejemplo, consideremos un conjunto de datos que contienen las estaturas de un grupo de personas. Si quisiéramos estimar la distribución de las estaturas sin asumir ninguna distribución específica, podemos utilizar un estimador de densidad, como el de Kernel. Este método suaviza los datos discretos utilizando una función kernel (normalmente una distribución normal), centrada en cada punto de datos, sumando todas estas funciones kernel para obtener una estimación suave de la densidad.

Imaginemos que tenemos los siguientes datos de estatura en centímetros de 10 personas: 160, 165, 170, 175, 180, 185, 190, 195, 200, 205. Al aplicar un estimador de densidad de kernel, cada estatura se convierte en una ‘campana’ (función kernel), que se superpone con las demás. La suma de estas campanas da como resultado una curva suave, que refleja cómo se distribuyen las estaturas en el grupo. Esta curva no solo nos indica los valores más probables, sino también la forma general de la distribución, permitiéndonos identificar si hay tendencias o irregularidades.

La estimación por densidad tiene aplicaciones en varios campos, como análisis de imágenes, detección de anomalías y modelización de distribuciones de datos que no se ajustan a un modelo paramétrico simple (Silverman, 1986). Además, una de sus principales ventajas es que no requiere hacer suposiciones fuertes sobre la forma de distribución subyacente, lo que la hace ideal para el análisis exploratorio de datos (Scott, 2015)

Las técnicas de reducción de dimensiones consisten en buscar una versión aproximada de un dataset original, usando una cantidad menor de features. Estas técnicas son ampliamente usadas con el propósito de explorar y visualizar los datos para entender si existen grupos o relaciones entre los datos. Usualmente se usan visualizaciones de dos dimensiones, usando scatterplots. Estos algoritmos también son usados para buscar nuevos features, para ser usados en modelos de aprendizaje supervisado. La Figura 7 explica este concepto gráficamente.

Análisis de Componentes Principales (PCA)

El PCA es una técnica de reducción de dimensionalidad que busca encontrar nuevas variables, llamadas componentes principales, que sean combinaciones lineales de las variables originales. Estas nuevas variables capturan la mayor cantidad de varianza posible de los datos originales, pero en un espacio de menor dimensión. En otras palabras, el PCA busca resumir la información contenida en un gran número de variables en un número menor de componentes principales, sin perder demasiada información.

Ámbitos en los que se puede aplicar el análisis de componentes principales

• Visualización de datos: permite representar datos de alta dimensionalidad en un espacio de menor dimensión (por ejemplo: 2D o 3D) para facilitar su visualización y comprensión.
• Reducción de ruido: al eliminar componentes principales con poca varianza, se reduce el ruido en los datos y se mejora la señal.
• Mejoramiento del rendimiento de modelos: la reducción de dimensionalidad puede mejorar el rendimiento de modelos de aprendizaje automático al reducir la dimensionalidad de los datos y evitar problemas de sobreajuste.

Funcionamiento de las componentes principales

• Estandarización de los datos: se transforman los datos para que tengan media 0 (cero) y desviación estándar 1 (uno).
• Cálculo de la matriz de covarianza: se calcula la matriz de covarianza para medir la relación lineal entre las variables.
• Cálculo de los autovalores y autovectores: se descompone la matriz de covarianza en autovalores y autovectores. Los autovalores representan la varianza explicada por cada componente principal y los autovectores indican la dirección de cada componente.
• Selección de los componentes principales: se seleccionan los primeros componentes principales que explican una proporción significativa de la varianza total.

La Figura 8 muestra el funcionamiento básico de los componentes principales, la gráfica de la izquierda muestra un scatterplot de dos variables altamente correlacionadas, la primera componente principal se obtiene ‘rotando’ la gráfica, de tal forma de encontrar una coordenada horizontal que contenga la máxima variabilidad posible; la segunda componente se crea de la misma manera. Otras técnicas de reducción de dimensiones son t-SNE y MDS

El objetivo principal de los algoritmos de clustering es encontrar la forma de dividir un dataset en grupos diferentes. Los individuos que pertenecen al mismo grupo o clúster deben ser, de alguna manera, cercanos o similares entre ellos. Mientras que los individuos que pertenecen a diferentes clústeres deben ser disímiles o diferentes entre ellos. El resultado (output) de los algoritmos de clustering es un índice que indica la membresía del individuo a un determinado clúster.

• Clustering fuerte: cada individuo pertenece exactamente a un clúster.
• Soft o Fuzzy Clustering: a cada individuo se le asigna un peso, score o probabilidad de membresía para cada clúster.

Algoritmo K-Means

El algoritmo K-Means es un método de aprendizaje no supervisado que se usa para agrupar datos en diferentes categorías. Su funcionamiento se basa en encontrar grupos o clústeres dentro de un conjunto de datos, donde cada grupo contiene elementos similares entre sí. La clave de K-Means es elegir un número fijo de grupos, representados por la letra ‘K’, y asignar cada punto de datos al grupo más cercano (MacQueen, 1967).

El proceso de K-Means comienza seleccionando aleatoriamente K puntos en los datos, llamados centroides. Luego, cada punto de datos es asignado al centroide más cercano, formando así los grupos iniciales. Después de esto, los centroides se actualizan tomando el promedio de todos los puntos en su grupo. Este proceso se repite varias veces, hasta que los centroides ya no cambian significativamente; esto indica que el algoritmo ha convergido (Lloyd, 1982).

Una de las ventajas de K-Means es su rapidez y facilidad de uso; sin embargo, tiene limitaciones, como la necesidad de elegir K antes de ejecutar el algoritmo y su sensibilidad a la posición inicial de los centroides. Para mejorar esto, hay variantes como K-Means++, que ayudan a seleccionar mejores centroides iniciales y reducen la posibilidad de que el algoritmo quede atrapado en soluciones subóptimas (Arthur & Vassilvitskii, 2007). La Figura 9 ilustra este proceso.

Limitaciones de K–Means

• Trabaja bien en clústeres simples, que tienen el mismo tamaño, están bien separados y tienen formas globulares.
• No trabaja bien con clústeres que tienen formas irregulares o estructuras complejas.
• Variantes del k–means como k–medoids pueden trabajar con features categóricos.

Estas limitaciones se pueden apreciar en la Figura 10:

Existen varias formas de medir la fiabilidad de los clústeres generados, una de ellas es aplicar la métrica silhouette score; la misma que indica cuán correcto es el número de clústeres generados. Se usa principalmente para determinar el valor de K más adecuado.

DBSCAN Clustering

Acrónimo de ‘Density-Based Spatial Clustering of Applications with Noise’, que en español se traduce como Agrupamiento Espacial Basado en Densidad para Aplicaciones con Ruido. A diferencia del K-Means, no es necesario especificar el número de clústeres; es un algoritmo relativamente eficiente y puede ser usado en grandes datasets. Adicionalmente, es un algoritmo que identifica los puntos que tienen alta probabilidad de ser ruidosos. A continuación, se presenta una ilustración con un ejemplo de implementación de DBSCAN en scikit-learn.