Desarrollado por: Ing. Remigio Hurtado Ortiz, PhD. Universidad Politécnica Salesiana. Grupo de Inteligencia Artificial y Tecnologías de Asistencia. Correo de contacto: [email protected]

En esta práctica aprenderás a realizar reducción de dimensionalidad de un conjunto de datos sintético (datatoy), para ello a partir de cuatro métodos identificarás el impacto de la reducción en un problema de Clustering (con el algoritmo Kmeans). El conjunto de datos describe las preferencias de clientes por ítems (que pueden ser películas, música, libros, productos de tecnología, platos de comida, restaurantes, destinos turísticos, tours, objetos de aprendizaje, contactos de una red social, artículos científicos, artículos de blog, etc.). Además, aprenderás a visualizar grupos de elementos detectados con clustering en 2D y 3D, y finalmente aprenderás una forma simple de determinar el K óptimo (cantidad de grupos) en Kmeans.

Para la visualización se utiliza los valores de los componentes principales cuando se aplica PCA con 2 y 3 componentes.

Esta práctica está estructurada de la siguiente manera:

• Fundamentos de Análisis de Componentes Principales y Clustering
• Método 1: Clustering sin reducción de dimensionalidad
• Método 2: Reducción de dimensionalidad con todos los componentes posibles y clustering
• Método 3: Reducción de dimensionalidad con 2 componentes principales, clustering y visualización de grupos en 2D
• Método 4: Reducción de dimensionalidad con 3 componentes principales, clustering y visualización de grupos en 3D
• Determinación del K óptimo en Kmeans
• Conclusiones
• Referencias

El análisis de componentes principales, o PCA, es una técnica estadística para convertir datos de alta dimensión en datos de baja dimensión, mediante la selección de las características más importantes que capturan la máxima información (varianza) sobre el conjunto de datos [1]. Las características se seleccionan sobre la base de la varianza que causan en la salida. La característica que causa la mayor variación es el primer componente principal. La característica que es responsable de la segunda varianza más alta se considera el segundo componente principal, y así sucesivamente. Es importante mencionar que los componentes principales no tienen ninguna correlación entre sí (Al obtener la tabla de correlación entre los componentes principales, los resultados son aproximadamente cero).

• El tiempo de entrenamiento de los algoritmos se reduce significativamente con menos variables
• Un dataset con menores dimensiones necesita menos costo computacional (CPU) y memoria
• No siempre es posible analizar datos en altas dimensiones. Por ejemplo, si hay 100 características en un conjunto de datos. El número total de gráficos de dispersión necesarios para visualizar los datos sería 100 (100-1) / 2 = 4950. En la práctica, no es posible analizar los datos de esta manera

Es imperativo mencionar que un conjunto de características debe normalizarse antes de aplicar PCA. Por ejemplo, si un conjunto de características tiene datos expresados en unidades de Kilogramos, Años luz o Millones, la escala de variación es enorme en el conjunto de entrenamiento. Si se aplica PCA en un conjunto de características de este tipo, las cargas resultantes para las características con alta variación también serán grandes. Por lo tanto, los componentes principales se desviarán hacia características con alta varianza, lo que conducirá a resultados falsos.

PCA es una técnica estadística y solo se puede aplicar a datos numéricos [2].

Para seleccionar las dimensiones adecuadas, sin perder información valiosa podemos seguir 3 métodos:

Método 1: elegimos arbitrariamente las primeras n dimensiones (las más importantes). Por ejemplo, si lo que queremos es poder graficar en 3 dimensiones, podríamos tomar las 3 características nuevas y más relevantes, y usarlas como los ejes X, Y, Z.

Método 2: calcular la proporción de variación explicada de cada característica e ir tomando dimensiones hasta alcanzar un mínimo que nos propongamos, por ejemplo, hasta alcanzar a explicar el 85% de la variabilidad total.

Método 3: crear una gráfica especial a partir del método 2 y seleccionar cuántas dimensiones usaremos por el método del codo en donde identificamos visualmente el punto en donde se produce una caída significativa en la variación explicada relativa a la característica anterior.

Aprendizaje No Supervisado: Los algoritmos de aprendizaje automático no supervisados no requieren expertos humanos de los que aprender, sino que descubren patrones en los datos de forma autónoma. Algunos ejemplos de problemas resueltos con métodos no supervisados son el clustering (agrupamiento) y la asociación. PCA se considera una técnica de reducción de dimensionalidad no supervisada, a diferencia de la técnica de Análisis Discriminante Lineal (LDA) que se considera una técnica supervisada.

Métodos de clustering: estos se pueden identificar como la detección automática de grupos de elementos que tienen características similares. El clustering o análisis de grupos es la tarea de agrupar un conjunto de objetos de tal manera que los miembros del mismo grupo (llamado clúster) sean más similares, en algún sentido u otro [3].

Ejemplo de aplicación: los algoritmos de clustering se utilizan para identificar grupos de usuarios basados en su historial de compras en línea, y luego envían avisos dirigidos a cada integrante del grupo.

Principales algoritmos de Clustering [3]: Kmeans, Kmeans++, Mean-Shift, DBSCAN, Expectation Maximization (EM), Gaussian Mixture Models (GMM), Hierarchical, etc.

Kmeans es un algoritmo para agrupación de datos. Su objetivo principal es dividir un conjunto de datos en grupos (llamados “clusters”) en función de la similitud de sus elementos. Cada cluster contiene puntos de datos que son más similares entre sí que con los puntos en otros clusters. Kmeans es uno de los algoritmos de clustering más populares y ampliamente utilizados.

Inicialización: El algoritmo comienza seleccionando K centroides iniciales. K es un hiperparámetro que representa el número de clusters que se desea obtener. Estos centroides pueden elegirse de diversas maneras, como aleatoriamente o utilizando algún otro método (da lugar a variantes de Kmeans como Kmeans++).

Asignación de puntos a clusters: Cada punto de datos se asigna al cluster cuyo centroide está más cerca de ese punto. La distancia comúnmente utilizada es la distancia euclidiana, pero se pueden usar otras métricas de distancia.

Actualización de centroides: Después de asignar todos los puntos a clusters, se recalculan los centroides de cada cluster tomando el promedio de todos los puntos que pertenecen a ese cluster.

Repetición: Los dos pasos anteriores se repiten iterativamente hasta que se cumple un criterio de convergencia – cuando los centroides de los clusters dejan de cambiar significativamente o cuando se alcanza un número máximo de iteraciones.

Resultado: Al final del proceso, se obtiene K clusters con sus centroides. Se optimiza el algoritmo de manera que se minimiza la varianza intra-cluster y maximiza la varianza entre clusters.

K-Means asume que los clusters son esféricos y de igual tamaño. Esto significa que el algoritmo supone que los datos dentro de un cluster se distribuyen uniformemente alrededor de un centroide en un patrón esférico. Sin embargo, en la práctica, los datos pueden tener formas y tamaños de cluster muy diferentes.

Si los datos no se ajustan bien a esta suposición de esfericidad, los resultados del algoritmo Kmeans pueden no ser óptimos. En tales casos, otros algoritmos de clustering, como el DBSCAN o el algoritmo de clustering jerárquico, que no hacen suposiciones sobre la forma de los clusters, pueden ser más adecuados.

Para manejar datos con clusters de formas no esféricas, también se pueden considerar técnicas avanzadas, como el uso de técnicas de reducción de dimensionalidad antes de aplicar Kmeans o el uso de variantes de Kmeans, como el Kmeans espectral o el Kmeans basado en densidad. Estas variantes pueden ser más efectivas en la detección de clusters con formas más complejas.

Kmeans espectral es una variante de Kmeans que se utiliza en casos donde los clusters tienen formas no esféricas o no son linealmente separables. En lugar de trabajar en el espacio de características original, utiliza una matriz de similitud (o afinidad) entre los puntos de datos para agruparlos. Luego, aplica Kmeans en un espacio de características transformado. Esto permite identificar clusters de formas más complejas.

Kmeans basado en densidad es una modificación de Kmeans que se enfoca en la densidad de los datos. Este no asume que los clusters tienen una forma esférica o están limitados a tamaños iguales. En su lugar, encuentra clusters basados en la densidad de puntos de datos. Los puntos de alta densidad se consideran parte de un cluster, mientras que los puntos de baja densidad se consideran ruido o outliers. Esto hace que el algoritmo sea más flexible y capaz de encontrar clusters de formas arbitrarias y tamaños variados.

Pasos de Kmeans:

Input: K (# grupos), Dataset

1. Inicialización de centroides
2. Proceso iterativo
   • Asignar cada elemento al centroide más cercano
   • Actualizar los centroides Output: Centroides, Idx (etiquetas: pertenencia de un elemento a un cluster)

Nombre del dataset: Dataset sintético para diseño de sistemas de recomendación basados en filtrado colaborativo [4].

Descripción general: Este conjunto de datos describe las preferencias (votos) de los usuarios (clientes) acerca de los ítems. Los votos están en una escala de 1 a 5. Siendo un 5 el valor más alto que indica que un ítem le gusta mucho a un cliente y 1 el valor más bajo que indica que no le gusta el ítem al cliente. Un valor de 0 indica la ausencia de voto. En un sistema de recomendación basado en filtrado colaborativo los ceros o falta de información es un problema clásico de dispersión (sparse). En otra práctica veremos cómo tratar este problema.

Número de Variables (atributos o ítems en este caso): 15

Número de instancias (clientes): 11

Con PCA intentaremos reducir de 15 variables (ítems) a una cantidad menor de nuevas variables (componentes principales) que representen aproximadamente la misma cantidad de información (varianza) del conjunto original. Esta estructura reducida se denomina un modelo puesto que representa el conjunto de datos original.

Este dataset sintético denominado datatoy lo puedes descargar aquí. Debes copiarlo en el directorio de tu script.

Por medio de un Pipeline creamos un estimador compuesto. Esta herramienta nos permite combinar preprocesadores y transformadores para llevar un orden y estructura en el proceso de transformación de variables.

Este método sigue los siguientes pasos:

• Preprocesamiento

• Clustering con todas las variables: sin reducir dimensionalidad

Este método sigue los siguientes pasos:

• Preprocesamiento
• Reducción de dimensionalidad sin especificar un número de componentes principales: recuerda que si no se especifica el número de componentes en PCA, el número de componentes es min(n_samples, n_features)
• Clustering

Correlaciones aproximadas a cero entre la mayoría de componentes principales

Este método sigue los siguientes pasos:

• Preprocesamiento
• Reducción de dimensionalidad con dos componentes principales
• Clustering
• Visualización en 2D

Este método sigue los siguientes pasos:

• Preprocesamiento
• Reducción de dimensionalidad con tres componentes principales
• Clustering
• Visualización en 3D

Una vez que se ha determinado la cantidad adecuada de dimensiones con PCA, se procede a realizar el clustering.

Método Elbow (Codo): el nombre “codo” proviene de la forma del gráfico resultante cuando se representan los valores de la función de costo en función del número de clusters. El punto en el gráfico donde se observa una curva o “codo” es considerado como un indicador del número óptimo de clusters.

Distancia intra-cluster: calcula la suma de las distancias al cuadrado entre los puntos de datos y los centroides de los clusters para cada valor de K. Se intenta alcanzar un equilibrio entre la reducción de la varianza intra-cluster y la minimización del número de clusters.

Es importante recordar que el método del codo es una heurística y no siempre proporciona una respuesta definitiva. En algunos casos, es posible que no haya un codo claro en el gráfico, lo que hace que la elección del número óptimo de clusters sea más ambigua. En tales casos, se pueden utilizar otras métricas y técnicas para validar la elección del número de clusters. Un ejemplo se presenta en [3].

En la figura se puede apreciar que el valor óptimo según el método Elbow es 3

Hemos aprendido a aplicar una técnica de reducción de dimensionalidad como paso previo a un problema de clustering. Además, hemos aprendido a visualizar grupos de elementos mediante PCA con 2 y 3 componentes.

• Con 11 componentes principales hemos obtenido el 100% de la varianza (varianza acumulada igual a 1)
• Con 2 componentes principales hemos obtenido el 85.1% de la varianza (varianza acumulada igual a 0.851)
• Con 3 componentes principales hemos obtenido el 89.9% de la varianza (varianza acumulada igual a 0.899)

En todos los métodos, los usuarios han sido agrupados de la misma manera:

• grupo {u0,u1,u2,u9}
• grupo {u3,u4,u5,u10}
• grupo {u6,u7,u8}

Esta agrupación similar nos demuestra que la reducción de dimensionalidad con PCA ha permitido generar un modelo de menor dimensionalidad y mantener la información (varianza) necesaria para realizar posteriormente la tarea de clustering.

[1] Bishop, C. M. (2006). Pattern recognition and machine learning. springer.

[2] P. Joshi. (2017). Artificial intelligence with python. Packt Publishing Ltd.

[3] Hurtado, R., Bobadilla, J., Bojorque, R., Ortega, F., & Li, X. (2018). A new recommendation approach based on probabilistic soft clustering methods: A scientific documentation case study. IEEE Access, 7, 7522-7534.

[4] Bobadilla, J., Bojorque, R., Esteban, A. H., & Hurtado, R. (2017). Recommender systems clustering using Bayesian non negative matrix factorization. IEEE Access, 6, 3549-3564.

Enlaces de documentación de scikit-learn:

https://scikit-learn.org/stable/modules/generated/sklearn.decomposition.PCA.html

https://scikit-learn.org/stable/modules/generated/sklearn.cluster.KMeans.html