En esta sección se proporciona una guía y explicación para ejecutar el programa WordCount usado MapReduce en la máquina virtual de Cloudera.

Los objetivos de esta actividad son los siguientes:

• Ejecutar la aplicación de WordCount.
• Copiar los resultados de WordCount a HDFS.

1. Abrir la terminal de comandos.

2. Mira los programas de ejemplo de MapReduce. Hadoop tiene aplicaciones preinstaladas de ejemplo de MapReduce. Puedes ver una lista ejecutando el siguiente comando: hadoop jar /usr/jars/hadoop-examples.jar. Nosotros estamos interesados en correr WordCount.

La salida del programa indica que WordCount toma el nombre de uno o más archivos de entrada el nombre del directorio de salida. Nota: Esos archivos se encuentran en HDFS y no en el sistema local de archivos.

3. Verificar la existencia de los archivos de entrada. En la sección anterior descargamos los trabajos de Shakespeare y los copiamos en HDFS, verifiquemos que este archivo siga en HDFS par que nosotros podamos ejecutar WordCount sobre este archivo. Ejecuta el comando hadoop fs –ls

4. Ver los argumentos de línea de comandos de WordCount. Podemos aprender como correr WordCount examinando los argumentos del comando. Ejecuta hadoop jar /usr/jars/hadoop-examples.jar wordcount.

5. Ejecuta WordCount. Ejecuta WordCount para el archivo words.txt. hadoop jar /usr/jars/hadoop-examples.jar wordcount words.txt out.

Mientras la aplicación de WordCount se ejecuta, Hadoop, va imprimiendo el progreso en términos de Map y Reduce. Cuando el programa WordCount termina ambos procesos van a indicar el 100% de completados.

6. Revisar el directorio de salida de WordCount. Una vez que WordCount a terminado, verificaremos que salida se obtuvo. Primero veamos el directorio de salida, la carpeta out fue creada en HDFS mediante la ejecución del comando hadoop fs –ls

Podemos ver ahora que hay dos ítems en HDFS: words.txt que es el archivo que se creó previamente y la carpeta out es la carpeta creada por WordCount.

7. Inspeccionar dentro del directorio de salida. El directorio creado por WordCount contiene varios archivos. Mira dentro del directorio ejecutando el siguiente comando hadoop –fs ls out

El archivo part-r-00000 contiene el resultado de WordCount. El archivo _SUCESSS significa que WordCount se ejecutó satisfactoriamente.

8. Copiar los resultados de WordCount al sistema local de archivos. Copia part-r-00000 al sistema local de archivos ejecutando hadoop fs –copyToLocal out/part-r-00000 local.txt

Cada línea del archivo de resultados muestra el número de ocurrencias de cada palabra en el archivo de entrada. Por ejemplo, Accuse aparece cuatro veces en la entrada, pero Accussing aparece solo una vez.

DataFlow. Consideremos el programa de MapReduce WordCount, que lee uno o más archivos de texto y cuenta la cantidad de cada palabra en estos archivos. En este ejemplo, el primer paso es dividir a los archivos en los diferentes nodos del clúster de HDFS en particiones del mismo archivo o múltiples archivos.

Luego, se ejecuta una operación de tipo Map, en este caso una función definida por el usuario para contar palabras se ejecuta en cada uno de esos nodos. Posteriormente, todos los pares key-values que fueron la salida de la operación Map son ordenamos con base en el valor de key y los pares key-values con la misma palabra son movidos o dirigidos al mismo nodo.

Finalmente, la operación de Reduce es ejecutada en estos nodos para sumar los valores con el mismo par key-value con el mismo key. La siguiente figura resume estos pasos:

Esta secuencia de pasos se puede aplicar para lograr escalabilidad en paralelización de datos para diversas aplicaciones. En general, nos referimos a este patrón como 'split-to-merge'. En estas aplicaciones, los datos flows de cada una de las etapas pasan por diferentes transformaciones, con diferentes necesidades de escalalibidad, hasta llegar a un producto final.

Primero que nada, los datos son particionados para luego pasar por diferentes funciones definidas por el usuario para hacer algo, desde operaciones estadísticas hasta joineos de datos y funciones de machine learning. Al final, los resultados pueden ser combinados usando algoritmos de merging u otras operaciones. La secuencia de estos pasos se conoce como Big Data Pipelines.

En el contexto del procesamiento de Big Data, el mecanismo de paralelización de cada step en el Pipeline es principalmente data parallelism. El data parallelism se puede definir simplemente como ejecutar las mismas funciones, de forma simultánea, para los elementos o particiones de un dataset en múltiples cores. En el ejemplo del WordCount se puede evidenciar cada una de las etapas y sus mecanismos de paralelización de datos como se indica en la siguiente figura.

Transformaciones en los Data Pipelines

En una definición simple, las transformaciones de datos son funciones o herramientas que se usan para convertir datos de una forma A a una forma B. Como por ejemplo, transformar madera en muebles. Map, seguramente, es una de las transformaciones más comunes que podemos encontrar en el mundo del Big Data.

La transformación Map aplica la misma operación a cada miembro de una colección de datos. La operación Reduce recolecta las ítems que tienen el mismo key, por ejemplo para el caso WordCount el key son las palabras; por lo tanto, suma la frecuencia de cada una de las palabras. Map y Reduce son un tipo de transformaciones que trabajan en una lista de keys y pares de datos.

Otra transformación muy usada es el producto cartesiano (Cross), que es en esencia una multiplicación entre dos conjuntos de datos key-value, sin importar su key. En otras palabras, consiste en realizar algún proceso a cada par de los dos conjuntos.

La transformación Match/Join es en esencia una multiplicación selectiva. Al igual que en el caso anterior la idea es realizar algún proceso a cada par de datos de los dos datasets que tengan la misma key.

Otra operación es Co-Group, que consiste en agrupar ítems en común. En otras palabras, primero colectar cosas similares y luego aplicar un proceso a cada colección.

Finalmente, está la función filter, que consiste en aplicar una condición para quedarnos únicamente con los elementos que cumplen con ese criterio. Por ejemplo, si tienes número del 1 al 8 un filtro podría ser quedarnos con los múltiplos de 2.

Agregaciones

Las agregaciones son la aplicación de una transformación sobre todos los elementos de un dataset de datos específico. Uno de los ejemplos más simples que hay respecto de las agregaciones es la suma. En la figura siguiente se aplica la transformación suma sobre todo el dataset se estrellas.

Otra agregación que se puede realizar es sumar con base en algún criterio. En este caso, podría ser la suma agrupada por color de estrellas; así, tendríamos 3 amarillas, 5 verdes y 6 rosadas. También podemos aplicar otras transformaciones como average, max, min, standard desviation.

Apache Spark es un framework de computación distribuida diseñado para el procesamiento eficiente de grandes volúmenes de datos. Su arquitectura permite el procesamiento en memoria, lo que mejora significativamente el rendimiento en comparación con sistemas basados en disco, como Hadoop MapReduce (Zaharia et al., 2016). Spark proporciona múltiples API para lenguajes como Python, Scala, Java y R, lo que facilita su adopción en diversos entornos de desarrollo y análisis de datos (Armbrust et al., 2015). Además, su compatibilidad con herramientas como Apache Hadoop, Apache Hive y Apache Kafka lo convierte en una solución versátil para aplicaciones de Big Data y aprendizaje automático (Karau et al., 2017).

Antes de entrar en detalle respecto de las capacidades de Apache Spark, es importante hablar de algunas de las deficiencias de Hadoop MapReduce.

• Solo funciona para operaciones de tipo Map y Reduce.
• Depende de leer datos de HDFS.
• Soporte nativo para el lenguaje Java únicamente.
• No tiene soporte para procesamiento en streaming.

Hadoop Spark usa un modelo de programación expresivo, que permite hacer muchas cosas con pocas líneas de código, el procesamiento lo hace en memoria y no en disco; eso aumenta significativamente la velocidad de ejecución de las aplicaciones. Adicionalmente, Spark soporta diversidad en workloads (batch o streming). Spark brinda API simples para Python, Scala, Java y SQL, con interfaces interactivas y permite usar librerías tanto nativas como internas.

El Spark Stack es un conjunto de componentes que se comunican e interactúan con el Spark Core para realizar diferentes actividades.

Spark Core es en donde las capacidades principales del framework de Spark son implementadas, esto incluye soporte para calendarizaciones distribuidas, manejo de memoria y tolerancia a fallos. Otra parte importante del Spark Core es la API que permite definir los RDD (Resilient Distributed Datasets) los RDD son la principal abstracción de programación en Spark, que se encarga de llevar la data a través de múltiples nodos conectados en paralelo y transformarlos.

Spark SQL es el componente de Spark que posibilita consultar datos estructurados y no estructurados usando SQL; además, se puede conectar con múltiples fuentes de datos y brinda API que permiten convertir los resultados en los querys en RDD, en programas de Python, Scala, Java.

Spark Streaming es en donde la manipulación de datos ocurre dentro del framework de Spark; adicionalmente, habilita la creación de pequeñas agregaciones de datos que viene de sistemas de ingesta de datos en streaming, Estos datasets agregados se llaman microbatches y pueden ser convertidos en RDD en Spark Streaming, para procesarlos.

MLlib es una librería nativa de Spark para algoritmos de machine learning y evaluación de modelos. GraphX es la librería para Graph Analytics de Spark y habilita la conversión de los vértices de modelos de datos basados en grafos a RDD. Adicionalmente, provee implementaciones escalables para algoritmos de procesamiento de grafos.