La presentención teorica la pueden en contrar en el siguiente link Presentación Big Data Engineer.
Requerimientos:
- VirtualBox 5.1.x o superior
- 6 Gigas de Ram (recomendado) disponibles para la imagen de virtualbox
- o 4 Gigas de Ram (minimo) disponibles para la imagen de virtualbox
- Imagen Ubuntu18 (será proporcionada en el taller)
- Conocimientos basicos en Linux.
1) Iniciando la maquina virtual.
La imagen proporcionada contiene una instalación de hadoop en modo semidistribuido con Ubuntu versión 18.
-Iniciar virtualbox
-En el menu maquina seleccionar agregar y seleccionar el archivo proporcionado.
Al iniciar, solo hay un unico usuario y la contraseña es oracle tanto para el usuario como para el root.
2) Subiendo los servicios de Apache Hadoop.
Las principales aplicaciones de una solución en Hadoop son HDFS (Hadoop File System) y YARN (Yet Another Resource Manager), los siguientes comandos los iniciarán:Abrir una terminal y ejecutar los siguientes comandos:
~$ hdfs namenode > name_node.log 2>&1 &
~$ hdfs datanode > data_node.log 2>&1 &
~$ yarn resourcemanager > resource_manager.txt 2>&1 &
~$ yarn nodemanager > node_manager.txt 2>&1 &
3) Creando un directorio en Hadoop File System.
Para poder empezar a trabajar con Hadoop hay que primero insertar datos, para ello crearemos un directorio y le ingresaremos un archivo de texto (csv). Para ello en una terminal ejecutamos:
~$ hdfs dfs -mkdir -p postal
~$ hdfs dfs -put /home/rafa/Documents/codigo_postal.csv postal
Dondo postal es el directori y codigo_postal.csv es el archivo que le estamos ingresando.
4) Ejecutando un proceso con Apache Hadoop.
Ahora ejecutaremos un proceso de mapreduce y el resultado lo colocaremos en el archivo word_count.txt. Ejecutar en el terminal:
~$ hadoop jar /home/rafa/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount postal postalSalida
~$ hadoop fs -getmerge postalSalida word_count.txt
5) Ejecucion de proceso con Apache Spark.
Apache Spark es considerado el sucesor de mapreduce, ejecutaremos el proceso anterior usando Spark con la ventaja que no hay necesidad de escribir el resultado.
Iniciar:
~$ spark-shell --master yarn --deploy-mode client
Ejecución:
scala> sc.textFile("postal").flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey(_ + _).collect().foreach(println)
scala> :quit
6) Creando tablas y ejecutando consultas con Apache Hive.
Iniciando:
~$ hive
Creando una tabla:
hive> CREATE EXTERNAL TABLE codigos (codigo INT, ciudad STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LOCATION '/user/rafa/postal';
Ejecutando una consulta:
hive> SELECT ciudad, COUNT(*) FROM codigos GROUP BY ciudad;
7) Web UI de Apache Hadoop y Spark.
Como todo lo hemos ejecutado en un mismo servidor todas las urls empezarán con localhost y lo que varia es el puerto:- Hadoop File System: http://localhost:50070
- Hadoop clusters: http://localhost:8088
- Spark: http://localhost:4040/
