Wednesday, September 5, 2018

How configure a OpenVpn client in Ubuntu

For configure a client connection of OpenVpn in Ubuntu you need before hand a CA certificate File and a Key tls_auth file, also you may have a ovpn file that it's a file that contains all the configuration parameters.

Assume that we have all three files: *.ovpn, *.key and *.ca.

In a console window type:

 $ sudo apt-get install openvpn network-manager-openvpn network-manager-openvpn-gnome

Then:

$ sudo service network-manager restart

Then go to Settings -> Network, in the VPN option clic in Add:



Select the option "Import from file" and select the ovpn file:


Next type your user and password, last click in "Apply":


Finally you will see the vpn ready to connect:





Friday, July 20, 2018

Taller de ingeniería de Big Data

Los siguientes procedimientos corresponden al material complementarío del taller de ingeniería de Big Data que será dado de forma presencial.


La presentención teorica la pueden en contrar en el siguiente link Presentación Big Data Engineer. 

Requerimientos:


 - VirtualBox 5.1.x o superior
 -  6 Gigas de Ram (recomendado) disponibles para la imagen de virtualbox
 -  o 4 Gigas de Ram (minimo) disponibles para la imagen de virtualbox
 -  Imagen Ubuntu18 (será proporcionada en el taller)
 -  Conocimientos basicos en Linux.


1) Iniciando la maquina virtual.


La imagen proporcionada contiene una instalación de hadoop en modo semidistribuido con Ubuntu versión 18.
-Iniciar virtualbox
-En el menu maquina seleccionar agregar y seleccionar el archivo proporcionado.


Al iniciar, solo hay un unico usuario y la contraseña es oracle tanto para el usuario como para el root.


2) Subiendo los servicios de Apache Hadoop.

Las principales aplicaciones de una solución en Hadoop son HDFS (Hadoop File System) y YARN (Yet Another Resource Manager), los siguientes comandos los iniciarán:

Abrir una terminal y ejecutar los siguientes comandos:
~$ hdfs namenode > name_node.log 2>&1 &
~$ hdfs datanode > data_node.log 2>&1 &
~$ yarn resourcemanager > resource_manager.txt 2>&1 &
~$ yarn nodemanager > node_manager.txt 2>&1 &



3) Creando un directorio en Hadoop File System.

Para poder empezar a trabajar con Hadoop hay que primero insertar datos, para ello crearemos un directorio y le ingresaremos un archivo de texto (csv). Para ello en una terminal ejecutamos:
~$ hdfs dfs -mkdir -p postal
~$ hdfs dfs -put /home/rafa/Documents/codigo_postal.csv postal

Dondo postal es el directori y codigo_postal.csv es el archivo que le estamos ingresando.


4) Ejecutando un proceso con Apache Hadoop.

Ahora ejecutaremos un proceso de mapreduce y el resultado lo colocaremos en el archivo word_count.txt. Ejecutar en el terminal:


~$ hadoop jar /home/rafa/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount postal postalSalida

~$ hadoop fs -getmerge postalSalida word_count.txt



5) Ejecucion de proceso con Apache Spark.

Apache Spark es considerado el sucesor de mapreduce, ejecutaremos el proceso anterior usando Spark con la ventaja que no hay necesidad de escribir el resultado.

Iniciar:
~$ spark-shell --master yarn --deploy-mode client

Ejecución:
scala> sc.textFile("postal").flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey(_ + _).collect().foreach(println)

Salir:
scala> :quit


6) Creando tablas y ejecutando consultas con Apache Hive.

Iniciando:
~$ hive

Creando una tabla:
hive> CREATE EXTERNAL TABLE codigos (codigo INT, ciudad STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LOCATION '/user/rafa/postal';

Ejecutando una consulta:
hive> SELECT ciudad, COUNT(*) FROM codigos GROUP BY ciudad;


7) Web UI de Apache Hadoop y Spark.

Como todo lo hemos ejecutado en un mismo servidor todas las urls empezarán con localhost y lo que varia es el puerto:

- Hadoop File System: http://localhost:50070
- Hadoop clusters: http://localhost:8088
- Spark: http://localhost:4040/

Taller de ingeniería de Big Data

Los siguientes procedimientos corresponden al material complementarío del taller de ingeniería de Big Data que será dado de forma presencial...