Muchos datos -> Muchas máquinas -> Procesamiento distribuido -> Decisiones

Las tres originales eran volumen, velocidad y variedad. Con el tiempo la lista creció.

Reconocer la fuente anticipa el formato, la velocidad y la calidad de los datos.

Cada V se convierte en un problema de ingeniería concreto.

Una distinción práctica los separa por la función que cumplen en la organización.

Operacional -> ingestión -> Analítica -> Decisión -> Operacional

• Cada nodo del clúster tiene su propio disco, memoria, ancho de banda y procesamiento.
• Los datos entrantes se dividen en bloques individuales que se guardan en la capa de almacenamiento distribuido.
• El sistema asume que ninguna unidad de disco ni nodo esclavo es confiable.
• Cada conjunto de datos se replica en varios nodos del clúster.
• El nodo maestro conserva los metadatos de cada bloque y de todas sus réplicas.

┌─────────────────────────────────────────────────────┐
│  Aplicaciones     Hive · Spark · Sqoop · MapReduce  │
├─────────────────────────────────────────────────────┤
│  Cómputo          YARN, reparte los recursos        │
├─────────────────────────────────────────────────────┤
│  Almacenamiento   HDFS, guarda los bloques          │
├─────────────────────────────────────────────────────┤
│  Hardware         nodos con RAM + CPU + disco       │
└─────────────────────────────────────────────────────┘

• Un archivo se divide en bloques de tamaño fijo, típicamente 128 MB.
• Cada bloque se replica, por defecto tres veces, en nodos distintos.
• Las réplicas se colocan en racks diferentes para sobrevivir a la caída de un rack completo.
• Los nodos de datos envían una señal periódica al maestro para indicar que siguen vivos.

Mapa -> Mezcla y clasificación -> Reducción -> HDFS

• El proceso de mapeo toma expresiones lógicas individuales de los datos almacenados en los bloques de HDFS.
• Esas expresiones pueden abarcar varios bloques y se llaman divisiones de entrada.
• Las divisiones se entregan al proceso de mapeo como pares clave-valor.
• Cada tarea produce un conjunto nuevo de pares clave-valor, distinto de la entrada original.

• Los resultados de todas las tareas de mapa se copian a los nodos reductores.
• Esa copia es el único intercambio de datos entre nodos durante todo el trabajo.
• Los pares se agrupan por clave y se ordenan, porque el reductor necesita ver juntos todos los valores de una misma clave.
• La mezcla y el ordenamiento se ejecutan en paralelo, mientras las salidas del mapa se van recuperando.

• Las salidas del mapa llegan mezcladas y ordenadas en un único archivo de entrada dentro del nodo reductor.
• La función de reducción agrega los valores según su clave.
• El resultado es un nuevo par clave-valor que se almacena, por defecto, en HDFS.
• Todas las tareas de reducción corren de forma simultánea e independiente, y la fase es opcional.

Entrada     "el gato y el perro"

Mapa        (el,1) (gato,1) (y,1) (el,1) (perro,1)

Mezcla      (el,[1,1])  (gato,[1])  (y,[1])  (perro,[1])

Reduce      (el,2)  (gato,1)  (y,1)  (perro,1)

• Big Data describe conjuntos que crecen más rápido de lo que una sola máquina puede almacenar o procesar.
• Las V resumen sus características, desde volumen, velocidad y variedad hasta las de calidad y riesgo.
• Las fuentes van de redes sociales y sensores a transacciones y bitácoras, y la mayoría produce datos no estructurados.
• Big Data operacional es lo que el negocio genera al funcionar, y la analítica es lo que se procesa para decidir.

• Hadoop separa almacenamiento en HDFS, recursos en YARN y procesamiento en MapReduce.
• HDFS parte los archivos en bloques replicados y asume que el hardware va a fallar.
• YARN reparte contenedores mediante el ResourceManager, los NodeManagers y un ApplicationMaster por trabajo.
• MapReduce procesa en tres fases, pero paga el costo de escribir a disco entre etapas, y ese límite abre la siguiente lección.