Fast Data Processing Systems con SMACK Stack

DESCRIPCIÓN

SMACK es un stack completo de código abierto para la arquitectura de Big Data. Es una combinación de Spark, Mesos, Akka, Cassandra y Kafka. Usar este stack es la técnica más nueva que los desarrolladores han comenzado a utilizar para abordar análisis críticos en tiempo real para Big Data. Este curso altamente práctico le enseñará cómo integrar estas tecnologías para crear un sistema de análisis de datos altamente eficiente para el procesamiento rápido de datos.

Comenzaremos con una introducción a SMACK y le mostraremos cuándo usarlo. En primer lugar, se familiarizará con el pensamiento funcional y la resolución de problemas con Scala. A continuación, comprenderá la arquitectura Akka. Luego, sabrá cómo mejorar la arquitectura de la estructura de datos y optimizar los recursos con Apache Spark. Aprenderá cómo realizar escalabilidad lineal en bases de datos con Apache Cassandra. Conocerá los sistemas de mensajería distribuida de alto rendimiento con Apache Kafka. Le mostraremos cómo construir una infraestructura de clúster barato pero efectiva con Apache Mesos. Finalmente, profundizará en los diferentes aspectos de SMACK utilizando algunos estudios de caso.

OBJETIVO

Al final de este curso, el alumno será capaz de:Diseñar e implementar una arquitectura de Pipeline de datos rápida.Pensar y resolver desafíos de programación de manera funcional con Scala. Usar Akka, la implementación del modelo de actores para la JVM.Realizar el procesamiento de la memoria y el análisis de datos con Spark para resolver las demandas comerciales modernas.Construir una infraestructura de clúster potente y efectiva con Mesos y Docker. Administrar y consumir fuentes de datos no estructuradas y sin SQL con Cassandra.Consumir y producir mensajes de forma masiva con Kafka.

TEMARIO:

Parte 1. Una introducción a SMACK

Desafíos modernos de procesamiento de datos | La arquitectura del pipeline de procesamiento de datos | Tecnologías SMACK | Cambio de las operaciones del centro de datos | Perfiles de expertos en datos | ¿SMACK es para mí?

Parte 2. El Modelo: Scala y Akka

El lenguaje – Scala | El modelo – Akka

Parte 3. El Engine – Apache Spark

Spark en single mode | Conceptos básicos de Spark | Datasets distribuidos resilientes | Spark en modo cluster | Spark Streaming

Parte 4. El Almacenamiento – Apache Cassandra

Un poco de historia | NoSQL | Instalación de Apache Cassandra | Autenticación y autorización (roles) | Backup |Recuperación | Conector Spark-Cassandra

Parte 5. El Broker – Apache Kafka

Introduciendo Kafka | Instalación | Cluster | Arquitectura | Productores | Consumidores | Integración | Administración

Parte 6. El Manager – Apache Mesos

La arquitectura de Apache Mesos | Asignación de recursos | Ejecutar un clúster Mesos en AWS | Ejecutar un clúster de Mesos en un centro de datos privado | Programación y gestión de frameworks | Apache Aurora |Singularidad | Apache Spark en Apache Mesos | Apache Cassandra en Apache Mesos | Apache Kafka en Apache Mesos

Parte 7. Caso de estudio 1 – Spark y Cassandra

Conector Spark Cassandra | Caso de estudio: el proyecto Calliope

Parte 8. Caso de estudio 2 – Conectores

Akka y Cassandra | Akka y Spark | Kafka y Akka | Kafka y Cassandra

Parte 9. Caso de estudio 3 – Mesos y Docker

Mesos frameworks API |Modos de ejecución de park Mesos | API de Apache Mesos | Contenedores Mesos | Contenedores Docker