Fast Data Processing Systems con SMACK Stack

admin
Big Data, Data Science y Machine Learning
$13,000.00
  • 10 estudiantes
  • 0 lessons
  • 0 quizzes
  • 40 hour duration
10 estudiantes

DESCRIPCIÓN

SMACK es un stack completo de código abierto para la arquitectura de Big Data. Es una combinación de Spark, Mesos, Akka, Cassandra y Kafka. Usar este stack es la técnica más nueva que los desarrolladores han comenzado a utilizar para abordar análisis críticos en tiempo real para Big Data. Este curso altamente práctico le enseñará cómo integrar estas tecnologías para crear un sistema de análisis de datos altamente eficiente para el procesamiento rápido de datos.

Comenzaremos con una introducción a SMACK y le mostraremos cuándo usarlo. En primer lugar, se familiarizará con el pensamiento funcional y la resolución de problemas con Scala. A continuación, comprenderá la arquitectura Akka. Luego, sabrá cómo mejorar la arquitectura de la estructura de datos y optimizar los recursos con Apache Spark. Aprenderá cómo realizar escalabilidad lineal en bases de datos con Apache Cassandra. Conocerá los sistemas de mensajería distribuida de alto rendimiento con Apache Kafka. Le mostraremos cómo construir una infraestructura de clúster barato pero efectiva con Apache Mesos. Finalmente, profundizará en los diferentes aspectos de SMACK utilizando algunos estudios de caso.

OBJETIVO

Al final de este curso, el alumno será capaz de:Diseñar e implementar una arquitectura de Pipeline de datos rápida.Pensar y resolver desafíos de programación de manera funcional con Scala. Usar Akka, la implementación del modelo de actores para la JVM.Realizar el procesamiento de la memoria y el análisis de datos con Spark para resolver las demandas comerciales modernas.Construir una infraestructura de clúster potente y efectiva con Mesos y Docker. Administrar y consumir fuentes de datos no estructuradas y sin SQL con Cassandra.Consumir y producir mensajes de forma masiva con Kafka.

TEMARIO:

 

Parte 1. Una introducción a SMACK

Desafíos modernos de procesamiento de datos | La arquitectura del pipeline de procesamiento de datos | Tecnologías SMACK | Cambio de las operaciones del centro de datos | Perfiles de expertos en datos | ¿SMACK es para mí?

Parte 2. El Modelo: Scala y Akka

El lenguaje – Scala | El modelo – Akka

Parte 3. El Engine – Apache Spark

Spark en single mode | Conceptos básicos de Spark | Datasets distribuidos resilientes | Spark en modo cluster | Spark Streaming

Parte 4. El Almacenamiento – Apache Cassandra

Un poco de historia | NoSQL | Instalación de Apache Cassandra | Autenticación y autorización (roles) | Backup |Recuperación | Conector Spark-Cassandra

Parte 5. El Broker – Apache Kafka

Introduciendo Kafka | Instalación | Cluster | Arquitectura | Productores | Consumidores | Integración | Administración

Parte 6. El Manager – Apache Mesos

La arquitectura de Apache Mesos | Asignación de recursos | Ejecutar un clúster Mesos en AWS | Ejecutar un clúster de Mesos en un centro de datos privado | Programación y gestión de frameworks | Apache Aurora |Singularidad | Apache Spark en Apache Mesos | Apache Cassandra en Apache Mesos | Apache Kafka en Apache Mesos

Parte 7. Caso de estudio 1 – Spark y Cassandra

Conector Spark Cassandra | Caso de estudio: el proyecto Calliope

Parte 8. Caso de estudio 2 – Conectores

Akka y Cassandra | Akka y Spark | Kafka y Akka | Kafka y Cassandra

Parte 9. Caso de estudio 3 – Mesos y Docker

Mesos frameworks API |Modos de ejecución de park Mesos | API de Apache Mesos | Contenedores Mesos | Contenedores Docker

El plan de estudios está vacío.

0.00 average based on 0 ratings

5 Star
0%
4 Star
0%
3 Star
0%
2 Star
0%
1 Star
0%
$13,000.00



¿CÓMO LLEVAMOS A CABO LAS CLASES ANTE EL COVID-19?

Metodología de enseñanza y aprendizaje que usamos en nuestras clases.
En KMMX usamos un metodología de aprendizaje “blended*” que al español se traduce como mezclada, es decir una parte es presencial y otra a distancia, en estos momentos debido a la pandemia Covid-19 la parte presencial se realiza de manera a distancia pero de manera personalizada en vivo, tratando de simular el cara a cara que tenemos cuando los alumnos asisten a nuestras aulas de manera física. Mantenemos un enfoque de “enseñanza activa”, es decir, el alumno aprende hasta que hace las cosas motivo por el cual se asignan una serie de proyectos en cada curso, que el alumno tendrá que ir completando a su ritmo, por que entendemos que cada alumno aprende de manera diferente y a su ritmo creamos las asesorías personalizadas, que puede solicitar a través del sistema de aprendizaje online.
* El Blended Learning es la combinación de la educación presencial con clases en el aula, con la educación online.

¿Pero en que consiste?
Cada sesión es de aproximadamente una hora, el instructor explica conceptos y resuelve dudas.
Cada curso tiene una serie de ejercicios o proyectos previamente definidos.
En la siguiente sesión el instructor resuelve dudas y explica los siguientes conceptos, así hasta cubrir la totalidad del temario y alcance del curso.
Se agenda una sesión con un mentor antes, durante y después del curso para asegurar el aprendizaje y aprovechamiento del curso. El mentor no es la misma persona que el instructor.
En la plataforma estarán disponibles las sesiones y recursos para ser consultados en cualquier momento por el alumno. Aunque son clases a distancia la experiencia es personalizada.

Mucho éxito en tu camino.
Tus amigos de KMMX