Fase 8. Analítica en Tiempo Real: Apache Spark + Apache Cassandra | Pipeline DataOps Completo

Ejecución de Pipeline DataOps en Tiempo Real

En este video se muestra la ejecución práctica de un pipeline de datos en tiempo real, integrando diferentes herramientas para el flujo, procesamiento y almacenamiento de información.

🔹 ¿Qué se realiza?

Conexión a un servidor remoto en la nube mediante SSH
Preparación del entorno de trabajo (Python y Java)
Levantamiento de servicios con Docker
Ejecución de flujos de datos con Airflow
Consumo de datos desde Kafka
Procesamiento en tiempo real con Spark
Inserción de datos en Cassandra
Verificación de registros directamente en la base de datos

Tiempos del video:
00:00 Inicio
00:08 Conexión al servidor
00:20 Configuración del entorno
00:40 Servicios en ejecución
01:00 Ejecución del flujo de datos
01:20 Procesamiento con Spark
01:45 Consulta en Cassandra
02:05 Visualización de datos

Tecnologías utilizadas:
Apache Kafka | Apache Spark | Apache Airflow | Apache Cassandra | Docker | Python

#DataOps #BigData #Streaming #Kafka #Spark #Cassandra #Airflow #Python

Видео Fase 8. Analítica en Tiempo Real: Apache Spark + Apache Cassandra | Pipeline DataOps Completo канала Dataops HEDM