Extensions of MapReduce - Spark

Este video introduce Apache Spark como una extensión moderna del modelo MapReduce orientada al procesamiento distribuido eficiente de grandes volúmenes de datos. Se presenta a Spark como un motor computacional capaz de planificar, distribuir y monitorear tareas paralelas sobre clústeres de cómputo, se detacan sus ventajas para aplicaciones batch, algoritmos iterativos, consultas interactivas y procesamiento en tiempo real. El video explica las principales abstracciones de datos —RDDs, Datasets y DataFrames—, así como el modelo de ejecución basado en grafos acíclicos dirigidos (DAG), donde las transformaciones y acciones definen el flujo de procesamiento mediante evaluación perezosa (lazy evaluation). Finalmente, se describe el ciclo de vida de un trabajo en Spark, la organización en jobs, stages y tasks, el papel del driver y los executors, y el impacto de operaciones como el shuffle en el rendimiento. Todo el proceso se ilustra mediante un ejemplo práctico de procesamiento distribuido de datos.

Este video fue realizado y producido por el docente John Freddy Duitama Muñoz y es utilizado exclusivamente como material de apoyo para el curso Lógica y Representación III con fines educativos. Los derechos del contenido pertenecen a su respectivo autor.

Ude@ Educación Virtual
Vicerrectoría de Docencia
Universidad de Antioquia
2025

Видео Extensions of MapReduce - Spark канала Udearroba