M2E5 — Proyecto #1: Solución

Mi solución hace una sola cosa, y la hace bien.

Recibe parámetros — dataset, fecha, bucket, URL — y ejecuta exactamente un request. Guarda exactamente un archivo en S3. No sabe para qué datasets existe el pipeline. No sabe para qué meses va a correr. Alguien desde afuera le inyecta eso.

La mayoría de los ingenieros que han pasado por mis bootcamps implementan esto de forma diferente: una función que itera sobre datasets, luego itera sobre meses, de manera secuencial, con todo hardcodeado adentro. El resultado es una Lambda que funciona — pero que tiene varios problemas que vamos a ver en los próximos videos.

En este video te muestro mi solución corriendo en AWS en vivo: la Lambda consultando la TLC, depositando el Parquet de noviembre 2025 en S3 en 6 segundos. Y te explico por qué el código está diseñado para recibir parámetros, manejar excepciones y ser genérico.

El código está disponible en los materiales del curso.
---

📚 Este módulo hace parte del curso Fundamentos de Data Engineering.
🔗 https://thelatamengineer.substack.com/p/fundamentos-de-data-engineering-pre

A finales de abril lanzo el curso completo. Si quieres acceso anticipado con al menos 50% de descuento, inscríbete antes del lanzamiento 👇
🔗 https://tally.so/r/4470LB
#DataEngineering #FundamentosDataEngineering #TheLatamEngineer

#DataEngineering #IngenieriaDeDatos #ETL #TheLatamEngineer

Видео M2E5 — Proyecto #1: Solución канала The LATAM Engineer