Лекция 1: От Jupyter Notebook к High-Load ML-сервису | Архитектура и MLOps

Добро пожаловать на курс «Современные средства разработки сервисов анализа данных». В первой лекции разбираем, почему модель в Jupyter Notebook — это еще не продукт, и с какими болями сталкивается ML-инженер при выкатке сервиса в продакшн.

Обсуждаем архитектурные паттерны, ограничения железа и сети, а также почему Python (и его GIL) требует особого подхода в High-Load системах.

В этом видео:
🔹 Проблема «Works on my machine»: Почему код python, работающий локально, падает под нагрузкой.
🔹 Реальность MLOps: Почему ML-код занимает лишь 5% всей системы, а остальное — это инфраструктура и конвейеры.
🔹 Архитектура: Разница между Latency и Throughput, и что важнее для Real-time сервисов.
🔹 Python под капотом: GIL, Event Loop и как не заблокировать сервис тяжелыми вычислениями. 🔹 Протоколы: Когда использовать REST, а когда gRPC.

⏱ Таймкоды:
00:00 — Организационные моменты и план курса
10:14 — Мем «Работает на моей машине» vs Продакшн
16:59 — Из чего на самом деле состоит ML-система (Data Engineering, Monitoring)
25:00 — Детерминизм кода vs Стохастика данных (Data Drift)
36:09 — Latency (Задержка) vs Throughput (Пропускная способность)
42:04 — Физические ограничения: скорость света, память, сеть
53:18 — Паттерны обработки: Batch, Request-Response, Streaming
58:39 — Проблема GIL в Python и асинхронность (Asyncio)
1:10:16 — Валидация данных (Pydantic) и типизация
1:13:01 — Сравнение REST и gRPC: JSON против Protobuf

Видео Лекция 1: От Jupyter Notebook к High-Load ML-сервису | Архитектура и MLOps канала Павел Ахтямов