Загрузка...

Requests VS Aiohttp | Ускоряем HTTP запросы на максимум

⭐ Какие прокси я использую: https://asocks.com/ru
⬆️ Промокод на первые 5 GB бесплатно: GTHDSQ1

⭐ Курс ООП и Приват канал: https://www.zproger-school.com/?utm_source=yt&utm_medium=no&utm_campaign=aiohttprequests

⭐ Телеграм канал: https://t.me/codeblog8
⭐ Исходный код: https://t.me/codeblog8/169
⭐ Прокси для обхода блокировок: https://proxy6.net/c/91388

В данном видео мы напишем парсер изображений с сайта Nvidia и сделаем синхронную и асинхронную версию с использованием прокси. Наша задача сделать парсинг данных с сайта и сохранить итоговые изображения.

Мы сделаем тесты производительности обычных requests запросов и асинхронной версии, с использованием: aiohttp, asyncio и aiofiles.
Также узнаем, почему синхронность работает медленней асинхронности, и узнаем как ускорить все эти процессы на максимум.

Асинхронный парсинг сайтов, позволяет в разы ускорить запросы Python и завершить процесс намного быстрее.

📁 Github: https://github.com/Zproger
📁 Все плейлисты с уроками: https://bit.ly/39GaY89
📁 Связаться со мной: zproger777@gmail.com
📁 Поддержать канал: https://github.com/Zproger/donate

Тайм-коды:
0:00 - Делать ли видео о aiofiles?
0:48 - Извлекаем запросы из сайта Nvidia
2:12 - Какие прокси будем использовать?
2:39 - Генерируем названия файлов через время Unix
3:18 - Извлекаем расширение файла из content-type
4:08 - Сохраняем изображения в папку images
4:35 - Скорость синхронной версии без прокси
4:52 - Скорость синхронной версии с прокси
5:20 - Почему синхронность медленней асинхронности?
5:57 - Запускаем асинхронные задания параллельно
7:07 - Делаем запросы полностью асинхронными
7:23 - Делаем запись в файл асинхронно, с помощью aiofiles и chunks
8:07 - Скорость асинхронной версии (прирост в 8 раз)
8:17 - Скорость асинхронной версии с прокси (прирост в 2 раза)
8:30 - 1000 лайков == видео с aiofiles
8:45 - Исходный код в описании. Полезные видео в подсказках

Видео Requests VS Aiohttp | Ускоряем HTTP запросы на максимум канала ZProger [ IT ]
Яндекс.Метрика
Все заметки Новая заметка Страницу в заметки
Страницу в закладки Мои закладки
На информационно-развлекательном портале SALDA.WS применяются cookie-файлы. Нажимая кнопку Принять, вы подтверждаете свое согласие на их использование.
О CookiesНапомнить позжеПринять