Загрузка страницы

Как спарсить ajax на python 3.

Мой личный сайт (с советами по разработке):
https://dewhole.xyz

Мой интернет-магазин аккумуляторов с доставкой по всей России:
https://фурукава.рф

Готовый код из этого видео:

import requests
from bs4 import BeautifulSoup
import csv
import time
import urllib
import fake_useragent

HEADERS = {
'Host': 'mail.ru',
'Pragma': 'no-cache',
'Referer': 'https://mail.ru/',
'sec-ch-ua': '" Not A;Brand";v="99", "Chromium";v="90", "Google Chrome";v="90"',
'sec-ch-ua-mobile': '?0',
'Sec-Fetch-Dest': 'empty',
'Sec-Fetch-Mode': 'cors',
'Sec-Fetch-Site': 'same-origin',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36',
}
def get_html(url, params=None):
r = requests.get(url, headers=HEADERS, params=params)
return r
def get_pages_count(html):
soup = BeautifulSoup(html, 'html.parser')
paginationTo = soup.find('div', class_='nums')
if paginationTo:
paginationTo = soup.find('div', class_='nums')
pagination = paginationTo.find_all('a')
return int(pagination[-1].get_text())
else:
return 1



def get_content(html):
soup = BeautifulSoup(html, 'html.parser')


items = soup.find_all('a')

catalog = []
for item in items:
item = str(item)
a = item.find("svelte-1kcqj27")
if a != -1:
continue
print(item)
catalog.append({

})
return catalog
def save_file(items, path):
with open(path, 'w', encoding='utf8', newline='') as file:
writer = csv.writer(file, delimiter=',')
writer.writerow([])
for item in items:
writer.writerow([])

def parse():
for URL in [
'https://mail.ru/',


]:

html = get_html(URL)
if html.status_code == 200:
catalog = []
pages_count = get_pages_count(html.text)
for page in range (1, pages_count + 1):
print(f'Парсинг страницы {page} {pages_count} {URL}...')
html = get_html(URL, params={'PAGEN_1': page})
catalog.extend(get_content(html.text))
time.sleep(1)
FILE = 'parseResult' + '.csv'
save_file(catalog, FILE)
print(f'Получено {len(catalog)} товаров')
else:
print('Error')
parse()

Видео Как спарсить ajax на python 3. канала Dewhole
Показать
Комментарии отсутствуют
Введите заголовок:

Введите адрес ссылки:

Введите адрес видео с YouTube:

Зарегистрируйтесь или войдите с
Информация о видео
21 мая 2021 г. 18:29:47
00:13:57
Другие видео канала
Как парсить данные с сайта на PythonКак парсить данные с сайта на PythonPython Web Scraping with Beautiful Soup and RegexPython Web Scraping with Beautiful Soup and RegexОбучение парсингу на Python #10 | Ошибки при парсинге | Парсинг сайтаОбучение парсингу на Python #10 | Ошибки при парсинге | Парсинг сайтаScraping Dynamic JavaScript Websites with Beautiful SoupScraping Dynamic JavaScript Websites with Beautiful SoupPython ищем заказы на фриланс и выполняем их. Python requests, lxml, csvPython ищем заказы на фриланс и выполняем их. Python requests, lxml, csvHow I Scrape JAVASCRIPT websites with PythonHow I Scrape JAVASCRIPT websites with PythonКак парсить AJAXКак парсить AJAXУмение парсить на Python — изменит твою жизньУмение парсить на Python — изменит твою жизньPython requests p.1 (status_code, headers, body, get, post)Python requests p.1 (status_code, headers, body, get, post)AJAX для начинающих. Форма входаAJAX для начинающих. Форма входаПарсинг ответов на POST-запросы PythonПарсинг ответов на POST-запросы PythonОбучение парсингу на Python #4 | Парсинг сайтов | requests, beautifulsoup, lxml, proxyОбучение парсингу на Python #4 | Парсинг сайтов | requests, beautifulsoup, lxml, proxyPython Web Scraping Tutorial: scraping dynamic JavaScript/AJAX websites with BeautifulSoupPython Web Scraping Tutorial: scraping dynamic JavaScript/AJAX websites with BeautifulSoupВыполняем заказ на фрилансе | Парсер ЯНДЕКС КАРТ на PythonВыполняем заказ на фрилансе | Парсер ЯНДЕКС КАРТ на PythonКАК СДЕЛАТЬ ПАРСЕР | PYTHONКАК СДЕЛАТЬ ПАРСЕР | PYTHONПарсинг на Python, Selenium и BS4 | Выполняем заказ на фрилансе | Парсинг динамического сайтаПарсинг на Python, Selenium и BS4 | Выполняем заказ на фрилансе | Парсинг динамического сайтаПарсинг сайтов на Python. Урок 1Парсинг сайтов на Python. Урок 1Парсер ютуба Python: (без ограничений) новый способПарсер ютуба Python: (без ограничений) новый способПарсинг сайтов на Python. Урок 2Парсинг сайтов на Python. Урок 2NODE.JS SCRAPER 🚀 [ Парсинг данных  с сайта на nodejs, puppeteer и cheerio ]NODE.JS SCRAPER 🚀 [ Парсинг данных с сайта на nodejs, puppeteer и cheerio ]
Яндекс.Метрика