Система защиты от парсинга API 2ГИС / Дмитрий Бархатов (2ГИС)
HighLoad++ 2013
Презентация и тезисы:
http://www.highload.ru/2013/abstracts/934.html
Когда в базе 1.3 млн. контактов компаний по всей России, неудивительно, что её периодически кто-то пытается распарсить. Здесь возникает проблема: как отличить добропорядочных пользователей от ботов?
В своем докладе мы расскажем, как эволюционировала наша система защиты от парсинга. Мы рассмотрим следующие этапы и подходы:
— особая локация в Nginx;
— PHP + Redis (счетчик по ключу);
— Nginx + Redis (конфигурационный файл);
— Nginx + Lua + Redis : усложнение логики защиты без снижения скорости ответа.
...
Видео Система защиты от парсинга API 2ГИС / Дмитрий Бархатов (2ГИС) канала HighLoad Channel
Презентация и тезисы:
http://www.highload.ru/2013/abstracts/934.html
Когда в базе 1.3 млн. контактов компаний по всей России, неудивительно, что её периодически кто-то пытается распарсить. Здесь возникает проблема: как отличить добропорядочных пользователей от ботов?
В своем докладе мы расскажем, как эволюционировала наша система защиты от парсинга. Мы рассмотрим следующие этапы и подходы:
— особая локация в Nginx;
— PHP + Redis (счетчик по ключу);
— Nginx + Redis (конфигурационный файл);
— Nginx + Lua + Redis : усложнение логики защиты без снижения скорости ответа.
...
Видео Система защиты от парсинга API 2ГИС / Дмитрий Бархатов (2ГИС) канала HighLoad Channel
Показать
Комментарии отсутствуют
Информация о видео
Другие видео канала
1. Что такое Blockchain и как он работаетПишем автотесты для Яндекс.Маркета на PyTest + Selenium (Smart Page Object library)Успехи и провалы с Redis / Иван Летенко (Infobip)Тестирование безопасности API - Катерина Овеченко. QA Fest 2019Как PostgreSQL работает с диском / Илья Космодемьянский (PostgreSQL Consulting)Redis Tutorial - A Brief Introduction to RedisFlowCrawler: Парсинг 2GISАрхитектура платежной системы: почти enterprise / Филипп ДельгядоZabbix и миллионы метрик наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)Tarantool: как сэкономить миллион долларов на БД / Денис Аникин (Mail.Ru)Андрей Себрант. Бизнес в мире самообучающихся машин: наблюдения и практические выводыЛекция Дмитрия КрымоваДмитрий Меньшиков "Топ-10 фейлов на реальном highload проекте"Как стать тимлидом / Андрей Рыжкин (AGIMA)Преимущества и недостатки микросервисной архитектуры в HeadHunter / Антон Иванов (HeadHunter)Мониторинг и Kubernetes (Дмитрий Столяров, Флант, RootConf 2018)Redis Crash Course TutorialВся правда об индексах в PostgreSQL / Олег Бартунов, Александр Коротков (PostgreSQL)Высокопроизводительная и отказоустойчивая архитектура фронтальных систем / М.Зелинский (СберТех)Наш опыт с Kubernetes в небольших проектах / Дмитрий Столяров (Флант)