Что такое файл robots.txt, зачем он нужен и как его создать

Вы узнаете, что такое robots.txt, зачем нужен этот файл и примеры директив.

Лучшие хостинг-провайдеры по версии ГлавХост:

— Макхост: https://clck.ru/325qzf. По промокоду GLAVHOST: скидка 10% на виртуальный хостинг и VPS; скидка 1,5% на аренду сервера.
— ИХЦ: https://clck.ru/325qzq. По промокоду GLAVHOST: скидка 25% на виртуальный хостинг, скидка 10% на VPS; скидка 1,5% на аренду сервера.
— Евробайт: https://clck.ru/325qzy.
— Маклауд: https://clck.ru/325r2M. Скидка 10% при регистрации по этой ссылке.
— Majordomo: https://clck.ru/325r2j.
— RuWeb: https://clck.ru/325r2w.
— Таймвеб: https://clck.ru/DnyyW.

Выберите идеальный хостинг вместе с ГлавХост!

Рейтинг хостингов: https://glavhost.ru/hosting.
Рейтинг VPS: https://glavhost.ru/vps.
Рейтинг игровых хостингов: https://glavhost.ru/game.
Отзывы и честные обзоры на хостинг-провайдеров ищите на нашем сайте.
Главхост: https://glavhost.ru.

Timecode:
00:00 - Вступление
00:07 - Robots.txt простыми словами
00:31 - Директивы
00:56 - Disallow
01:18 - Allow
01:37 - Как создать robots.txt
02:00 - Пример файла robots.txt
02:20 - Заключение

Видео Что такое файл robots.txt, зачем он нужен и как его создать канала ГлавХост