Автор Тема: оптимизация файла robots.txt  (Прочитано 38 раз)

31 Май 2018, 12:11:07
  • Фрилансер
  • *
  • Сообщений: 123
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
подскажите как оптимизировать файл robots.txt
вот что мне написали с поддержки хостинга
Нагрузка могла быть вызвана при индексации сайта поисковыми работами, которые слишком часто открывали страницы сайта.
Рекомендуем в файле robots.txt задать правила для поисковых роботов, которые ограничивают периоды индексации страниц сайта.
Вы можете это сделать при помощи директив crawl-delay и crawl-rate (для Гугл).
31 Май 2018, 12:20:21
Ответ #1
  • Ветеран
  • *****
  • Сообщений: 14786
  • Репутация: +14588/-5
  • Сообщество PrestaShop
    • Просмотр профиля
Для ограничения поисковиков в robots.txt
User-agent: *
Crawl-delay: 1
цифра 1 количество заходов, меняя можете установить какая вам больше подходит
31 Май 2018, 12:45:21
Ответ #2
  • Фрилансер
  • *
  • Сообщений: 123
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
а какое значение можно поставить что бы не навредить индексации страниц?
31 Май 2018, 21:59:26
Ответ #3
  • Ветеран
  • *****
  • Сообщений: 33153
  • Репутация: +26762/-0
    • Просмотр профиля
Цитировать
Скорость сканирования – это количество запросов в секунду, которое робот Googlebot отправляет на ваш сайт. Например, если скорость равна 5, то поступает 5 запросов в секунду.

Изменить периодичность сканирования сайта нельзя. Но если вы хотите, чтобы мы быстрее проиндексировали новый контент на нем, используйте Сканер Google для сайтов.
https://support.google.com/webmasters/answer/48620?hl=ru

Ставьте 10. Все равно не влияет.