оптимизация файла robots.txt

[proz333]

подскажите как оптимизировать файл robots.txt
вот что мне написали с поддержки хостинга
Нагрузка могла быть вызвана при индексации сайта поисковыми работами, которые слишком часто открывали страницы сайта.
Рекомендуем в файле robots.txt задать правила для поисковых роботов, которые ограничивают периоды индексации страниц сайта.
Вы можете это сделать при помощи директив crawl-delay и crawl-rate (для Гугл).

[Adik]

Для ограничения поисковиков в robots.txt

Код: [Выделить]

User-agent: *
Crawl-delay: 1цифра 1 количество заходов, меняя можете установить какая вам больше подходит

[proz333]

а какое значение можно поставить что бы не навредить индексации страниц?

[coder]

Скорость сканирования – это количество запросов в секунду, которое робот Googlebot отправляет на ваш сайт. Например, если скорость равна 5, то поступает 5 запросов в секунду.

Изменить периодичность сканирования сайта нельзя. Но если вы хотите, чтобы мы быстрее проиндексировали новый контент на нем, используйте Сканер Google для сайтов.

https://support.google.com/webmasters/answer/48620?hl=ru

Ставьте 10. Все равно не влияет.