Автор Тема: Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt  (Прочитано 6484 раз)

15 Июль 2016, 14:16:33
Ответ #15
  • Новичок
  • *
  • Сообщений: 14
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
15 Июль 2016, 14:23:20
Ответ #16
  • Ветеран
  • *****
  • Сообщений: 3419
  • Репутация: +79/-6
  • Сообщество PrestaShop
    • Просмотр профиля
Так у меня только Disallow: /cgi-bin
Вот весь robots.txt
User-agent: * 
Disallow: /cgi-bin
Host: zoomarket-tg.com.ua
Sitemap: http://zoomarket-tg.com.ua/sitemap.txt
Allow: /sitemap.txt
Создай заново robots.txt, как написано выше и подожди неделю, должно переиндексировать.
Проверь в вебмастере, может ты сам заблокивал индексацию.