Автор Тема: Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt  (Прочитано 3418 раз)

12 Сентября 2014, 20:17:07
  • Новичок
  • *
  • Сообщений: 12
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Здравствуйте! Прошу помощи! Такая проблема, добавил сайт в гугл веб-мастер, вроде все проиндексировалось, сегодня захожу, а он мне выдает такое предупреждение "Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.", количество проблем - 192, примеры "Значение: http://gigaopt.com.ua/", "Значение: http://gigaopt.com.ua/100/gs60-2pcghost-023ru.jpg" и т.д. Sitemap создан при помощи гугловского модуля, robots.txt прилагаю ниже.

User-agent: *
# Private pages
Disallow: /*orderby=
Disallow: /*orderway=
Disallow: /*tag=
Disallow: /*id_currency=
Disallow: /*search_query=
Disallow: /*back=
Disallow: /*n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
Disallow: */modules/
Disallow: */translations/
Disallow: */tools/
# Files
Disallow: /password-recovery
Disallow: /address
Disallow: /addresses
Disallow: /authentication
Disallow: /cart
Disallow: /discount
Disallow: /order-history
Disallow: /identity
Disallow: /my-account
Disallow: /order-follow
Disallow: /order-slip
Disallow: /order
Disallow: /search
Disallow: /quick-order
Disallow: /guest-tracking
Host: gigaopt.com.ua
Sitemap: http://gigaopt.com.ua/1_index_sitemap.xml

Я так понимаю, что у меня не индексируется главная страница и картинки. Помогите разобраться, буду весьма признателен.

И еще. Только что зашел в вебмастере во вкладку "Ошибки в индексе", так там тоже какие-то ошибки "Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.", Количество проблем - 1, "Значение: http://gigaopt.com.ua/1_ru_0_sitemap.xml"
12 Сентября 2014, 21:18:18
Ответ #1
  • Ветеран
  • *****
  • Сообщений: 13147
  • Репутация: +14553/-0
  • Сообщество PrestaShop
    • Просмотр профиля
У меня такой robots.txt
User-agent: *
# Private pages
Disallow: /*orderby=
Disallow: /*orderway=
Disallow: /*tag=
Disallow: /*id_currency=
Disallow: /*search_query=
Disallow: /*back=
Disallow: /*n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=get-file
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
Disallow: */modules/
Disallow: */translations/
Disallow: */tools/
# Files
Disallow: /*ru/address
Disallow: /*ru/addresses
Disallow: /*ru/authentication
Disallow: /*ru/cart
Disallow: /*ru/guest-tracking
Disallow: /*ru/order-history
Disallow: /*ru/identity
Disallow: /*ru/my-account
Disallow: /*ru/order
Disallow: /*ru/order-follow
Disallow: /*ru/quick-order
Disallow: /*ru/order-slip
Disallow: /*ru/password-recovery
Disallow: /*ru/search
Disallow: /*en/address
Disallow: /*en/addresses
Disallow: /*en/authentication
Disallow: /*en/cart
Disallow: /*en/guest-tracking
Disallow: /*en/order-history
Disallow: /*en/identity
Disallow: /*en/my-account
Disallow: /*en/order
Disallow: /*en/order-follow
Disallow: /*en/quick-order
Disallow: /*en/order-slip
Disallow: /*en/password-recovery
Disallow: /*en/search

Host: хххххх
Sitemap: http://хххххх/1_index_sitemap.xml

Таких проблем нет.
12 Сентября 2014, 22:54:56
Ответ #2
  • Новичок
  • *
  • Сообщений: 12
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
У меня такой robots.txt
User-agent: *
# Private pages
Disallow: /*orderby=
Disallow: /*orderway=
Disallow: /*tag=
Disallow: /*id_currency=
Disallow: /*search_query=
Disallow: /*back=
Disallow: /*n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=get-file
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
Disallow: */modules/
Disallow: */translations/
Disallow: */tools/
# Files
Disallow: /*ru/address
Disallow: /*ru/addresses
Disallow: /*ru/authentication
Disallow: /*ru/cart
Disallow: /*ru/guest-tracking
Disallow: /*ru/order-history
Disallow: /*ru/identity
Disallow: /*ru/my-account
Disallow: /*ru/order
Disallow: /*ru/order-follow
Disallow: /*ru/quick-order
Disallow: /*ru/order-slip
Disallow: /*ru/password-recovery
Disallow: /*ru/search
Disallow: /*en/address
Disallow: /*en/addresses
Disallow: /*en/authentication
Disallow: /*en/cart
Disallow: /*en/guest-tracking
Disallow: /*en/order-history
Disallow: /*en/identity
Disallow: /*en/my-account
Disallow: /*en/order
Disallow: /*en/order-follow
Disallow: /*en/quick-order
Disallow: /*en/order-slip
Disallow: /*en/password-recovery
Disallow: /*en/search

Host: хххххх
Sitemap: http://хххххх/1_index_sitemap.xml

Таких проблем нет.

А чем Вы генерируете карту? Google sitemap`ом? Если да, то скиньте пожалуйста параметры генерации, желательно скриншот.
13 Сентября 2014, 12:05:00
Ответ #3
  • Ветеран
  • *****
  • Сообщений: 13147
  • Репутация: +14553/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Карта сайта и закрытие страниц в robots.txt это разные действия. Поэтому я делаю так:
1. Генерирую карту сайта
2. В ручную исправляю robots.txt
13 Сентября 2014, 15:32:36
Ответ #4
  • Новичок
  • *
  • Сообщений: 12
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Карта сайта и закрытие страниц в robots.txt это разные действия. Поэтому я делаю так:
1. Генерирую карту сайта
2. В ручную исправляю robots.txt

Спасибо, буду пробовать.
08 Октября 2014, 16:27:41
Ответ #5
  • Пользователь
  • **
  • Сообщений: 89
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
08 Октября 2014, 16:36:20
Ответ #6
  • Ветеран
  • *****
  • Сообщений: 13147
  • Репутация: +14553/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Почему должно не получиться? Это простые действия. Сгенерировал карту сайта, поменял robots.txt, согласно новым правилам, никаких проблем.
15 Июля 2016, 03:20:08
Ответ #7
  • Новичок
  • *
  • Сообщений: 10
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.
http://zoomarket-tg.com.ua/robots.txt
В чем трабл?
15 Июля 2016, 10:59:02
Ответ #8
  • Партнер
  • Фрилансер
  • ****
  • Сообщений: 224
  • Репутация: +10/-0
  • SEO оптимизация сайтов, интенет-магазинов.
    • Просмотр профиля
В файле robots.txt есть Disallow которое запрещает доступ к ресурсам сайта. Вам нужно проверить файл и разрешить доступ у файлам, которые нужны для нормальной работы сайта, но находятся в запрешеной директории.
Поисковая оптимизация, SEO  оптимизация сайтов, интенет-магазинов.  Работа на результат –  вывод в топ, увеличение посещяемости и увеличение продаж.
15 Июля 2016, 11:42:49
Ответ #9
  • Новичок
  • *
  • Сообщений: 10
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Так у меня только Disallow: /cgi-bin

Вот весь robots.txt
User-agent: * 
Disallow: /cgi-bin
Host: zoomarket-tg.com.ua
Sitemap: http://zoomarket-tg.com.ua/sitemap.txt
Allow: /sitemap.txt
15 Июля 2016, 12:44:21
Ответ #10
  • Партнер
  • Фрилансер
  • ****
  • Сообщений: 224
  • Репутация: +10/-0
  • SEO оптимизация сайтов, интенет-магазинов.
    • Просмотр профиля
Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.
http://zoomarket-tg.com.ua/robots.txt
В чем трабл?
В Sitemap какие адреса? Что там связано с cgi-bin?
Поисковая оптимизация, SEO  оптимизация сайтов, интенет-магазинов.  Работа на результат –  вывод в топ, увеличение посещяемости и увеличение продаж.
15 Июля 2016, 12:54:42
Ответ #11
  • Новичок
  • *
  • Сообщений: 10
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
15 Июля 2016, 13:29:24
Ответ #12
  • Партнер
  • Фрилансер
  • ****
  • Сообщений: 224
  • Репутация: +10/-0
  • SEO оптимизация сайтов, интенет-магазинов.
    • Просмотр профиля
Тогда все нормально, просто предупреждение.
Поисковая оптимизация, SEO  оптимизация сайтов, интенет-магазинов.  Работа на результат –  вывод в топ, увеличение посещяемости и увеличение продаж.
15 Июля 2016, 13:40:29
Ответ #13
  • Новичок
  • *
  • Сообщений: 10
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Но оно пишет что заблокировано в robots.txt, значит не будет их индексировать, что меня не устраивает
15 Июля 2016, 14:09:54
Ответ #14
  • Ветеран
  • *****
  • Сообщений: 2169
  • Репутация: +49/-4
  • Сообщество PrestaShop
    • Просмотр профиля
"Оно" не пишет что имено заблокировано? URL какой заблокирован?