PrestaShop Forum

Здравствуйте! Прошу помощи! Такая проблема, добавил сайт в гугл веб-мастер, вроде все проиндексировалось, сегодня захожу, а он мне выдает такое предупреждение "Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.", количество проблем - 192, примеры "Значение: http://gigaopt.com.ua/", "Значение: http://gigaopt.com.ua/100/gs60-2pcghost-023ru.jpg" и т.д. Sitemap создан при помощи гугловского модуля, robots.txt прилагаю ниже.

User-agent: *
# Private pages
Disallow: /*orderby=
Disallow: /*orderway=
Disallow: /*tag=
Disallow: /*id_currency=
Disallow: /*search_query=
Disallow: /*back=
Disallow: /*n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
Disallow: */modules/
Disallow: */translations/
Disallow: */tools/
# Files
Disallow: /password-recovery
Disallow: /address
Disallow: /addresses
Disallow: /authentication
Disallow: /cart
Disallow: /discount
Disallow: /order-history
Disallow: /identity
Disallow: /my-account
Disallow: /order-follow
Disallow: /order-slip
Disallow: /order
Disallow: /search
Disallow: /quick-order
Disallow: /guest-tracking
Host: gigaopt.com.ua
Sitemap: http://gigaopt.com.ua/1_index_sitemap.xml


Я так понимаю, что у меня не индексируется главная страница и картинки. Помогите разобраться, буду весьма признателен.

И еще. Только что зашел в вебмастере во вкладку "Ошибки в индексе", так там тоже какие-то ошибки "Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.", Количество проблем - 1, "Значение: http://gigaopt.com.ua/1_ru_0_sitemap.xml"

У меня такой robots.txt
User-agent: *
# Private pages
Disallow: /*orderby=
Disallow: /*orderway=
Disallow: /*tag=
Disallow: /*id_currency=
Disallow: /*search_query=
Disallow: /*back=
Disallow: /*n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=get-file
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
Disallow: */modules/
Disallow: */translations/
Disallow: */tools/
# Files
Disallow: /*ru/address
Disallow: /*ru/addresses
Disallow: /*ru/authentication
Disallow: /*ru/cart
Disallow: /*ru/guest-tracking
Disallow: /*ru/order-history
Disallow: /*ru/identity
Disallow: /*ru/my-account
Disallow: /*ru/order
Disallow: /*ru/order-follow
Disallow: /*ru/quick-order
Disallow: /*ru/order-slip
Disallow: /*ru/password-recovery
Disallow: /*ru/search
Disallow: /*en/address
Disallow: /*en/addresses
Disallow: /*en/authentication
Disallow: /*en/cart
Disallow: /*en/guest-tracking
Disallow: /*en/order-history
Disallow: /*en/identity
Disallow: /*en/my-account
Disallow: /*en/order
Disallow: /*en/order-follow
Disallow: /*en/quick-order
Disallow: /*en/order-slip
Disallow: /*en/password-recovery
Disallow: /*en/search

Host: хххххх
Sitemap: http://хххххх/1_index_sitemap.xml

Таких проблем нет.

Цитата: Adik от 12 сентября 2014, 21:18:18
У меня такой robots.txt

Код Выделить Развернуть

User-agent: *
# Private pages
Disallow: /*orderby=
Disallow: /*orderway=
Disallow: /*tag=
Disallow: /*id_currency=
Disallow: /*search_query=
Disallow: /*back=
Disallow: /*n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=get-file
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
Disallow: */modules/
Disallow: */translations/
Disallow: */tools/
# Files
Disallow: /*ru/address
Disallow: /*ru/addresses
Disallow: /*ru/authentication
Disallow: /*ru/cart
Disallow: /*ru/guest-tracking
Disallow: /*ru/order-history
Disallow: /*ru/identity
Disallow: /*ru/my-account
Disallow: /*ru/order
Disallow: /*ru/order-follow
Disallow: /*ru/quick-order
Disallow: /*ru/order-slip
Disallow: /*ru/password-recovery
Disallow: /*ru/search
Disallow: /*en/address
Disallow: /*en/addresses
Disallow: /*en/authentication
Disallow: /*en/cart
Disallow: /*en/guest-tracking
Disallow: /*en/order-history
Disallow: /*en/identity
Disallow: /*en/my-account
Disallow: /*en/order
Disallow: /*en/order-follow
Disallow: /*en/quick-order
Disallow: /*en/order-slip
Disallow: /*en/password-recovery
Disallow: /*en/search

Host: хххххх
Sitemap: http://хххххх/1_index_sitemap.xml

Таких проблем нет.

А чем Вы генерируете карту? Google sitemap`ом? Если да, то скиньте пожалуйста параметры генерации, желательно скриншот.

Карта сайта и закрытие страниц в robots.txt это разные действия. Поэтому я делаю так:
1. Генерирую карту сайта
2. В ручную исправляю robots.txt

Цитата: Adik от 13 сентября 2014, 12:05:00
Карта сайта и закрытие страниц в robots.txt это разные действия. Поэтому я делаю так:
1. Генерирую карту сайта
2. В ручную исправляю robots.txt

Спасибо, буду пробовать.

У вас получилось?

Почему должно не получиться? Это простые действия. Сгенерировал карту сайта, поменял robots.txt, согласно новым правилам, никаких проблем.

Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.
http://zoomarket-tg.com.ua/robots.txt
В чем трабл?

В файле robots.txt есть Disallow которое запрещает доступ к ресурсам сайта. Вам нужно проверить файл и разрешить доступ у файлам, которые нужны для нормальной работы сайта, но находятся в запрешеной директории.

Так у меня только Disallow: /cgi-bin

Вот весь robots.txt
User-agent: * 
Disallow: /cgi-bin
Host: zoomarket-tg.com.ua
Sitemap: http://zoomarket-tg.com.ua/sitemap.txt
Allow: /sitemap.txt

Цитата: savchenkoarts от 15 июля 2016, 03:20:08
Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.
http://zoomarket-tg.com.ua/robots.txt
В чем трабл?

В Sitemap какие адреса? Что там связано с cgi-bin?

http://zoomarket-tg.com.ua/sitemap.txt вроде бы не чего не связано

Тогда все нормально, просто предупреждение.

Но оно пишет что заблокировано в robots.txt, значит не будет их индексировать, что меня не устраивает

"Оно" не пишет что имено заблокировано? URL какой заблокирован?