Автор Тема: Заблокированные URL в robots.txt  (Прочитано 1812 раз)

23 Август 2013, 20:29:37
  • Новичок
  • *
  • Сообщений: 27
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Содержание robots.txt:
# robots.txt automaticaly generated by PrestaShop e-commerce open-source solution
# http://www.prestashop.com - http://www.prestashop.com/forums
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/wc/robots.html
User-agent: *
# Private pages
Disallow: /*orderby=
Disallow: /*orderway=
Disallow: /*tag=
Disallow: /*id_currency=
Disallow: /*search_query=
Disallow: /*back=
Disallow: /*utm_source=
Disallow: /*utm_medium=
Disallow: /*utm_campaign=
Disallow: /*n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: /*classes/
Disallow: /*config/
Disallow: /*download/
Disallow: /*mails/
Disallow: /*modules/
Disallow: /*translations/
Disallow: /*tools/
# Files
Disallow: /*ru/password-recovery
Disallow: /*ru/address
Disallow: /*ru/aдреса
Disallow: /*ru/authentication
Disallow: /*ru/cart
Disallow: /*ru/discount
Disallow: /*ru/order-history
Disallow: /*ru/identity
Disallow: /*ru/my-account
Disallow: /*ru/order-follow
Disallow: /*ru/order-slip
Disallow: /*ru/order
Disallow: /*ru/search
Disallow: /*ru/quick-order
Disallow: /*ru/guest-tracking
Disallow: /*ru/
Disallow: /*uk/password-recovery
Disallow: /*uk/address
Disallow: /*uk/aдреса
Disallow: /*uk/authentication
Disallow: /*uk/cart
Disallow: /*uk/discount
Disallow: /*uk/order-history
Disallow: /*uk/identity
Disallow: /*uk/my-account
Disallow: /*uk/order-follow
Disallow: /*uk/order-slip
Disallow: /*uk/order
Disallow: /*uk/search
Disallow: /*uk/quick-order
Disallow: /*uk/guest-tracking
Disallow: /*uk/
# Sitemap
Sitemap: http://snacks-club.com.ua/1_index_sitemap.xml
Google предупреждает:

где собака порылась, какая запись в robots.txt блокирует индексацию? Мои мысли:) - не эти ли записи Disallow: /*uk/ и Disallow: /*ru/?
И еще проблема - Яндекс при добавлении страницы в аддурилку вообще не видит http://snacks-club.com.ua/ (пишет "Недоступен сервер, на котором находится сайт"), а вот если вставить http://snacks-club.com.ua/ru/ или http://snacks-club.com.ua/uk/ то успешно добавляет. Наверное поэтому добавленный сайт в Яндекс поэтому не индексируется? Что надо сделать, где поправить?
24 Август 2013, 10:10:30
Ответ #1
  • Новичок
  • *
  • Сообщений: 27
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Подтвердилось что Disallow: /*uk/ и Disallow: /*ru/ блокировали доступ к продуктам. Поэтому всем у кого мультиязычный магазин, обязательно убрать ненужные строки в robots.txt.
Вопрос с Яндексом остаётся, немного больше информации - так как магазин мультиязычный и (в моём случае) русский язык главный, то при наборе в браузере сайт.com.ua адрес переопределяется на сайт.com.ua/ru/. Я Яндексу при добавлении в Вебмастер указал сайт.com.ua и сайт не индексируется. В Аддурилке при добавлении сайт.com.ua пишет "Недоступен сервер, на котором находится сайт", а вот сайт.com.ua/ru/ принимает на ура. Пробовал Вебмастеру указать адрес сайт.com.ua/ru/ он его обрезает до сайт.com.ua, т.е. опять индексировать не будет. Насколько хватает мозгов, понимаю что надо прописать что-то в robots.txt, чтобы Yandex не упирался по поводу "сайт.com.ua/ru/ vs. сайт.com.ua", но вот как не знаю. Помогите пожалуйста? Или может я не туда гляжу?
24 Август 2013, 12:44:41
Ответ #2
  • Ветеран
  • *****
  • Сообщений: 22125
  • Репутация: +25303/-1
  • Prestashop - просто и эффективно
    • Просмотр профиля
На prestashop 1.5.3 при генерации создан такой robots.txt
User-agent: *
# Private pages
Disallow: /*orderby=
Disallow: /*orderway=
Disallow: /*tag=
Disallow: /*id_currency=
Disallow: /*search_query=
Disallow: /*back=
Disallow: /*utm_source=
Disallow: /*utm_medium=
Disallow: /*utm_campaign=
Disallow: /*n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: /*classes/
Disallow: /*config/
Disallow: /*download/
Disallow: /*mails/
Disallow: /*modules/
Disallow: /*translations/
Disallow: /*tools/
# Files
Disallow: /*ru/address
Disallow: /*ru/aдреса
Disallow: /*ru/authentication
Disallow: /*ru/cart
Disallow: /*ru/discount
Disallow: /*ru/guest-tracking
Disallow: /*ru/order-history
Disallow: /*ru/identity
Disallow: /*ru/my-account
Disallow: /*ru/order
Disallow: /*ru/order-follow
Disallow: /*ru/quick-order
Disallow: /*ru/order-slip
Disallow: /*ru/password-recovery
Disallow: /*ru/search
Disallow: /*en/address
Disallow: /*en/aдреса
Disallow: /*en/authentication
Disallow: /*en/cart
Disallow: /*en/discount
Disallow: /*en/guest-tracking
Disallow: /*en/order-history
Disallow: /*en/identity
Disallow: /*en/my-account
Disallow: /*en/order
Disallow: /*en/order-follow
Disallow: /*en/quick-order
Disallow: /*en/order-slip
Disallow: /*en/password-recovery
Disallow: /*en/search
В yandex указан адрес сайта без языковых версий - site.ru
В gogle ничего не блокируется.
Все страницы сайта проиндексированы.
Ничего не исправлял, не удалял.
Эксперт Prestashop - решения всех проблем, написание модулей, создание тем для интернет-магазинов под Prestashop.
Эксперт Magento - создам сайт на Magento, программирование кастомных модулей для Magento, кастомизация тем Magento.
Лучшие цены!!!