Автор Тема: Почему robots.txt всегда содержит Disallow: /  (Прочитано 255 раз)

26 Апреля 2015, 11:40:46
  • Фрилансер
  • *
  • Сообщений: 184
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Привет всем,
скажите пожалуйста почему всегда когда я генерирую robots.txt, всегда появляется строка:
Disallow: /
которая блокирует сайт целиком. Почему? Ее надо каждый раз вручную убирать?
Извините за плохой русский, я из Болгарии :)
26 Апреля 2015, 11:55:35
Ответ #1
  • Ветеран
  • *****
  • Сообщений: 1010
  • Репутация: +2/-0
  • Сообщество PrestaShop
    • Просмотр профиля
По умолчанию сайт закрыт от индексирования. В robots.txt создаются все правила, которые потом каждый меняет под свои требования.
26 Апреля 2015, 13:07:47
Ответ #2
  • Фрилансер
  • *
  • Сообщений: 184
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
По умолчанию сайт закрыт от индексирования. В robots.txt создаются все правила, которые потом каждый меняет под свои требования.

Спасибо! А можете подсказать лучший вариант robots.txt? Что лучше всего убрать, что оставить? Я убрал только Disallow: /

# robots.txt automaticaly generated by PrestaShop e-commerce open-source solution
# http://www.prestashop.com - http://www.prestashop.com/forums
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/wc/robots.html
User-agent: *
# Private pages
Disallow: /*orderby=
Disallow: /*orderway=
Disallow: /*tag=
Disallow: /*id_currency=
Disallow: /*search_query=
Disallow: /*back=
Disallow: /*n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
Disallow: */modules/
Disallow: */translations/
Disallow: */tools/
# Files
Disallow: /address
Disallow: /addresses
Disallow: /authentication
Disallow: /cart
Disallow: /discount
Disallow: /guest-tracking
Disallow: /order-history
Disallow: /identity
Disallow: /my-account
Disallow: /order
Disallow: /order-follow
Disallow: /quick-order
Disallow: /order-slip
Disallow: /password-recovery
Disallow: /search
Извините за плохой русский, я из Болгарии :)
26 Апреля 2015, 13:52:25
Ответ #3
  • Ветеран
  • *****
  • Сообщений: 971
  • Репутация: +5/-0
  • Иногда заглядываю
    • Просмотр профиля
    • Помощь патентообладателям по продаже патентов.
В начало добавить       Host: www.сайт.ru
....................

В конец добавить         Sitemap: http://www.сайт.ru/sitemap.xml
Не боги горшки обжигают, не зачем им такой хренью заниматься.
26 Апреля 2015, 13:53:39
Ответ #4
  • Модератор
  • Ветеран
  • *****
  • Сообщений: 86050
  • Репутация: +25403/-0
  • Сообщество PrestaShop
    • Просмотр профиля