Автор Тема: структура сгенерированного кода robots.txt  (Прочитано 1040 раз)

09 Февраль 2016, 10:36:14
  • Фрилансер
  • *
  • Сообщений: 244
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Всем доброго дня! Второй день разбираюсь с файлом роботс.тхт

Нашла файл, который вроде был одобрен гуру на этом форуме, но чет душа не спокойна...вот сам файл

User-agent: *
# Private pages
Disallow: /*orderby=
Disallow: /*orderway=
Disallow: /*tag=
Disallow: /*id_currency=
Disallow: /*search_query=
Disallow: /*back=
Disallow: /*n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=get-file
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
Disallow: */modules/
Disallow: */translations/
Disallow: */tools/
# Files
Disallow: /*ru/address
Disallow: /*ru/addresses
Disallow: /*ru/authentication
Disallow: /*ru/cart
Disallow: /*ru/guest-tracking
Disallow: /*ru/order-history
Disallow: /*ru/identity
Disallow: /*ru/my-account
Disallow: /*ru/order
Disallow: /*ru/order-follow
Disallow: /*ru/quick-order
Disallow: /*ru/order-slip
Disallow: /*ru/password-recovery
Disallow: /*ru/search
Disallow: /*en/address
Disallow: /*en/addresses
Disallow: /*en/authentication
Disallow: /*en/cart
Disallow: /*en/guest-tracking
Disallow: /*en/order-history
Disallow: /*en/identity
Disallow: /*en/my-account
Disallow: /*en/order
Disallow: /*en/order-follow
Disallow: /*en/quick-order
Disallow: /*en/order-slip
Disallow: /*en/password-recovery
Disallow: /*en/search

Host: shop.veresk-sm.ru
Sitemap: http://shop.veresk-sm.ru/1_index_sitemap.xml

вдоль и поперек прочитала руководство по вэбмастеру и роботсу там же....

вопрос 1. где почитать о тома как перевести каждую строчку? например что значит это "*tag=" где об этом подробнее почитать (к слову на форуме прочитала что только можно)...чисто логически понимаю, что часть строчек - это части нечеловекопонятных урлов. но что же каждый урл проверять вручную?....боже как во всем этом разобраться....боги помогите!!!! Только не объясняйте что такое disallow - понятно что это запрет к индексации...не понятны остальные части строчек...например запрет к индексации *tag=" - это запрет к индексации тегов? или как это понимать? и разве их нужно закрывать от индексации? зачем тогда мы кругом прописываем тэги? "Disallow: */modules/" зачем надо закрывать от индексации модули??? или вот эта строка "Disallow: /*n=" вычитала что это запрет постраничной навигации...где об этом почитать? "*n=" - это вот откуда??? где написано, что n - это постранично? а как еще можно, если не постранично???

вопрос 2. нужно ли менять файл всякий раз после изменений на сайте, этот же вопрос и к сайт мэп относится, нужно ли генерировать новую карту сайта и как часто?

Всем заранее огромное спасибо, очень надеюсь на подробные ответы для дурака...

09 Февраль 2016, 10:53:57
Ответ #1
  • Ветеран
  • *****
  • Сообщений: 86688
  • Репутация: +25428/-0
  • Сообщество PrestaShop
    • Просмотр профиля
1. Откючите ЧПУ и просмотрите страницы сайта, в адресной строке увидите tag=, n=,...
tag= - появляется при поиске
n= - при постраничной навигации
Закрывать нужно все служебные страницы. Вы можете сами посмотреть какие, набирая в адресной строке
http://название.сайта/index.php?controller=addresses
...
Информация о robots.txt
Все о файле «robots.txt» по-русски — как составить robots.txt

2. Менять robots.txt не нужно. Карту сайта обновлять в сотвествии с обновленим товаров.
Задачу по обновлению карты сайта добавляете в крон и это будет делаться автоматически.
09 Февраль 2016, 10:57:42
Ответ #2
  • Фрилансер
  • *
  • Сообщений: 244
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Я не умею объяснять....все это я читала...т.е мне каждый раз в ручную надо смотреть каждую страницу, чтобы я смогла найти и сопоставить каждую строчку роботс тхт со страницей...я так понимаю есть какие-то правила формирования нечеловеческих урлов и каждый элемент видимо что-то означает  (ппц)...видимо надо учить структуру стандартного шаблона...а что скажете на счет второго вопроса?
09 Февраль 2016, 11:06:06
Ответ #3
  • Фрилансер
  • *
  • Сообщений: 244
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
что одначает эты надпись orderby=?
09 Февраль 2016, 11:18:48
Ответ #4
  • Ветеран
  • *****
  • Сообщений: 16670
  • Репутация: +14630/-5
  • Сообщество PrestaShop
    • Просмотр профиля
09 Февраль 2016, 11:35:37
Ответ #5
  • Ветеран
  • *****
  • Сообщений: 86688
  • Репутация: +25428/-0
  • Сообщество PrestaShop
    • Просмотр профиля
...а что скажете на счет второго вопроса?

Я вам уже ответил, читайте внимательно.

2. Менять robots.txt не нужно. Карту сайта обновлять в сотвествии с обновленим товаров.
Задачу по обновлению карты сайта добавляете в крон и это будет делаться автоматически.
09 Февраль 2016, 11:37:17
Ответ #6
  • Фрилансер
  • *
  • Сообщений: 244
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
"orderby=?"
Этапы заказа.

спасибо большое....а где об этом почитать? это структура шаблона престашоп?
09 Февраль 2016, 11:40:11
Ответ #7
  • Ветеран
  • *****
  • Сообщений: 86688
  • Репутация: +25428/-0
  • Сообщество PrestaShop
    • Просмотр профиля
09 Февраль 2016, 11:46:48
Ответ #8
  • Фрилансер
  • *
  • Сообщений: 244
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
1. Откючите ЧПУ
как???

Цитировать
Задачу по обновлению карты сайта добавляете в крон
как???
09 Февраль 2016, 11:52:28
Ответ #9
  • Ветеран
  • *****
  • Сообщений: 86688
  • Репутация: +25428/-0
  • Сообщество PrestaShop
    • Просмотр профиля
1. Настройки > SEO и URLs
URL-адреса установки
ЧПУ - Нет

2. Модули
Google sitemap - Настроить
Внизу страницы моуля подробно написано как добавить в крон.
09 Февраль 2016, 12:15:28
Ответ #10
  • Фрилансер
  • *
  • Сообщений: 244
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля

Внизу страницы моуля подробно написано как добавить в крон.
я сейчас заплачу....можно скрин....????
09 Февраль 2016, 12:25:20
Ответ #11
  • Фрилансер
  • *
  • Сообщений: 244
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
"orderby=?"
Этапы заказа.

оооххх...спасиииибо большое....а orderway?

и в каких папках может это находится? где в шаблоне это блин хранится? перерыла блин кучу папок - не нашла!!!!!!!!!!!!!!!!!
09 Февраль 2016, 13:06:55
Ответ #12
  • Ветеран
  • *****
  • Сообщений: 86688
  • Репутация: +25428/-0
  • Сообщество PrestaShop
    • Просмотр профиля
"orderby=?", "orderway?" - это переменные сортировки.
Их закрывают чтобы не было дублей.
Можно не закрывать, тогда нужно добавить функцию изменения заголовка, описания страниц. Тоже самое для постраничной навигации.
09 Февраль 2016, 14:41:20
Ответ #13
  • Фрилансер
  • *
  • Сообщений: 244
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
ну вот...а у меня все на англ языке почемут(((

Спасибо большое!!!!
09 Февраль 2016, 15:01:55
Ответ #14
  • Фрилансер
  • *
  • Сообщений: 244
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
последний вопрос...а скажите пожалуйста...все время вижу файлы роботс.тхт с пунктом дизэлоу, а элоу надо вообще указывать? или тут принцип, что индексируется все то, что не запрещено? тогда зачем вообще нужен Аллоу?