структура сгенерированного кода robots.txt

[АннаЧ]

Всем доброго дня! Второй день разбираюсь с файлом роботс.тхт

Нашла файл, который вроде был одобрен гуру на этом форуме, но чет душа не спокойна...вот сам файл

Код Выделить Развернуть

User-agent: *
# Private pages
Disallow: /*orderby=
Disallow: /*orderway=
Disallow: /*tag=
Disallow: /*id_currency=
Disallow: /*search_query=
Disallow: /*back=
Disallow: /*n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=get-file
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
Disallow: */modules/
Disallow: */translations/
Disallow: */tools/
# Files
Disallow: /*ru/address
Disallow: /*ru/addresses
Disallow: /*ru/authentication
Disallow: /*ru/cart
Disallow: /*ru/guest-tracking
Disallow: /*ru/order-history
Disallow: /*ru/identity
Disallow: /*ru/my-account
Disallow: /*ru/order
Disallow: /*ru/order-follow
Disallow: /*ru/quick-order
Disallow: /*ru/order-slip
Disallow: /*ru/password-recovery
Disallow: /*ru/search
Disallow: /*en/address
Disallow: /*en/addresses
Disallow: /*en/authentication
Disallow: /*en/cart
Disallow: /*en/guest-tracking
Disallow: /*en/order-history
Disallow: /*en/identity
Disallow: /*en/my-account
Disallow: /*en/order
Disallow: /*en/order-follow
Disallow: /*en/quick-order
Disallow: /*en/order-slip
Disallow: /*en/password-recovery
Disallow: /*en/search

Host: shop.veresk-sm.ru
Sitemap: http://shop.veresk-sm.ru/1_index_sitemap.xml

вдоль и поперек прочитала руководство по вэбмастеру и роботсу там же....

вопрос 1. где почитать о тома как перевести каждую строчку? например что значит это "*tag=" где об этом подробнее почитать (к слову на форуме прочитала что только можно)...чисто логически понимаю, что часть строчек - это части нечеловекопонятных урлов. но что же каждый урл проверять вручную?....боже как во всем этом разобраться....боги помогите!!!! Только не объясняйте что такое disallow - понятно что это запрет к индексации...не понятны остальные части строчек...например запрет к индексации *tag=" - это запрет к индексации тегов? или как это понимать? и разве их нужно закрывать от индексации? зачем тогда мы кругом прописываем тэги? "Disallow: */modules/" зачем надо закрывать от индексации модули??? или вот эта строка "Disallow: /*n=" вычитала что это запрет постраничной навигации...где об этом почитать? "*n=" - это вот откуда??? где написано, что n - это постранично? а как еще можно, если не постранично???

вопрос 2. нужно ли менять файл всякий раз после изменений на сайте, этот же вопрос и к сайт мэп относится, нужно ли генерировать новую карту сайта и как часто?

Всем заранее огромное спасибо, очень надеюсь на подробные ответы для дурака...

[DarinSr]

1. Откючите ЧПУ и просмотрите страницы сайта, в адресной строке увидите tag=, n=,...
tag= - появляется при поиске
n= - при постраничной навигации
Закрывать нужно все служебные страницы. Вы можете сами посмотреть какие, набирая в адресной строке
http://название.сайта/index.php?controller=addresses
...
Информация о robots.txt
Все о файле «robots.txt» по-русски — как составить robots.txt

2. Менять robots.txt не нужно. Карту сайта обновлять в сотвествии с обновленим товаров.
Задачу по обновлению карты сайта добавляете в крон и это будет делаться автоматически.

[АннаЧ]

Я не умею объяснять....все это я читала...т.е мне каждый раз в ручную надо смотреть каждую страницу, чтобы я смогла найти и сопоставить каждую строчку роботс тхт со страницей...я так понимаю есть какие-то правила формирования нечеловеческих урлов и каждый элемент видимо что-то означает  (ппц)...видимо надо учить структуру стандартного шаблона...а что скажете на счет второго вопроса?

[АннаЧ]

что одначает эты надпись orderby=?

[Adik]

"orderby=?"
Этапы заказа.

[DarinSr]

...а что скажете на счет второго вопроса?

Я вам уже ответил, читайте внимательно.

2. Менять robots.txt не нужно. Карту сайта обновлять в сотвествии с обновленим товаров.
Задачу по обновлению карты сайта добавляете в крон и это будет делаться автоматически.

[АннаЧ]

"orderby=?"
Этапы заказа.

спасибо большое....а где об этом почитать? это структура шаблона престашоп?

[DarinSr]

http://doc.prestashop.com/

[АннаЧ]

1. Откючите ЧПУ

как???

Задачу по обновлению карты сайта добавляете в крон

как???

[DarinSr]

1. Настройки > SEO и URLs
URL-адреса установки
ЧПУ - Нет

2. Модули
Google sitemap - Настроить
Внизу страницы моуля подробно написано как добавить в крон.

[АннаЧ]

Внизу страницы моуля подробно написано как добавить в крон.

я сейчас заплачу....можно скрин....?

[АннаЧ]

"orderby=?"
Этапы заказа.

оооххх...спасиииибо большое....а orderway?

и в каких папках может это находится? где в шаблоне это блин хранится? перерыла блин кучу папок - не нашла!!!!!!!!!!!!!!!!!

[DarinSr]

"orderby=?", "orderway?" - это переменные сортировки.
Их закрывают чтобы не было дублей.
Можно не закрывать, тогда нужно добавить функцию изменения заголовка, описания страниц. Тоже самое для постраничной навигации.

[АннаЧ]

ну вот...а у меня все на англ языке почемут(((

Спасибо большое!!!!

[АннаЧ]

последний вопрос...а скажите пожалуйста...все время вижу файлы роботс.тхт с пунктом дизэлоу, а элоу надо вообще указывать? или тут принцип, что индексируется все то, что не запрещено? тогда зачем вообще нужен Аллоу?