Sitemap

[kulich]

Часто возникают вопросы как по работе robots.txt, так и sitemap.xml. Предлагаю здесь писать о его настройках и т.д
В магазине есть встроенный модуль Google sitemap.
Правильно я понимаю, что в принципе можно смело ставить галочки на всех страницах кроме index? Нужно ли в карте сайта показывать страницу 404? Также можно поставить гугловским сайтмапом галочку на саму страницу сайтмап магазина - нужно ее ставить?
Зачем выставляется как часто обновляется магазин? Робот от этого чаще заходить станет или файл будет обновляться автоматически?

[coder]

Нужно ли в карте сайта показывать страницу 404?

404 код - страница не существует. По такому ответу поисковики выкидывают страницы из индекса.
Зачем показывать страницы, которые не существуют?

[PrestaMan]

Из карты сайта можно исключить
1. Адреса
2. Страницы авторизации и восстановления пароля.
3. 404
4. Оформление заказа
5. Карту сайта
6. Историю заказов и т.д, т.е. на все страницы личного кабинета (одной ссылки на личный кабинет достаточно)
7. Поставщики - на усмотрение владельца магазина

Время обновления выставлять из расчета времени обновления товара.
Робот будет обновлять данные в зависимости от этого параметра. Если товары в магазине обновляются на часто, то не стоит ставить частое обновление. Так как будет только нагрузка на сайт, а пользы это не принесет.

[Mauser-C96]

Нужно ли в карте сайта показывать страницу 404?

404 код - страница не существует. По такому ответу поисковики выкидывают страницы из индекса.
Зачем показывать страницы, которые не существуют?

Лучше показать эту страницу, только на ней вывести полезную информацию, добавить  поиск, ссылки на популярные продукты, навигацию по сайту или категориям, продуктам. Сделать так, чтобы клиент не уходил с сайта.
Карта сайта - это прежде всего удобство для посетителя, а потом уже поисковый робот.

Но не забываем отдать 404 с веб.сервера.
 

[kulich]

Еще несколько вопросов по карте.
Немного не понимаю следующее.
1) Файл sitemap можно указать в robots.txt, а также загрузить в вебмастер яндекса или гугла. Обязательно делать оба действия и зачем?
2) Если я загрузил файл в вебмастер, мне при каждом обновлении сайта, нужно грузить туда новый?
3) Модуль Google sitemap создает 2 ссылки - 1_ru_0_sitemap.xml (сама карта) и 1_index_sitemap.xml (в нем несколько строчек и ссылка на основной файл). Какой указывать в robots.txt и какой грузить в вебмастер?

Спасибо.

[mAgency]

Указывать файл sitemap в robots.txt нужно, это позволит правильно проиндексировать сайт поисковым роботом. Не нужно будет обновлять информацию по этому файлу в инструментах вебмастера яндекс и гугль.
Для google и yandex создаются разные файлы, потому что есть различия в требовании в Sitemap. Можно создать один, но тогда нужно будет учитывать, что некоторые теги не пройдут валидацию. Не форуме не раз поднимали эту тему.

Ещё тогда вопрос, созданная карта сайта внутренним генераторм не проходит валидацию Яндекса:
"Неизвестный тег
Строка 3:
image:image"
а Google говорит, что ошибок нет.

Как сообщить Яндексу о файле Sitemap?

[kulich]

А как создавать разные sitemap? Т.е создал я 2 файла, как в robots.txt прописывать 2 разные карты сайта дял разных поисковиков.
И я так и не понял - зачем помимо этого загружать sitemap в вебмастер.

[Mauser-C96]

Вам же дали ссылку, там все написано

5. Как сообщить Яндексу о файле Sitemap?
Вы можете сообщить Яндексу о наличии файла Sitemap для своего сайта двумя способами:
- или добавив URL файла Sitemap в разделе «Файлы Sitemap» сервиса Яндекс.Вебмастер;
- или  добавив директиву Sitemap в файле robots.txt вашего сайта.
Яндекс поддерживает перекрестную отправку файлов Sitemap.
Перед отправкой файла Sitemap рекомендуется проверить его корректность в специальном валидаторе.

Как указать местоположение файла Sitemap в файле robots.txt
Можно указать местоположение файла Sitemap, используя файл robots.txt.

Код: [Выделить]

Sitemap: http://www.example.com/sitemap.xml

Эта инструкция не зависит от строки агента пользователя, поэтому неважно, где она размещается в файле. При наличии файла индекса Sitemap можно включить местоположение только этого файла. Перечислять каждый отдельный файл Sitemap, указанный в файле индекса, не нужно.

Можно указать несколько файлов Sitemap

Код: [Выделить]

Sitemap: http://www.example.com/sitemap-host1.xml
Sitemap: http://www.example.com/sitemap-host2.xmlДля всех поисковых роботов (google)

Код: [Выделить]

User-agent: *Для yandex

Код: [Выделить]

User-agent: Yandex

[kulich]

Спасибо, просто немного недопонял когда прочел.
Т.е. если у меня сам файл одинаковый как для яндекса, так и гугла, а отличия только в файле сайтмап, то я составляю файл следующим образом.

User-agent: *
Текущее содержимое
sitemap: sitemap1.xml
User-agent: Yandex
Текущее содержимое
sitemap: sitemap2.xml

Верно?

[mistral]

Верно, только я всегда пишу полный адрес для карты

Код: [Выделить]

Sitemap: http://prestashop.ru/sitemap.xml

[Vasiy]

Спасибо, просто немного недопонял когда прочел.
Т.е. если у меня сам файл одинаковый как для яндекса, так и гугла, а отличия только в файле сайтмап, то я составляю файл следующим образом.

User-agent: *
Текущее содержимое
sitemap: sitemap1.xml
User-agent: Yandex
Текущее содержимое
sitemap: sitemap2.xml

Верно?

А через CRON Модуль gsitemap может создавать несколько разных файлов sitemap.xml?
Чтобы сразу для Яндекса и для Гугла и может быть для Бинга, или для большего количества.

[mAgency]

Не может. Этот модуль работает по правилам Google.

[Vasiy]

Ну почему только для гугла, он легко переделывается на стандартный яндексовский формат, и гугл его тоже воспринимает.
А если сделать клон?

[Adik]

Модуль называется - Google sitemap, делали его для google. Переделать его можно. В последней версии он делает несколько файлов, значит можно добавить еще одни для яши.

[Vasiy]

Покрутил уже этот модуль, но я его упростил до стандартного для Яндекса,
оказалось проще обрезать чем добавить еще одну страницу.