Автор Тема: Почему яндекс индексирует служебные страницы?  (Прочитано 203 раз)

05 Июля 2016, 02:03:53
  • Фрилансер
  • *
  • Сообщений: 140
  • Репутация: +0/-0
  • Веб-Разработчик (Новичок)
    • Просмотр профиля
    • MoscovLady
Всем привет! Скажите пожалуйста почему Яндекс индексирует служебные страницы когда я заблокировал через robots.txt и через sitemap их? Подробнее на скриншоте:

вот ссылка на мой robots.txt http://moscovlady.ru/robots.txt

Начинающий веб-разработчик
05 Июля 2016, 02:11:10
Ответ #1
  • Фрилансер
  • *
  • Сообщений: 140
  • Репутация: +0/-0
  • Веб-Разработчик (Новичок)
    • Просмотр профиля
    • MoscovLady


На всех товарах прописан Title и description.

Начинающий веб-разработчик
05 Июля 2016, 09:50:45
Ответ #2
  • Ветеран
  • *****
  • Сообщений: 32988
  • Репутация: +26759/-0
    • Просмотр профиля
Страницы закрывают в robots.txt. Если они не включены в карту сайта, но них есть ссылки на других страницах, робот их проиндексирует.
В вашем robots.txt про служебные страницы ничего нет.
06 Июля 2016, 22:19:42
Ответ #3
  • Новичок
  • *
  • Сообщений: 23
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Подскажите пожалуйста.
Что за модуль для индексации?
07 Июля 2016, 09:55:58
Ответ #4
  • Модератор
  • Ветеран
  • *****
  • Сообщений: 85943
  • Репутация: +25399/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Нет никакго модуля для индексации. Индексация сайта это функция поискового бота.
07 Июля 2016, 13:32:08
Ответ #5
  • Фрилансер
  • *
  • Сообщений: 140
  • Репутация: +0/-0
  • Веб-Разработчик (Новичок)
    • Просмотр профиля
    • MoscovLady
Страницы закрывают в robots.txt. Если они не включены в карту сайта, но них есть ссылки на других страницах, робот их проиндексирует.
В вашем robots.txt про служебные страницы ничего нет.
А как тогда их закрыть от индексации?
Начинающий веб-разработчик
07 Июля 2016, 13:37:11
Ответ #6
  • Новичок
  • *
  • Сообщений: 23
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Нет никакго модуля для индексации. Индексация сайта это функция поискового бота.
А то, что на втором скриншоте?
07 Июля 2016, 13:50:26
Ответ #7
  • Ветеран
  • *****
  • Сообщений: 1190
  • Репутация: +28/-1
  • Сообщество PrestaShop
    • Просмотр профиля
07 Июля 2016, 13:52:03
Ответ #8
  • Фрилансер
  • *
  • Сообщений: 140
  • Репутация: +0/-0
  • Веб-Разработчик (Новичок)
    • Просмотр профиля
    • MoscovLady
Ребята может нужно вот это удалить в robots txt?? (Подробнее на скриншоте)

Зачем мне индексирование модулей js и css?

И нужно ли удалять сверху тест от модуля Prestashop?
Начинающий веб-разработчик
07 Июля 2016, 13:56:29
Ответ #9
  • Партнер
  • Фрилансер
  • ****
  • Сообщений: 223
  • Репутация: +10/-0
  • SEO оптимизация сайтов, интенет-магазинов.
    • Просмотр профиля
Комментарии удалять не обязательно. Вот такой должен быть robots.txt
http://prestashop-forum.ru/index.php/topic,3021.msg16084.html#msg16084
Меняться может из-за установленных модулей.
Поисковая оптимизация, SEO  оптимизация сайтов, интенет-магазинов.  Работа на результат –  вывод в топ, увеличение посещяемости и увеличение продаж.
07 Июля 2016, 13:58:32
Ответ #10
  • Партнер
  • Фрилансер
  • ****
  • Сообщений: 223
  • Репутация: +10/-0
  • SEO оптимизация сайтов, интенет-магазинов.
    • Просмотр профиля
Страницы закрывают в robots.txt. Если они не включены в карту сайта, но них есть ссылки на других страницах, робот их проиндексирует.
В вашем robots.txt про служебные страницы ничего нет.
А как тогда их закрыть от индексации?
Служебные страницы должны индекстроваться.
Eсли хотите закрыть, до добавьте в robots.txt
Disallow: /*controller=cms
Поисковая оптимизация, SEO  оптимизация сайтов, интенет-магазинов.  Работа на результат –  вывод в топ, увеличение посещяемости и увеличение продаж.
07 Июля 2016, 14:07:04
Ответ #11
  • Фрилансер
  • *
  • Сообщений: 140
  • Репутация: +0/-0
  • Веб-Разработчик (Новичок)
    • Просмотр профиля
    • MoscovLady
Комментарии удалять не обязательно. Вот такой должен быть robots.txt
http://prestashop-forum.ru/index.php/topic,3021.msg16084.html#msg16084
Меняться может из-за установленных модулей.
Спасибо вам за совет, посмотрел пример robots.txt Adika и поправил некоторые пункты, можете сказать нормально ли теперь мой robots.txt?

User-agent: *
# Private pages
Disallow: /*?orderby=
Disallow: /*?orderway=
Disallow: /*?tag=
Disallow: /*?id_currency=
Disallow: /*?search_query=
Disallow: /*?back=
Disallow: /*?n=
Disallow: /*&orderby=
Disallow: /*&orderway=
Disallow: /*&tag=
Disallow: /*&id_currency=
Disallow: /*&search_query=
Disallow: /*&back=
Disallow: /*&n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
Disallow: */modules/
Disallow: */translations/
Disallow: */tools/
# Files
Disallow: /*password-recovery
Disallow: /*address
Disallow: /*addresses
Disallow: /*login
Disallow: /*cart
Disallow: /*discount
Disallow: /*order-history
Disallow: /*identity
Disallow: /*my-account
Disallow: /*order-follow
Disallow: /*credit-slip
Disallow: /*order
Disallow: /*search
Disallow: /*quick-order
Disallow: /*guest-tracking
Disallow: /*order-confirmation

Host: moscovlady.ru
Sitemap: http://moscovlady.ru/1_index_sitemap.xml
Начинающий веб-разработчик
07 Июля 2016, 14:13:30
Ответ #12
  • Новичок
  • *
  • Сообщений: 23
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
07 Июля 2016, 15:05:34
Ответ #13
  • Фрилансер
  • *
  • Сообщений: 140
  • Репутация: +0/-0
  • Веб-Разработчик (Новичок)
    • Просмотр профиля
    • MoscovLady
Я так и не получил ответ на вопрос нужно ли удалить эти 2 строки из robots.txt ? Несут ли они какой нибудь смысл ? И посмотрите пожалуйста мой robots.txt все ли нормально?
Начинающий веб-разработчик
07 Июля 2016, 15:53:49
Ответ #14
  • Ветеран
  • *****
  • Сообщений: 2156
  • Репутация: +49/-4
  • Сообщество PrestaShop
    • Просмотр профиля
Нельзя, в гугль веб мастере же написано, что нужно дать доступ к стилям и js.