Автор Тема: Почему яндекс индексирует служебные страницы?  (Прочитано 957 раз)

07 Июль 2016, 17:06:15
Ответ #15
  • Фрилансер
  • *
  • Сообщений: 160
  • Репутация: +0/-0
  • Веб-Разработчик (Новичок)
    • Просмотр профиля
    • MoscovLady
User-agent: *
# Private pages
Disallow: /*?orderby=
Disallow: /*?orderway=
Disallow: /*?tag=
Disallow: /*?id_currency=
Disallow: /*?search_query=
Disallow: /*?back=
Disallow: /*?n=
Disallow: /*&orderby=
Disallow: /*&orderway=
Disallow: /*&tag=
Disallow: /*&id_currency=
Disallow: /*&search_query=
Disallow: /*&back=
Disallow: /*&n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
Disallow: */modules/
Disallow: */translations/
Disallow: */tools/
# Files
Disallow: /*password-recovery
Disallow: /*address
Disallow: /*addresses
Disallow: /*login
Disallow: /*cart
Disallow: /*discount
Disallow: /*order-history
Disallow: /*identity
Disallow: /*my-account
Disallow: /*order-follow
Disallow: /*credit-slip
Disallow: /*order
Disallow: /*search
Disallow: /*quick-order
Disallow: /*guest-tracking
Disallow: /*order-confirmation

Host: moscovlady.ru
Sitemap: http://moscovlady.ru/1_index_sitemap.xml

вот такой Robots txt нормально? Все ли правильно?
Начинающий веб-разработчик
07 Июль 2016, 17:19:15
Ответ #16
  • Ветеран
  • *****
  • Сообщений: 3419
  • Репутация: +79/-6
  • Сообщество PrestaShop
    • Просмотр профиля
Нельзя, в гугль веб мастере же написано, что нужно дать доступ к стилям и js.
зайди в инстументы веб масте на гугль или яндекс и проверь. Там есть проверка robots.txt. Тебе и покажет ошибку, что нужно разрешить доступ к css и js.
07 Июль 2016, 17:37:10
Ответ #17
  • Фрилансер
  • *
  • Сообщений: 160
  • Репутация: +0/-0
  • Веб-Разработчик (Новичок)
    • Просмотр профиля
    • MoscovLady
Нельзя, в гугль веб мастере же написано, что нужно дать доступ к стилям и js.
зайди в инстументы веб масте на гугль или яндекс и проверь. Там есть проверка robots.txt. Тебе и покажет ошибку, что нужно разрешить доступ к css и js.
Спасибо большое, забыл в код добавить обновленый код своего robots.txt

User-agent: *
# Allow Directives
Allow: */modules/*.css
Allow: */modules/*.js
# Private pages
Disallow: /*?orderby=
Disallow: /*?orderway=
Disallow: /*?tag=
Disallow: /*?id_currency=
Disallow: /*?search_query=
Disallow: /*?back=
Disallow: /*?n=
Disallow: /*&orderby=
Disallow: /*&orderway=
Disallow: /*&tag=
Disallow: /*&id_currency=
Disallow: /*&search_query=
Disallow: /*&back=
Disallow: /*&n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
Disallow: */modules/
Disallow: */translations/
Disallow: */tools/
# Files
Disallow: /*password-recovery
Disallow: /*address
Disallow: /*addresses
Disallow: /*login
Disallow: /*cart
Disallow: /*discount
Disallow: /*order-history
Disallow: /*identity
Disallow: /*my-account
Disallow: /*order-follow
Disallow: /*credit-slip
Disallow: /*order
Disallow: /*search
Disallow: /*quick-order
Disallow: /*guest-tracking
Disallow: /*order-confirmation

Host: moscovlady.ru
Sitemap: http://moscovlady.ru/1_index_sitemap.xml

Я думаю такой robots.txt нормален, если есть какие нибудь замечания прошу добавить, спасибо!
Начинающий веб-разработчик
07 Июль 2016, 18:18:42
Ответ #18
  • Ветеран
  • *****
  • Сообщений: 3419
  • Репутация: +79/-6
  • Сообщество PrestaShop
    • Просмотр профиля
Ты его в веб.мастере проверял?
Ошибок вроде нет, но все равнго проверь.
07 Июль 2016, 23:33:18
Ответ #19
  • Фрилансер
  • *
  • Сообщений: 160
  • Репутация: +0/-0
  • Веб-Разработчик (Новичок)
    • Просмотр профиля
    • MoscovLady
Ребята я так и не понял почему яндекс индексирует вот эти строки? Так и никто не написал про это..
Начинающий веб-разработчик
08 Июль 2016, 11:09:27
Ответ #20
  • Ветеран
  • *****
  • Сообщений: 16667
  • Репутация: +14630/-5
  • Сообщество PrestaShop
    • Просмотр профиля
После изменения robots.txt нужно ждать пару недель, чтобы сайт переиндексировали.
27 Июль 2016, 22:28:14
Ответ #21
  • Фрилансер
  • *
  • Сообщений: 160
  • Репутация: +0/-0
  • Веб-Разработчик (Новичок)
    • Просмотр профиля
    • MoscovLady
После изменения robots.txt нужно ждать пару недель, чтобы сайт переиндексировали.

Проблема все еще активна((

Прошло почти 1 месяц и никаких изменений.. Причем самое странное что проблема наблюдается только в Yandex в google все норм индексирует.



Начинающий веб-разработчик
28 Июль 2016, 10:56:52
Ответ #22
  • Ветеран
  • *****
  • Сообщений: 3419
  • Репутация: +79/-6
  • Сообщество PrestaShop
    • Просмотр профиля
Что-то не видно проблем с индексацией.
Есть проблемы со сниппетами описания, но это совсем другой вопрос, robots.txt тут не поможет.
28 Июль 2016, 11:07:41
Ответ #23
  • Фрилансер
  • *
  • Сообщений: 160
  • Репутация: +0/-0
  • Веб-Разработчик (Новичок)
    • Просмотр профиля
    • MoscovLady
Что-то не видно проблем с индексацией.
Есть проблемы со сниппетами описания, но это совсем другой вопрос, robots.txt тут не поможет.

Я не правильно выразился, вы правы тут проблема не с индексацией а проблема со снипетом в yandexe...

Что мне тогда делать? Так как снипеты тоже влияют на Seo.
Начинающий веб-разработчик
28 Июль 2016, 11:08:52
Ответ #24
  • Ветеран
  • *****
  • Сообщений: 3419
  • Репутация: +79/-6
  • Сообщество PrestaShop
    • Просмотр профиля
Микрораметку раставить, в яндексе все написано.
29 Июль 2016, 21:18:23
Ответ #25
  • Фрилансер
  • *
  • Сообщений: 160
  • Репутация: +0/-0
  • Веб-Разработчик (Новичок)
    • Просмотр профиля
    • MoscovLady
Микрораметку раставить, в яндексе все написано.
А если подробнее? Что и где нужно копаться ?
Начинающий веб-разработчик
29 Июль 2016, 22:31:04
Ответ #26
  • Ветеран
  • *****
  • Сообщений: 3419
  • Репутация: +79/-6
  • Сообщество PrestaShop
    • Просмотр профиля
Страницы в поисковике где описание плохое открываешь, смотришь, для списка товаров шаблон product-list.tpl, для карточки - product.tpl.
Эти шаблоны и нужно править. Добавлять теги так как написано в яндексе
https://yandex.ru/support/webmaster/schema-org/what-is-schema-org.xml
30 Июль 2016, 12:08:06
Ответ #27
  • Фрилансер
  • *
  • Сообщений: 160
  • Репутация: +0/-0
  • Веб-Разработчик (Новичок)
    • Просмотр профиля
    • MoscovLady
Страницы в поисковике где описание плохое открываешь, смотришь, для списка товаров шаблон product-list.tpl, для карточки - product.tpl.
Эти шаблоны и нужно править. Добавлять теги так как написано в яндексе
https://yandex.ru/support/webmaster/schema-org/what-is-schema-org.xml
Огромное вам спасибо! Очень сильно помогли.
Начинающий веб-разработчик