Автор Тема: Собрать robots. txt в ручную  (Прочитано 193 раз)

18 Апреля 2016, 12:02:44
  • Старожил
  • ****
  • Сообщений: 256
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Добрый день. Вчера попробовал новую версию сервиса для вебмастеров от Яндекса. В индексации слишком много страниц, которые не существуют. Или к ним нет доступа. Вывод: robots.txt не правильно собран. Возник вопрос: можно ли в ручную собрать данный файл, указав какие ссылки индексировать, а не какие пропускать. Спасибо.
18 Апреля 2016, 12:37:39
Ответ #1
  • Ветеран
  • *****
  • Сообщений: 2158
  • Репутация: +49/-4
  • Сообщество PrestaShop
    • Просмотр профиля
Скачиваешь файл robots.txt, в инструментах веб мастера смотришь какие страницы запрещены, а к ним нужно разрешить доступ, добавляешь эти страницы в robots.txt и разрешаешь доступ. Закачивешь обратно.
У тебя какой-то неправильный сайт. Почти всегда генерю robots.txt через админку и 100% валидный. Исключение только для модулей типа блога, их приходиться в пучную добавлять.
18 Апреля 2016, 12:40:45
Ответ #2
  • Старожил
  • ****
  • Сообщений: 256
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
А как будет выглядеть запись для страницы, которую нужно добавить в индексацию, можно пример?
18 Апреля 2016, 12:49:51
Ответ #3
  • Ветеран
  • *****
  • Сообщений: 2158
  • Репутация: +49/-4
  • Сообщество PrestaShop
    • Просмотр профиля
Все что не запрещено, разрешено.
Удали Disallow для страницы и все.
18 Апреля 2016, 12:51:13
Ответ #4
  • Ветеран
  • *****
  • Сообщений: 13126
  • Репутация: +14553/-0
  • Сообщество PrestaShop
    • Просмотр профиля
18 Апреля 2016, 13:16:38
Ответ #5
  • Старожил
  • ****
  • Сообщений: 256
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Каким модулем собирали карту сайта? И в той теме не могу открыть png файл.
18 Апреля 2016, 13:20:53
Ответ #6
  • Ветеран
  • *****
  • Сообщений: 13126
  • Репутация: +14553/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Модуль Google Site Map. Настройки. что показанны в png файле не обязательны для robots.txt. Можно их менять под свои требования.
18 Апреля 2016, 13:23:43
Ответ #7
  • Старожил
  • ****
  • Сообщений: 256
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Google site map? Странно ведь на сколько я помню Yandex не взял карту созданную данным модулем, сейчас попробую.
18 Апреля 2016, 13:27:19
Ответ #8
  • Ветеран
  • *****
  • Сообщений: 13126
  • Репутация: +14553/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Для яндекса исправлено теги изображения и зеркало сайта. Все остальное стандарное.
18 Апреля 2016, 13:29:12
Ответ #9
  • Старожил
  • ****
  • Сообщений: 256
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Можно пример исправления?
18 Апреля 2016, 13:38:46
Ответ #10
  • Ветеран
  • *****
  • Сообщений: 13126
  • Репутация: +14553/-0
  • Сообщество PrestaShop
    • Просмотр профиля
В функции _getProductLink закоментировал вывод изображений. Год уже прошел с тех изменения, многое поменялось. Сейчас можно ничего не менять.
В справке яндекс написано, что при обработке sitemap все теги, которые не подходят для яндекса, будут игнорироваться, остальные данные будет обрабатыватываться без проблем.
 
18 Апреля 2016, 13:42:44
Ответ #11
  • Ветеран
  • *****
  • Сообщений: 13126
  • Репутация: +14553/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Я на форуме выкладывал переделанный модуль под яндекс. Ссылки не могу найти. Если он вам нужен, поищите, может ссылку не удалили.
18 Апреля 2016, 13:52:22
Ответ #12
  • Старожил
  • ****
  • Сообщений: 256
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Указал Яндексу карту для Google.
18 Апреля 2016, 13:54:51
Ответ #13
  • Ветеран
  • *****
  • Сообщений: 13126
  • Репутация: +14553/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Ну и все, Яндекс некоторые теги проигнорирует, гугль проиндексирует. В чем проблема?
18 Апреля 2016, 15:37:21
Ответ #14
  • Старожил
  • ****
  • Сообщений: 256
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Извиняюсь сразу не понял, что косяк в другом. Но это уже связано с темой сайта,

Пример ниже. Один и тот же товар.

http://ykazatel.ru/1627-kaspersky-%D1%81%D1%82%D0%B0%D1%80%D1%82%D0%BE%D0%B2%D1%8B%D0%B9-certified-media-pack.html?content_only=0

http://ykazatel.ru/1627-kaspersky-%D1%81%D1%82%D0%B0%D1%80%D1%82%D0%BE%D0%B2%D1%8B%D0%B9-certified-media-pack.html?content_only=1

На второй тип адреса Яндекс ругается, что нет оптимизации для мобильных и тэгов. Как грохнуть второй тип страниц. Нужно чтобы он их либо пропускал из обработки, но лучше будет убрать их вовсе.