Собрать robots. txt в ручную

[dmstarchikov]

Добрый день. Вчера попробовал новую версию сервиса для вебмастеров от Яндекса. В индексации слишком много страниц, которые не существуют. Или к ним нет доступа. Вывод: robots.txt не правильно собран. Возник вопрос: можно ли в ручную собрать данный файл, указав какие ссылки индексировать, а не какие пропускать. Спасибо.

[Миколас]

Скачиваешь файл robots.txt, в инструментах веб мастера смотришь какие страницы запрещены, а к ним нужно разрешить доступ, добавляешь эти страницы в robots.txt и разрешаешь доступ. Закачивешь обратно.
У тебя какой-то неправильный сайт. Почти всегда генерю robots.txt через админку и 100% валидный. Исключение только для модулей типа блога, их приходиться в пучную добавлять.

[dmstarchikov]

А как будет выглядеть запись для страницы, которую нужно добавить в индексацию, можно пример?

[Миколас]

Все что не запрещено, разрешено.
Удали Disallow для страницы и все.

[Adik]

http://prestashop-forum.ru/index.php/topic,3021.msg16084.html#msg16084
С яндексом проблем нет.

[dmstarchikov]

Каким модулем собирали карту сайта? И в той теме не могу открыть png файл.

[Adik]

Модуль Google Site Map. Настройки. что показанны в png файле не обязательны для robots.txt. Можно их менять под свои требования.

[dmstarchikov]

Google site map? Странно ведь на сколько я помню Yandex не взял карту созданную данным модулем, сейчас попробую.

[Adik]

Для яндекса исправлено теги изображения и зеркало сайта. Все остальное стандарное.

[dmstarchikov]

Можно пример исправления?

[Adik]

В функции _getProductLink закоментировал вывод изображений. Год уже прошел с тех изменения, многое поменялось. Сейчас можно ничего не менять.
В справке яндекс написано, что при обработке sitemap все теги, которые не подходят для яндекса, будут игнорироваться, остальные данные будет обрабатыватываться без проблем.
 

[Adik]

Я на форуме выкладывал переделанный модуль под яндекс. Ссылки не могу найти. Если он вам нужен, поищите, может ссылку не удалили.

[dmstarchikov]

Указал Яндексу карту для Google.

[Adik]

Ну и все, Яндекс некоторые теги проигнорирует, гугль проиндексирует. В чем проблема?

[dmstarchikov]

Извиняюсь сразу не понял, что косяк в другом. Но это уже связано с темой сайта,

Пример ниже. Один и тот же товар.

http://ykazatel.ru/1627-kaspersky-%D1%81%D1%82%D0%B0%D1%80%D1%82%D0%BE%D0%B2%D1%8B%D0%B9-certified-media-pack.html?content_only=0

http://ykazatel.ru/1627-kaspersky-%D1%81%D1%82%D0%B0%D1%80%D1%82%D0%BE%D0%B2%D1%8B%D0%B9-certified-media-pack.html?content_only=1

На второй тип адреса Яндекс ругается, что нет оптимизации для мобильных и тэгов. Как грохнуть второй тип страниц. Нужно чтобы он их либо пропускал из обработки, но лучше будет убрать их вовсе.