Автор Тема: robots.txt  (Прочитано 9148 раз)

01 Октябрь 2013, 12:00:57
  • Старожил
  • ****
  • Сообщений: 293
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Хотел предложить создать отдельную тему по этому файлу. Может есть какие-то оптимальные настройки и т.д. А то я если честно, практически ничего в нем не понимаю.
Вот такой файл генерится автоматически
# robots.txt automaticaly generated by PrestaShop e-commerce open-source solution
# http://www.prestashop.com - http://www.prestashop.com/forums
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/wc/robots.html
User-agent: *
# Private pages
Disallow: /*orderby=
Disallow: /*orderway=
Disallow: /*tag=
Disallow: /*id_currency=
Disallow: /*search_query=
Disallow: /*back=
Disallow: /*n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: /*classes/
Disallow: /*config/
Disallow: /*download/
Disallow: /*mails/
Disallow: /*modules/
Disallow: /*translations/
Disallow: /*tools/
# Files
Disallow: /*ru/password-recovery
Disallow: /*ru/address
Disallow: /*ru/aдреса
Disallow: /*ru/authentication
Disallow: /*ru/cart
Disallow: /*ru/discount
Disallow: /*ru/order-history
Disallow: /*ru/identity
Disallow: /*ru/my-account
Disallow: /*ru/order-follow
Disallow: /*ru/order-slip
Disallow: /*ru/order
Disallow: /*ru/search
Disallow: /*ru/quick-order
Disallow: /*ru/guest-tracking

Что значит строчка Disallow: /*controller=header? А то возникает ощущение, что он блочит главную страницу.
Зачем многие приписывают в конце Host: mysite.ru? Что это дает?
01 Октябрь 2013, 12:45:33
Ответ #1
  • Ветеран
  • *****
  • Сообщений: 33068
  • Репутация: +26762/-0
    • Просмотр профиля
Автоматом создается robots.txt, который можно использовать для 90% сайтов. Если нет каких-то собственных классов, контроллеров, модулей, то в нем можно ничего не менять.
Disallow:Запрет доступа. Можно отключить чпу и посмотреть какие ссылки запрещено индексировать.
Disallow: /*controller=header?Не запрещает индексацию главной.
Для того чтобы было понятно, нужно всегда читать справку самого поисковика. А то написать могут многое, только на практике будет больше вреда от таких советов.
Директива Host
01 Октябрь 2013, 13:43:34
Ответ #2
  • Ветеран
  • *****
  • Сообщений: 21019
  • Репутация: +25282/-0
  • Prestashop - просто и эффективно
    • Просмотр профиля
Для роботов нужно разрешить только страницы категорий, товаров, смс. В общем, те на которых есть нужная информация для покупателей. Остальные, такие как этапы оформления, личный кабинет, авторизация, результаты поиска и т.д., запретить.
Эксперт Prestashop - решения всех проблем, написание модулей, создание тем для интернет-магазинов под Prestashop.
Эксперт Magento - создам сайт на Magento, программирование кастомных модулей для Magento, кастомизация тем Magento.
Лучшие цены!!!
01 Октябрь 2013, 17:48:12
Ответ #3
  • Старожил
  • ****
  • Сообщений: 293
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Ну вот в стандартном созданном файле всё это запрещено или есть что еще дописать?
01 Октябрь 2013, 19:40:51
Ответ #4
  • Ветеран
  • *****
  • Сообщений: 33068
  • Репутация: +26762/-0
    • Просмотр профиля
Цитировать
Если нет каких-то собственных классов, контроллеров, модулей, то в нем можно ничего не менять.
Не замещали базовые классы или контроллеры, не создавали свои, тогда ничего не нужно дописывать.
05 Сентябрь 2014, 20:48:41
Ответ #5
  • Фрилансер
  • *
  • Сообщений: 125
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
    • Интернет магазин ювелирных украшений
А как-же быть с тем что просят сделать поисковики такие как google и yandex
Не могу толком объяснить что, потому как не понимаю вообще что там и где писать надо
но что-то типа того 'User-agent: Yandex'  и примерно тоже для google.
Может всё таки что-то написать надо? Например seopult мне недавно отписал...

Базовые рекомендации, выполнение которых положительно повлияет на позиции сайта:

1. Внешние ссылки с сайта
Рекомендуем закрыть от индексации поисковыми роботами, чтобы не передавать вес со
страниц сайта на страницы сторонних ресурсов.

2. Файл robots.txt
Необходимо изменить файл robots.txt нужно указать в нем главное зеркало в директиве
Host для робота Yandex (то есть прописать в правилах для этого робота строчку
Host: web-shopnet.com), а также указать для этого робота отдельно и все другие правила,
которые уже есть.
Интернет магазин ювелирных украшений - http://web-shopnet.com/
06 Сентябрь 2014, 11:36:14
Ответ #6
  • Ветеран
  • *****
  • Сообщений: 1288
  • Репутация: +34/-1
  • Сообщество PrestaShop
    • Просмотр профиля
По robots.txt много информации, а вот про полную оптмизацию нет.
http://prestashop-forum.ru/index.php/topic,2949.msg15655.html#msg15655
http://prestashop-forum.ru/index.php/topic,2185.msg11397.html#msg11397
06 Сентябрь 2014, 13:30:04
Ответ #7
  • Фрилансер
  • *
  • Сообщений: 125
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
    • Интернет магазин ювелирных украшений
Проверил и дописал строчки
# Sitemap
Host: web-shopnet.com
Sitemap: http://web-shopnet.com/sitemap.xml

Но всё таки не нашел ничего на счет 'User-agent: Yandex'  и гугла
Интернет магазин ювелирных украшений - http://web-shopnet.com/
06 Сентябрь 2014, 14:08:26
Ответ #8
  • Партнер
  • Старожил
  • ****
  • Сообщений: 254
  • Репутация: +11/-0
  • SEO оптимизация сайтов, интенет-магазинов.
    • Просмотр профиля
Это директивы разделения правил для разных ботов. Что вам конкретно нужно? У вас разные страницы для google и yandex? Какие стоят задачи, чтобы решать их с помощью разделения правил для посковиков? Файл robots.txt, что генерируется автоматом, подходит для большинства. Если нужно что-то специально под свой сайт, то нужно самому дописать.
Поисковая оптимизация, SEO  оптимизация сайтов, интенет-магазинов.  Работа на результат –  вывод в топ, увеличение посещяемости и увеличение продаж.
06 Сентябрь 2014, 16:13:28
Ответ #9
  • Фрилансер
  • *
  • Сообщений: 125
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
    • Интернет магазин ювелирных украшений
Просто я думал что там должно быть ключевое слово для Yandex и гугла ботов
что бы они индексировали меня но если всё там и так правильно то тогда нечего
не нужно, спасибо за помощь
Интернет магазин ювелирных украшений - http://web-shopnet.com/
06 Сентябрь 2014, 18:05:34
Ответ #10
  • Ветеран
  • *****
  • Сообщений: 14063
  • Репутация: +14569/-2
  • Сообщество PrestaShop
    • Просмотр профиля
Устанавливает в начале файле
User-agent: *правила действительны для всех.
Разделять yandex и google боты не нужно.
13 Октябрь 2014, 13:34:51
Ответ #11
  • Новичок
  • *
  • Сообщений: 7
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Господа, подскажите, пожалуйста, что запрещает к индексации вот эта строка?
Disallow: /*tag=
Есть подозрение, что она запрещает метатеги. Тайтлы и дискрипшн у меня как-то выборочно индексируются и переодически гугль выдает, что описание к странице заблокировано в роботсе.
Примерно такой же вопрос по этой строке
Disallow: /*n=
Тут ваще непонятно, что запрещается и зачем
13 Октябрь 2014, 14:08:55
Ответ #12
  • Партнер
  • Старожил
  • ****
  • Сообщений: 254
  • Репутация: +11/-0
  • SEO оптимизация сайтов, интенет-магазинов.
    • Просмотр профиля
Disallow: /*tag=Запрет страниц поиска по тегам.
Нужно ставить в зависимости от того, как часто меняется товар в магазине, остаются ли старые товары в магазине.
Disallow: /*n=Запрет на индексирование постраничной навигации.
Ставится когда нет различий на странице категорий при пролистовании списка товаров, не менются мета-теги, заголовок и т.д.

Все индивидуально, для одного сайта нужно ставить запреты на индексацию, для другого нет.
Поисковая оптимизация, SEO  оптимизация сайтов, интенет-магазинов.  Работа на результат –  вывод в топ, увеличение посещяемости и увеличение продаж.
13 Октябрь 2014, 14:29:52
Ответ #13
  • Новичок
  • *
  • Сообщений: 7
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Т.е. если у меня в магазине набор товаров постоянен и не меняется, их лучше удалить для лучшей индексации?
13 Октябрь 2014, 14:43:54
Ответ #14
  • Модератор
  • Ветеран
  • *****
  • Сообщений: 885
  • Репутация: +206/-0
    • Просмотр профиля
Т.е. сначала анализ, потом действия. Все правила должны работать вместе. Нельзя одним правилом решить проблемы оптимизации.
Запрет нужен для удаления дублей страниц, что плохо влияет на ранжирование сайта. Но дубли можно удалить и другим способом. А для постраничного просмотра добавить изменние заголовка страницы, мета-описания, мета-заголовка. Тогда у вас будут множество вариантов и страниц проиндексируется больше. Соотвествено можно больше НЧ заиметь и трафик увеличить. 
Все индивидуально, для одного сайта нужно ставить запреты на индексацию, для другого нет.