Автор Тема: ошибка сканирования tag/tag.js?site=  (Прочитано 612 раз)

25 Август 2016, 13:35:35
  • Пользователь
  • **
  • Сообщений: 57
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Добрый день. Помогите разобраться. Яндекс отлично индексирует сайт и новые товары, ни каких ошибок не выдает, а вот google не проиндексировал ни одной страницы, кроме главной. Сначало вылезла ошибка
1. Заблокированные ресурсы :  http://sweethous.ru > /themes/default-bootstrap/js/tools/treeManagement.js

Из файла robots.txt удалила блокировку /tools/ (хотя яндекс вполне устраивает и ошибок не выдает)

2. При сканировании есть ошибка, выскакивает вот такой URL: http://sweethous.ru/tag/tag.js?site=

Естественно страница не найдена.

Как исправить эти ошибки? Может ли быть причина отказа индексирования в этом? или возможно отсутствие заполненных описаний (сайт новый пока только товар загружаю, работаю на нем около месяца, может чуть больше http://sweethous.ru/).


25 Август 2016, 13:42:05
Ответ #1
  • Ветеран
  • *****
  • Сообщений: 1807
  • Репутация: +49/-1
  • Сообщество PrestaShop
    • Просмотр профиля
Открыть для индексирования нужно css и js, тогда робот гугль будет индекстировать сайт.
25 Август 2016, 14:07:30
Ответ #2
  • Пользователь
  • **
  • Сообщений: 57
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Посмотрите пожалуйста все ли верно? Что именно нужно убрать?

# robots.txt automaticaly generated by PrestaShop e-commerce open-source solution
# http://www.prestashop.com - http://www.prestashop.com/forums
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/robotstxt.html
User-agent: Yandex
Disallow: /*?orderby=
Disallow: /*?orderway=
Disallow: /*?tag=
Disallow: /*?id_currency=
Disallow: /*?search_query=
Disallow: /*?back=
Disallow: /*?n=
Disallow: /*&orderby=
Disallow: /*&orderway=
Disallow: /*&tag=
Disallow: /*&id_currency=
Disallow: /*&search_query=
Disallow: /*&back=
Disallow: /*&n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
Disallow: */modules/
Disallow: */translations/
# Files
Disallow: /*ru/password-recovery
Disallow: /*ru/address
Disallow: /*ru/addresses
Disallow: /*ru/authentication
Disallow: /*ru/cart
Disallow: /*ru/discount
Disallow: /*ru/order-history
Disallow: /*ru/identity
Disallow: /*ru/my-account
Disallow: /*ru/order-follow
Disallow: /*ru/order-slip
Disallow: /*ru/order
Disallow: /*ru/search
Disallow: /*ru/quick-order
Disallow: /*ru/guest-tracking
Host: http://sweethous.ru

User-agent: *
# Private pages
Disallow: /*?orderby=
Disallow: /*?orderway=
Disallow: /*?tag=
Disallow: /*?id_currency=
Disallow: /*?search_query=
Disallow: /*?back=
Disallow: /*?n=
Disallow: /*&orderby=
Disallow: /*&orderway=
Disallow: /*&tag=
Disallow: /*&id_currency=
Disallow: /*&search_query=
Disallow: /*&back=
Disallow: /*&n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
Disallow: */modules/
Disallow: */translations/
# Files
Disallow: /*ru/password-recovery
Disallow: /*ru/address
Disallow: /*ru/addresses
Disallow: /*ru/authentication
Disallow: /*ru/cart
Disallow: /*ru/discount
Disallow: /*ru/order-history
Disallow: /*ru/identity
Disallow: /*ru/my-account
Disallow: /*ru/order-follow
Disallow: /*ru/order-slip
Disallow: /*ru/order
Disallow: /*ru/search
Disallow: /*ru/quick-order
Disallow: /*ru/guest-tracking
# Sitemap
Sitemap: http://sweethous.ru/1_ru_0_sitemap.xml
25 Август 2016, 18:54:01
Ответ #3
  • Модератор
  • Ветеран
  • *****
  • Сообщений: 86688
  • Репутация: +25428/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Открыть для индексирования нужно css и js, тогда робот гугль будет индекстировать сайт.
User-agent: *
# Allow Directives
Allow: */modules/*.css
Allow: */modules/*.js
Для разрешения доступа к слилям и js в модулях.
Добавить после
Disallow: */modules/
25 Август 2016, 19:22:38
Ответ #4
  • Пользователь
  • **
  • Сообщений: 57
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
30 Август 2016, 13:47:02
Ответ #5
  • Пользователь
  • **
  • Сообщений: 57
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Добрый день! После того, как добавила

Цитировать
User-agent: *
# Allow Directives
Allow: */modules/*.css
Allow: */modules/*.js
Для разрешения доступа к слилям и js в модулях.
Добавить после
Код: [Выделить]
Disallow: */modules/

в яндексе появилось много исключенных страниц. Ссылки вот такие

/cart?add=1&id_product=129&token=ef8291cea0686e88adcdf41b6011ab96

Вопрос. Что это за ссылки? и может ли за исключение этих страниц отвечать Allow: */modules/*.js


Сейчас robots.txt такой

# robots.txt automaticaly generated by PrestaShop e-commerce open-source solution
# http://www.prestashop.com - http://www.prestashop.com/forums
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/robotstxt.html
User-agent: Yandex
Disallow: /*?orderby=
Disallow: /*?orderway=
Disallow: /*?tag=
Disallow: /*?id_currency=
Disallow: /*?search_query=
Disallow: /*?back=
Disallow: /*?n=
Disallow: /*&orderby=
Disallow: /*&orderway=
Disallow: /*&tag=
Disallow: /*&id_currency=
Disallow: /*&search_query=
Disallow: /*&back=
Disallow: /*&n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
Disallow: */modules/
Disallow: */translations/
# Allow Directives
Allow: */modules/*.css
Allow: */modules/*.js
# Files
Disallow: /*ru/password-recovery
Disallow: /*ru/address
Disallow: /*ru/addresses
Disallow: /*ru/authentication
Disallow: /*ru/cart
Disallow: /*ru/discount
Disallow: /*ru/order-history
Disallow: /*ru/identity
Disallow: /*ru/my-account
Disallow: /*ru/order-follow
Disallow: /*ru/order-slip
Disallow: /*ru/order
Disallow: /*ru/search
Disallow: /*ru/quick-order
Disallow: /*ru/guest-tracking
Host: http://sweethous.ru

User-agent: *
# Private pages
Disallow: /*?orderby=
Disallow: /*?orderway=
Disallow: /*?tag=
Disallow: /*?id_currency=
Disallow: /*?search_query=
Disallow: /*?back=
Disallow: /*?n=
Disallow: /*&orderby=
Disallow: /*&orderway=
Disallow: /*&tag=
Disallow: /*&id_currency=
Disallow: /*&search_query=
Disallow: /*&back=
Disallow: /*&n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
Disallow: */modules/
Disallow: */translations/
# Allow Directives
Allow: */modules/*.css
Allow: */modules/*.js
# Files
Disallow: /*ru/password-recovery
Disallow: /*ru/address
Disallow: /*ru/addresses
Disallow: /*ru/authentication
Disallow: /*ru/cart
Disallow: /*ru/discount
Disallow: /*ru/order-history
Disallow: /*ru/identity
Disallow: /*ru/my-account
Disallow: /*ru/order-follow
Disallow: /*ru/order-slip
Disallow: /*ru/order
Disallow: /*ru/search
Disallow: /*ru/quick-order
Disallow: /*ru/guest-tracking
# Sitemap
Sitemap: http://sweethous.ru/1_ru_0_sitemap.xml

Заранее спасибо откликнувшимся.
30 Август 2016, 16:28:21
Ответ #6
  • Ветеран
  • *****
  • Сообщений: 16667
  • Репутация: +14630/-5
  • Сообщество PrestaShop
    • Просмотр профиля
30 Август 2016, 16:32:03
Ответ #7
  • Пользователь
  • **
  • Сообщений: 57
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
а Disallow: /*ru/cart убрать или оставить?

И подскажите, если не сложно, что все таки это за ссылки такие? Может и нужно, чтобы их Яндекс индексировал?
30 Август 2016, 16:43:35
Ответ #8
  • Модератор
  • Ветеран
  • *****
  • Сообщений: 86688
  • Репутация: +25428/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Это ссылки на добавление товаров в корзину в кателоге товаров. Их нужно закрывать, чтобы небыло дублей. Закрывают их в шаблоне product-list.tp. У таких ссылок rel="nofollow".
Смотрите дефолтную тему prestashop 1.6 как там это сделано.
30 Август 2016, 17:17:58
Ответ #9
  • Пользователь
  • **
  • Сообщений: 57
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Вот эта строчка <a class="button ajax_add_to_cart_button btn btn-default" href="{$link->getPageLink('cart', true, NULL, $smarty.capture.default, false)|escape:'html':'UTF-8'}" rel="nofollow" title="{l s='Add to cart'}" data-id-product-attribute="{$product.id_product_attribute|intval}" data-id-product="{$product.id_product|intval}" data-minimal_quantity="{if isset($product.product_attribute_minimal_quantity) && $product.product_attribute_minimal_quantity >= 1}{$product.product_attribute_minimal_quantity|intval}{else}{$product.minimal_quantity|intval}{/if}">

Цитировать
Их нужно закрывать, чтобы небыло дублей. Закрывают их в шаблоне product-list.tp

Как именно их надо закрывать?
30 Август 2016, 17:54:14
Ответ #10
  • Партнер
  • Ветеран
  • ****
  • Сообщений: 22816
  • Репутация: +17143/-1
  • Разработка веб-сайтов и веб-программирование
    • Просмотр профиля
Интернет-магазин под ключ.
Какой выбрать движок для интернет магазина ?
Какой движок лучше ?
Magento или Prestashop ?
Решение всех Ваших вопросов в создании Интернет-магазина.
30 Август 2016, 18:17:11
Ответ #11
  • Пользователь
  • **
  • Сообщений: 57
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Так он и так закрыт

<a class="button ajax_add_to_cart_button btn btn-default" href="{$link->getPageLink('cart', true, NULL, $smarty.capture.default, false)|escape:'html':'UTF-8'}" rel="nofollow" title="{l s='Add to cart'}" data-id-product-attribute="{$product.id_product_attribute|intval}" data-id-product="{$product.id_product|intval}" data-minimal_quantity="{if isset($product.product_attribute_minimal_quantity) && $product.product_attribute_minimal_quantity >= 1}{$product.product_attribute_minimal_quantity|intval}{else}{$product.minimal_quantity|intval}{/if}">
30 Август 2016, 18:57:30
Ответ #12
  • Ветеран
  • *****
  • Сообщений: 3419
  • Репутация: +79/-6
  • Сообщество PrestaShop
    • Просмотр профиля
В модулях поищи, которые список товаров показывают, в них может быть свой шаблон. В нем тоже нужно nofollow добавить.
30 Август 2016, 20:13:35
Ответ #13
  • Пользователь
  • **
  • Сообщений: 57
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
ясно, спасибо, поищу.