Автор Тема: Файл robots.txt и индексация google.  (Прочитано 1084 раз)

01 Август 2019, 15:46:42
  • Новичок
  • *
  • Сообщений: 11
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Всем привет. Использую стандартный, генерируемый robots.txt. Версия Prestashop 1.6.1.11. Выглядит он так:

User-agent: *
# Allow Directives
Allow: */modules/*.css
Allow: */modules/*.js
# Private pages
Disallow: /*?orderby=
Disallow: /*?orderway=
Disallow: /*?tag=
Disallow: /*?id_currency=
Disallow: /*?search_query=
Disallow: /*?back=
Disallow: /*?n=
Disallow: /*&orderby=
Disallow: /*&orderway=
Disallow: /*&tag=
Disallow: /*&id_currency=
Disallow: /*&search_query=
Disallow: /*&back=
Disallow: /*&n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
Disallow: */modules/
Disallow: */translations/
Disallow: */tools/
# Files
Disallow: /*password-recovery
Disallow: /*address
Disallow: /*addresses
Disallow: /*authentication
Disallow: /*cart
Disallow: /*discount
Disallow: /*order-history
Disallow: /*identity
Disallow: /*my-account
Disallow: /*order-follow
Disallow: /*order-slip
Disallow: /*order
Disallow: /*search
Disallow: /*quick-order
Disallow: /*guest-tracking

В кэш гугла сайт добавляется без css стилей и js. И в search-console google - все подсвечено зеленым и можно индексировать, но фишка в том, что если нажать на изучить проверенную страницу и посмотреть скриншот, то там страница подгружается без стилей, как и в кэше гугла...

Пробовал прописывать пути доступа к папкам:
Allow: */css/*
Allow: */img/*
Allow: */themes/*

Пробовал даже так:

Allow: */themes/шаблон/css/*
Allow: */themes/шаблон/js/*

и модификации  */themes/шаблон/js и так далее...

Ничего не помогает... :'( Помогите пожалуйста... Кто знает в чем проблема? :'(
02 Август 2019, 11:45:45
Ответ #1
  • Ветеран
  • *****
  • Сообщений: 16670
  • Репутация: +14630/-5
  • Сообщество PrestaShop
    • Просмотр профиля
User-agent: *
# Allow Directives
Allow: */modules/*.css
Allow: */modules/*.js
Allow: */modules/*.png
Allow: */modules/*.jpg
Allow: /js/jquery/*
...
с таким кодом индексирует без проблем
05 Август 2019, 09:43:58
Ответ #2
  • Новичок
  • *
  • Сообщений: 11
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
К сожалению нет... Не работает такой вариант... Можно хоть удалить robots.txt вообще ни как не влияет либо оставить так - User-agent: *
Allow: /  - ни чего не помогает... При этом сайт отображается нормально... Так как и должен... Кстати строчку 777 в classes/Media.php - Tools::deleteFile($dir.DIRECTORY_SEPARATOR.$file); закомментировал... Ни чего не дало... Ни кто не знает в чем дело? :'( :'(
05 Август 2019, 10:44:18
Ответ #3
  • Ветеран
  • *****
  • Сообщений: 1808
  • Репутация: +49/-1
  • Сообщество PrestaShop
    • Просмотр профиля
У вас ККК включено, поэтому может не видеть стили.
14 Август 2019, 17:40:04
Ответ #4
  • Новичок
  • *
  • Сообщений: 11
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Нет ККК не причем... Отключал и включал... Проблема решена... закоментил строку 777 в classes/Media.php - Tools::deleteFile($dir.DIRECTORY_SEPARATOR.$file); и в файле robots.txt  Disallow: */modules/ убрал в # Directories... Сначала не увидел, но потом понял, что страницы в кэш уже попадают со стилями... Короче кэш обновился и страницы в нем уже такие как нужно...  :D Спасибо, что откликнулись на мою проблему... ;)