Автор Тема: Подскажите по файлу robots.txt  (Прочитано 261 раз)

18 Октябрь 2021, 08:50:50
  • Фрилансер
  • *
  • Сообщений: 142
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Всем доброго времени суток!

Подскажите что не так с файлом robots.txt не могу залить карту сайта в google search console, при проверки сайта сторонними программами типа seo spider пишет:

Status   Blocked by robots.txt
HTTP Version   None
Indexability   Non-Indexable
Indexability Status   Blocked by robots.txt

Файл прикрепил.

Заранее благодарю за помощь!
18 Октябрь 2021, 09:37:04
Ответ #1
  • Ветеран
  • *****
  • Сообщений: 1090
  • Репутация: +5/-1
  • Иногда заглядываю
    • Просмотр профиля
    • Помощь патентообладателям по продаже патентов.
Вы не указали версию PS
Попробуйте запустить с таким robots.txt

User-agent: *
# Private pages
Disallow: /*orderby=
Disallow: /*orderway=
Disallow: /*tag=
Disallow: /*id_currency=
Disallow: /*search_query=
Disallow: /*back=
Disallow: /*n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
Disallow: */modules/
Disallow: */translations/
Disallow: */tools/
# Files
Disallow: /*ru/password-recovery
Disallow: /*ru/address
Disallow: /*ru/addresses
Disallow: /*ru/authentication
Disallow: /*ru/cart
Disallow: /*ru/discount
Disallow: /*ru/order-history
Disallow: /*ru/identity
Disallow: /*ru/my-account
Disallow: /*ru/order-follow
Disallow: /*ru/order-slip
Disallow: /*ru/order
Disallow: /*ru/search
Disallow: /*ru/quick-order
Disallow: /*ru/guest-tracking
# Sitemap
Sitemap: https://opticworld.com.ua/1_index_sitemap.xml
Не боги горшки обжигают, не зачем им такой хренью заниматься.
18 Октябрь 2021, 10:14:23
Ответ #2
  • Фрилансер
  • *
  • Сообщений: 142
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Версия 1.6.17 Вроде бы уже разобрался, удалил строку Disallow: /* и Screaming Frog начал проверять.

Вы не указали версию PS
Попробуйте запустить с таким robots.txt

User-agent: *
# Private pages
Disallow: /*orderby=
Disallow: /*orderway=
Disallow: /*tag=
Disallow: /*id_currency=
Disallow: /*search_query=
Disallow: /*back=
Disallow: /*n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
Disallow: */modules/
Disallow: */translations/
Disallow: */tools/
# Files
Disallow: /*ru/password-recovery
Disallow: /*ru/address
Disallow: /*ru/addresses
Disallow: /*ru/authentication
Disallow: /*ru/cart
Disallow: /*ru/discount
Disallow: /*ru/order-history
Disallow: /*ru/identity
Disallow: /*ru/my-account
Disallow: /*ru/order-follow
Disallow: /*ru/order-slip
Disallow: /*ru/order
Disallow: /*ru/search
Disallow: /*ru/quick-order
Disallow: /*ru/guest-tracking
# Sitemap
Sitemap: https://opticworld.com.ua/1_index_sitemap.xml
18 Октябрь 2021, 11:16:51
Ответ #3
  • Ветеран
  • *****
  • Сообщений: 1602
  • Репутация: +31/-1
  • Сообщество PrestaShop
    • Просмотр профиля
Версия 1.6.17 Вроде бы уже разобрался, удалил строку Disallow: /* и Screaming Frog начал проверять.
Disallow: /*Это правило запрещает индексировать сайт.
Кто такое в robots.txt добавил?
Через админку можно сгенерировать robots.txt и весь сайт будет проиндексирован.
18 Октябрь 2021, 13:21:21
Ответ #4
  • Фрилансер
  • *
  • Сообщений: 142
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Это так генерирует через админку, это я сгенерировал сегодня утром, так же screaming frog пишет что заблокирован счётчик liveinternet, не индексируются изображения. В  Google search-console стоит статус Не получено, не понимаю что произошло, раньше всё работало нормально.  Может стоит переустановить модуль Google Sitemap?

Версия 1.6.17 Вроде бы уже разобрался, удалил строку Disallow: /* и Screaming Frog начал проверять.
Disallow: /*Это правило запрещает индексировать сайт.
Кто такое в robots.txt добавил?
Через админку можно сгенерировать robots.txt и весь сайт будет проиндексирован.
18 Октябрь 2021, 20:01:41
Ответ #5
  • Фрилансер
  • *
  • Сообщений: 142
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
В search-console получилось добавить, ещё заметил такую вещь, лого сайта на каждой странице имеет ссылку http, а нужно чтоб было https.

Подскажите как это поправить?
18 Октябрь 2021, 20:54:39
Ответ #6
  • Ветеран
  • *****
  • Сообщений: 1602
  • Репутация: +31/-1
  • Сообщество PrestaShop
    • Просмотр профиля
В файле /themes/ваша тема/header.tpl найдите
<img class="logo img-responsive" src="{$logo_url}исправте на https и адрес лого.
18 Октябрь 2021, 20:58:11
Ответ #7
  • Ветеран
  • *****
  • Сообщений: 1602
  • Репутация: +31/-1
  • Сообщество PrestaShop
    • Просмотр профиля
Это так генерирует через админку, это я сгенерировал сегодня утром, так же screaming frog пишет что заблокирован счётчик liveinternet, не индексируются изображения. В  Google search-console стоит статус Не получено, не понимаю что произошло, раньше всё работало нормально.  Может стоит переустановить модуль Google Sitemap?

Версия 1.6.17 Вроде бы уже разобрался, удалил строку Disallow: /* и Screaming Frog начал проверять.
Disallow: /*Это правило запрещает индексировать сайт.
Кто такое в robots.txt добавил?
Через админку можно сгенерировать robots.txt и весь сайт будет проиндексирован.
Google Sitemap вообще трогать не нужно.
В robots.txt добавьте только ссылку на sitemap.
18 Октябрь 2021, 21:50:45
Ответ #8
  • Фрилансер
  • *
  • Сообщений: 142
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
В файле /themes/ваша тема/header.tpl найдите
<img class="logo img-responsive" src="{$logo_url}исправте на https и адрес лого.

Благодарю за помощь!
18 Октябрь 2021, 21:51:12
Ответ #9
  • Фрилансер
  • *
  • Сообщений: 142
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Это так генерирует через админку, это я сгенерировал сегодня утром, так же screaming frog пишет что заблокирован счётчик liveinternet, не индексируются изображения. В  Google search-console стоит статус Не получено, не понимаю что произошло, раньше всё работало нормально.  Может стоит переустановить модуль Google Sitemap?

Версия 1.6.17 Вроде бы уже разобрался, удалил строку Disallow: /* и Screaming Frog начал проверять.
Disallow: /*Это правило запрещает индексировать сайт.
Кто такое в robots.txt добавил?
Через админку можно сгенерировать robots.txt и весь сайт будет проиндексирован.
Google Sitemap вообще трогать не нужно.
В robots.txt добавьте только ссылку на sitemap.

Спасибо! Так и сделал )
18 Октябрь 2021, 22:08:53
Ответ #10
  • Фрилансер
  • *
  • Сообщений: 142
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
В файле /themes/ваша тема/header.tpl найдите
<img class="logo img-responsive" src="{$logo_url}исправте на https и адрес лого.

Подскажите как правильно прописать? Адрес сайта https://opticworld.com.ua/
19 Октябрь 2021, 11:01:48
Ответ #11
  • Фрилансер
  • *
  • Сообщений: 142
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Поменял в коде на

a href="https://opticworld.com.ua/" title="{$shop_name|escape:'html':'UTF-8'}">
                              
                              
                              <img class="logo img-responsive" src="https://opticworld.com.ua/" alt="{$shop_name|escape:'html':'UTF-8'}"{if $logo_image_width} width="{$logo_image_width}"{/if}{if $logo_image_height} height="{$logo_image_height}"{/if}/>
                           </a>

Всё равно в браузере пишет a href="http://opticworld.com.ua/" title="{$shop_name|escape:'html':'UTF-8'}">
19 Октябрь 2021, 11:46:51
Ответ #12
  • Ветеран
  • *****
  • Сообщений: 16576
  • Репутация: +14628/-5
  • Сообщество PrestaShop
    • Просмотр профиля
Цитировать
src="https://opticworld.com.ua/"
Неправильный адрес логотипа.
Вот такой должен быть src.
src="https://mysite.ru/img/logo.jpg"
19 Октябрь 2021, 12:03:52
Ответ #13
  • Фрилансер
  • *
  • Сообщений: 142
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Цитировать
src="https://opticworld.com.ua/"
Неправильный адрес логотипа.
Вот такой должен быть src.
src="https://mysite.ru/img/logo.jpg"

Понял. Большое спасибо!
20 Октябрь 2021, 08:49:18
Ответ #14
  • Фрилансер
  • *
  • Сообщений: 142
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Поменял в коде на

a href="https://opticworld.com.ua/" title="{$shop_name|escape:'html':'UTF-8'}">

всё равно в браузере показывает http, как исправить не понятно.