Автор Тема: mail.ru не видит robots.txt  (Прочитано 1141 раз)

31 Октябрь 2016, 13:22:54
  • Старожил
  • ****
  • Сообщений: 357
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Добрый день. 30 сентября добавил сайт http://интеллект-технологии.рф/ в поисковую систему mail.ru. Сайт почти месяц висел на "Робот уже в пути". Написал в техподдержку, они что поправили вроде как. Но фиг вам, в индексации 0 страниц, так как поисковая система не видит robots.txt. Как будто его вовсе нет. Другие поисковые системы все видят, другой сайт mail.ru видит без проблем. В robots.txt все правила общие. Если в ручную отправить robots.txt, то его отправка бесконечна.
31 Октябрь 2016, 13:26:16
Ответ #1
  • Ветеран
  • *****
  • Сообщений: 1807
  • Репутация: +49/-1
  • Сообщество PrestaShop
    • Просмотр профиля
Это что-то с mail.ru, а не с вашим файлом robots.txt. Другие поисковики его же видят.
31 Октябрь 2016, 13:29:14
Ответ #2
  • Старожил
  • ****
  • Сообщений: 357
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
mail.ru вообще берет руссицированные сайты? индексирует их?
02 Ноябрь 2016, 18:22:25
Ответ #3
  • Старожил
  • ****
  • Сообщений: 357
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
После Host в robots.txt mail.ru видел битую кодировку, взял пересохранил файл в другой кодировке, стал нормально видеть адрес главного зеркала, но все равно не отправляет файл.
02 Ноябрь 2016, 18:26:42
Ответ #4
  • Ветеран
  • *****
  • Сообщений: 1807
  • Репутация: +49/-1
  • Сообщество PrestaShop
    • Просмотр профиля
В кабинете вебмастера Mail.ru зайдите в раздел проверки файла robots.txt и проверьте валидность вашего файла.
02 Ноябрь 2016, 18:39:04
Ответ #5
  • Старожил
  • ****
  • Сообщений: 357
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
http://интеллект-технологии.рф/robots.txt

0 ошибок
02 Ноябрь 2016, 18:43:40
Ответ #6
  • Ветеран
  • *****
  • Сообщений: 1807
  • Репутация: +49/-1
  • Сообщество PrestaShop
    • Просмотр профиля
У вас проблемы с кодировкой файла, она должна быть utf-8.
Для Prestashop нужно использовать кодировку UTF-8 без BOM.
 
При проверке 2 Ошибки в конце файла.
02 Ноябрь 2016, 18:48:17
Ответ #7
  • Старожил
  • ****
  • Сообщений: 357
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Так она как раз и используется. Через Notepad++ смотрю.
02 Ноябрь 2016, 18:50:32
Ответ #8
  • Партнер
  • Ветеран
  • ****
  • Сообщений: 22816
  • Репутация: +17143/-1
  • Разработка веб-сайтов и веб-программирование
    • Просмотр профиля
Хостинг в порядок приведите.
Кодировка robots.txt  определяется исключительно по HTTP-заголовкам сервера. Ваш сервер определяет в заголовке кодировку  как windows-1251.

Кириллический домен в host и sitemap прописывают в punycode.
Интернет-магазин под ключ.
Какой выбрать движок для интернет магазина ?
Какой движок лучше ?
Magento или Prestashop ?
Решение всех Ваших вопросов в создании Интернет-магазина.
02 Ноябрь 2016, 18:52:01
Ответ #9
  • Старожил
  • ****
  • Сообщений: 357
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Это о чем речь? Можно подробней? С нужной кодировкой бьет дерективы host и sitemap. Потер их и robots.txt увидел и mail.ru. Получается нужно либо ставить кодировку windows-1251 файлу либо лезть в настройки хостинга + punycode. Как я понял punycode будет: http://xn----ftbeabofaniaeshpb1dfb5d.xn--p1ai/

Верно?
02 Ноябрь 2016, 18:56:17
Ответ #10
  • Партнер
  • Ветеран
  • ****
  • Сообщений: 22816
  • Репутация: +17143/-1
  • Разработка веб-сайтов и веб-программирование
    • Просмотр профиля
Цитировать
Кириллические URL
Кириллические доменные имена и адреса страниц индексируются нашим роботом наравне с остальными, но есть ряд случаев, когда необходимо использовать их в cконвертированном виде, так как этого могут требовать определенные стандарты:
Использование кириллицы запрещено в файлах robots.txt и http-заголовках сервера.
Для указания имен доменов используется Punycode. Адреса страниц записываются в кодировке, соответствующей кодировке текущей структуры сайта.
Интернет-магазин под ключ.
Какой выбрать движок для интернет магазина ?
Какой движок лучше ?
Magento или Prestashop ?
Решение всех Ваших вопросов в создании Интернет-магазина.
02 Ноябрь 2016, 19:01:45
Ответ #11
  • Старожил
  • ****
  • Сообщений: 357
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Посмотрите сообщение выше, отредактировал.
02 Ноябрь 2016, 19:10:55
Ответ #12
  • Ветеран
  • *****
  • Сообщений: 3419
  • Репутация: +79/-6
  • Сообщество PrestaShop
    • Просмотр профиля
03 Ноябрь 2016, 09:27:44
Ответ #13
  • Старожил
  • ****
  • Сообщений: 357
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Вот теперь после того, как заменил адрес, все работает. Спасибо за помощь.
11 Ноябрь 2016, 11:58:48
Ответ #14
  • Старожил
  • ****
  • Сообщений: 357
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Прошла индексация сайта...... Но блин mail.ru вовсе не индексирует сайт. Количество страниц в индексации 0, google 400 страниц взял без проблем, яндекс взял 96 страниц. Везде использую одну карту сайта: yandex sitemap.