Автор Тема: Googlebot/2.1 перегрузка хостинга  (Прочитано 662 раз)

11 Январь 2018, 15:49:15
  • Фрилансер
  • *
  • Сообщений: 114
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Здравствуйте с 3 января гугл бот просто адово стал сканить мой сайт, хостер грозится блокировкой. На вирусы проверил, бекап сделал, но походу не поможет всё это.
Что делать?! Такого никогда не было.
В логах имею следующее
66.249.66.25 - - [11/Jan/2018:08:34:47 +0300] "GET /4bnf002e54410042215 HTTP/1.0" 301 20 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.92 - - [11/Jan/2018:09:01:44 +0300] "GET /22altmond68f787bff-r-6sl55 HTTP/1.0" 404 18313 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.23 - - [11/Jan/2018:15:27:36 +0300] "GET /5cuniclass5cd4d69mos-1592835 HTTP/1.0" 301 20 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.90 - - [11/Jan/2018:15:27:37 +0300] "GET /5cuniclass5cd4d69mos-1592835 HTTP/1.0" 301 20 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.79 - - [11/Jan/2018:15:27:38 +0300] "GET /5cuniclass5cd4d69mos-1592835 HTTP/1.0" 404 17762 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Правда был недавно взлом, но я откатился.
Что это за ссылки
/4bnf002e54410042215
/5cuniclass5cd4d69mos-1592835
и т.д. они совершенно разного вида, т.е. они генерируются, откуда гуглбот их берет? ip гуголовские.

Добавил сайт в Google Search Console - там та же фигня - пишет типо это у меня на сайте такие ссылки. Но их нет.

Кто что скажет?

11 Январь 2018, 16:01:55
Ответ #1
  • Ветеран
  • *****
  • Сообщений: 33325
  • Репутация: +26771/-0
    • Просмотр профиля
В Google Search Console проверяте видимость сайта как google bot.
Находите такие ссылки и удаляте из индексации.
11 Январь 2018, 16:29:16
Ответ #2
  • Фрилансер
  • *
  • Сообщений: 114
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Статус "переадресован"
HTTP/1.1 301 Moved Permanently
Server: nginx/1.12.2
Date: Mon, 08 Jan 2018 11:54:18 GMT
Content-Type: text/html; charset=utf-8
Content-Length: 0
Connection: keep-alive
X-Powered-By: PHP/7.0.25
Cache-Control: no-cache
Location: https://site.ru/
Vary: Accept-Encoding

Что-то с переадресацией.
11 Январь 2018, 17:15:15
Ответ #3
  • Ветеран
  • *****
  • Сообщений: 22125
  • Репутация: +25303/-1
  • Prestashop - просто и эффективно
    • Просмотр профиля
Не все удалили после взлома. Проверить нужно файлы в корне сайта.
Эксперт Prestashop - решения всех проблем, написание модулей, создание тем для интернет-магазинов под Prestashop.
Эксперт Magento - создам сайт на Magento, программирование кастомных модулей для Magento, кастомизация тем Magento.
Лучшие цены!!!
11 Январь 2018, 17:32:52
Ответ #4
  • Фрилансер
  • *
  • Сообщений: 114
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
11 Январь 2018, 17:34:30
Ответ #5
  • Ветеран
  • *****
  • Сообщений: 33325
  • Репутация: +26771/-0
    • Просмотр профиля
11 Январь 2018, 19:30:43
Ответ #6
  • Фрилансер
  • *
  • Сообщений: 114
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Если гугл эти ссылки находит, значит они где-то есть и их можно как-то найти? Или найти что их генерирует.
11 Январь 2018, 19:35:45
Ответ #7
  • Фрилансер
  • *
  • Сообщений: 114
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Вот ещё заметил в логах странное
66.249.64.155 - - [31/Dec/2017:02:33:41 +0300] "GET /sitemap_1_3224.xml HTTP/1.0" 200 850617
куча запросов с различным sitemap_1_3224.xml sitemap_1_3376.xml sitemap_1_3473.xml и т.д.

Что это значит?
11 Январь 2018, 20:19:18
Ответ #8
  • Ветеран
  • *****
  • Сообщений: 1614
  • Репутация: +32/-1
  • Сообщество PrestaShop
    • Просмотр профиля
Какой-то скрипт генерит файлы ссылок. Сео работы не заказывали? Некоторые так сайты продвигают.
12 Январь 2018, 03:02:49
Ответ #9
  • Фрилансер
  • *
  • Сообщений: 114
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Какой-то скрипт генерит файлы ссылок. Сео работы не заказывали? Некоторые так сайты продвигают.
Нет, seo продвижение не заказывал, seo модулей не устанавливал. Что искать в файлах сайта, как найти этот скрипт?

А может быть - что бы какой-то сторонний ресурс отправляет гуглу такие ссылки и их генерирует? Или это было бы отображено в Search Console
12 Январь 2018, 09:41:47
Ответ #10
  • Фрилансер
  • *
  • Сообщений: 114
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
В логах есть следующее:
5.9.117.98 - - [12/Jan/2018:08:54:59 +0300] "POST /optipic.io/index.php?secretkey=FirrGFwU3RhQM7j_AJc15GG11hALEnx4AsvUZmJaui49GMpkTBnV04mvC103-ZUnX-8AYNLsXnjtnKMavoeUjDyyCil6SSZF9srTQ1E2H1QPEYtuDWJLFsPLTbozoayj4U2AE6QM2gCk0oOB04_f9_kOutwO5QLHos4sh5oEURGdFS8ngJB1paKUjf74i371uFaXdTZoXRKtcJfdh12VFitsllvYT8xh72XJftGqj6W6_erOsKcOfxi42xVV3xA&cmd=docompress&rand=ksBakgE13ElJX7MhVCSgXNvJ0kzI7NWz HTTP/1.0" 404 18315 "https://c.ru/" "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36" c.ru

что это может быть?
12 Январь 2018, 10:47:54
Ответ #11
  • Фрилансер
  • *
  • Сообщений: 114
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Если в гугле вбить в поиск одну из ссылок, то получаем такую картину. Как выявить этот sitemap и почему он используется, а не оригинальный файл?
12 Январь 2018, 11:31:12
Ответ #12
  • Ветеран
  • *****
  • Сообщений: 16670
  • Репутация: +14630/-5
  • Сообщество PrestaShop
    • Просмотр профиля
У вас графику сжимает сторонний сервер. Модуль для улучшения скорости сайта устанавливали?
12 Январь 2018, 11:40:43
Ответ #13
  • Фрилансер
  • *
  • Сообщений: 114
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
Как-то давно что-то подобное ставил, но вроде удалил его.
12 Январь 2018, 11:41:06
Ответ #14
  • Фрилансер
  • *
  • Сообщений: 114
  • Репутация: +0/-0
  • Сообщество PrestaShop
    • Просмотр профиля
А что с этими ссылками делать?