Да, все верно. Недавно тоже с этой проблемой столкнулось. Помог Google Console. Там где Сканирование > Просмотреть как Googlebot вводишь ссылку и жмешь сканирование и Google сам показывает тебе проблему. В данном случае Проверить robots.txt.
Скрины в помощь =)