Недавно узнал, что существуют у яндекса и гугла специальные инструменты для веб мастеров, помогающие анализировать структуру сайта, находить ошибки и многое другое.
У яндекса это называется Вебмастер, находится по адресу
http://webmaster.yandex.ru/
Там все просто - добавляете сайт, потом подтверждаете свое право обладания - надо разместить на сайте либо код, либо файл в корне сайта и работаете.
Доступна подробная статистика по ихнему роботу, по продвижению сайта, по ошибкам - в общем полезная вещь.
У гугла все сложнее.
Называется эта вещь "Инструменты Google для веб-мастеров".
Но просто так войти нельзя, надо сначала получить аккаунт на гугле, потом в него войти, и используя "Инструменты Google для веб-мастеров" в строке поиска попадаешь в искомое место.
Прямая ссылка ведет уже на панель для моего аккаунта, так что ее я дать не могу.
Если кто посоветует более простой доступ для этой панели - буду только рад.
Хотя нет, путем нажатия всяческих ссылок сначала было обнаружено описание панели -
https://www.google.com/webmasters/tools/docs/ru/about.html
а с нее уже есть нормальная ссылка на панель для веб-мастеров -
https://www.google.com/webmasters/tools/docs/ru/about.html
Грандиозная вещь, я так думаю будет и дальше обновляться, предлагаю зайти самим и посмотреть, тем более все на русском.
Я с помощью этой панели обнаружил неправильные и неполные мета-теги которые и исправил.
Также есть анализ файла robots.txt.
У гугла тоже надо регистрировать сайт, и выполнять процедуру подтверждения владением как и на яндексе.
После регистрации сайта статистика по сайту появляется после того как робот еще раз зайдет на сайт - обычно это происходит в течении суток.
Кстати чтобы получить статистику и войти в панель, нужно после подтверждения кликнуть мышью на свой сайт.