Главные причины, по которым Google не индексирует ваш сайт

«Почему мой сайт не проиндексирован?»

Это самая важная функция SEO всех времен. Google должен индексировать ваш сайт, чтобы ваш сайт получал органический трафик от Google. Если ваш сайт не проиндексирован, это очень плохо. Никто не найдет ваш контент органично, потому что он не является частью поискового индекса Google.

Первым шагом к устранению проблемы с индексированием является диагностика проблемы индексирования. Этот список поможет вам сделать именно это.

Я грубо упорядочил этот список от наиболее распространенных до наименее распространенных. Вы можете работать со списком сверху вниз, и вы найдете свою причину и свое лекарство.

1. Ваш сайт индексируется в домене www- или non-www

Технически www является субдоменом. Таким образом, http://example.com - это не то же самое, что http://www.example.com. Убедитесь, что вы добавили оба сайта в свою учетную запись GWT, чтобы убедиться, что они оба проиндексированы. Обязательно укажите предпочитаемый домен, но подтвердите право собственности на оба.

1. Google еще не нашел ваш сайт

Обычно это проблема с новыми сайтами. Дайте ему несколько дней (по крайней мере), но если Google по-прежнему не проиндексировал ваш сайт, убедитесь, что ваша карта сайта загружена и работает правильно. Если вы не создали или не отправили файл Sitemap, это и может быть вашей проблемой. Вы также должны запросить обход Google и выборку вашего сайта. Вот инструкции Google о том, как это сделать:

• На домашней странице Инструменты для веб-мастеров выберите нужный сайт.
• На панели инструментов в разделе «Сканирование» нажмите «Получить» в качестве Google.
• В текстовом поле введите путь к странице, которую вы хотите проверить.
• В раскрывающемся списке выберите «Рабочий стол». (Вы можете выбрать другой тип страницы, но в настоящее время мы принимаем заявки только для нашего индекса веб-поиска.)
• Нажмите «Извлечь». Google получит запрашиваемый вами URL. Может потребоваться до 10 или 15 минут для обновления статуса Fetch.
• После того, как вы увидите Fetch статус «Успешный», нажмите «Отправить в индекс» и выберите одно из следующего:
• Чтобы отправить отдельный URL-адрес в индекс Google, выберите URL-адрес и нажмите «Отправить». Таким образом вы можете отправить до 500 URL-адресов в неделю.
• Чтобы отправить URL-адрес и все связанные с ним страницы, щелкните URL-адрес и все связанные страницы. Вы можете отправить до 10 таких запросов в месяц

1. Сайт или страница заблокированы с помощью файла robots.txt

Другая проблема заключается в том, что ваш разработчик или редактор заблокировали сайт с помощью robots.txt. Это простое решение. Просто удалите запись из файла robots.txt, и ваш сайт снова появится в индексе.

1. У вас нет файла sitemap.xml

На каждом веб-сайте должен быть файл sitemap.xml, который представляет собой простой список инструкций, которые Google должен отслеживать для индексации вашего сайта. Вы можете ознакомиться с политикой Sitemap для Google и создать ее довольно легко.

Если вы испытываете проблемы с индексацией на любой части вашего сайта, я рекомендую вам пересмотреть и повторно отправить файл sitemap.xml.

1. У вас есть ошибки сканирования

В некоторых случаях Google не будет индексировать некоторые страницы вашего сайта, потому что он не может сканировать их. Хотя он и не может их сканировать, он все еще может их видеть.

Чтобы определить эти ошибки сканирования, перейдите в Инструменты Google для веб-мастеров → Выберите свой сайт, → Нажмите «Сканирование» → Нажмите «Ошибки сканирования». Если у вас есть какие-либо ошибки, т. е. неиндексированные страницы, вы увидите их в списке «Топ 1000 страниц с ошибками».

1. У вас много повторяющегося контента

Слишком много дублирующегося контента на сайте может запутать поисковые системы и заставить их отказаться от индексирования вашего сайта. Если несколько URL-адресов на вашем сайте возвращают один и тот же контент, то на вашем сайте возникает проблема с дублирующимся содержимым. Чтобы исправить эту проблему, выберите страницу, которую вы хотите сохранить, 301 и остальное.

Иногда имеет смысл канонизировать страницы, но будьте осторожны. Некоторые сайты сообщили, что проблема с запутанной канонизацией предотвратила индексацию.

1. Вы включили свои настройки конфиденциальности

Если у вас есть сайт WordPress, возможно, вы случайно сохранили настройки конфиденциальности. Откройте «Администратор» → «Настройки» → «Конфиденциальность» для проверки.

1. Сайт заблокирован .htaccess

Ваш файл .htaccess является частью существования вашего сайта на сервере, что позволяет ему быть доступным во всемирной сети. Файл .htaccess написан в Apache. Хотя .htacess удобен и полезен, его можно использовать для блокировки сканеров и предотвращения индексации.

1. Сайт имеет NOINDEX в метатеге

Другой способ сказать «нет» роботам и, следовательно, не иметь никакой индексации, - иметь метаиндексы noindex. Это часто выглядит так:

META NAME = "ROBOTS" CONTENT = "NOINDEX, NOFOLLOW"

Это одна из тех проблем, в которых вы такой: «О, млин, я не могу поверить, что я этого не видел!» Вот о чем Барри Шварц писал об этом в SEO Roundtable:

Черт, я вижу это все время на форумах. Меня вызвали около 500 компаний с проблемами SEO. Я видел не один раз, у них на домашней странице есть тег noindex, вызывающий проблему. Иногда их трудно обнаружить из-за перенаправления, поэтому используйте инструмент проверки заголовка HTTP для проверки перед перенаправлением. Но не упускайте из виду очевидное, сначала проверьте это.

Удалите эту строку кода, и вы вернетесь в индекс за мгновение.

1. У вас проблемы с AJAX / JavaScript

Google индексирует JavaScript и AJAX. Но эти языки не так легко индексируются, как HTML. Таким образом, если вы неправильно настроили страницы AJAX и исполнение JavaScript, Google не будет индексировать страницу.

1. Ваш сайт загружается вечность

Google не нравится, если ваш сайт загружается целую вечность. Если искатель встречает очень долгое время загрузки, он, скорее всего, не проиндексирует сайт.

1. У вас есть время простоя

Если сканеры не могут получить доступ к вашему сайту, они не будут индексировать его. Это достаточно очевидно, но почему это происходит? Проверьте подключение. Если ваш хост имеет частые сбои, возможно, сайт не сканируется. Пора искать новый хост.

1. Вы деиндексированы

Это очень плохо.

Если вы попали под штраф и были удалены из индекса, вы, вероятно, уже знаете об этом. Если у вас есть сайт с теневой историей (о которой вы не знаете), может случиться так, что скрытое наказание предотвращает индексацию.

Если ваш сайт упал с индекса, вам придется очень много работать, чтобы вернуть его.

Индексация является краеугольным камнем хорошего SEO. Если ваш сайт или определенные страницы вашего сайта не индексируются, вам нужно выяснить, почему.