Как добавить сайт в индекс Google и Яндекс?

Эта статья написана экспертом, а не копирайтером по заказу так что мы разберем основательно все аспекты индексирования сайта и покажем как сделать так чтоб поисковые системы быстро, качественно и в полной мере проиндексировали все страницы сайта.И не просто проиндексировали, а и начали показывать высоко в результатах поиска.

Быстрый ответ на вопрос

Никто не любит когда в статье приходится долго искать ответ так что быстрый ответ даем сразу, но настоятельно рекомендуем изучить сейчас либо сохранить на будущее остальную статью.Как сделать так чтоб поисковые системы узнали про сайт:

Оставить ссылки на страницы сайта где-то на популярных сайтах
Разместить ссылки в индексируемой части социальных сетей
Добавить сайт в Google Search Console, добавить sitemap.xml и запросить индексацию
Добавить сайт в Яндекс Вебмастер, добавить sitemap.xml и запросить переобход страниц

Это были краткие быстрые ответы, теперь разберемся с вопросом нормально.

Готов ли сайт к индексации?

Если сайт еще не готов к индексации — его индексировать не нужно, нужно сначала доработать. Как определить, что сайт готов? Вот критерии:

Созданы и оформлены полезные страницы
Контент на сайте уникален, полезен
Сайт корректно работает со всех устройств
На сайте отсутствуют мусорные страницы
Удалены все рыба-тексты и демо-тексты

Хороший способ проверить готов ли сайт к индексу это зайти в админ-панель и посмотреть разделы со страницами, поискать что-то явно лишнее. И зайти на сайт, посмотреть все его страницы.

Проверить возможна ли индексация

У сайта есть несколько мест, где может быть запрещена индексация:

Файл robots.txt
Метатег noindex

Посмотреть файл robots.txt можно по адресу https://promov.one/robots.txt только заменить домен promov.one на Ваш сайт.

Правила Disallow: запрещают к индексации страницу или раздел. Например, строка:

Disallow: /

Запрещает к индексу весь сайт. То же самое делают строки:

Disallow: #

Disallow: *

Disallow:

Метатег noindex часто можно встретить на WordPress если вот тут индексация запрещена:

Если Вы не знаете как понять запрещает robots.txt либо метатег noindex индексацию или нет — не проблема, далее покажем как это проверить автоматически.

Добавление сайта в Google Search Console

Лучший способ обеспечить полную индексацию поисковой системой Google это добавить сайт в инструменты для вебмастеров, ранее название было Google веб-мастер, сейчас стало Search Console.

Переходим по ссылке https://search.google.com/search-console
Добавляем сайт
Подтверждаем через метатег или файл или запись в DNS
Отправляем страницу в индекс

Подробнее о процессе добавления сайта в консоль поиска мы писали в другой статье и у нас есть статья с полной инструкцией по Google Search Console, а сейчас рассмотрим что делать после регистрации для индексации.Просто вставляем сюда адрес и нажимаем Энтер:

После этого увидим такую страницу, нажимаем кнопку справа:

Ждем пока пройдет проверка:

И после этого видим страницу:

Где мы видим, что URL is available to Google то есть адрес страницы доступен для Google. Значит ничего не запрещено ни в robots.txt ни в метатегах noindex. Нажимаем кнопку запросить индексацию и после этого страница будет отправлена в базу Google.Как можно заметить, это заняло много времени и вручную это делать для всех страниц — очень неблагодарное дело. Потому стоит отправить в поиск карту сайта. Для этого понадобится создать xml карту сайта, о чем расскажем в другой статье.Вообще инструменты для вебмастеров гугла доступны и на русском языке, но всегда лучше использовать англоязычную версию если есть знание языка так как перевод не всегда сделан качественно и русские названия пунктов могут сбивать с толку.И стоит добавить карту сайта в Гугл вебмастер. Заходим сюда и добавляем адрес своей карты сайта в формате XML:

После этого поисковая система узнает про адреса всех страниц и сможет их проиндексировать.

Добавление сайта в Яндекс Вебмастер

Инструмент находится по адресу https://webmaster.yandex.ru/ для его использования нужно завести почтовый ящик и аккаунт на Яндексе. Рекомендуем это сделать, инструмент очень полезный.После этого добавляем сайт, проходим процедуру подтверждения владения и видим такое окно: