Добавить сайт в поисковые системы
После того как домен для сайта был приобретён, сайт был развернут, нужно добавить сайт (зарегистрировать) в поисковые системы на индексацию. Добавлять будем в основные поисковые системы: Google, Яндекс, Bing. Добавление происходит через средства управления сайтами в поисковых системах. Так же через эти средства можно смотреть статистику поиска, клики, переходы, настраивать различные параметры отображения сайта в поиске, получать уведомления об ошибках индексации и доступности сайта.
1. В какие поисковые системы нужно добавить сайт?
В каждой поисковой системе своя панель управления сайтом. Предварительно нужно иметь учетную запись этих сервисов или создать недостающие учетные записи.
Список популярных поисковых систем и ссылки на них:
- Google Search Console
- Яндекс Вебмастер
- Bing Webmaster Tools (Поиск от Microsoft)
Рекомендую настроенный корректно на сайте файл sitemap.xml (файл с картой сайта)
2. Google поиск
2.1. Добавляем сайт в google
Заходим в Google Search Console и нажимаем Добавить ресурс [https://search.google.com/search-console/welcome]
Есть два способа добавления сайта:
- Добавить домен [notby.net] и все его поддомены [*.notby.net] сразу. (Подтверждение только через DNS запись у регистратора домена).
- Добавить только один домен [notby.net]. (Самый быстрый и простой вариант).
Если сайт доступен по адресам: www.notby.net и notby.net не нужно выбирать первый вариант. Сайт должен иметь только один основной каноничный адрес (например notby.net), а все другие адреса (www.notby.net) должны перманентно перенаправлять (301 Moved Permanently) на основной адрес.
Указываем адрес сайта с протоколом (в моем случае это https://notby.net) и нажимаем ПРОДОЛЖИТЬ
Теперь необходимо подтвердить права собственности на сайт, самое простое это скачать предлагаемый файл и закинуть его в корень сайта.
Скачиваем файл, закидываем его в корневую папку сайта (там где файл index.php/index.html) и нажимаем ПОДТВЕРДИТЬ
Права успешно подтверждены, нажимаем ПЕРЕЙТИ К РЕСУРСУ
2.2. Сообщаем в Google об sitemap.xml
Выбираем справа в меню Файлы Sitemap и указываем имя sitemap-файла (в моем случае это sitemap.xml) и нажимаем ОТПРАВИТЬ
Получаем сообщение: Google будет периодически обрабатывать его и учитывать вносимые изменения. Вы будете получать оповещения обо всех выявленных проблемах.
У меня файл обработался прям сразу и отобразился. Сайт добавлен в поиск Google.
3. Яндекс поиск
3.1. Добавляем сайт в Яндекс
Заходим в Яндекс Вебмастер и нажимаем + (рядом с полем “Выбрать сайт”) [https://webmaster.yandex.ru/sites/add]
Указываем адрес сайта с протоколом (в моем случае это https://notby.net) и нажимаем Добавить
Проверка права на сайт проходит через файл в корне сайта (создаем необходимый файл или скачиваем его, следуем рекомендациям яндекса).
После размещения файла в корне сайта нажимаем Проверить
Если все корректно, то происходит перенаправление на страницу управления правами доступа к сайту.
3.2. Сообщаем в Яндекс об sitemap.xml
Выбираем справа в меню Индексирование > Файлы Sitemap и указываем путь до sitemap-файла (в моем случае это https://notby.net/sitemap.xml) и нажимаем Добавить
Файл поставлен в очередь на обработку и последующее его использование для обхода сайта поисковым роботом.
3.3. Проверка файлов sitemap
Яндекс Вебмастер располагает инструментом Анализатор файлов Sitemap для проверки валидности sitemap-файлов.
Есть три варианта проверки sitemap-файла:
- скопировать содержимое файла в текстовое поле,
- указать URL-путь до файла,
- загрузить сам файл.
Например, указываем путь до sitemap-файла и нажимаем Проверить
Если файл sitemap прошел проверку, получим в отчете: Ошибок не найдено. Если будут какие-либо ошибки, анализатор укажет них и подскажет как их исправить.
4. Bing поиск (Microsoft)
4.1. Добавляем сайт в bing
Заходим в Bing Webmaster Tools и нажимаем Добавить сайт (рядом с полем “Выбрать сайт”) [https://www.bing.com/webmasters/]
Есть два способа добавить веб-сайт:
- Импортировать сайт из Google Search Console. Нажимаем Импорт, предоставляем bing доступ к своей панели google и все. (самый просто способ)
- Указываем адрес сайта с протоколом (в моем случае это https://notby.net) и нажимаем Добавить (рассмотрим этот вариант)
Почему-то произошла ошибка при добавлении и вывело сообщение: “Это может быть кратковременной проблемой. Попробуйте еще раз или проверьте позже”. Сайт при этом добавился в список сайтов.
Открываем список сайтов, кликаем на сайт и открывается окно проверки права на сайт. Скачиваем файл BingSiteAuth.xml, закидываем его в корневую папку сайта и нажимаем Проверить
Если все корректно, получаем сообщение "Поздравляем! Сайт успешно добавлен" и нажимаем Готово
4.2. Сообщаем в bing об sitemap.xml
Выбираем справа в меню Карты веб-сайтов. На открывшейся странице нажимаем Отправить карту веб-сайта, указываем путь до sitemap-файла (в моем случае это https://notby.net/sitemap.xml) и нажимаем Отправить
Файл sitemap успешно добавлен, осталось дождатся его загрузки поисковым роботом.
Перейдя на главную страницу панели управления сайтом Bing, выводится сообщение: Похоже, вы используете Cloudflare! Включите IndexNow для мгновенной индексации в поисковых системах
Да, у меня используется Cloudflare. Но что такое IndexNow и как его включить, вкратце разберемся в следующим разделе этой статьи.
5. IndexNow
Инструмент IndexNow представляет собой API интерфейс уведомления поисковых систем об изменениях на страницах сайта. Уведомление отправляются в поисковую систему по GET-запросу с адресом страницы или POST-запросу со списком (до 10000 за один запрос) страниц сайта.
На текущий момент поддерживается следующими поисковыми системами: Microsoft Bing, Yandex, Seznam.cz
К многим CMS есть модули и расширения для включения IndexNow. Если сайт работает за Cloudflare, то достаточно в настройках Cloudflare включить параметр Crawler Hints и данные об новых и обновленных страницах будут передаватся автоматически.
5.1. Включаем IndexNow в Cloudflare
Выбираем сайт в Cloudflare, справа в меню переходим Caching > Configuration и находим параметр Crawler Hints. Включаем его.
Теперь Cloudflare будет передавать данные об добавлениях, обновлениях, изменениях на сайте точно в Microsoft Bing (Они же сами предложили включить), сам IndexNow (api.indexnow.org) и возможно Yandex (но надо понаблюдать).
6. Результат
В статье рассмотрели как добавлять сайт в поисковые системы, уведомлять их о файлах sitemap. Теперь осталось просто ждать пока сайт начнет появлятся в поиске. Примерно где-то занимает около месяца, бывает дольше.
Необходимо следить за уведомлениями в панель управления поисковых систем об ошибках, пожеланиях и рекомендациях, оптимизациях, удобству на мобильных устройства. Следим что бы сайт и его страницы были доступны для индексации поисковыми системами.