Чтобы сайт был хорошо виден поисковикам, у него должны быть правильно настроены метаданные — заголовки и описания. Не должно быть запретов на индексацию, проблем с кодировкой и разметкой страницы.
За метаданные отвечают теги <title> и <meta>:
<!doctype html>
<html lang="ru">
<head>
<title>Котята на экспорт</title>
<meta name="description" content="Розовые, золотистые, милые, пушистые и абсолютно ни в чём не повинные">
<!-- ... -->
</head>
<body>...</body>
</html>
Чаще всего в них пишут то же, что и в тегах для соцсетей:
<title>Котята на экспорт</title>
<meta name="description" content="Розовые, золотистые, милые, пушистые и абсолютно ни в чём не повинные">
<meta property="og:title" content="Котята на экспорт">
<meta property="og:description" content="Розовые, золотистые, милые, пушистые и абсолютно ни в чём не повинные">
Это важно не только для доступности, но и для отображения сайта в результатах поиска: если тега <title> нет или он пуст, поисковый робот возьмёт первый <h1>
Не менее важно, чтобы заголовки на странице оставались заголовками, а не абзацами или дивами:
Это важно не только для доступности, но и для отображения сайта в результатах поиска: если тега <title> нет или он пуст, поисковый робот возьмёт первый <h1>
<div class="h1">Котята на экспорт</a>
<p class="h2">Розовые</p>
<h1>Котята на экспорт</h1>
<h2>Розовые</h2>
По умолчанию поисковики просматривают (сканируют, индексируют) все страницы сайта, до которых смогут дотянуться, переходя по ссылкам на сайте. Если представить сайт как лабиринт, то поисковик ходит по нему, пока не найдёт выход или не устанет. Чтобы поисковик точно обошёл весь сайт, ему дают «карту» — специальный файл sitemap.xml, описывающий структуру сайта. Чтобы скрыть что‑то от поисковика, используют специальный файл robots.txt или метатег:
<meta name="robots" content="noindex"><!-- Запретить индексацию поисковиками -->
<meta name="yandex" content="noindex,nofollow"><!-- Запретить Яндексу индексировать страницу и переходить по ссылкам на ней -->
<meta name="google" content="noarchive"><!-- Запретить Гуглу показывать ссылку на кешированную версию страницы -->
Метатег с noindex не спрячет страницу. Если страница закрыта от индексации, она всё равно остаётся в интернете, любой может открыть её, зная адрес. Кроме того, чтобы правило noindex сработало, файл robots.txt не должен блокировать доступ к странице. Иначе поисковый робот не сможет открыть страницу и увидеть noindex. В результате страница по‑прежнему будет появляться в результатах поиска, например, если на неё ссылаются другие сайты.
Чтобы исключить проблемы с кодировкой, всегда используйте UTF‑8 и указывайте его кодировкой страницы:
<!doctype html>
<html lang="ru">
<head>
<meta charset="utf-8">
<!-- ... -->
</head>
<body>...</body>
</html>
Что запомнить
Чтобы сайт хорошо был виден поисковикам, используйте метатеги, заголовки и кодировку UTF‑8:
<!doctype html>
<html lang="ru">
<head>
<meta charset="utf-8">
<title>Котята на экспорт</title>
<meta name="description" content="Розовые, золотистые, милые, пушистые и абсолютно ни в чём не повинные">
<meta property="og:title" content="Котята на экспорт">
<meta property="og:description" content="Розовые, золотистые, милые, пушистые и абсолютно ни в чём не повинные">
<meta property="og:image" content="/kittens.jpg" />
</head>
<body>
<h1>Котята на экспорт</h1>
</body>
</html>
P. S. Это был совет о веб‑разработке. Хотите знать всё о коде, тестах, фронтенд‑разработке, цеэсэсе, яваскрипте, рельсах и джейде? Присылайте вопросы.