Данный материал посвящен аудиту SEO, позволяющему эффективно искать и устранять любые ошибки оптимизации сайта: как очевидные, так и самые редкие и незаметные. Порой индексация и вообще функционирование любого сайта дают сбой, мешая продвижению. Эта статья поможет вам минимизировать количество таких случаев, предоставив советы по грамотной настройке оптимизации и её анализу.

Содержание статьи:

1. Проверка сайта на присутствие в Поисковых Системах

2. Проверка правильности индексации страниц сайта

3. Проверка сайта на запрещённые типы продвижения

4. Анализ уровня оригинальности контента

5. Проверка ошибок в HTML-коде

6. Анализ качества хостинговых услуг

7. Проверка параметров внутренней оптимизации сайта

8. Сайт глазами Поисковых Систем

9. Региональная зависимость

Проверка сайта на присутствие в Поисковых Системах

Проверить, записан ли ваш сайт в индекс любой поисковой системы – довольно простое дело, в котором вам помогут следующие ссылки (обратите внимание, в каждой ссылке вместо site.ru нужно будет вписать адрес вашего сайта):

• Google - http://www.google.ru/search?q=site:www.site.ru

• Yandex – http://yandex.ru/yandsearch?serverurl=www.site.ru&lr=2

• Rambler – http://nova.rambler.ru/search?sort=0&filter=http://www.site.ru

Если Поисковая Система выдала вам хотя бы 1 результат, беспокоиться об индексации, как таковой, уже не нужно – она есть. Если же результат отрицательный, добавить сайт в индекс Поисковых Систем можно по следующим адресам:

• Google - http://www.google.ru/addurl/

• Yandex – http://webmaster.yandex.ru/addurl.xml

• Rambler – http://robot.rambler.ru/cgi-bin/addsite.cgi

Если при добавлении сайта появляется сообщение о том, что это запрещено – знайте: данный домен, скорее всего, забанен Поисковой Системой.

Проверка правильности индексации страниц сайта

Если первый пункт выполнен успешно и результат положительный, внимательно посмотрите на количество страниц, выдаваемых каждым поисковиком. В случае с новыми сайтами, в индекс редко попадают все страницы. Если же сайт живет уже несколько месяцев, а количество проиндексированных страниц значительно меньше фактического, причинами могут быть:

• Фильтр АГС.

Поисковая Система – Yandex, где количество проиндексированных страниц зачастую бывает значительно меньше реального их числа, если сравнивать с Google, осуществляет политику фильтрации сайтов с помощью специальных фильтров. Даже если ваш сайт и попадет в индекс, то в поисковой выдаче он окажется далеко не на первом месте, и будет представлен всего несколькими страницами;

• Запрет на индексацию некоторых страниц.

Часто является результатом неправильного содержания файла robots.txt, или метатегов <META CONTENT=»NOINDEX,NOFOLLOW»>, запрещающих индексацию;

• Ошибки в коде HTML.

Например, непроставленный тег <!DOCTYPE> или неправильная кодировка;

• Иные факторы внутреннего содержания сайта, либо ошибки несоответствия форматов.

Повторяющийся контент сайта, слишком большое количество внешних ссылок, отсутствие поддержки каких-либо форматов и т.п.

В панели Вебмастера в Yandex можно посмотреть, какие именно страницы вашего сайта не были проиндексированы и по какой причине. Используйте пункт меню «Исключено роботом».

Проверка сайта на запрещённые типы продвижения

Существуют несколько самых распространенных типов продвижения, по причине которых индексация сайта может быть затруднена. Порой, отследить такие вещи очень трудно, даже обладая всем набором функций управления. Вот примеры:

• Скрытый текст, либо вставленный в код таким образом, чтобы обычные пользователи его не видели. Как вариант, это может быть сделано путём использования одного и того же цвета для шрифта и бэкграунда. Такой метод уже давно и успешно отслеживается поисковыми системами и сурово карается. Проверить это можно обычными способами выделения текста: мышкой или с помощью комбинации CTRL+A;

• Клоакинг (англ. cloaking – сокрытие, маскировка). Это метод продвижений, суть которого состоит в разделении страницы на две части: первая, видимая пользователем, представляет собой удобную для чтения, полезную информацию, вторая же настроена таким образом, чтобы её видели только поисковые системы, а её содержание – это всевозможные ключевые слова и т.п. К слову, это не самый легкий метод продвижения в техническом плане. Проверить, применяется ли он на вашем сайте, можно при помощи сравнения КЭША по указанной ниже ссылке, где site.ru замените на ваш домен:

http://hghltd.yandex.net/yandbtm?url=http%3A%2F%2Fwww.site.ru%2F&text=%E2

• Дорвеи, призванные увеличить трафик посетителей с поисковых систем, текст на которых также наполнен большим количеством ключевых слов;

• Свопинг, или swaping, является сменой содержания страниц после достижения сайтов высоких позиций по нужным запросам. Проверить КЭШ на соответствие можно по той же ссылке:

http://hghltd.yandex.net/yandbtm?url=http%3A%2F%2Fwww.site.ru%2F&text=%E2

• Спам из ссылок – один из самых опасных способов повысить популярность. Рост количества внешних ссылок всегда настораживает поисковые системы. По ссылке ниже можно это проверить:

http://www.slavssoft.ru/developer/?page=site_robot

• Редиректы. Их использование оправдано лишь при переносе страниц сайта на другие адреса. Излишнее же использование ведет к попаданию в фильтры поисковых систем.

Анализ уровня оригинальности контента

Фильтр АГС 30 (ранее АГС 17) очень часто применяется к сайтам использующим неоригинальный контент. Очень часто такая ситуация может получиться в результате совершенно невинных действий и элементов сайта, таких как теги, архивные копии сайта, версия для печати, рубрики, метки и проч. Поисковики считают это дублированием контента по причине гиперссылок на основной адрес сайта. Решить проблему повторной индексации нежелательных вам материалов можно добавлением в код страницы метатега <META NAME=»ROBOTS» CONTENT=»NOINDEX «>, либо использую список запретных для индексации страниц в файле robots.txt.

Сайты с неуникальным контентом очень редко попадают в поисковых системах на высокие позиции при ранжировании. Речь даже не идет о копировании чужих материалов, зачастую статья может совпадать на 30 и более процентов по каким-либо популярным словосочетаниям и ключевым запросам с материалами, проиндексированными поисковиками. Проверить это можно очень легко: сегодня существует довольно много программ проверки текста на уникальность. Для русского сегмента это Антиплагиат, Etxt Антиплагиат и Advego Antiplagiat.

Проверка ошибок в HTML-коде

Кроме вышеописанных ситуаций, индексация сайта может быть нарушена в результате банальных ошибок в HTML коде страниц. Для проверки кода можно использовать сервис W3C Validator. Вот самые распространенные ошибки в HTML:

• Отсутствие в коде элемента <!DOCTYPE>. Этот элемент служит для сообщения информации об используемой вами версии HTML, и если его нет, корректность кода нарушается, а это, в свою очередь, ведет к проблема с поисковиком;

• Соответствие кодировки кода указанному значению в метатеге <meta http-equiv=»Content-Type» content=»text/html; charset=кодировка«>. Нужно понимать, что несоответствие кодировок порой кажется поисковым системам клоакингом;

• Не забывайте закрывать тег NOINDEX, ибо это приводит к невозможности индексации.

Анализ качества хостинговых услуг

Во-первых, стоит проверять скорость, с которой страницы вашего сайта загружаются у пользователей. Чем ниже эта скорость, тем хуже относятся к сайту поисковые системы и хуже ранжировка при поисковой выдаче. Если это занимает более 3х секунд, следует задуматься о смене хостинговых услуг. Еще одним недостатком многих хостеров являются различные сбои и перерывы. Логи ошибок хостинга помогут вам определить, насколько рентабелен тот или иной хостинг-провайдер.

Современные сервисы мониторинга сайтов, такие как uptimeinspector.ru и host-tracker.com, позволяют очень оперативно получать информацию о состоянии доступности вашего домена, проводя частую периодическую проверку, что позволит вам быстро решить возникающие проблемы с провайдером хостинговых услуг.

Проверка параметров внутренней оптимизации сайта

Повышения позиций вашего сайта, а также улучшения индексации можно достичь, оптимизируя внутреннее наполнение страниц. Основные правила таковы:

• Тег заголовка H1. Не допускайте вхождение таких заголовков более одного раза на страницу, ибо поисковые системы недолюбливают такие статьи;

• Как уже говорилось ранее, проверяйте контент на количество внешних ссылок, это один из самых негативных факторов, особенно при индексации в Yandex. Если ваши ссылки ведут на страницы, к которым поисковик уже применил санкции, риск повышается в разы. Если уж вы используете подобного рода ссылки, применяйте тег <noindex>внешняя ссылка</noindex> для устранения проблем. Напоминаем еще раз, количество ссылок на сторонние ресурсы, не скрытых от индексации, не должно превышать 5-6, что более всего относится к главной странице сайта. Внешние ссылки, даже если они «скрыты», все равно видны для того же Yandex, однако для «скрытых» правила не столь строгие. Тем не менее, если число всех внешних ссылок превысит 15-16, риск попадания под пресловутый фильтр АГС увеличивается в разы;

• Теги выделения. B, Strong, U и подобные им теги нельзя использовать слишком много, как и H1, по причине аналогичных ответных действий поисковых систем;

• Проверка плотности ключевых слов. Превышение их доли в тексте 10 процентов испортит отношение поисковика;

• Суммарный объем текста на странице. Количество символов должно быть не менее 1000, чтобы перевешивать текст в полях сайдбаров, шапки и футера, иначе поисковик сочтет его за дублированные страницы. Однако, превышать определенный лимит также не стоит: для главной страницы это около 4000 символов, для обычных внутренних страниц – около 2000. Проверить количество знаков сегодня можно даже в самом простом текстовом редакторе.

• Дублирующие ссылки. Обычно – это ссылки внутри сайта, различающиеся только анкорами. К сведенью, поисковик Yandex сканирует и учитывает все ссылки подобного рода, сколько бы их не было, что повышает риск применения санкций, тогда как Google регистрирует всегда только первую такую ссылку.

Сайт глазами Поисковых Систем

Robots.txt – один из ключевых инструментов управления индексацией вашего сайта. Поисковые системы всегда ориентируются на заданные в нем параметры индексирования. Таким образом, то, насколько грамотно будет проиндексирован ваш сайт, какие его разделы не будут проверены поисковиками на предмет нежелательных типов продвижения и т.п., зависит прежде всего от вас. Многие пользуются для этого директивой Dissallow, однако не все применяют её должны образом. Так, например, строка «Disallow: /» полностью запрещает сайт к индексации поисковых систем. Пример хорошо написанного файла robots.txt представлен ниже:

User-agent: Yandex

Disallow: / выбранная вами категория, нежелательная для индексации

Disallow: / еще одна такая категория и т.д для каждой

Host: www.site.ru

User-agent: *

Disallow: / еще одна категория, запрещенная для индексации

Disallow: / еще одна категория, запрещенная для индексации

Sitemap: http://www.site.ru/sitemap.xml

Обозначения:

User-agent: Yandex – указание правил индексации конкретно для поисковика Yandex;

Disallow: / категория – указание категории страниц или отдельной страницы, которую вы не хотели бы добавлять в индекс поисковых систем;

Host: www.site.ru – ссылка на ваш домен, допускается отсутствие www. Эта директива применяется специально для поисковой системы Yandex;

User-agent: * – * означает, что это правила индексации для любого поисковика

Sitemap: http://www.site.ru/sitemap.xml – ссылка на карту вашего сайта, представленную в xml-формате;

Помните, что необходимо вставлять пустые строки перед директивами повторного указания инструкций индексации для поисковых систем, а также sitemap.

Для проверки того, как именно поисковые системы видят ваш сайт, какие ссылки и текст для них доступны, а какие нет, можно пользоваться существующими сервисами, предоставляющими подобные услуги, например saitomer.ru.

Региональная зависимость

Напоследок хотелось бы сказать немного о гео-зависимости. Дело в том, что для разных регионов одной и той же страны ключевые запросы могут существенно различаться. К примеру, вряд ли в Санкт-Петербурге люди будут активно искать сайты по бронированию гостиниц в этом же городе, зато в Московском регионе данный запрос (бронирование гостиниц Санкт-Петербурга) будет весьма актуален.

Более того, поисковые системы делят запросы на гео-зависимые и гео-независимые. Отличие первых в том, что выдача поисковика по такому запросу в разном регионе будет разной. Проверить, является ли любой запрос зависимым от региона можно просто воспользовавшись поиском для разных регионов. Особенно важно это для сайтов, зависимых от подобных запросов, таким ресурсам следует присваивать региональную зависимость.