Техническая сторона сайта имеет большое влияние на эффективное функционирование ресурса, а также на быстроту и качество его продвижения в поисковых системах. Даже одна незначительная, на первый взгляд ошибка, может привести к достаточно серьезным последствиям, вплоть до исключения ресурса их индекса поисковиков. Чтобы этого избежать, проводится технический аудит сайта – комплекс работ, позволяющих определить и устранить программные и технические неполадки сайта.

При техническом SEO анализе исследуется более 100 факторов ранжирования, тесно связанных с технической составляющей сайта. При этом, приведенный ниже список — далеко не полный, так как любой из основных факторов может порождать новые, связанные с ним проблемы и вызвать необходимость рассмотреть собранные данные под другим углом. Например при аудите скорости загрузки сайта необходимо изучить причины низкой скорости (отсутствие кэширования страницы, отсутствие компрессии, загрузка скриптов перед телом HTML страницы, скорость работы хостера, число одновременных процессов выполняемых на хостинге и т.д.) и понять какие рекомендации по совершенствованию можно выдать.

Технический аудит сайта является составной частью общего SEO аудита сайта. Именно с него начинается любой анализ сайта,именно он наиболее востребован при совершенствовании web-проекта.

Технический аудит сайта проводится либо вручную, но чаще с использованием SEO программ, позволяющие увеличить скорость работы в десятки раз. Рекомендую использовать Screaming Frog SEO Spider. На сегодняшний день это наиболее совершенная программа для анализа технического состояния сайта.

Проверка структуры сайта

  • Анализ уровня вложенности страниц
    Уровень вложенности — параметр, равный минимальному количеству кликов от главной страницы сайта. Для успешного продвижения уровень вложенности страниц на сайте должен быть как можно меньше.

Анализ кодов страниц

  • Ресурсы с кодом состояния 4xx
    Ошибки 4хх часто указывают на проблемы на сайте. Например, если у Вас есть битые ссылки на странице, и посетители по ним переходят, то они могут увидеть ошибку 4хх. Важно регулярно отслеживать эти ошибки и находить их причины, так как они могут оказать негативное влияние и понизить авторитетность сайта в глазах посетителей.
  • Ресурсы с кодом состояния 5xx
    Сообщения об ошибках 5хх отправляются, когда сервер обнаружил ошибку или проблему. Важно регулярно отслеживать эти ошибки и находить их причины, так как они могут оказать негативное влияние и понизить авторитетность сайта в глазах поисковых систем.
  • Наличие собственной 404 страницы
    Используйте собственную страницу ошибки 404. Грамотно созданная страница 404 поможет пользователям найти нужную информацию, а также предоставить им другие дополнительные сведения и поможет удержать на вашем сайте. Страница 404 отображается у пользователя, если он запрашивает страницу, которой нет на сайте (например, если она удалена или ее URL введен неправильно). Стандартная страница 404 может выглядеть по-разному в зависимости от поставщика услуг Интернета и обычно не содержит никакой полезной информации, так что пользователи просто покидают этот сайт.
    В идеале, она должна информировать пользователей, что страница, которую они ищут, не существует, и она должна содержать такие элементы как: HTML карта сайта, панель навигации и поле поиска. Но более важно то, что страница 404 должна возвращать код ответа сервера 404. Это может показаться очевидным, но, к сожалению, это редко бывает так.

Анализ дополнительных и управляющих файлов

  • Файл robots.txt
    В файле Robots.txt должно быть указано, какие страницы или разделы сайта следует и не следует индексировать поисковым роботам, а также главное зеркало и расположение sitemap.
    Файл Robots.txt автоматически сканируется роботами тогда, когда они заходят на Ваш сайт. Этот файл должен содержать команды роботам, например, какие страницы сайта нужно или не нужно индексировать. Если Вы хотите закрыть от индексирования какое-то содержимое (например, станицы с личной или дублирующейся информацией), просто используйте соответствующее правило в файле robots.txt. Помните, что команды, содержащиеся в файле robots.txt, являются больше рекомендациями, а не беспрекословными правилами для роботов. Нет никакой гарантии того, что непослушные роботы не станут проверять содержимое, которое Вы запретили.
  • .xml карта сайта (sitemap)
    .xml карта сайта должна содержать все подлежащие индексированию страницы и располагаться в папке, следующей сразу за стартовой страницей в структуре сайта (пример: http://www.site.com/sitemap.xml). Это необходимо для наиболее полного индексирования сайта. .xml карту следует обновлять после каждого добавления новых страниц. Кроме того, карта сайта должна иметь определенный синтаксис. Этот вид карты позволяет Вам также задавать приоритет для каждой страницы, сообщая таким образом поисковикам, какие страницы Вашего сайта следует сканировать чаще остальных (скажем, если они чаще обновляются).
    Наличие карты сайта облегчит работу поисковым роботам по индексации ресурса, но не забудьте подтвердить ее в инструментах для вебмастеров Яндекс и Google. Можно сгенерировать карты для URLs, картинок, видео, новостей и контента мобильной версии сайта.
    Необходимо указывать все изменения для каждого URL, время, когда они были сделаны и важность URLs. Это позволит поисковым роботам просматривать страницы сайта легко и разумно.
  • Фавикон
    Убедитесь, что у вашего сайта есть фавикон, который соответствует бренду. Фавикон – это небольшой значок сайта, который отображается рядом с адресом сайта в результатах поиска и на вкладке браузера. Он позволяет выделить ресурс среди других, повысить узнаваемость бренда.

Анализ индексации

  • Страницы, закрытые от индексирования
    Некоторые страницы Вашего сайта могут быть закрыты от индексирования. Рекомендуется перепроверить файл robots.txt и убедиться в том, что страницы с полезным содержимым индексируются и не запрещены по ошибке.
    Есть несколько способов запретить поисковым роботам индексировать страницу:
    • с помощью robots.txt;
    • с помощью тега Noindex X-Robots;
    • с помощью мета-тега Noindex.
    Каждый из этих пунктов — строка HTML кода, которая говорит, как поисковые роботы должны сканировать конкретные страницы на сайте. В частности, такой тег говорит роботу, что страница запрещена для индексирования, перехода по её ссылкам и/или архивирования содержимого. Поэтому убедитесь, что страницы с уникальным и полезным содержимым доступны для индексирования.
  • Зеркала сайта с www и без www
    Проверьте наличие у сайта зеркала с «www» или без «www» в адресе.
    Обычно веб-сайты доступны с и без «www» в доменном имени. Слияние этих двух версий поможет избежать их индексирования поисковыми системами как двух разных сайтов.
    Хотя индексирование двух версий не является нарушением, назначение одной из них в качестве приоритетной является правилом хорошего тона, от части, потому что это помогает сконцентрировать поисковую ценность ссылок на одну общую версию. Вы можете задать основную версию страниц сайта с www или без www в файле .htaccess.
  • Проблемы с версиями HTTP/HTTPS
    Если HTTP и HTTPS версии вашего сайта не настроены правильно, обе версии могут быть проиндексированы поисковыми системами, что приведет к проблемам с дублирующимся контентом. Чтобы исправить это, рекомендуется установить одну версию (HTTP или HTTPS, в зависимости от содержимого на странице) в качестве приоритетной.
  • Отсутствие дублей главной страницы
    Удостоверьтесь, что одно и то же содержимое главной страницы Вашего сайта не размещается на разных URLs (index.php, index.html, index.htm и т.д.), поскольку поисковые системы будут индексировать каждую страницу и плохо отнесутся к дублированному контенту.

Анализ редиректов

  • Страницы с перенаправлением 302
    Перенаправления 302 являются временными, и по ним не переходит ссылочный вес. Если Вы решили использовать такой вид перенаправления вместо перенаправления 301, поисковики могут продолжить индексировать Ваш старый веб-адрес и игнорировать новый, чтобы избежать дубликатов. Либо они могут разделить ссылочный вес поровну между старой и новой страницами, ухудшив Ваши позиции в выдаче. Поэтому не рекомендуется использовать перенаправление 302, если Вы решили окончательно разместить страницу или сайт по новому адресу. В таком случае лучше использовать перенаправление 301, чтобы сохранить весь ссылочный вес и избежать создания дубликата веб-адреса.
  • Страницы с перенаправлением 301
    Перенаправления 301 являются постоянными и обычно используются для решения проблем с дублирующимся контентом или, чтобы перенаправлять конкретные страницы, которые больше не используются. Использование перенаправлений 301 абсолютно допустимо и является благоприятным для поисковой оптимизации, поскольку перенаправление 301 перенаправляет ссылочный вес старой страницы на новую. Просто убедитесь, что вы перенаправляете свои старые страницы на наиболее подходящие новые.
  • Страницы с мета-тегом Refresh
    Использование мета-тегов Refresh может быть воспринято поисковой системой Google как нарушение её Стандартов Качества, и поэтому не рекомендуется во избежание возникновения проблем с SEO у сайта. По словам одного из представителей Google: «В целом, мы рекомендуем избегать использования перенаправлений с мета-тегом Refresh, т.к. это может сбить с толку пользователей (а также поисковых роботов, которые могут принять такое перенаправление за попытку перенаправить их на другую страницу)… На данный момент это не вызывает проблем со сканированием, индексированием или ранжированием страниц, но все равно лучше убрать такие перенаправления.» Поэтому лучше использовать постоянные перенаправления 301 вместо перенаправлений с мета-тегом Refresh.

Анализ каноничности

  • Страницы с rel=canonical
    В большинстве случаев, дублирование URL-адресов решается применением 301 перенаправления. Но иногда — например, когда один и тот же продукт интернет-магазина отображается в двух разных категориях с разными URL-адресами, и оба должны быть рабочими — Вы можете указать, при помощи тегов rel=»canonical», какая станица должна считаться более приоритетной. Это необходимо корректно прописать в тегестраницы и указать, какую страницу необходимо показывать в выдаче.
  • Страницы с дублирующимся rel=canonical
    Использование двойного элемента rel=canonical на странице связано часто с использованием различных SEO-плагинов, которые по умолчанию добавляют rel=canonical без ведома веб-разработчика. Проверка кода страницы и настройки rel=»canonical» в HTTP ответе сервера может помочь исправить ситуацию.
    Использование нескольких rel=canonical может привести к тому, что все они будут игнорироваться поисковыми системами, в результате сайт получит проблемы с дублирующими страницами.

Анализ mobile-friendly

  • Адаптированность для мобильных устройств
    Фактор mobile-friendly используется поисковой системой Google для ранжирования результатов выдачи для мобильных устройств. Если пользователи вашего сайта используют мобильные устройства, вам необходимо адаптировать страницы сайты, что поможет улучшить позиции в мобильной выдаче.
    Согласно официальной информации от Google, алгоритм адаптированности для мобильных устройств затрагивает мобильные результаты для всех локальных версий и имеет большое значение для позиций в выдаче. Алгоритм анализирует каждую страницу по отдельности: поисковая система не проверяет насколько хорошо ваш сайт оптимизирован для мобильных устройств, проверяется оптимизирована ли страница в целом или нет.
    Данный алгоритм учитывает такие критерии как размер шрифтов, расположение ссылок, удобство чтения контента и другие.

Анализ структуры страниц

  • Страницы с Фреймами
    Фреймы позволяют отображать более одного HTML документа в одном и том же окне браузера. В результате, текст и гиперссылки (наиболее важные сигналы для поисковых систем) кажутся отсутствующими в таких документах. Если Вы используете Фреймы, то поисковым системам не удастся проиндексировать Ваш ценный контент, и они не станут ранжировать Ваш сайт высоко.
  • Ошибки в коде HTML на главной
    Проверка происходит с помощью сервиса валидации разметки W3C. Хотя следование стандартам W3C не является обязательным и не будет иметь прямых последствий для продвижения сайта, ошибки в коде, тем не менее, могут повлиять на индексирование содержимого страницы поисковыми системами. Рекомендуется исправить все ошибки в HTML коде сайта, чтобы избежать возможных проблем с поисковыми роботами.
  • Ошибки и предупреждения в CSS для Главной страницы
    Проверка проводится с помощью сервиса W3C по стандарту Консорциума Всемирной паутины.
    CSS стили используются для управления дизайном и форматом страницы, а также нужны, чтобы отделить разметку структуры страницы от ее внешнего вида для ускорения загрузки. Ошибки в CSS коде не так критичны для поисковых систем, но они могут привести к неправильному отображению содержимого для пользователей, что повлияет на посещаемость и уровень отказов страницы. Поэтому убедитесь, что контент страницы отображается верно во всех необходимых браузерах, включая мобильные версии.
  • Слишком большие страницы
    Естественно, есть прямая зависимость между размером страницы и скорости загрузки, которая, в свою очередь, является одним из многочисленных факторов ранжирования. В основном, тяжелые страницы загружаются дольше. Поэтому общее правило заключается в том, чтобы сохранить ваши страницы размером до 3 МБ. Конечно, это не всегда возможно. Например, если у вас есть веб-сайт электронной коммерции с большим количеством изображений, вы можете сделать страницу и большего объема, но это может существенно повлиять на страницу время загрузки для пользователей с низкой скоростью подключения.
  • Пустые теги заголовков
    Если у страницы нет заголовка или тег заголовка пуст, Google и другие поисковые системы могут взять любой текст с Вашей страницы для отображения её в выдаче. Таким образом, Вы не сможете контролировать, что люди увидят в Google, когда они найдут Вашу страницу.
    Следовательно, каждый раз, когда Вы создаёте страницу, не забывайте создавать значимый заголовок, который был бы привлекательным для пользователей.
  • Повторяющиеся заголовки
    Заголовок страницы часто рассматривается как самый важный её элемент. Это сильный сигнал о релевантности для поисковых систем, потому что заголовок говорит им, о чём в действительности страница. Конечно же важно, чтобы название включало в себя наиболее ценные ключевые слова. Но ещё более важно, чтобы у каждой страницы был уникальный заголовок — таким образом у поисковых систем не будет никаких проблем с определением того, какие из страниц сайта имеют отношение к тому или иному запросу. Страницы с повторяющимися заголовками имеют меньше шансов на высокий ранг. Более того, если на Вашем сайте есть страницы с повторяющимися заголовками, другим страницам также может быть трудно получить высокую оценку.
  • Слишком длинные заголовки
    У каждой страницы должен быть уникальный заголовок, содержащий ключевые слова. В тоже время, Вы должны стараться делать заголовок не слишком длинным. Заголовки длиннее 70 символов могут быть обрезаны поисковиками и выглядеть непривлекательно в поисковой выдаче. Вы стремитесь к тому, чтобы Ваш сайт появлялся на 1-ой странице в выдаче — но если заголовок его окажется сокращённым и неполным, это не даст Вам того количества переходов на сайт, которого Вы заслуживаете.
  • Страницы с коротким title < 10
  • Пустое мета-описание (description)
    Хотя мета-описания напрямую не влияют на ранжирование, они всё равно важны, так как формируют сниппеты, которые видят люди в результатах поисковой выдачи. Таким образом, они должны «продавать» страницу тому, кто её видит в выдаче, и побуждать перейти по ссылке.
    Если мета-описание пустое, то поисковые системы сами решат, что в него вставить.
  • Повторяющиеся мета-описания
    Согласно Мэтту Каттсу, мета-описание должно быть уникальным или его вообще не должно быть. Это лучше, чем показывать одинаковое мета-описание для всех страниц. Вот почему стоит убедиться, что у Ваших наиболее важных станиц — уникальные описания, содержащие ключевые слова.
    Все заголовки и мета-описания должны содержать самые важные ключевые слова. Заголовки не должны быть слишком длинными. Не используйте кавычки. Кратко описывайте содержание страницы. Помните, что от заголовка и описания зависит привлекательность и кликабельность сниппета.
  • Слишком длинное мета-описание
    Хотя мета-описания напрямую не влияют на ранжирование, они всё равно важны, так как формируют сниппеты, которые видят люди в результатах поисковой выдачи. Таким образом, они должны «продавать» страницу тому, кто её искал и побуждать перейти по ссылке. Если мета-описание слишком длинное, то поисковые системы его обрежут и оно может выглядеть непривлекательно для пользователей.
  • Наличие Flash файлов
    Рекомендуем умеренно использовать Flash-файлы при оптимизации своего сайта, а по возможности и вовсе от них отказаться. Поисковые системы корректно считывают текстовую информацию, а вот Flash-контент могут индексировать неправильно. Лучше использовать Flash только для украшения сайта, а для размещения информации и навигации – HTML.
  • Наличие фреймов
    Не используйте фреймы – это устаревшая технология веб строительства.

Анализ ссылочного

  • Внешние ссылки dofollow
    Пожалуйста, просмотрите список исходящих ссылок и убедитесь, что они ведут на качественные и релевантные страницы. Рекомендуется удалять любые ссылки, которые ведут на сайты сомнительного качества, или добавлять к ним атрибут rel= «nofollow».
    Для этого нужно просто дописать атрибут rel= «nofollow» внутрь тега <a>.
    Например: <a href= «example.com» rel= «nofollow»>Пример</a>.
    Простыми словами, ссылками dofollow являются ссылки, у которых нет атрибута rel= «nofollow». Поисковые системы переходят по таким ссылкам, и они участвуют в ранжировании (ссылки могут быть закрыты также с помощью мета тега nofollow).
    Хотя сами по себе исходящие ссылки не приносят вреда, но если на Вашем сайте есть множество внешних ссылок на нерелевантные сайты или страницы низкого качества, то поисковые системы могут решить, что Ваш сайт продает ссылки или участвует в других схемах, в результате чего сайт может попасть под санкции поисковых систем.
  • Битые ссылки на сайте
    Это может затруднить работу пользователей и дать сигнал поисковым системам, что Ваш сайт заброшен. Проверьте эти ссылки и исправьте их.
    Битые исходящие ссылки могут испортить впечатление от Вашего сайта для поисковых систем и пользователей. Если на сайте много битых ссылок, то можно предположить, что его не обновляли в течение какого-то времени. В итоге, позиции сайта могут быть понижены. Хотя 1-2 битые ссылки не вызовут штрафных санкций со стороны Google, старайтесь регулярно проверять свой сайт и исправлять битые ссылки, если таковые имеются. Также убедитесь в том, что число битых ссылок не растёт. Кроме того, пользователи будут Вам благодарны, если Вы не станете показывать ссылки на несуществующие страницы.
  • Страницы с чрезмерным количеством ссылок >100
    Согласно Мэтту Каттсу (бывшему главе команды Google по борьбе с веб-спамом), «…всё-таки есть достаточно причин не использовать, скажем, более 100 ссылок на одной странице: это прежде всего плохо для пользователей. Если вы ставите более 100 ссылок со страницы, это может ошеломить ваших пользователей и привести к плохому опыту нахождения на сайте. Страница может казаться вам хорошей до тех пор, пока вы не посмотрите на неё глазами пользователя и не увидите, как воспринимает её человек, впервые пришедший на ваш сайт.» Хотя представители Google чаще говорят об «опыте посещения сайта», на практике наличие слишком большого кол-ва ссылок со страницы может привести к ухудшению Ваших позиций в выдаче. Итак, правило просто: чем меньше ссылок на странице, тем меньше проблем с позициями в выдаче. Поэтому лучше придерживаться общепринятых наилучших практик и ставить не более 100 исходящих ссылок (внешних или внутренних) с одной страницы.
  • Внутренние ссылки с отсутствующим анкором
  • Внешние ссылки с отсутствующим анкором
  • Внутренние ссылки с rel=nofollow
  • Внешние ссылки с rel=nofollow
  • Внешние ссылки с 4xx ответом
    Избавьтесь от ссылок на неработающие сторонние веб сайты.

Анализ изображений

  • Битые изображения
    Изображение считается битым, если оно возвращает код состояния 4xx или 5xx, или же URL изображения не указан в теге , также, если URL ведет не на изображение, или была зафиксирована ошибка DNS.
    Для решения проблемы убедитесь, что указали правильный URL изображения в HTML коде. Во-вторых, проверьте, чтобы изображение все еще было доступно на сервере и при необходимости восстановите его. Если нет возможности восстановить битое изображение, то просто замените его на какое-либо другое или удалите полностью со страницы.
    Хотя битые изображения на сайте не влияют напрямую на его ранжирование в поисковых системах, тем не менее, их следует исправлять по нескольким причинам. В первую очередь, они влияют на удобство пользования сайтом, поэтому пользователи могут быстрее покидать страницы, так как не будут получать нужную информацию. Во-вторых, битые изображения препятствуют правильному сканированию и индексации сайта, в результате чего поисковые системы могут пропустить и не проиндексировать какой-либо важный контент.
  • Пустой alt текст
    Для всех изображений следует добавить alt текст, который будет описывать само изображение, а также, если возможно, содержать ключевые слова.
    Так как поисковые системы пока не могут считывать текст с изображений, использование специальных атрибутов (alt) помогает указать, что изображено на картинках.
    Лучше всего создать отдельный alt текст для каждого изображения на странице, используя по возможности свои ключевые слова — это поможет поисковым системам правильно определить содержимое страницы и повысить ее в своей выдаче.

Анализ урлов

  • Динамические URL-адреса и ЧПУ
    URL-адреса, содержащие динамические символы вроде «?», «_» и/или параметры, трудны для восприятия, т.к. они неописательны и сложнее запоминаются. Чтобы увеличить шанс Ваших страниц на высокую оценку поисковиков, лучше создавать динамические URL, которые были бы описательными и содержали ключевые слова, а не цифры и/или параметры. В соотвествии с рекомендацией от Google, «Наилучшей практикой является использование переписанных начисто URL-адресов, не содержащих динамических параметров.»

    Написание красивых и понятных URLs очень важно для сайта, так как помогает пользователям и поисковым системам прочитать и понять содержимое страницы. Следует избавиться от непонятных символов в адресах. Все URLs должны быть логичными и легко воспринимаемыми посетителями.
    ЧПУ лучше ранжируются в поисковой выдаче и приятнее выглядят на сайтах и в социальных сетях (если не прятать адрес сайта в анкор). По возможности не используйте нижнее подчеркивание в адресах.

  • Слишком длинные URL-адреса
    URL-адреса короче 115 символов легче читаются пользователями и поисковыми системами, что делает Ваш сайт более удобным в использовании.
  • Завершающий слэш
    Наличие завершающего слэша для ссылок в навигации и перелинковке сайта

Анализ структуры страниц и контента

Анализ скорости загрузки сайта

  • Скорость сайта
    Важно иметь высокую скорость загрузки сайта, так как это влияет на ранжирования ресурса в поисковой выдаче. Низкая скорость способна лишить вас посетителей, а также насторожить поисковых роботов, что, несомненно, негативно отразится на позициях.