Оптимизация сайта под Google на примере реального сайта

Доброго времени суток, уважаемые читатели. Идея данной статьи возникла не случайно, и я хочу сказать пару слов предыстории. Ко мне обратился мой читатель за советом. Дело в том, что его сайт находится под фильтром Google. Например, различные анализаторы показывают 0 (ноль) эффективных страницах сайта, т.е. весь он находится в так называемом Supplemental.
Если покопаться в истории, то словом Supplemental, представители Google называли дополнительные результаты поиска, которые всегда "прятались" за словами:
Чтобы показать наиболее значимые результаты, мы опустили некоторые, очень похожие на ХХ уже показанных.
Если вы хотите, можно повторить поиск, включив опущенные результаты.
Но на самом деле, есть ещё и Supplemental, который обозначает дополнительный индекс.
Т.е. у поисковой системы Google есть несколько индексов (баз). И возможно, их больше двух. И очень похоже на то, что каждый сайт проходит несколько уровней разного индекса Google.

Вполне очевидно, что это непосредственно связано с алгоритмом ранжирования Google. На каждом из уровней сайт проверяется на соответствие требованиям поисковой системы Google. И как мне это представляется, на начальном уровне проверяется структура сайта. Google придает серьезное значение организации сайта.

Если все соответствует норме, сайт переводится в следующий индекс. На следующем этапе может быть что-то другое, например, содержание, есть ли дубликаты статей на других ресурсах.

Потом, пройдя несколько уровней индекса, определяются, например, внешние факторы – внешние ссылки. Итак до тех пор, пока сайт не окажется в основной выдаче, в которой находятся только качественные ресурсы (с точки зрения Google) абсолютно по всем параметрам.

Т.е., подводя итог, чтобы стать качественным ресурсом с точки зрения поисковой системы Google, не достаточно выполнить одно или несколько условий, необходимо, чтобы сайт соответствовал норме сразу по всем параметрам. Иначе не видать поискового трафика.

И вот, посмотрев сайт своего читателя, и возникла идея данной статьи, показать на примере, чего ни в коем случае делать нельзя, и как правильно.

Если кто-то подумает, что я поступаю некорректно по отношению к обратившемуся ко мне человеку, то заверю, что я получила его одобрение на эту статью. И действую полностью с его разрешения.

Сайт находится на CMS Joomla, домен зарегистрирован в конце ноября 2009 года, имеет показатели PR2, тИЦ20.
Итак, перейду к делу.
Очень многие пренебрегают официальными источниками, таким, например, как официальная документация Google. А ведь для оптимизации под Google не надо ничего придумывать, стоит лишь заглянуть на страницу справки Создание сайтов оптимизированных под Google. Эта справка всегда доступна из инструментов для вебмастеров Google. Там рассмотрены все шаги по созданию качественного сайта с точки зрения поисковой системы Google.
Итак, пожалуй стоит начать с того, что у любого сайта должен быть один и только один URL-адрес. Первая ошибка, которую допустил вебмастер, это не указал главный адрес сайта, как он должен отображаться - с www или без.
Вот наглядный пример, я перешла по ссылке на сайт (ссылка была с www):

url-страницы с www
Убираю www, обновляю страницу

url-страницы  без www
Страница открывается по адресу без www. Такая ситуация недопустима. И ее необходимо исправлять. Все возможные адреса домена задаются в настройках DNS, где прописывается, что домен mydomen.ru имеет адреса:

  • mydomen.ru
  • www.mydomen.ru
  • и другие возможные адреса

Также, в инструментах для вебмастеров Google необходимо подтвердить права на управление сайтом по двум адресам. Вот как это у меня:

Подтверждение прав на сайт в Google вебмастер
Затем, необходимо зайти в Конфигурация сайта – Настройки и указать основной URL адрес:

Установка url-адреса домена
К слову, сразу замечу, чтобы указать поисковой системе Яндекс главное зеркало домена, необходимо в файле robots.txt указать директиву Host. Пример записи в robots.txt:

[/crayon]

Более подробную информацию можно получить из справочных материалов Яндекс по этой ссылке.

Возникает вопрос, какой адрес выбрать? Приставка к адресу www возникла ещё в лохматые времена и была обязательна, сейчас же, если домен новый, то лучше сразу указать адрес без www. Никаких практических целей эта приставка не выполняет. Но если сайту уже несколько лет, то необходимо сначала выяснить, какой адрес поисковая система считает главным. Увидеть это можно, если просто ввести в строку поиска домен.

Определение главного зеркала
Итак, видно, какой адрес домена Яндекс считает главным, и именно такой стоит указать в директиве Hosts. Но тут есть подводные камни.

Если на ваш сайт ставили ссылки без www, и эти ссылки с трастовых хороших ресурсов, то, определив главное зеркало с www вы потеряете тот вес, которые передают эти ссылки, поэтому, помимо проделанных действий рекомендуется ещё и склеить домены в файле .htaccess, который находится в папке вашего сайта на сервере хостинга. На этом я останавливаться не буду, т.к. нам ещё многое надо узнать.

Итак, разобравшись с главным зеркалом домена, необходимо настроить CMS, чтобы при публикации страниц, всегда создавался адрес главного зеркала. Например, на сайте моего читателя, часть ссылок в меню имеет адрес с www, а часть без www. Вот наглядный пример:

url-страниц сайта
Это одно меню, в котором есть ссылки без www и с ними. Такого быть не должно. Также из скринов вы можете видеть, какие не читаемые адреса у страниц.

Очень важно, во-первых, иметь человеко-понятные url-адреса (ЧПУ), во-вторых, каждая страница должна иметь один и только один адрес.

Я зашла на сайт по адресу:

http://www.cххххххххх.org/

нажала на ссылку "Главная", отобразился адрес

http://www.cххххххххх.org/index.php?option=com_frontpage&Itemid=47&lang=russian

Я нажала на ссылку русский язык

http://www.cххххххххх.org/index.php?lang=russian

Я нажала на ссылку английский язык

http://www.cххххххххх.org/index.php?lang=english

Я нажала на ссылку "Home"

http://www.cххххххххх.org/index.php?option=com_frontpage&Itemid=47&lang=english

Также, мы уже знаем, что сайт спокойно открывается по адресу

http://cххххххххх.org/

К слову сказать, страницы, которые должны быть на английском, содержат контент на русском. А английский только в пунктах меню. Стоит заметить, что для поисковых систем пункты меню, в общем-то, не имеют никакого значения, и главным является контент.

Стоит ли говорить, что на всех этих страницах я увидела одно и тоже. Содержание этих 6 страниц было совершенно одинаковое.

Итак, как это все исправить.

Первый шаг. Если в базовом пакете CMS нет возможности настроить ЧПУ, необходимо установить специальный плагин. Подобные плагины распространяются в сети бесплатно, и их спокойно можно найти на официальных сайтах, форумах или блогах.

Второй шаг. Создание файла sitemap.xml, в котором прописана каждая страница один единственный раз, и больше не имеет никаких дубликатов. Это также решается с помощью специальных плагинов, если данная возможность не предусмотрена в базовом пакете.

Третий шаг. Я сталкивалась с такой проблемой, что в интернет-магазине никак невозможно было установить один единственный адрес страницы. По структуре интернет-магазина некоторые страницы с товаром находились в разных категориях, и находились по двум разным адресам. В таком случае, необходимо запретить повторяющиеся страницы в файле robots.txt. На настройках самого файла останавливаться сейчас не буду, но полные руководства есть, как у Google, так и у Яндекс.

Также, на сайте некоторые страницы передаются по протоколу https. Если эти страницы повторяют содержание страниц, которые передаются по протоколу http, то необходимо защищенные страницы также закрыть от индексации.

Следующее, на что я хочу обратить внимание вебмастера сайта, это то, что Google настоятельно рекомендует для каждого языка создавать отдельный сайт в той доменной зоне, к которой этот язык относится. Или, как вариант, создать поддомены, например:

  • en.mydomen.ru
  • pl.mydomen.ru

Причем, это сложно даже назвать рекомендацией, это скорее требование. И лучше, если вы будете его соблюдать.

Также, я обратила внимание, что в браузере Google Chrome страницы на болгарском выглядят так:

Кодировка страниц сайта
Примерно также выглядят некоторые страницы и на русском (позже увидела).
Возможные причины:

  • Хостинг работает в другой кодировке, а у сайта четко не прописана кодировка для всех страниц сайта.
  • Вебмастер, который занимается наполнением сайта информацией, не следит за кодировкой статей, и размещает тексты в разных кодировках
  • База MySQL имеет другую кодировку.

В общем, вебмастеру необходимо обратить внимание на то, в какой кодировке сервер отдает сайт в браузер пользователя, в какой кодировке загружается информация, которая находится в базе данных MySQL, и следить за тем, чтобы весь контент страницы был в одной кодировке. Изменения вносятся в:

  • в контент страниц
  • файл .htaccess.
  • в настройки MySQL
В зависимости от ситуации - разные решения проблемы. Смысл всех манипуляций должен сводиться к тому, чтобы везде была одинаковая кодировка, и везде была четко прописана.

В целом, структуру данного сайта я рассмотрела. А главное, рассмотрела именно те моменты, которые очень важны, но не все это исправляют, наивно полагая, что это не влияет на поисковое продвижение.

Это не только влияет на поисковое продвижение, но и вообще препятствует правильному индексированию вашего сайта.

В заключении, хотелось обратить внимание вебмастера ещё на некоторые детали.
Все страницы сайта имеют одинаковый заголовок в title.

Странным для меня было и то, что стили CSS не вынесены в отдельный файл. Да и вообще, верстка ещё табличная. Это уже давно прошлый век. И хоть таких сайтов встречается ещё не мало, я считаю, что стоит перевести сайт в более современную верстку с выносом всего лишнего в отдельные файлы.

Т.к. и таблица и стили влияют на скорость загрузки страницы, а скорость загрузки сайтов является одним из факторов ранжирования.

И ещё очень много пустых страниц:

Пустые страницы на сайте - ЗЛО!
Простите мне мою шутку.
В общем, хочу сказать, над сайтом нужно очень серьезно работать. Тут я рассмотрела самые очевидные и грубые ошибки, на многие мелочи просто уже не хватило сил и времени.

Не могу удержаться и не высказать своего мнения. Обрушу свой гнев на нерадивого вебмастера:).

Нельзя иметь сайт и не заниматься им. Т.е. совершенно очевидна ситуация, что над сайтом не работали вообще. Также ещё раз обращаю внимание на то, что на многие вопросы есть ответ в официальной документации поисковых систем. И прежде, чем обращаться к кому-нибудь за советом, правильным будет ознакомиться хотя бы с азами, чтобы иметь представление о сайтах и поисковых системах, чтобы не краснеть. 

Если вы вдруг подумали, что подобные статьи (анализ чужих ошибок и рекомендации) будут появляться в моем блоге постоянно, то обращаю ваше внимание, что данные услуги обычно стоят денег.  Я вот уже давно мечтаю заработать денег на отдых во Франции, посмотреть Нотердам де Пари, побывать в замках Луары. Но, все может быть, и если у вас будет очень интересный (запущенный) случай, то, почему бы и нет. Посмотрю, и может напишу. Все будет зависеть от конкретной ситуации.
Удачи вам.


Запись опубликована автором в рубрике Как создавать сайты с метками , , .

Оптимизация сайта под Google на примере реального сайта: 45 комментариев

  1. vataga_a

    Очень поучительно, спасибо. Лучше учиться на чужих ошибках, чтобы делать как можно меньше своих.

    Насчет www не совсем понял. Что плохого в том, что адрес открывается без www? И где именно в настройках DNS нужно прописывать возможные адреса домена? Я в своих настройках не нашел. Или все эти моменты были решены, при переходе блога blogspot на персональный домен?

  2. vataga_a

    Теперь вроде понял. То есть должен быть только один домен, либо с www, либо без www. У меня открывается без www, даже если я указываю www )) Значит его и делаю основным в гугл. Снимаю свой вопрос.

  3. Алексей

    Посоветую Вам более тщательно скрывать url домена и тайтл страницы, а также текст на странице, потому что даже по этим крохам легко найти сам сайт. Конечно, в данном случае это мало кому понадобится делать, но я решил Вас предостеречь на всякий случай.

  4. m0nkrus

    А не проще воспользоваться мета-тэгом «link href=’адрес сайта, который вы хотите задать как первичный’ rel=’canonical’» (вместо кавычек треугольные скобки)? Ведь тогда страница с www и без www будут восприниматься поисковым роботом как одна страница, без дублирования.

  5. SEO-Дилетант'ка

    Как вариант это возможно. Однако, это уже моё личное мнение, если бы все было так просто, то в инструментах для вебмастера гугл отключил бы возможность указывать предпочтительный url + сам Google снял бы 301 редирект с адреса без www и открывался по двум адресам + Яндекс все равно не понимает этот тег.
    Ну и последнее, каноникал для поискового робота является всего лишь советом, в отличии от файла robots.txt или ответа сервера, которые дают четкую команду, как индексировать сайт.

  6. m0nkrus

    Согласен, что canonical — » редирект для бедных». Но уж, что есть. К примеру в в инструментах для вебмастера гугл невозможно выставить 301 редирект для доменов третьего уровня. Например, сайт типа moy.piter.ru пролетает. Для него canonical может стать единственно возможным выходом из положения.

    Или, вот, к примеру, блоги… Приятно, что на платформе Blogger разработчики уже позаботились об автоматическом добавлении canonical. А вот большинство других популярных блогерных платформ подкачало.

    А то, что Яндекс этот тэг не индексирует, так это болезнь роста. Этот тэг, если мне память не изменяет, родился в 2009 году. Так что у него все впереди.

  7. SEO-Дилетант'ка

    monkrus, если вы читали статью, то должны были обратить внимание, что обсуждался конкретный сайт на CMS, и перечисление всех возможных вариантов указания адреса — не было темой статьи. Поэтому, ваш комментарий хоть и полезен, но рассуждения не совсем в тему:)

  8. m0nkrus

    Ну, ваша ремарка по поводу неиндексируемости canonical в Яндекс тоже несколько не в тему, поскольку вы сами заявили оную, как «оптимизацию под Google» :-)

    Так что сойдемся на ничье.

  9. m0nkrus

    Почитал. И даже прокомментировал.
    Правда до конца так и не понял, зачем вы меня туда послали. Там много мыслей, применительных к нашему текущему здесь диалогу. Которую из них вы хотели до меня донести, мне не ведомо.

    P.S. Смотрю на свои посты. И складывается ощущение, что я в них вовсю матом ругался. Везде «(Edited by a moderator)»…

  10. m0nkrus

    А вот без оскорблений можно было бы и обойтись!
    Кто-то помнится не так давно говорил, что сильно против, чтоб оскорбляли ее и читателей ее блога. А вы сейчас что делаете, по вашему?!

  11. Semm

    Спасибо за статью, нашел много полезного. Только тема саплементала раскрыта не полностью. Кроме файла роботс не знаю больше способов закрыть дубли контента в рамках сайта. Может вы что-нибудь посоветуете.

  12. SEO-Дилетант'ка

    Я в этой статье не пыталась раскрыть тему саплементала, а то получилось бы слишком много всего:). На самом деле я готовлю отдельную статью про саплементал, а здесь просто было к слову.
    Про дубли — выбор то не богат — robots, редирект да canonical. По крайней мере, я тоже больше ничего не знаю.

  13. Ольга Васильева

    Катя, я вот решила проверить и с ужасом обнаружила, что и у меня открывается с www и без него. Зашла в инструменты, добавила с www, зашла в Конфигурация — Настройки, но у меня почему-то нет возможности выбрать основной домен, то есть слова Основной домен есть и описание этого пункта и фраза «Только домены корневого уровня»……что дальше-то делать? Где эту точечку поставить? А после этого пункта я вообще дальше по статье ничего не поняла. Там что-то относится к блоггеру?

  14. SEO-Дилетант'ка

    Ольга, к сожалению, у блогспотовского домена нет возможности указать, как правильно индексировать, но не смотря на это, домены третьего уровня всегда индексируются без www. Получается, в данном случае ваша приставка hranitelnicaochaga как бы уже «заменяет» эти www. В общем, не мучайтесь этим вопросом:)

  15. Ольга Васильева

    Уф! Спасибо,Катя! Так мне можно удалить тогда этот второй с www из инструментов и оставить как раньше? И ничего страшного, что открывается блог по обоим адресам?

  16. etimen

    Честно говоря читаю пост и понимаю что большей части из вышесказанного не понимаю. Еще у меня закрадывается сомнение по поводу девушка ли это писала, хотя судя по щедрости наверное все же девушка:) Хочется развивать блог без особых капиталовложений, а когда начитаешься, то понимаешь что вряд ли. Хочу прикрутить свой домен к блогу (сейчас стоит переадресация) и теперь не уверен стоит ли? Со своим доменом красивше и солидней что ли. Шо делать?

  17. SEO-Дилетант'ка

    То, что пишет девушка, тут уж как хотите, хотите верьте хотите нет:)
    Что касается капиталовложений, я в свой блог не вложила ни одной копейки вообще. Даже домен мне подарили, а если бы не подарили, стоит он от 100 до 600 рублей.
    Если будете вести свой блог с душой, писать на интересные темы, то он будет развиваться и без денег.
    Что не понимаете из этой статьи — ничего страшного. Многое из того, что в ней написано, требует наличие некой базы знаний. Изучайте другие статьи и все постепенно будет становиться понятней.

  18. SEO-Дилетант'ка

    Ольга, зачем вы вообще туда лезли? Верните все назад, как было и не выдумывайте ничего лишнего. Лучше спросите. Всегда помните, что многое, что актуально для других сайтов, не актуально для блогспот, я же не могу всегда писать только для блогспот, мне интересны разные темы, поэтому, прежде, чем впадать в панику и что-то срочно менять, лучше лишний раз спросите.

  19. Хохол

    Добрый день.
    У меня вопрос, как я понял у большинства шаблонов блогспот стили CSS не вынесены в отдельный файл.
    Как это исправить? … и нужно ли для блогспот

  20. SEO-Дилетант'ка

    Вы правильно поняли, толь не у большинства, а у всех. Исправить можно. Нужен хостинг, на который вы загружаете файл стилей, а в шаблоне блоггера прописываете путь к этому файлу. Нужно ли это делать? В принципе нет, хотя с точки зрения внутренней оптимизации — нужно.

  21. Vlad

    Здравствуйте. Спасибо вам за отличные статьи по раскрутке блогов на blogspot. У меня вопрос. В инструментах вебмастера у меня подтверждены права на мой блог и с www и без. Но так как у меня бесплатный хостинг blogspot, я не могу указать там какой из них главный. Что делать в этом случае? Удалить один из вариантов из интструментов гугла?
    Заранее спасибо!

  22. Vlad

    Спасибо за ответ! А что делать в мастерской вебмастера? Там то получается что 2 блога в одном-)
    -один с www, а другой без. Кстати с www выдаёт больше всяких запросов. Они пишут, что если находят ссылку без www или наоборот с таковой, то это считается как принадлежащая основному блогу. Но они там оба числятся как основные. Может один удалить из вебмастеров? Или так и оставить с обоими адресами?

  23. SEO-Дилетант'ка

    1. Два блога в одном — не бывает. Есть один блог.
    Если честно, никак не могу понять, как у вас получилось два адреса именно в вебмастере? У меня, например, такого нет, только для этого домена, потому что я это делала вручную и для данного домена могу вручную указать, какой домен главный. А у вас то как это получилось? Можете рассказать подробнее?

  24. Vlad

    Когда я создал блог, то добавил его в Гугл с www. А вот недавно защёл в вебмастера и на главной был запрос, что в поиске обнаружен мой блог без www. C просьбой если это мой, то подтвердить права. То есть насколько я понял они индексируют мой блог как с дабл-ю, так и без этого. Так и получилось — в вебмастерах есть один блог, но разным написанием-)

  25. SEO-Дилетант'ка

    Где-то так я себе это и представляла. Т.к. для блогспота вручную задать основной домен невозможно, то теперь ничего не сделаешь. И удаление из вебмастера одного из них, не решит проблемы существования удаленного. Просто не нужно было добавлять с www и все было бы отлично.

  26. Vlad

    Но они также поясняют, что тот, «Другой» адрес со всеми ссылками на него будет перенаправлятся на один из существующих. Так что может не так всё и страшно) Иначе за полтора года блог давно бы слетел с поиска.

  27. SEO-Дилетант'ка

    За два адреса один из них не вылетает из выдачи ни при каких обстоятельствах, просто присутствуют оба. С одной стороны в этом нет ничего плохого, с другой же стороны — это просто затрудняет продвижение по запросам и только.

  28. Vlad

    Только что проверил- сайт по запросу с www не индексируется гуглом вообще — ни одной страницы. Так же прочитал, что для блогов на blogspot при подобных ситуациях гугл сам определяет главный адрес.

  29. SEO-Дилетант'ка

    Тогда что вы мне голову уже несколько дней морочите?
    Ссылку на свой блог не оставили, информацию частями выдаете, а сами даже не проверили индексацию. Я же на ваши слова ориентировалась.
    Вы написали, что у вас у разных адресов разные показатели в вебмастере. А в Яндекс вебмастер добавляли сайт?

  30. Vlad

    Извините, я не собирался вам ничего морочить — я ведь не спец в СЕО и не в курсе чего и как надо проверять сначала. Тем более у вас вроде бы не написано, что перед отправкой комментария необходимо то-то и то-то.
    Нет, в Яндекс не добавлял — у меня англоязычный блог.

  31. SEO-Дилетант'ка

    Про морочить голову я написала в шутку:). Просто, действительно, сложно отвечать на вопросы, когда не представляешь полной картины и не видишь блога о котором говоришь.

  32. Vlad

    Думаю вы правы:) Катя, если вам несложно, вы не могли бы глянуть мой блог на предмет, так сказать, технической оценки? ссылку скидываю-))) http://worldskating.blogspot.com
    Просто у журналистов главное это текстовые редакторы-))) Но вот, пришлось и СЕО хоть немного подтянуть-)

  33. SEO-Дилетант'ка

    Посмотрела, в целом, все нормально. Будет желание заняться, поменяйте теги заголовков. А вот с картинками вы намудрили. Тег < img src=... НЕ является ссылкой вообще, не нужно в него ставить нофоллоу. А вот сама ссылка на изображение - если вы в текст вставляете оригинальное изображение, и оно не предполагается в большем размере, вы вообще можете удалять ссылку. И так лучше. И картинки индексируются, и ссылки нет. А так, как у вас - и ссылка есть, и картинки в ранжировании не участвуют.

  34. Vlad

    Спасибо большое, Катя! Приму к сведению! Ага — теперь полностью всё ясно с картинками. Теги заголовков — это те, что прописываются в H1….и т.д.?

  35. Links000

    Здравствуйте Катя, скажите, это нормально что гуглабот так видит мой сайт?

  36. Таня

    У меня в настройках не дают указать основной домен, требуют подтвердить права собственности, но не говорят, как это сделать.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *