...

среда, 9 апреля 2014 г.

Борьба за трафик. Как вывести сайт из-под спам-фильтра Google (Первая Часть)

В марте прошлого года мы неожиданно получили письмо от команды Google по борьбе со спамом.

В письме говорилось, что некоторые ссылки, ведущие на наш сайт rusonyx.ru, не соответствуют рекомендациям по обеспечению качества. Поэтому, к нашему сайту были применены меры, которые в последствие повлияли на входящий бесплатный трафик с поиска Google. Он резко снизился, а точнее, упал ниже плинтуса.


image


Мы с грустью смотрели на эту картину. Но делать нечего – нужно было срочно что-то предпринимать. Спустя год, потратив 300 человеко-часов, нам удалось вытащить сайт из бана. В этой статье я постараюсь подробно описать, как нам это удалось, каких это стоило усилий и какие шаги нужно предпринимать в такой ситуации.


Изучение проблемы




Сначала я решила изучить все форумы по этой проблеме и хелпы Гугла. Но в итоге поняла, что четких и структурированных рекомендаций по этой теме нет. Проще говоря, никто толком не мог конкретно сказать, что нужно сделать, чтобы Google снял с сайта фильтры.

Тогда я стала искать хоть какую-то литературу с успешными кейсами. И наткнулась на англоязычную книгу «The complete guide to unnatural links recovery». Книга платная и стоит $90, но я все же ее купила и прочитала от корки до корки. После прочтения появилось понимание того, что нужно делать.


В этой статье я постараюсь описать весь алгоритм действий, который нужно проделать для отмены санкций Google. Это не просто изложение прочитанного. Здесь описан мой опыт вытаскивания сайта из под спам-фильтров Google.


Чего делать точно не стоит




Не рекомендую писать гневные письма в Google, тем более что это не решит проблему. В Гугле работают такие же люди, как и мы с вами, которые просто выполняют свою работу. Не надо халтурить и отправлять запросы в Google на пересмотр, не поработав с внешними ссылками на ваш сайт. Сотрудники Google должны видеть ваши страдания :) Фильтр – это наказание и вы должны сильно попотеть, вытаскивая сайт из бана. Это часть плана и вы либо принимаете правила игры, либо остаетесь без натурального трафика из поисковой системы.

Нельзя просто так взять и выйти из-под бана Google. Нам потребовалось на это полгода усердной работы. По самым скромным подсчетам на это ушло около 300 человеко-часов. Надеюсь, что вам удастся решить проблему быстрее, благодаря этой статье.


Итак, вы обнаружили резкое снижение трафика с Google. Как понять, что это именно из-за санкций, которые поисковик применил к вашему сайту?


Ваш сайт попал под спам-фильтры?




Это можно выяснить, если зайти в панель для веб-мастеров Google Webmaster Tools. В меню слева выберите «Поисковый трафик», далее «Меры, принятые вручную».Если к вашему сайту применялись фильтры, то вы увидите сообщение об этом. Наглядно показать вам не могу, так как с нас эти меры Google снял до того, как я догадалась сделать скриншот.

Если меры не применялись, то сообщение будет таким:



Первый шаг: ищем причину




Прежде всего я выяснила, что это за ссылки, которые не соответствуют рекомендациям по обеспечению качества Google. В руководстве для веб-мастеров Google подробно описаны методы работы со ссылками, которые использовать не рекомендуется. Подумайте, что могло стать причиной. Может быть, вы нанимали агентство по SEO – продвижению или сами закупали ссылки и статьи через биржи ссылок. Или, может, вы используете схемы обмена ссылками.

Мы в 2011 году работали с агентством, которое продвигало наш сайт за счет покупки вечных ссылок и SEO-статей. И несмотря на то, что в январе 2012 года мы расторгли с ними договор и целый год не продвигали сайт при помощи SEO-методов, в марте 2013 Гугл прислал нам письмо «счастья».


Изучив рекомендации Google, я выявила несколько основных причин, из-за которых, скорее всего, наш сайт мог отправиться в бан:



  1. SEO-статьи и вечные ссылки

  2. Ссылки в SEO –каталогах и SEO-закладки

  3. Большое количество сквозных ссылок на сторонних не тематических ресурсах

  4. Спам-ссылки, в т.ч. форум-спам

  5. Дорвеи


Второй шаг: Выгружаем внешние ссылки




Для того, чтобы начать работу по выявлению некачественных ссылок и их устранению, нужно создать файл и выгрузить все внешние ссылки, ведущие на ваш сайт. Обратите внимание, что файлы, лучше всего создавать в GoogleDocs. Основная причина этого требования Гугла в том, что в других файлах могут содержаться вирусы и вредоносные программы. Поэтому, MS Ecxel файлы сотрудники Гугл проигнорируют, а вот в таблицах Google Docs примут.

Где взять эти внешние ссылки? Для этого используйте инструменты GoogleWebmasterTools

Как выгрузить ссылки. Заходим в панель WebmasterTools слева в основном меню, выбираем «Поисковый трафик», далее «Ссылки на ваш сайт». Нас интересует раздел «Наиболее часто ссылаются». Нажимаем «Дополнительно» и загружаем последние ссылки. Напомню, что при выгрузке ссылок выбирайте вариант «Документы Google».



У вас должна получиться таблица со списком ссылок. Для удобства работы, отсортируйте ссылки в алфавитном порядке.



Третий шаг: Создание таблицы ссылок




Откройте созданную Google таблицу с выгруженными ссылками. В столбце «В» указана дата, когда Google обнаружил эту ссылку. Назовите его «First Discovered» («Дата обнаружения ссылки»).

Создадим еще несколько столбцов, которые нам понадобятся (далее я объясню):



  • C – Needs to be removed? (Нужно удалить?)

  • D – Disavow? (Отклонить?)

  • E — Contact e-mail found on site (Контактный e-mail, найденный на сайте)

  • F – First name of contact (Контактное лицо)

  • G – Whois e-mail (e-mail, найденный в whois)

  • H — First name of Whois contact (Имя владельца e-mail, найденного в whois)

  • I – E-mail reference # (порядковый №, указывающий на отправленный e-mail)

  • J – Url of contact form (Ссылка на контактную форму, найденную на сайте)

  • K – Contact form reference # (порядковый №, указывающий на отправленное письмо через контактную форму)

  • L – Comments (Комментарии).


В итоге у вас должна получиться такая таблица:



Четвертый шаг: Создание списка статусов




У меня получилась таблица с огромным списком ссылок – порядка 12000. Задача состояла в том, чтобы проверить каждую ссылку из выгруженного списка и присвоить ей тот или иной статус. Цель – определить, какие из ссылок, в последствие, нужно удалять, а какие оставить. В процессе работы со ссылками, каждой из них в столбце «С» — «Needs to be removed» нужно присвоить один из следующих статусов:

  • YES – SEO article (ДА – SEO статья)

  • YES – SEO directory (ДА – SEO каталог)

  • YES – SEO bookmark (ДА – SEO закладка)

  • YES – Forum spam (ДА – Форум-спам)

  • YES – Spam (ДА – Спам)

  • YES – Link made for SEO purposes (Ссылка созданная для целей SEO)

  • NO – Nofollowed (НЕТ – не индексируемая)

  • NO – Page not found (НЕТ – Страница не найдена)

  • NO – Link not found (НЕТ – ссылка не найдена)

  • NO – Site not visited due to malware warning (Не удалось зайти на сайт из-за предупреждения о вредоносных программах)

  • NO – Valid directory (НЕТ – Полноценный каталог)

  • NO – Natural link (НЕТ – Естественная ссылка)


Следующему столбцу «D» — «Disavow?» («Отклонить?») мы тоже в процессе работы над ссылками присвоим статусы:



  • YES (ДА) – если хотим отклонить весь домен целиком

  • NO (НЕТ) – отклонять не нужно

  • YES – url (ДА – url) – если не хотим отклонять весь домен, а только отдельную ссылку или ссылки на этом домене.


О Disavow. Это инструмент Google, с помощью которого можно отклонить ссылки. По сути вы просите Google не принимать во внимание некоторые ссылки при оценке вашего сайта – сделать их неиндексируемыми. Инструмент находится в панели для веб-мастеров Google (Webmaster Tools). На первом этапе достаточно просто понять, для чего этот инструмент нужен. Во второй части я расскажу как им воспользоваться.


Шаг пятый: Подготовка браузера




Перед тем как начать работу со ссылками, нужно подготовить браузер. Я пользовалась Google Chrome. Мне он показался самым удобным в плане поиска ссылок.

Для быстрого поиска Nofollow ссылок, можете установить приложение MozBar. Приложение позволяет выделять цветом индексируемые /неиндексируемые ссылки. Также можно настроить отображение Page Rank, Domain Authority и прочие полезные штуки.


Также рекомендую установить приложение Web Developer Toolbar, для того, чтобы отключать Java Script, куки и все такое. Поверьте, сайты вам будут попадаться разные: с навязчивым контентом, всплывающими окнами, редиректами и прочей гадостью.


Шаг шестой. Работа со ссылками




Это основной шаг, он же и самый трудоемкий. Задача этого шага состоит в том, чтобы открыть и проверить каждую ссылку из списка, найти на странице ссылки на ваш сайт, определить к какому статусу они относятся, и отразить статус в Google таблице.

Итак, открываем первую ссылку.


Как искать ваши ссылки на странице

Иногда ссылку на странице трудно найти. Для этого используйте исходный код страницы. Открываете исходный код, задаете в поиске ваш домен (Ctrl+F) и если ссылки на ваш сайт есть, то они будут выделены цветом. В Google Chrome искать ссылки удобнее всего, если ссылок на странице много.


Если ссылок на ваш сайт на странице найти не удалось, то смело ставьте статус «NO – Link not found» (НЕТ – ссылка не найдена) в столбце «С» — «Needs to be removed». А в столбце «D» — «Disavow?» («Отклонить?») – определите статус по ситуации (Да, нет или да – url).


Также может быть, что к ссылке применен тег «Nofollow». Это означает, что ссылка не индексируется поисковыми системами и удалять/отклонять ее нет смысла. Поэтому, смело ставьте в столбце «С» статус «NO – Nofollowed» (НЕТ – не индексируемая) и в соседнем столбце «D» — NO (НЕТ).



Если вы сомневаетесь, стоит ли удалять ссылку, то отложите ее, указав в комментариях «Возможно», чтобы потом снова к ней вернуться или быстро найти все такие ссылки и пересмотреть, если вдруг после отправленного вами запроса на пересмотр, Google пришлет отказ.


Если страница не найдена



Если перейдя по ссылке, страница не отображается, то напротив этой ссылки в столбце «С» — «Needs to be removed» ставьте NO – Page not found (НЕТ – ссылка не найдена), а в столбце «Disavow?» («Отклонить?») укажите YES (ДА) или YES – url (ДА – url).

Зачем такие ссылки отклонять? У меня был случай, когда Гугл отказал в снятии мер, в том числе, и из-за того, что обнаружил неестественные ссылки на страницах, которые не открывались ранее, но вскоре заработали снова и ссылки на наш сайт стали активны.


Найдена неестественная ссылка


Если вы нашли на странице неестественную ссылку, к которой присвоили один из следующих статусов в столбце «С»,



  • YES – SEO article (ДА – SEO статья)

  • YES – SEO directory (ДА – SEO каталог)

  • YES – SEO bookmark (ДА – SEO закладка)

  • YES – Forum spam (ДА – Форум-спам)

  • YES – Spam (ДА – Спам)

  • YES – Link made for SEO purposes (Ссылка созданная для целей SEO)


ищите контакты веб-мастера или владельца домена на котором размещена такая ссылка. Это может быть e-mail или контактная форма для связи. Заносите контактные данные в таблицу в соответствующие колонки (столбец «Е», «F» или «J»).


Если на сайте нет контактов, то вы можете найти e-mail владельца домена в базе Whois. Я пользовалась этим ресурсом whois-service.ru.


Если контактные данные скрыты, то всегда есть возможность отправить запрос владельцу через регистратора данного домена (строка «admin — contact»).



Заносите контактные данные, найденные через Whois, в таблицу в соответствующие колонки (столбец «G», «H» или «J»)Столбец «D» — «Disavow», пока оставьте. Статусы в этом столбце к таким ссылкам, вы будете проставлять позднее – после связи с веб-мастером или владельцем сайта. А пока пусть эти ячейки останутся пустыми.


Шаг седьмой: письма веб-мастерам




Если у вас не так много ссылок, которые нужно проверить, то пишите письма веб-мастерам после того, как работа над всем списком ссылок проделана (Шестой шаг).

Так как у меня был огромный список ссылок (12000), то я отправляла письма сразу, как только находила ссылки, подлежащие удалению.

Важная деталь. Отправлять письма веб-мастерам нужно с почтового ящика на gmail. Рекомендую заранее создать отдельный ящик. Вы можете использовать и существующий, но, на мой взгляд, с отдельным работать проще. Я, например, отправляла по нескольку писем веб-мастерам в день и получала по нескольку ответов, соответственно. Поэтому создала отдельный ящик.


Итак, у вас есть почтовый адрес на gmail, с которого вы будете отправлять письма веб-мастерам, владельцам доменов и т.д.


Ниже текст письма с обращением, которое я отправляла. Вы можете взять его за основу.



Здравствуйте!


Меня зовут Анна, я представляю компанию Русоникс, которая является владельцем домена www.rusonyx.ru


Дело в том, что некоторое время назад мы получили уведомление от Google о том, что наш сайт попал в бан-списки из-за некоторого ряда ссылок.

На данный момент мы проводим работу по выявлению таких ссылок и их устранению.


У меня большая к вам просьба.

Пожалуйста, поставьте тег «nofollow» или удалите ссылки на вашем сайте, которые ссылаются на наш (www.rusonyx.ru ).


Вот страницы с вашего сайта, где есть ссылки на нас:


………


Заранее спасибо!


Пожалуйста, как только вы это сделаете, сообщите нам ответным письмом.

Будем вам очень благодарны и признательны за оказанную помощь!


С уважением,


Мой e-mail на домене rusonyx.ru:


-------------------------------------



Как задокументировать доказательство отправки писем


Все просто. Создайте 2 новых документа в Google Docs:



  1. Первый назовите «Оригинальные коды отправленных писем»

  2. Второй — «Скриншоты запросов, отправленных с контактных форм»


В первый документ вы будете переносить оригинальные коды отправленных писем, и присваивать им номера, которые будут отражены в Google таблице в столбце «I» — «E-mail reference #» (№ Ссылки на отправленный e-mail). Выглядеть это будет так:


В документе «Оригинальные коды, отправленных писем»



В Google таблице



Не нужно копировать весь код письма, достаточно той части, где указан отправитель, получатель, дата отправки и тема письма. Как открыть код письма. Откройте отправленное письмо, и справа в выпадающем списке выберите «Показать оригинал».



Второй текстовый документ «Скриншоты запросов, отправленных с контактных форм». Сюда нужно заносить скриншоты (по аналогии с кодами писем) и присваивать им номер, который будет отражен в основной таблице в столбце «Contact form reference #» (№ Ссылки на отправленное письмо через контактную форму). Выглядеть это будет так:


В документе «Скриншоты запросов, отправленных с контактных форм»



В Google таблице



Шаг восьмой: Работа с ответами на запросы




Есть 3 варианта развития событий, после того, как письма с запросами отправлены:

Первый вариант. Вам ответили на запрос и сообщили, что ссылка удалена или к ней применен тег nofollow. В этом случае:



  • В основной таблице в столбце «L» с комментариями укажите, что ссылка удалена/применен тег nofollow и поставьте дату;

  • помечаете строку зеленым цветом;

  • в столбце «D» — Disavow ставьте статус «NO».


Вот так это выглядит в таблице



Второй вариант. Вам пришло письмо с отказом удалить ссылку.



  • Помечаете в комментариях к таблице в столбце «L» факт отказа;

  • копируете исходный код ответа в файл «Оригинальные коды, отправленных писем»;

  • даете № ссылки на этот исходный код в Google таблице в столбце «L» с комментариями;

  • Всю строку помечаете красным цветом;

  • в столбце «D» — Disavow ставьте статус YES (ДА) или YES-url (ДА-url ссылка).



Третий вариант. Вы не получили ответа.



  • В комментариях к таблице в столбце «L» укажите этот факт;

  • В столбце «D» — Disavow ставьте статус YES или YES – url;

  • Всю строку помечаете красным цветом.



Ну вот, это все, что нужно сделать на первом этапе. Второй этап работы касается подготовки и отправки отчета на пересмотр в Google. Но этот этап требует отдельной статьи, которую я буду писать, пока вы работаете над первым.


This entry passed through the Full-Text RSS service — if this is your content and you're reading it on someone else's site, please read the FAQ at http://ift.tt/jcXqJW.


Комментариев нет:

Отправить комментарий