...

пятница, 20 сентября 2013 г.

Netpeak Spider — Легкий способ увидеть свой сайт так, как его видят поисковые машины

Привет, дорогой друг!

Хочу рассказать тебе о том, как не софтверная компания выпускала софтверный продукт.


Меня зовут Анатолий (друзья и коллеги меня называют Тоха) и я работаю в департаменте R&D одного известного в Украине агентства интернет-маркетинга.

Наш департамент разрабатывает много различных внутренних программ для облегчения жизни маркетологам и прочим специалистам из области интернет рекламы и маркетинга. Всего, различных программ для автоматизации и облегчения процессов у нас около сотни. Цель нашей компании — делать добро не только нашим клиентам, а еще и окружающему миру. Поэтому некоторое время назад было принято решение выпускать свои самые полезные продукты в массы и абсолютно бесплатно, на секунду перестать думать о конкуренции и вложить свой, пусть не очень значительный но все же, вклад в развитие индустрии интернет маркетинга. Одной из таких программ был наш «Netpeak Spider».


Идея спайдера появилась год или два назад, уже никто не помнит точно. Один из наших сеошников тогда сказал: «ребята, я хочу видеть сайт так, как его видит поисковой бот» (… а еще хочу мышью открывать окна и чтобы на моем рабочем столе были икноки, не смотря на советскую власть… © Comedy Club) мы подумали, идея оказалась интересной и после некоторого времени обсуждений/составлений тз/проектирования мы принялись писать первую версию.


Первая версия умела (хоть и коряво, но все же) строить карту-граф сайта, искать битые внутренние ссылки и еще много чего (на самом деле уже никто не помнит что именно Спайдер умел делать в первые дни своей жизни). В общем, годы шли, Спайдер рос не по дням, а по часам, некоторые функции убирались, некоторые добавлялись и в январе этого года было принято решение помочь в работе другим SEO специалистам, веб-мастерам и выпустить Netpeak Spider в бесплатный доступ для всех желающих. Было ясно, что для стороннего пользователя нужно отточить весь функционал, избавиться от, хотя бы, большинства багов и нарисовать более-менее привлекательный дизайн. Скажу сразу, что изначально программа предназначалась исключительно для внутреннего пользования, мы ее делали и продолжаем делать для себя.


Итак, с января этого года и по середину июля наш отдел превратился из отдела внутренней разработки агентства интернет-маркетинга в отдел внешней разработки софтверной компании, наши QA работали усерднее, дизайнеры рисовали дизайн, были приглашены UI специалисты для проведения аудитов. Мы, в свою очередь, решали все найденные баги, внедряли просчет новых параметров анализа сайта.



Что же у нас получилось?



к 11 июлю у нас была программа, которая просчитывает такие параметры:


  1. Глубина – уровень расположения страницы относительно главной.

  2. LinkCanonical – определяется наличие атрибута rel=«canonical» и на какой адрес он указывает.

  3. Ответ – код состояния HTTP в ответе сервера (200 OK, 301 Moved Permanently, 302 Moved Temporarily, 404 Not Found, 503 Service Unavailable и т.д.).

  4. Title – тег «title», расположенный в контейнере «head», который определяет заголовок документа.

  5. Description – содержание мета-тега, отвечающего за краткое описание содержимого веб-страницы.

  6. Keywords – содержание мета-тега, отвечающего за ключевые слова, встречаемые на веб-странице.

  7. robots.txt – определяется, разрешена (allowed) или запрещена (disallowed) индексация страницы поисковыми системами в файле robots.txt.

  8. MetaRobots – определяется наличие мета-тега «robots», а также разрешена (index) или запрещена (noindex) индексация страницы поисковыми системами и разрешён (follow) или запрещён (nofollow) переход по ссылкам на данной странице с его помощью.

  9. Редиректы – количество перенаправлений со страницы.

  10. Заголовки (H1) – количество заголовков первого уровня.

  11. Ссылки с этой страницы – количество исходящих ссылок с данной страницы в пределах всего сайта.

  12. Ссылки на эту страницу – количество входящих ссылок на данную страницу в пределах всего сайта.

  13. Внутренние ссылки – количество ссылок с данной страницы на сканируемый сайт.

  14. Внешние ссылки – количество ссылок с данной страницы на другие сайты.

  15. PR – расчёт внутреннего показателя PageRank текущей страницы.

  16. PR (без сквозных ссылок) – расчёт внутреннего показателя PageRank без учёта сквозных ссылок, которые встречаются более чем на 50% страниц сканируемого сайта.

  17. Дубли по Title – определяются группы страниц с дублирующимся тегом «title».

  18. Дубли по Description – определяются группы страниц с дублирующимся мета-тегом «description».

  19. Дубли по Keywords – определяются группы страниц с дублирующимся мета-тегом «keywords».


Также, был полностью внедрен новый дизайн, добавлен автоапдейт программы, чтобы всегда иметь актуальную версию программы, сверстаны парковочные странички программы, проведен мини-маркетинг.


Что будет дальше?



В ближайших планах:


  1. Улучшение производительности для сканирования больших сайтов

  2. Возможность сгенерировать xml карту сайта

  3. Прогон по существующей карте сайта, поиск ошибок

  4. Человекопонятная визуализация карты сайта ( возвращение блудного графа :) )


Резюме



Было проведено много работы, к нашему большому удивлению за первый месяц релиза, программу скачало более 2к человек! SEO не стоит на месте, а значит и инструменты интернет-маркетологов не должны отставать, только полная боевая готовность, только хардкор. Нам, команде разработчиков, интересно мнение хабрасообщества о данном инструменте. Возможно кто-то из вас уже знает и активно использует данную программу, а кто-то давно мечтал о бесплатном и верном помощнике в ежедневной и рутинной жизни SEOшника.

В общем, пользуйтесь и получайте удовольствие.

Налетай!


This entry passed through the Full-Text RSS service — if this is your content and you're reading it on someone else's site, please read the FAQ at fivefilters.org/content-only/faq.php#publishers. Five Filters recommends:



Комментариев нет:

Отправить комментарий