Парсер Хабра: Посты-рекордсмены

На Хабре я недавно (чуть меньше месяца), до этого Хабр практически не читал. Пришёл, огляделся, походил по тематическим «хабам», почитал «Лучшее за всё время», просмотрел статьи отдельных, заинтересовавших меня персонажей и понял, что для того, чтобы получше понять, как живёт и чем дышит это замечательное сообщество, мне придётся Хабр распарсить и позадавать ему разные вопросы. К тому же, раз уж в своих статьях я писал в основном об автореферентности в разных её проявлениях, как не написать на Хабре статью о Хабре?

Посмотрю, интересно ли это всё кому-либо кроме меня. Если интересно, напишу ещё несколько постов, идей и материала для этого более чем достаточно.

Если я ничего не пропустил в интерфейсе сайта, единственные списки самых-самых, которые можно посмотреть — это общий рейтинг пользователей и список статей, т.н. «Лучшее за всё время». Оба списка отсортированы по рейтингу (пользователей и статей, соответственно). Между тем, существует ещё куча параметров, по которым было бы интересно всё отранжировать.

Самые «полезные» статьи. Статьи, которые максимальное кол-во читателей добавило в «избранное».

Статьи, собравшие максимальное кол-во комментариев.

Антирейтинг. Худшее за всё время. Это тоже интересно. Это не скучные, неинтересные статьи, не получившие высокий рейтинг. Это статьи, нашедшие живейший отклик в умах и сердцах обитателей Хабра. Правда отрицательный.

Интересно было, есть ли на Хабре статьи с высоким рейтингом без единого отрицательного голоса. Что надо написать, чтобы ни у одного, даже самого злобного, тролля не поднялась лапка нажать на минус? Предположил, что без фотографий котят тут не обойтись. Ошибся.

На относительно небольшом кол-ве статей мой написаный на коленке парсер упал, я решил, что вышеприведённые списки это не сильно изменит. Потом пройду отдельно эти статьи и выложу все результаты как таблицу в формате csv, для самостоятельных изысканий читателей.

Мысли и идеи

1) Ещё несколько рейтингов вроде вышеприведённых

2) Нормализация рейтинга. Рейтинг статьи в 2006ом году совсем не то же самое, что аналогичный рейтинг в 2013ом. К сожалению, параметр «кол-во просмотров» был на Хабре не всегда, тут придётся что-нибудь изобретать, например учитывать кол-во пользователей, зарегестрированных на момент написания статьи. Ну и пересмотреть топ после такой нормализации.

3) Частотный словарь Хабра и сравнение его с другими частотными словарями, например Википедии. А так же интересно сравнить лексику статей с лексикой комментариев.

4) Использовать Хабр как материал для генератора марковских цепочек, автоматическая генерация «статей» и «комментариев».

5) Попробовать поучить какой-нибудь байесовский спам-фильтр отличать «хорошие» статьи от «плохих». В успехе подобного мероприятия сильно сомневаюсь, т.к. надеюсь, что для оценки имеет значение смысл статьи, а не только слова её составляющие. Но мало ли.

6) Корелляции всякие поискать. между всем и всем.

7) Восемь троллей — вымысел или реальность?

8) Самые-самые — это замечательно, а как насчёт «самые средние», что такое типичный пост на ХабраХабр?

9) Наименее интересно, но тоже можно сделать. Для любителей… гхм… помедитировать на рейтинг и карму. Что из себя представляют эти цифры? Какой процент статей имеет более высокий рейтинг чем моя замечательная статья? У какого процента пользователей карма длинее и толще чем у меня? Графики красивые можно нарисовать, разумеется. Ещё из той же серии — как будет выглядеть общий рейтинг, если те, кто в нём не участвуют (сотрудники Хабра) вдруг решат участвовать? Как будет выглядеть рейтинг, если убрать пессимизацию и начать учитывать былые заслуги?

P.S. Не уверен, что поставил в правильный хаб, но ничего более подходящего не нашёл.

This entry passed through the Full-Text RSS service — if this is your content and you're reading it on someone else's site, please read the FAQ at fivefilters.org/content-only/faq.php#publishers. Five Filters recommends: 'You Say What You Like, Because They Like What You Say' - http://www.medialens.org/index.php/alerts/alert-archive/alerts-2013/731-you-say-what-you-like-because-they-like-what-you-say.html

Парсер Хабра

...

воскресенье, 25 августа 2013 г.

Посты-рекордсмены

Комментариев нет:

Отправить комментарий

...

воскресенье, 25 августа 2013 г.

Посты-рекордсмены

Комментариев нет:

Отправить комментарий

воскресенье, 25 августа 2013 г.