Я попробовал много инструментов: Excel, Python+Matplotlib, R+ggplot, Python+ggplot, и остановился на связке Python+Pandas+Seaborn. Решил с их использованием уже много задач и хотел бы поделиться наблюдениями.
Я покажу процесс исследования одного странного датасета. Речь пойдёт о расписании всех спортивных мероприятий с участием российских спортсменов за последние 8 лет. Кстати, если у кого-то после прочтения появятся идеи, что с этими данными делать, пожалуйста, напишите, потому что я ничего толкового так и не придумал.
Захватывающий этап парсинга rst и doc-файликов с сайта Минспорта я пропускаю. Предположим, что все данные уже есть в виде DataFrame'a:
data.head()
Таблица не большая, но и не маленькая:
len(data)
76601
Первым делом хотелось бы посмотреть, какие виды спорта представлены:
table = data.groupby('section').size()
table
section
R4 11
Авиамодельный спорт 1206
Автомобильный спорт 2787
Автомодельный спорт 160
Айкидо 26
Айсшток 49
Академическая гребля 358
Акробатический рок-н-ролл 293
Альпинизм 355
Американский футбол 86
Армейский рукопашный бой 15
Армспорт 159
Бадминтон 698
Баскетбол 1160
Бейсбол 176
Биатлон 1101
Бильярдный спорт 442
Бобслей 53
Бобслей (скелетон) 368
Бодибилдинг 94
Бокс 1374
Борьба на поясах 144
Боулинг 134
...
Отсортируем:
table = data.groupby('section').size()
table = table.sort(inplace=False, ascending=False)
table
section
Автомобильный спорт 2787
Спорт лиц с поражением ОДА 2469
Фехтование 2253
Мотоциклетный спорт 2025
Дзюдо 2022
Теннис 1770
Велоспорт-шоссе 1561
Легкая атлетика 1511
Футбол 1432
Парусный спорт 1418
Бокс 1374
Конный спорт 1297
Спорт глухих 1277
Волейбол 1208
Авиамодельный спорт 1206
Художественная гимнастика 1196
...
Достаточно странный топ. Отсортируем не по числу мероприятий, а по числу участников:
table = data.groupby('section').participants.sum()
table = table.sort(inplace=False, ascending=False)
table
Футбол 535305
Баскетбол 460100
Автомобильный спорт 401397
Танцевальный спорт 307731
Дзюдо 297023
Самбо 219013
Легкая атлетика 217761
Тхэквондо 202859
Киокусинкай 191995
Велоспорт-шоссе 190293
Комплексные мероприятия 187294
Спортивная борьба 177312
Мотоциклетный спорт 176387
Спортивный туризм 153417
Бокс 148654
Хоккей 136849
Кикбоксинг 136099
...
Так лучше. Теперь нарисуем график для топ-30:
table = data.groupby('section').participants.sum()
table = table.sort(inplace=False, ascending=False)
table.head(30).plot(kind='bar')
Я не фанат супер-сурового инженерного дизайна, поэтому всегда импортирую Seaborn:
import seaborn
table = data.groupby('section').participants.sum()
table = table.sort(inplace=False, ascending=False)
table.head(30).plot(kind='bar')
Идеально! Никакой другой функциональности Seaborn здесь использовано не будет. У меня чаще всего так и получается — Seaborn появляется только, чтобы графики стали красивыми. Это уже немало, но, вообще, библиотека умеет много чего другого.
Теперь интересно посмотреть на изменение числа мероприятий во времени. Всё то же самое только группировать нужно по дате:
table = data.groupby('start').size()
table.plot()
Почти готово. Нужно сделать детализацию, например, по неделям, а не по дням:
table = data.groupby('start').size()
table = table.resample('M', how='sum')
table.plot()
- Спортивная жизнь зимой наименее активна.
- Тренд до последнего времени восходящий.
- В 2010 был какой-то провал.
Было бы интереснее посмотреть на этот граф в разбивке по видам спорта. Для этого нужно сгруппировать данные по дате и виду спорта:
table = data.pivot_table(index='start', columns='section', values='participants', aggfunc=len)
table.head()
И нарисовать:
table.plot()
Блестяще, ничего не понятно. Для начала уберём всё кроме топ-40 видов спорта, кстати, код для расчёта топа уже есть, заново не надо писать:
table = data.groupby('section').size()
table = table.sort(inplace=False, ascending=False)
order = table.head(40).index
table = data.pivot_table(index='start', columns='section', values='participants', aggfunc=len)
table = table.reindex(columns=order)
table.plot()
Ладно, сделаем детализацию по неделям:
table = data.groupby('section').size()
table = table.sort(inplace=False, ascending=False)
order = table.head(40).index
table = data.pivot_table(index='start', columns='section', values='participants', aggfunc=len)
table = table.reindex(columns=order)
table = table.resample('M', how='sum')
table.plot()
Почти то, что надо, теперь расположим каждую линию на отдельном графике:
table = data.groupby('section').size()
table = table.sort(inplace=False, ascending=False)
order = table.head(40).index
table = data.pivot_table(index='start', columns='section', values='participants', aggfunc=len)
table = table.reindex(columns=order)
table = table.resample('M', how='sum')
table.plot(subplots=True, layout=(8, 5), figsize=(20, 20))
- Для некоторых видов наблюдаются тренды в числе мероприятий:
- Сильно растёт спорт для инвалидов (лиц с поражением ОДА) и автомобильный спорт.
- Слегка растёт мотоциклетный спорт, дзюдо, самбо, парусный спорт, волейбол, тхэквондо, бадминтон.
- У футбола какой-интересный тренд.
- Бокс перестал расти в 2012 году.
- Надо отметить что падения числа мероприятий нигде не наблюдается.
- Иногда есть периодичность в числе мероприятий, что не удивительно:
- Парусный спорт, конные спорт, авиамодельный спорт, велоспорт замирают зимой.
- Вообще зимой у многих видов затишье. Но бывает и наоборот, например, во фристайле.
- Интересный рисунок у тенниса и лёгкой атлетики, который повторяется каждый год
Что мне нравится в этом подходе? Функция plot очень простая, у неё всего несколько важных аргументов: kind, subplots, figsize. Результат зависит в основном от структуры данных, для которых вызывается plot. То есть не нужно осваивать отдельно инструмент для рисования графиков. Нужно научиться преобразовывать данные. С Pandas это сделать не очень сложно. Достаточно выучить несколько «кирпичиков»: groupby, sort, head, pivot_table, reindex, resample, и применять их в разных комбинациях.
This entry passed through the Full-Text RSS service - if this is your content and you're reading it on someone else's site, please read the FAQ at http://ift.tt/jcXqJW.
Комментариев нет:
Отправить комментарий