Python для анализа данных

2022-05-16 16:42:57 Запускаю несколько долгосрочных открытых проектов

Воспроизводимая наука о данных

Свободный учебник (в разработке) на основе моего курса по анализу данных для экономистов по ссылке.

Python для программистов

Свободный учебник (в разработке) на основе моего курса по языкам программирования по ссылке.

Сообщество преподавателей Python

Я преподаю Python в школах, вузах и на различных курсах более пяти лет.
И я искренне верю, что только объединив усилия, мы сделаем преподавание ИТ в России лучше.
Именно поэтому я хочу создать сообщество преподавателей Python для поддержки, обмена идеями и полезными материалами.
Подробности по ссылке. Открыть/Комментировать

2022-02-21 10:24:36 После длительного перерыва вернулся с хорошими новостями.

Разместил свой полный курс видео по Python и анализу данных: https://dfedorov.spb.ru/python3/ Открыть/Комментировать

2021-09-01 11:07:52 Подготовил новый перевод про возможности библиотеки HoloViz с кейсами

API-интерфейс Pandas .plot() стал де-факто стандартом для высокоуровневого построения графиков в Python и теперь поддерживается множеством различных библиотек, которые используют набор базовых механизмов построения графиков для обеспечения дополнительных возможностей.

В этом блокноте мы исследуем возможности стандартного API .plot и продемонстрируем дополнительные возможности, предоставляемые .hvplot, которые включают бесшовную интерактивность в развернутых информационных панелях и рендеринг на стороне сервера больших наборов данных.

Чтобы показать эти особенности, мы будем использовать набор данных в виде таблиц о землетрясениях.

Ссылка на html-версию

Остальные переводы по ссылке: https://dfedorov.spb.ru/pandas/ Открыть/Комментировать

2021-08-18 19:14:26 Подготовил новый перевод с кейсами

В этом блокноте используется вычислительный подход к пониманию вероятности. Мы будем использовать данные Общего социального опроса, чтобы вычислить вероятность таких предположений, как:

Если я выберу случайного респондента в опросе, какова вероятность, что это будут женщины?

Если я выберу случайного респондента, какова вероятность того, что он будет работать в банковской сфере?

Оттуда мы исследуем две взаимосвязанные концепции:

Конъюнкция, которая представляет собой вероятность того, что оба утверждения верны; например, какова вероятность выбора женщины-банкира?

Условная вероятность, которая представляет собой вероятность того, что одно утверждение верно, при условии, что верно другое; например, учитывая, что респондент - женщина, какова вероятность того, что она банкир?

Ссылка на html-версию

Ссылка на Colab

Остальные переводы по ссылке: https://dfedorov.spb.ru/pandas/ Открыть/Комментировать

2021-08-14 12:57:47 Подготовил новый перевод с кейсами: Исследуем отношение между переменными

Мы будем визуализировать отношения с помощью диаграмм рассеяния (scatter plots), диаграмм размаха (box plots) и скрипичных диаграмм (violin plots).

И количественно определять отношения, используя корреляцию (correlation) и простую регрессию (simple regression).

Самый важный урок этого блокнота заключается в том, что вы всегда должны визуализировать взаимосвязь между переменными, прежде чем пытаться ее количественно оценить; в противном случае вас могут ввести в заблуждение.

Ссылка на html-версию

Ссылка на Colab

Остальные переводы по ссылке: https://dfedorov.spb.ru/pandas/ Открыть/Комментировать

2021-07-19 16:02:32 Подводим итоги. Самые популярные переводы по количеству просмотров за прошедший год

Сводная таблица в pandas

Обзор типов данных Pandas

Подробное руководство по группировке и агрегированию с помощью pandas

Разделение (биннинг, дискретизация, балансировка) данных с помощью qcut и cut в Pandas

Записал видео о причинах популярности языка Python Открыть/Комментировать

2021-07-05 14:40:10 Несколько летних новостей

записал небольшое видео про этапы анализа данных на языке Python, видео доступно по ссылке.

также на днях вышло 3-е издание моего пособия по основам языка Python, бумажная версия представлена на сайте издательства.

Остальные переводы, обзоры и кейсы по анализу данных по ссылке Открыть/Комментировать

2021-05-13 09:59:22 Подготовил новый перевод кейса с упражнениями!

Разбираем проект по анализу данных: исследуем средний вес новорожденных (запустить в CoLab):

Этот пример демонстрирует важные шаги практически в любом проекте по анализу данных:

Определение данных, которые помогут ответить на вопрос.
Получение данных и их загрузка в Python.
Проверка данных и устранение ошибок.
Выбор соответствующих подмножеств из данных.
Использование гистограмм для визуализации распределения значений.
Использование сводной статистики для описания данных таким образом, чтобы наилучшим образом ответить на вопрос.
Рассмотрение возможных источников ошибок и ограничений в наших выводах.

Остальные переводы доступны по ссылке Открыть/Комментировать

2021-04-22 09:04:10 Собрал небольшой мануал про регулярные выражения в pandas Запустить можно в CoLab.

Работаю над главой учебника про pandas и упражнениями. Процесс идет. В мае опубликую Принимаются предложения по составу учебника Открыть/Комментировать

2021-03-30 12:38:20 Сегодня две новости

Запускаю серию статей про визуализацию. Начинаем с pyvis

Библиотека pyvis предназначена для быстрой визуализации сетевых графиков с минимальным количеством кода на Python. pyvis разработана как обертка для популярной JavaScript библиотеки visJS. Например, результат визуализации сети персонажей Игры престолов

Подробнее см. Делаем сетевые графы интерактивными с помощью Python и Pyvis.

Решил взяться за написание открытого учебника по анализу данных на языке Python Главы буду публиковать по мере их написания тут Открыть/Комментировать