LEFT JOIN

2021-05-31 20:53:09 Если вдруг когда-то хотели подучить регулярные выражения, RegexOne отлично с этим поможет. Открыть/Комментировать

2021-05-28 12:48:58 Открыть/Комментировать

2021-05-28 12:48:31 ISYE 6501: Intro to Analytics Modeling

Сегодня расскажу немного о первом вводном курсе ISYE6501. Сначала пойдут мои общие эмоции относительно курса, а затем опишу структура контента.

В целом, курс мне скорее понравился, чем не понравился, но график прохождения курса очень жесткий: одновременно может случиться большая домашняя работа, лекции почти на 2-3 часа и подготовка к Midterm Quiz. При этом первая часть курса была для меня существенно интереснее, чем вторая.

Оценка за весь курс состоит из нескольких частей:
Самый высокий вес имеет Final Exam, а также Midterm Quiz 1, Midterm Quiz 2. Совокупно они составляют 75% общей оценки.
Также предусмотрен курсовой проект — на него приходится 15% итоговой оценки
Оставшиеся 10% — это выполнение домашних заданий, которые, кстати, оцениваются другими студентами (это тоже дополнительная нагрузка, потому что каждую неделю нужно оценивать три работы)

Сами домашние работы занимают от 5 до 10 часов, если уже есть опыт работы с R. Без опыта мне даже страшно представить временные затраты, так как курс начинается с места в карьер: прямо с первой недели надо писать прозрачный функциональный код.

Если говорить о контенте, то курс состоит из рассмотрения аналитических инструментов (analytical tools) и сквозных концепций (cross-cutting conceptions). Всего курс длится 15 недель, каждую неделю публикуются новые видео и задания. В первой половине курса изучаются основы, а в конце то, как эти основы применяются в конкретных кейсах (последняя часть оказалась очень скучной для меня).

Понедельно программа выглядит так (цифра — номер недели):
1. Классификация (kNN, SVM) и общие определения данных, масштабирование.
2. Валидация, train-test split, кросс-валидация, кластеризация и отличия supervised от unsupervised.
3. Определение выбросов (тема вдохновила на отдельную статью в блоге), модель CUSUM (новое знание для меня).
4. Временные ряды: экспоненциальное сглаживание, ARIMA, GARCH, сезонность, тренд.
5. Линейная регрессия: максимальная правдоподобность, AIC/BIC, causation vs correlation, data transformation (box-cox).
6. Продвинутая подготовка данных: BoxCox, PCA, De-trending.
7. Продвинутая регрессия: CART, Random Forrests, Logistic Regression, Confusion Matrices.
MidTerm Quiz 1.
8. Выбор переменных: Stepwise Regression, Ridge, Lasso, ElasticNet.
9. Design of Experiments, AB-tests, Factorial Design, Multi-arm bandits.
Вероятностные модели: Бернулли, биномиальные распределения, геометрические распределения.
Распределения Пуассона, экспоненциальное распределение, распределение Вейбулла. QQ-plots, симуляции, цепи Маркова.
5 эмоджи типа едет крыша
10. Пропущенные значения. Методы восстановления данных.
Введение в модели оптимизации, функции оптимизации (Часть 1).
11. Оптимизационные модели (Часть 2). Нейронные сети, deep learning, графы, network models (конечно, просто overview).
Модели теории игр.
Midterm Quiz 2.
12. Кейс электрокомпании.
13. Кейс в ритейле.
14. Кейс в области монетизации данных.
15. Курсовой проект.
Final Exam.

Несколько скриншотов из видео, которые мне запомнились, ниже.

#gatech #omsa Открыть/Комментировать

2021-05-27 12:37:50 Мы уже уже анализировали рынок вакансий аналитиков в России по данным HeadHunter. Теперь хотим сравнить зарплаты специалистов в области Data Science в разных странах. В первом материале проекта расскажем, как парсить данные из базы Indeed — крупнейшего поисковика вакансий в мире:

https://leftjoin.ru/all/parser-indeed-with-python/ Открыть/Комментировать

2021-05-26 21:44:35 https://preset.io/blog/2021-5-25-data-lake-athena/ Открыть/Комментировать

2021-05-26 21:44:35 Любопытное AWS-friendly решение Открыть/Комментировать

2021-05-20 10:09:54 Процесс обучения на программе OMSA

В опросе большинство высказалось за то, чтобы я продолжил рассказ про магистерскую программу OMSA в Georgia Tech. Начну рассказ с того, как в целом построена программа и какие направления (треки) можно выбрать.

Всего для получения магистерской степени надо набрать 36 credit hours. При этом каждый курс оценивается в 3 credit hours, а за магистерскую диссертацию (master thesis) получаешь 6 credit hours. Счета за программу выставляют каждый семестр, а сумма зависит от того, сколько credit hours вы выбрали в отчетном периоде.

Сама программа разделена на три трека:
1) Analytical Tools — в процессе обучения делается акцент на статистику, эконометрику и методы оптимизации.
2) Business Analytics — представляет собой усредненную бизнес-специализацию. Про этот трек на Reddit шутят, что он для тех, кто хочет просто получить диплом Georgia Tech.
3) Computational Data Analytics — как я понимаю, это направление образовалось на базе программы OMSCS (Master of Science in Computer Science), и фокус сделан на вычислительные методы анализа данных. Именно этот трек обучения я и выбрал.

Однако, прежде чем приступить к основным курсам (majors) каждого трека, надо в обязательном порядке пройти Basic и Advanced междисциплинарные курсы.

BASIC
Три курса, по сути, из каждого направления:
ISYE6501 (Intro to Analytics Modeling) — курс про аналитические инструменты и использование R, который я недавно закончил (скоро расскажу о нем);
CSE6040 (Computing for Data Analysis) — анализ данных с использованием Python;
MGT8803 (Business Fundamentals for Analytics) — какой-то общий бизнес-курс, от которого я отписался.

ADVANCED
CSE6242 (Data and Visual Analytics) — анализ и визуализация данных.
MGT6203 (Data Analytics in Business) — общий курс про применение аналитики в бизнесе.
Два курса по статистике на выбор и один курс из раздела operations research.
А дальше, в зависимости от выбранного трека, можно выбрать курсы из соответствующей колонки на картинке выше.

Возможности Opt-out
От базовых курсов можно отписаться, если соответствующий опыт был получен в вашем предыдущем ВУЗе. У меня такой опыт был, но я посчитал целесообразным оставить курсы ISYE6510 и CSE6040, чтобы посмотреть как они выглядят изнутри. А вот от курса MGT8803 отказался, так как по оценкам студентов он “не очень“.

И вообще, у американцев все продумано — есть целый ресурс, где можно посмотреть отзывы и рейтинги по каждому курсу, примерные ожидания по затрачиваемым часам на прохождение и так далее.

В следующем посте расскажу о том, как устроен процесс обучения на курсе ISYE6501, который я выбрал для весеннего семестра. А потом напишу пост про содержание этого курса.

#gatech #omsa Открыть/Комментировать

2021-05-20 10:09:53 Открыть/Комментировать

2021-05-16 11:27:02 SQLiteViz — оффлайн библиотека для создания диаграмм Plotly на SQLite бд или .csv-файлах. Нечто похожее на Redash Открыть/Комментировать