мамкин Data Scientist

2020-04-10 18:01:31 ​​Здорова, ученые в говне моченые

Как и обещал, подготовил вам подгон на карантин не хуже порнохабовского. Помните наш с вами совместный проект Interview_mds? Это сервис, где каждый мамкин DS может поделиться вопросами, которые пускали его по кругу во время очередного собеседования. Если мы будем сознательно подходить к этому делу, то удивленное ebalo на интервью станет редким событием.

Так вот, на днях мы с пацанами посидели в позе голландского штурвала и добавили жизни в проект, а именно ответили почти на 70 вопросов. Лучшего времени подготовиться к новым собесам вряд ли когда-то представится. Поэтому собирай свою дряблую жопу в кулак и вперед ботать.

Вопросы, на которые подготовили ответы, я собрал в отдельном файле с линками, их можно найти здесь.

Вопросы + ответы → https://docs.google.com/document/d/1eeP6R36Ur7aTFica7uBkx8FlaQKSE8dHamdnoAJCVUM/edit?usp=sharing

Не благодари, бро, лучше сделай вот что, перейди по ссылке ниже и скажи, что ты вообще думаешь о Interview-mds. Что нравится, что не нравится, что поменять, что добавить и не ленись блять, пожалуйста.

Предложения → https://docs.google.com/forms/d/e/1FAIpQLScp7b9sImC7oL5GooONM68LRZC5BGiCjyOzmXS-aCiZQIzKbg/viewform?usp=sf_link

Работаем дома, братва Открыть/Комментировать

2020-03-26 12:01:15 ​​Здорова, карантин

Пока все сидим дома пердим, есть время кое-что обдумать. Например, выбрать оптимальные стратегии обучения, рассмотреть новые карьерные возможности (хотя ты уже их проебал) или оглянуться назад.

Сегодня мы обсудим такой шаг в дополнительном образовании как ШАД. Что это и надо ли, обсуждали уже сто раз, даже было интервью с рептилоидами, которые смогли туда поступить.
В этом деле главное осознанность, нужно понимать, что ШАД — это история не на 5 минут, а очень длительная подготовка и хардовая учеба. Для начала расставь приоритеты и подумай, надо оно тебе или нет. Если ты все-таки имеешь беды с башкой и ответ положительный, то едем дальше.

Сам я не учился в этой красной БДСМ комнатке, но опросил пару рептилий, которые подсказали, как можно готовиться.

Ну прям очевидный момент, используем литературу и темы, которые советует сам ШАД, это располагается вот тут.

Литература → https://yandexdataschool.ru/admission/adm-program

Следующий очевидный момент, но в приятной упаковке. Все прошедшие экзамены за последние 8 лет в одном месте. Понятно, что их надо выдрочить вдоль и поперек.

Экзамены → https://efiminem.github.io/supershad/

Олимпиады ВШЭ для студентов и выпускников, тоже сложная штука, можно на ней хорошо тренироваться. Выбираешь год, материалы для подготовки и пошел.

Олимпиады → https://olymp.hse.ru/ma/arh
Так же можно поступить с олимпиадами Я — профессионал.

Теперь, что касается мотивации, если ты думаешь, что это хуйня-вопрос, то заблуждаешься. Есть сотни историй, когда на этом моменте челики сыпались с очень неплохими результатами экзаменов. Что же нужно говорить? Может быть какие-то определенные фразы, при которых экзаменатор думает: о да, сукин сын, ты в деле. Нет, такого не существует. Надо понять, что там дибилов нет, все экзаменаторы точно так же читают всякие статейки и видят как людей учат говорить одинаковыми шаблонами. На самом деле, рабочая стратегия такая: не молчи, перестань быть додиком хотя бы на время разговора и эмоционально расскажи все, что у тебя на душе. Экзаменатор оценит твою честность и открытость, поверь. Никто не любит, когда его пытаются наебать, вот и не пытайся.

А еще, вы можете собираться в команды, чтоб ботать было не скучно. Таких же додиков можно поискать либо в ОДСе, либо написать мне @BoykoAA, попробую вас сметчить.

Работаем, братва, а я пока готовлю прррросто атомную бомбу для вас, ждите Открыть/Комментировать

2020-03-11 18:00:54 ​​Вечер в хату, ученные

Однажды ты спросишь, что я люблю больше Data science или статистику. Я отвечу: твою мамашу. Ты уйдешь так и не узнав, что Data science это и есть блять статистика, tupaya ты бошка.

В каком-то смысле задача мат. статистики обратна задаче теор. вера. В теор. вере вероятность в каждой конкретной ситуации считается полностью определённой. Основной задачей является разработка методов нахождения вероятностей различных сложных событий. А в мат. статистике рассматривается статистическая модель, которая описывает такие ситуации, когда в вероятностной модели изучаемого эксперимента имеется неопределенность в задании вероятности. Задача мат. статистики состоит в том, чтоб уменьшить эту неопределённость, выявить структуру статистической модели по результатам проводимых наблюдений. Ничего не напоминает? Доброе утро, сучара, это Машин Лернинг.

Как можно заботать мат. стат на достаточном уровне я уже рассказывал, даже два раза. Но вот, что интересно, как эту науку учат элитные гребцы — физкеки.

Как минимум, в нашем распоряжении 2 курса лекций Физтеха:

Первый. «Математическая статистика», состоящий из 15 лекций, к которому удалось найти даже домашки.

Лекции → https://www.youtube.com/playlist?list=PL4_hYwCyhAvZZr17tiRCP7ItwRmRnU4QS
Домашки → http://ru.discrete-mathematics.org/fall2018/3/matstat_pmf/problems.pdf

Второй, «Статистические методы в биоинформатике», оч клевый курс, рекомендую посмотреть. Там всего 7 лекций, много времени не займет.

Лекции → https://www.youtube.com/playlist?list=PL4_hYwCyhAvbBOQIoB7fAkhtyNS_O4eJU

А еще у меня есть несколько практических ноутбуков, которые можно сделать как упражнение, они тоже принадлежат одному из курсов мат стата от физтеха. Можно миксануть их с любым из курсов. Так что развлекайтесь.

Практические домашки → https://yadi.sk/d/PlJyYmuGxKU6vA

Но учтите, просто так в статы не залететь, для начала нужно pizdato освоить теор вер, а потом уже погружаться в эту пучину.

Всем фит-предикт, братва Открыть/Комментировать

2020-02-25 12:01:10 ​​Здорова, бродяги

Не секрет, что на собесах в более менее большие компании дрочат по алгоритмам. Я уже поднимал эту тему и рассказывал о некоторых способах их заботать. Но вот какая проблема обнаружилась, чуваки, которые прыгают с места в карьер и бегут сразу на литкод не знают основ алгоритмов и структур данных. Это приводит к грустному ebalu на собесе после вопроса про мерджсорт.

Вот как мы поступим, есть ресурс, который позиционирует себя как дистанционная подготовка для школьников, но нам похуям, мы люди не гордые, там есть все задачи на классические алгоритмы с теорией, тестами и тд, все как полагается.

Заходим, находим раздел «Алгоритмы и структуры данных» и идем по порядку, начиная с «поиск и сортировка» и так далее.
Это сформирует в голове отличный фундамент для дальнейшего решения более узких задач, а уже после этого можно идти на литкод и готовиться писать код на листочке карандашом.

Ресурс → https://informatics.mccme.ru/

Работаем, братва Открыть/Комментировать

2020-02-10 18:01:34 ​​Здорова, бандюганы

Базар сегодня зайдет за NLP. Если ты совсем зеленый залетаешь в МЛ сферу с прицелом на NLP, то самая большая ошибка, которую можно совершить, так это начать сразу с него. На каких-нибудь RNN сольешься как сучка, твой tupoy мозг еще не готов.
Подготовиться к такому челенджу нужно точно так же, как к CV, RL и тд. Перед тем как залетать в любую ветку DL, я рекомендую изучить классик МЛ. А там где классик МЛ, там и нужные разделы математики, там и питон. Так что соберись, тебя ждет охуительное приключение.

Ну а что с NLP, сучара?

Тут как всегда, несколько вариантов самоизнасилования. Будем оценивать курсы по соотношению тобi пiзда/качество от 0 до 10.

Самый оптимальный по нашей метрике вариант — это второй семестр в Deep Learning school от физтеха. Хоть вторая часть курса не всецело посвящена NLP, его там хватает с головой. На курсе можно получить хорошую базу, не сильно напрягаясь, а потом пойти решать прикладные задачи на Kaggle, самое то. Записаться на этот бал сатаны нужно до 29 февраля. 9 из 10.
Курс, программа → https://www.dlschool.org/pro-track

Если ты заядлый мазохист, то можно попробовать NLP курс от ШАДа. Но тут надо быть осторожным, такой продукт кидает на клык за константу, если ты неупакованный по полной программе Перельман. Всего 6 недель, а как вставляет. Но опять же, подходит далеко не всем. Для простолюдинов 7 из 10, для умных 10 из 10.
Курс → https://github.com/yandexdataschool/nlp_course

Можно еще посмотреть курс от физтеховской лабы DeepPavlov, но я его не проходил и ничего не слышал про этот продукт, советовать не буду. Если кто-то располагает инфой и хочет поделиться фитбеком в массы, велком @BoykoAA. Знаю, что за основу там взят крутейший стенфорский курс, а значит хуево по определению сделать сложно. Кстати, лекции Стэнфорда можно посмотреть на ютубе
Лекции → https://www.youtube.com/playlist?list=PLoROMvodv4rOhcuXMZkNm7j3fVwBBY42z

Если начал, то не тормози на середине. Работаем, братва Открыть/Комментировать

2020-01-28 18:01:30 ​​Буэнос диас, мучачос

Смотрю с матаном я тоже охуенно так схалтурил в первом посте. Давайте строить план более конкретно.

Хочется сразу оговориться, что в целом, матан нам понадобится в меньшей степени, чем теор. вер, поэтому если ты выбираешь, как грамотно распределить время, то 90:10 в сторону вероятности, статов и линала по отношению к матану.

Можно пойти сложным, но эффективным путём и посмотреть курс в двух частях, который практически в точности копирует первый и второй семестр хорошего технического вуза.
Речь идёт о курсах «Мат. Анализ Теория функций одной переменной», ну и двух ебать, как ты догадался. Продукт под лейблом МГУ, да и лектор топчик.
Сам по себе курс бесплатный, но если захочешь получить сертификат, то придётся писать экзамен с проктором и заплатить пару монет.
Бал сатаны начинается 19 февраля, поэтому пора записываться.

Первая часть → https://openedu.ru/course/msu/CALCSV/
Вторая часть → https://openedu.ru/course/msu/MATHAN/

Что касается задачника, тут тоже есть топ — Демидович, вот берём его и решаем нужные темы
Задачник → http://pm-pu.ru/stuff/analiz/books/demidovich_sbornik.pdf

Если нужны основы по решению задач, то идём на матпрофи и надрачиваем, пока python не отвалится, там такая методика.
Матпрофи → http://mathprofi.com/knigi_i_kursy/

Если удобней литература и нет времени на такой долгий разгон, то берём Зорича в двух частях. По сути это те же самые темы, что и в курсе, только в печатном виде
Книжки → Математический анализ. В 2-х ч. Зорич В.А.

Работаем, братва, в этом деле главное начать Открыть/Комментировать

2020-01-14 12:59:48 ​​Здорова, бандиты

Смотрю от теор. вера у тебя не слабо подгорает. Окей, давай капнем эту тему по-нормальному, потому что я чекнул один из первых постов про это, тема сисек до конца не раскрыта, согласен.

Сначала будет план для нубов, потом для перельманов.

Первым делом закономерный вопрос. Нужен ли теор.вер для МЛ? Конечно блять, за такие вопросы можно вообще в бан улететь, чтоб больше такое не спрашивал. Машинное обучение — это и есть теория вероятностей, только в модной обертке. Если челик добрался до фит/предикт без понимания этого, то это уже мировой рекорд, но дальше никак, так что ботай.

Начать постижение этой науки можно с прекрасного курса от физтеха «Основы теории вероятностей». В главной роли Райгор (самый лучший лектор ever).
Плюсы: просто, очень доходчиво, смотрится на одном дыхании.
Минусы: к курсу вопросов нет, но нам понадобятся знания глубже, чем основы

Лекции можно посмотреть бесплатно в лекториуме.
Лекции → https://lectoriy.mipt.ru/course/Maths-ProbabilityTheoryBasics-L15

А вот полноценный курс находится на курсере, но стоит копейки.
Курс → https://www.coursera.org/learn/probability-theory-basics

Только давайте не забывать, ручной труд сделал из обезьяны человека, это не значит, что надо запираться в туалете и усердно учить python. Это значит, что лекций и задачек в курсе недостаточно, надо довести все типичные моменты до автоматизма. Берем нормальный задачник и решаем все подряд. Могу посоветовать тут два варианта.

Либо методичка с мат. профи, где разобраны все типичные задачи, и автор нацелен просто надрочить вас до полусмерти, стоит в районе 1-2 кофе.
Методичка → http://mathprofi.com/knigi_i_kursy/

Либо другой сборник задач по теор. веру, который рекомендовал тот же Райгор, в своей книжке по теории случайных графов.
Сборник задач → Зубков А.М. «Сборник задач по теории вероятностей» https://yadi.sk/i/XztolEbvm25fOQ

Вот и добрались до умных, что можно вам порекомендовать. Книги «Вероятность-1» и «Вероятность-2», автор: Ширяев.
Знаете, кто был у Ширяева в свое время научный руководитель? КОЛМОГОРОВ. Охуеть можно, это уже совсем другой уровень.
Ширяев пишет не для новичков, но очень хорошо и детально, каждую тему разбирает формально и по косточкам. К этим двум книгам докидываем его же задачник, который так и называется Ширяев «Задачи по теории вероятностей» и пытаемся не умереть.

Работаем, братва Открыть/Комментировать

2019-12-25 18:32:02 ​​Йоу, банда

Спасибо всем, кто поучаствовал, вы реально крутые перцы. Снизу будут ответы на задачки с небольшим подъебом, так что не скипай пост.

Пора огласить 3х всадников апокалипсиса. Первое место. Самой быстрой рукой на диком западе оказался @DmitryEgorovGeol, даже не знаю, где он ее так натренировал. Второе место @yanezh96, третье место @dkovalen. Молодцы парни, поздравляю!
Хочется поблагодарить каждого Мамкиного ДСа, потому что этот конкурс состоялся не без вашей помощи, ведь это именно вы собираете самую большую базу вопросов с собеседований на interview-mds.ru, а если ты еще не поделился вопросами, то вперёд и велком в ряды людей с положительной кармой.

А вот и решение викторины, если нравится такой формат разбора задачек на теор.вер, жми пивас, будем практиковать. На собесах любят спросить хуйню про монетку.

Решение → https://yadi.sk/i/K2ZclkLdv4cfZw

С наступащим, братва, люблю вас Открыть/Комментировать

2019-12-25 12:01:34 ​​Хо хо хо, работяги

Не будем терять времени, а перейдем сразу к делу. Новогодняя викторина.
Ссылка будет доступна до 18 часов вечера, после чего будут выбраны первые 3 человека, кто решит 4 из 4. Если таких не будет, то выберу первых 3х, кто решит 3 из 4, ну и так далее. Не медлите.
Победители будут объявлены сегодня после 18 часов, а также прикреплю файл с решением, я его уже затехал епт.

Викторина → https://docs.google.com/forms/d/e/1FAIpQLScVx5ygLeEUP8DP56tL2uqU9sfkKx0_DZf117uVPSsHe6B6cA/viewform

Дублирую список призов:
3 место. Книга Николенко «Глубокое обучение»
2 место. Книга Николенко «Глубокое обучение»
1 место. 1500 на карту
(Книгу можно поменять на другую)

Работаем, братва Открыть/Комментировать

2019-12-20 15:01:05 ​​Здорова, аутлаеры

Внизу будут подробности про новогодний конкурс для умных, кто не участвует — БАН.

А сейчас пополнение джентльменского набора. Сколько уже времени призываю сделать питоновский файлик со своими личными функциями для ускорения разработки? А? Но нет, ты до сих пор пинаешь болт.
Короче, нашел либу, в которой реализованы некоторые типичные функции, позвольте представить Feature-engine. Из приятного, библиотека позволяет заполнять пропуски, например, значениями из хвостов распределения или группировать редкие категориальные признаки в одну группу, или выполнять логарифмические трансформации над числовыми фичами и многое другое в таком стиле. Все-то, что у тебя давным-давно должно было быть. Кстати, исходный код открыт, так что можешь скрысить куски кода себе. Штука хорошая, изучаем

Либа → https://feature-engine.readthedocs.io/en/latest/index.html

Тем временем, 2020 подбирается все ближе и ближе, а с момента, когда ты выигрывал фишки у одноклассников, прошло 20 лет (олды здесь?). Теперь будем играть в игры для взрослых, если вы понимаете о чем я, а именно — интеллектуальная новогодняя викторина.
Через 5 дней, 25 декабря в 18 часов вечера выложу задания, и мамкины ДСы будут мериться pythhon-ами с пацанами в бане.
Викторина будет выглядеть следующим образом. Перечень из 5-7 вопросов взятых с ебучайшего сервиса interview-mds.ru и одна задачка на теор. вер. Первые 3 всадника апокалипсиса, кто решит все верно, получат призы.

3 место. Книга Николенко «Глубокое обучение»
2 место. Книга Николенко «Глубокое обучение»
1 место (Он и так сука умный, ему книга не нужна). 1500 на карту с барского плеча
(Книгу можно поменять на другую)

Какую задачку хотите на теор. вер.? Про мат. ожидание или на теорему Байеса?

Голосуем, братва Открыть/Комментировать