Data Science 2022

2022-10-07 16:21:06 Разбор: как формируется поисковый запрос
Возможно, вы не подозревали, но… каждый день вы пользуетесь SQL — Structured Query Language. Например, когда ищете ближайший ресторан в Google или футболку нужного цвета в интернет-магазине. Давайте узнаем, как это работает.

SQL — это язык структурированных запросов, созданный для того, чтобы получать из базы данных необходимую информацию.


Принцип работы

Все данные структурированы и разложены по столбцам. Получив запрос, база обрабатывает информацию, «вытаскивает» ее из нужных столбцов и выдает ответ.


Например

Представим, что у маркетолога есть база, в которой собрана информация обо всех пиццериях в городе: названия, ассортимент, цены, график работы и прочее.
Во время анализа конкурентов он решил выяснить, сколько пиццерий готовят пиццу с ананасами и оформляют доставку после 23:00.

Пользователь задает интересующие параметры и отправляет запрос на сервер. А в поисковой выдаче появляются результаты, соответствующие именно этому запросу.


Как создать такую базу?

Чтобы создать базу для SQL, достаточно разбираться в основах Excel и понимать принцип работы запросов. Вот из чего должна состоять база:

Отношение — двухмерная таблица из столбцов и строк.

Атрибут — столбец в таблице, который содержит один конкретный параметр: название, тип, дату, стоимость или другую характеристику.

Домен — допустимые значения для каждого атрибута. Например, в столбце «Имя» или «Название» значения должны представлять собой набор буквенных символов, но они не могут начинаться с «ь» или «ъ» и не могут быть записаны числами.

Кортеж (строка или запись) — табличная строка с порядковым номером, в которой содержится информация об одном конкретном объекте.

Значение — элемент таблицы, который находится на пересечении столбцов и строк.

Ключ — самый важный столбец в таблице, за счет которого и происходит взаимодействие в реляционной базе данных: он связывает таблицы между собой.

Используйте все эти элементы и получите таблицу, которая будет верно выдавать данные в ответ на SQL-запрос.


В какой программе это можно сделать?

Создать базу из подобных таблиц можно в таких системах, как PostgreSQL, MySQL, SQLite, Oracle, Google Cloud Spanner. Структурно они во многом похожи на Excel, а разобраться на первых порах помогут тематические уроки на YouTube и литература. Открыть/Комментировать

2022-09-30 18:25:37 Раз в неделю мы будем делиться с вами полезными материалами и подборками. На этой неделе у нас разбор.
Рассказываем, что такое кластеризация в Data Science
Простыми словами

Представьте, что грядет переезд. И вы раскладываете вещи по коробкам. В одной у вас стекло, в другой — книги, в третьей — одежда. Все удобно, компактно и транспортабельно. Вы довольны.

Тот же механизм работает для кластеризации в Data Science. Кластеризация — это метод машинного обучения, суть которого заключается в том, чтобы разбить множества объектов на подмножества (кластеры) по какому-либо признаку.

! Критерии кластеризации определяет человек, а не алгоритм, — этим она отличается от классификации.


Зачем нужна кластеризация?
Кластеризацию применяют при работе с неструктурированными данными. Например, если нужно разбить коллекцию изображений на группы по цветам.


Метод помогает:

Сжимать данные. То есть представить исходную выборку из 1000 элементов в виде 10,15, 565 кластеров. Их количество может быть любым. Главное — максимальное сходство объектов внутри каждой группы.

Искать паттерны внутри данных. Если разбить объекты на кластеры, можно найти дополнительные признаки объектов. Например, вы провели кластерный анализ и узнали, что один из покупателей относится к первому кластеру. Первый кластер — это кластер людей, которые тратят большое количество денег на покупки по средам. Следовательно, можно сделать вывод, что покупатель, которого вы исследовали, закупается в основном по средам.

Искать аномалии. Кластеры помогают отыскивать нетипичные объекты, которые не подходят ни к одной группе.


Где применяют кластеризацию?
В маркетинге. Метод помогает провести сегментацию клиентов и конкурентов, исследовать рынок;
В медицине. Можно разбить на группы симптомы, заболевания, препараты;
В биологии. Для классификации животных и растений;
В социологии. Для распределения респондентов на однородные группы;
В компьютерных науках. Для группировки результатов при поиске сайтов, файлов и других объектов.

Еще больше про кластеризацию в Data Science вы можете узнать из этой статьи.

Ставьте огонек, если информация была полезной! Открыть/Комментировать

2022-09-23 19:07:06 Мы вам обещали мини-дайджест интересных материалов из мира Data Science. Вот он.

 Gartner назвала 25 технологий будущего в IT
Это свежий отчет, и его данные значительно отличаются от прошлогодних. В 2022 году эксперты делают ставки на технологии расширения иммерсивного опыта, ускоренную автоматизацию на базе ИИ и оптимизированную доставку технологий.

 Инвестиции в ИИ вырастут в 2,4 раза к 2025 году — до 204 млрд долларов
Такие прогнозы дают аналитики International Data Corporation (IDC). По их данным, инвестиции будут расти на 24,5% каждый год. Больше всего вкладываться в решения ИИ будут ретейл и банки.

 Где применяют ИИ — разбор
В этом материале вы узнаете о передовых технологиях ИИ и сферах их применения. Например, про GPT-3 — самую крупную и продвинутую языковую модель в мире.

 Как уход зарубежных вендоров изменил российский рынок RPA — эксперты
В статье: какие вендоры RPA (роботизированная автоматизация процессов) ушли, кто остался и почему ситуацию на российском рынке RPA можно назвать «подарком судьбы».

Ставьте огонечки, если вам зашел формат, и мы сделаем его постоянным! Открыть/Комментировать

2022-09-23 19:05:49 Контент канала
В начале недели мы спрашивали вас, какие материалы вы хотите видеть на нашем канале. Мы учли ваши комментарии и дополнили их интересностями. Вот что вас ждет:

дайджесты новостей и разборы технологий
полезные подборки и рекомендации
кейсы и истории успеха студентов
анонсы важных мероприятий в индустрии

Если у вас появятся новые пожелания, пишите нам в комменты. Мы обязательно прислушаемся! Открыть/Комментировать

2022-09-20 19:15:06 Друзья, мы с вами прошли большой путь. И даже сами не заметили, как прошла третья неделя учебы. И хотя сейчас у вас совсем другие цели, мы собираемся оставаться для вас интересными и полезными.

Поэтому у нас возник вопрос: какой контент вы хотите видеть на канале?
Пишите свое мнение в комментариях!

На этой неделе начнем экспериментировать с разными форматами — к пятнице подготовим небольшой дайджест новостей. Так что ждем ваших реакций! Открыть/Комментировать

2022-09-16 18:16:06 Вы — невероятные!

Поздравляем вас с началом учебного года в онлайн-магистратуре МФТИ!


Столько было хлопот, столько треволнений во время поступления — вы проделали огромный путь. Мы благодарим каждого.

А сейчас настало время выдохнуть… и вдохнуть поглубже! Потому что началась учеба — и это тоже нелегкий трек, но а) он ведет к большой цели и б) вы не одни.
С вами координаторы, менторы и преподаватели, которые всегда подскажут там, где непонятно, и поддержат на сложных участках. Словом, вместе мы все преодолеем.

В трудных походах команда обычно обсуждает, что произошло за день: какие были сложности, что приносило радость. Мы вам предлагаем сейчас сделать то же самое. Расскажите, как проходят ваши первые недели в МФТИ?

Ждем ваши истории в комментах!


P.S. А на следующей неделе подготовим для вас небольшой опрос по дальнейшему контенту канала – чтобы не теряться. Открыть/Комментировать

2022-09-13 19:30:06 Чем заняться в МФТИ офлайн
Мы спрашивали, интересно ли вам узнать про офлайн-возможности в МФТИ. Вы ответили «да». А значит, посту быть.
Рассказываем, что предлагает вуз студентам: в науке, культуре, спорте и других направлениях.

Чем же вы можете заняться в МФТИ?

Написать в научный журнал. У вуза их два. «Труды МФТИ», а также Moscow Journal of Combinatorics and Number Theory, который издают при поддержке Яндекса и Microsoft.

Посетить конференцию. Можно как спикер, а можно как слушатель. Ближайшая пройдет с 26-го по 30-е сентября в наукограде Дубна.

Стать участником научной лаборатории. Лаборатория искусственного интеллекта ВКонтакте или нейронных систем и глубокого обучения? Выбирайте! МФТИ предлагает студентам десятки вариантов.

Пойти на дебаты или в ЧГК. В МФТИ есть свой клуб дебатов, а также движение «Что? Где? Когда?». Если в науку погружаться не хочется, а душа требует интеллектуального досуга — вам подойдет.

Записаться в школу развития soft skills. Онлайн-школы продают такие курсы, а в МФТИ можно освоить гибкие навыки бесплатно. Тренинги, мастер-классы, лекции станут суперполезным дополнением к традиционному образованию.

Заняться спортом. Тут глаза разбегаются. Хотите — идите в привычные баскетбол, футбол или кроссфит. А можете встать на горные лыжи или заняться парусным спортом. Выбирайте из более чем десятка направлений.

Получить психологическую помощь. В обычной жизни эта услуга не из дешевых. В МФТИ профессиональные психологи помогают бесплатно. Стресс, апатия, проблемы в учебе или личной жизни — каждый запрос важен.

Кроме того, в МФТИ можно рубиться в настолки, играть в студенческом спектакле, вступить в клуб путешественников или попробовать себя в волонтерстве. Мы могли бы бесконечно продолжать список — он огромен.

Оставим ссылку на полный перечень офлайн-активностей: они тут. А про спорт тут.
Интересно ли узнать про какую-то из активностей подробнее? Пишите в комментарии! Открыть/Комментировать

2022-09-09 18:21:10 Как получить студенческий?
Знаем, что этот вопрос волнует многих из вас. Поэтому собрали короткий чек-лист.

Вчера в канале саппорта МФТИ в Слаке координаторы опубликовали форму для сбора информации. Чтобы отправить запрос на студенческий билет, вам нужно:
заполнить все поля этой формы
прикрепить к ней фотографию для студенческого билета
при необходимости доставки указать адрес
Форму нужно заполнить до 11 сентября: после мы отправим все данные в вуз для оформления студенческих.

Когда будут готовы студенческие?
Ориентировочно через неделю после сбора информации: в период с 16 по 23 сентября.
Как только студенческий будет готов, вы сможете прийти в вуз и забрать его самостоятельно. Или воспользоваться доставкой, если вы из другого региона.
Не беспокойтесь: до конца сентября ваш студенческий будет уже у вас на руках или на пути к вам. Открыть/Комментировать

2022-09-08 18:40:48 Как получить налоговый вычет за обучение?

Вы можете вернуть часть потраченных на обучение средств. И эта процедура проще, чем кажется, — сейчас все объясним.
Налоговый вычет за обучение — это 13% от его стоимости за год. Можно вернуть до 15 600 ₽. Такой потолок есть, потому что налоговики зафиксировали максимум, с которого возвращают проценты, — 120 000 ₽. Если вы платите за обучение в год больше этой суммы, то индивидуального расчета, увы, не будет.

Вы получите вычет, если работаете по договору ГПХ или по трудовому договору (получаете «белую» зарплату и платите НДФЛ).

Если за вашу учебу заплатил родственник, то вычет тоже сработает. Родственник вернет свои 13%.


Итак. Вы поняли, что вычет вам положен. Что дальше?

Соберите документы:
справку 2-НДФЛ или «Справку о доходах». Ее можно получить в бухгалтерии на работе или на сайте налоговой
чек об оплате курса. Вы найдете его на почте. Обязательно сохраните
справку об оплате. Вуз выдает ее в любое время по запросу
договор-оферту и приложение к нему
копию лицензии образовательной организации
копии паспорта и ИНН
декларацию о налогах 3-НДФЛ (если учились в прошлом, но не более трех лет назад)

Подайте заявление в ФНС
Вы можете сделать это лично или онлайн. Образец есть на сайте налоговой.
Чтобы подать заявление онлайн:
заполните форму в личном кабинете налогоплательщика
прикрепите сканы, фото или электронные варианты документов
укажите реквизиты для возврата средств

Все! Ждите ответа от ФНС в течение месяца.
А если у вас остались вопросы, изучайте нашу суперподробную инструкцию по налоговому вычету. Открыть/Комментировать

2022-09-02 19:40:39 Как перейти в IT, если только начал свой путь, — рассказываем
Раз все идут в IT — рынок уже переполнен. Часто слышим эту фразу. А еще говорят, что в IT сложно, если ты гуманитарий и без опыта.

Мы предпочитаем верить не словам, а фактам. Data Science занимает первое место в рейтинге профессий с самым большим спросом на рынке до 2025 года. Это свежие данные с Всемирного экономического форума. А теория про гуманитариев и технарей — вообще давно опровергнутый учеными миф.

Давайте вместе разберемся в вопросе еще глубже: как становятся Data Scientist и можно ли попасть в эту сферу с нуля. Только факты и ничего кроме них.

Как становятся Data Scientist
Часто в профессию идут люди из смежных специальностей:
Это программисты, которые намерены глубже погрузиться в анализ данных
Это аналитики, которым захотелось освоить IT, чтобы выйти на совершенно новый уровень работы.
Многие специалисты совершают карьерный переворот, не увольняясь из своей компании.

Как попасть с нуля
Как показывает наша практика в МФТИ, вступительный экзамен на онлайн-магистратуру успешно сдают люди без глубокого опыта в Data Science и IT. Хотя легким это испытание точно не назовешь. Так что не надо бояться, что с вашими знаниями у вас ничего не получится.

Мы очень гордимся тем, что к нам поступают представители разных профессий, в том числе гуманитарных. Они быстро втягиваются!

Что с работой
Data Science — одна из самых растущих профессий в IT. За последние три года количество вакансий выросло на 433%, и Data Scientist по-прежнему не хватает. Платить им готовы 75 тысяч рублей на старте и больше 280 тысяч рублей, когда есть опыт работы.

Это ли не карьерная цель, если полюбил свою новую работу?
Наш Центр карьеры, кстати, поможет вам ее достичь. Мы всячески помогаем студентам найти работу по новой специальности. Как — подробнее рассказывали тут.

Есть тут те, кто пришел учиться на Data Science, чтобы кардинально изменить жизнь? Вы все сможете! Ставьте огонечки. Открыть/Комментировать