Рецепт правильного аналитика: щепотка SQL, ложечка Spark, | Иннотех Team
Рецепт правильного аналитика: щепотка SQL, ложечка Spark, много логики и чуть-чуть интуиции — смешать, но не взбалтывать
Секретом развития аналитика от джуна до сеньора поделился эксперт-аналитик службы разработки сервисов и приложений больших данных Владимир Ловцов. Читайте, чтобы узнать, в каких сферах придётся наращивать компетенции.
— Чем занимается аналитик?
Если коротко, то исследует данные, чтобы принести ценность бизнесу. Принято делить аналитиков на три категории: бизнесовый, системный и дата-аналитик. На мой взгляд, последний может иметь четыре направления для экспертного развития:
— исследователь качества данных;
— дата-инженер;
— исследователь данных;
— инженер качества данных.
Если есть желание развиваться в дата-аналитике, то для начала нужно получить опыт в системной или бизнес-аналитике.
— Что должен уметь аналитик-джун?
У начинающего аналитика должен быть хороший математический аппарат, обязательны знания теории вероятности и математической статистики. Уметь программировать, например, на Python. И конечно, работать с базами данных — знать их структуру, писать простейшие скрипты и так далее.
— Чем будет отличаться аналитик-мидл?
У него будут более продвинутые знания в Python. Например, свободно прогонять скрипт по базе данных, делать базовые выборки. Также важен продвинутый уровень SQL-запросов. Не простые CREATE/SELECT/DROP/UPDATE, а уже эффективные и многоуровневые запросы. Неплохо знать, как их оптимизировать.
Технологический стек зависит от определённого направления. Например, если решил заниматься дата-аналитикой, то это минимум Apache Hadoop, Apache Spark и что-нибудь из реляционных баз данных: Postgres, MS SQL Server. Почему эти инструменты? Данные растут в колоссальном объёме. Если на одной из витрин в том году было 3 миллиарда записей, то в этом уже 5 миллиардов. В обычной базе данных быстро получить информацию из такого объёма записей не получится. А вот кластерные решения с этой задачей эффективно справляются.
Apache Spark интересен тем, что он open source. Каждый может доработать его под себя. Например, AliExpress и другие крупные компании его кастомизируют под бизнес-процессы. И нередко Spark используется даже без связки с Hadoop.
— Как стать сеньором в аналитике?
Дальше углубляться в SQL. Учиться не только писать код, но и читать чужой, проводитЬ рефакторинг. Часто используемые технологии должны перейти с уровня «я умею пользоваться» на «я уверенный пользователь и могу делать всё, что требуется для задачи».
Нужно не бояться ответственности при решении крупных задач. Фокусироваться на конкретных технологиях и процессах, добиваясь знаний на уровне эксперта.
— А что же про софт-скилы?
Конечно, важны многозадачность, критичность мышления, инициативность и умение брать на себя обязанности по решению задач. Нужно уметь разговаривать и понимать бизнес-заказчиков, видеть общую с заказчикоМ картину продукта.
— Как развиваться сеньорам?
Выбрать технологию и совершенствоваться в ней. Но всё зависит от проектов и используемых техстеков. Практика такова, что два сеньора могут сильно отличаться друг от друга по технологиям.
