Datalytics

2020-12-18 12:17:02 Открыть/Комментировать

2020-12-18 12:16:01 Банк ВТБ в поиске опытных системных аналитиков в Москве и Санкт-Петербурге.

Работаем в кросс-функциональных командах, в каждой из которых собрано максимум компетенций для создания лучших цифровых продуктов. Никаких длительных согласований — ответственность за продукт перед клиентом и руководством полностью несет команда и ее лидер. Это позволяет реализовывать смелые проекты в кратчайшие сроки. Больше проектов — больше шансов проявить себя и построить карьеру!

Москва:

Системный аналитик

Санкт-Петербург:

Аналитик обязательной отчетности
Системный аналитик

Что нужно делать:

Будет много живых и интересных проектов, в которых ваши аналитические и коммуникативные способности востребованы в полном объеме. Именно вы будете отвечать за то, чтобы проекты были сделаны так, как надо, а не так, как получилось.

Что потребуется:

• опыт работы в роли системного аналитика от 2 лет;
• умение анализировать бизнес-процессы, четко и структурированно формулировать требования по их автоматизации;
• базовые знания SQL;
• навыки разработка схем, диаграмм, макетов (mockup), понимание XSD/XML схемы.
• навыки коммуникации с бизнес-заказчиками / разработчиками;
• опыт написания постановок разработчикам.
• понимание принципов работы современных веб-сервисов: REST, SOAP;
• умение работать с инструментами тестирования\отладки web-сервисов (SoapUI, Postman);
• контроль соответствия результатов доработок функциональным требованиям;
• оценка трудозатрат по разработкам в соответствии с требованиями; участие во внедрениях.

Что вы получите:

- фокус на развитие: hard skills в рамках современного технологического стека
- интересные задачи: более 150 крупных проектов и свыше 12 000 внедрений в год. Каждая задача — реальная потребность бизнеса
- карьерный рост: возможность выбора направления для роста и развития. 1100 команд — найдите свою по духу и задачам

Оставляйте отклик и присоединяйтесь к команде, которая создает банк будущего для миллионов людей! Открыть/Комментировать

2020-12-16 19:00:53 Статья, в которой приводится несколько простых советов о том как организовывать эффективные и надежные пайплайны обработки данных. Если вкратце, то вот они:
- Разделяйте пайплайн на изолированные и тестируемые маленькие шаги;
- Старайтесь делать шаги атомарными (обработка данных как атомарные транзакции)
- Запущенный этап ETL должен при повторном запуске выдавать тот же результат на идентичных входных данных (правило идемпотентности)
- Избыточность (храните raw-data так долго как это представляется возможным)

https://habr.com/en/company/badoo/blog/531912/ Открыть/Комментировать

2020-12-16 12:40:32 Для отслеживания самых заметных мероприятий посвященных Big Data, Machine Learning, Data Science, Data Engineering, BI/DWH и другим направлениям, связанным с обработкой данных, рекомендую подписаться на канал "Data online events & Moscow meetups"

Предложить свой ивент можно, написав @NikolayKrupiy, @Ajvol

Подписаться на t.me/data_events Открыть/Комментировать

2020-12-15 19:18:38 Пятничное: ребята из ClickHouse загрузили в базу кучу статистики про GitHub и сделали кучу готовых запросов, очень много рассказывающих про культуру и опенсорс вцелом. Если вас интересует эта тема - обязательно посмотрите, много неожиданных открытий. Например теперь понятно, какая компания делает самый популярный опенсорс. Или какой контент на гитхабе самый популярный вообще https://gh.clickhouse.tech/explorer/ Открыть/Комментировать

2020-12-13 13:23:20 Google создали рейтинг критически важных open-source проектов. В расчёте метрики критичности участвует много разных показателей, свидетельствующих о влиянии и значимости проекта, например, количество контрибьютров и частота коммитов на Github. Отдельного внимания заслуживает документ, рассказывающий о методологии расчёта. На мой взгляд, это интересный пример расчёта аналитической метрики, позволяющей ранжировать данные, опираясь на независимые показатели

На основе данных, представленных Google, оказывается, что наиболее критичный open-source проект среди всех — это Node.js. А среди проектов, написанных на Python — Ansible. Ну и замечу, что всеми нами любимый Pandas находится на 4 строчке среди Python-проектов и на 19 месте среди всех проектов

На картинке топ-10 Python-проектов. А ещё можете сами поковырять файлик, в который сведены данные по ссылке выше: 6 списков по 6 языкам (C, C++, Java, JS, Python, Rust) Открыть/Комментировать

2020-12-13 03:31:44 # lang: python
def is_unique(l):
return len(set(l)) == len(l) Открыть/Комментировать

2020-12-10 13:54:06 Хорошее русскоязычное руководство по Matplotlib. Отдельно стоит отметить, что это не просто сборник готовых рецептов по построению стандартных диаграмм, а качественный образовательный материал, объясняющий простым языком принципы построения самых разнообразных диаграмм (в том числе комбинированных, например, scatterplot + line plot). Большое внимание уделяется компонентам фигуры (см. Anatomy of a figure), что позволяет гибко настраивать внешний вид визуализации под свои нужды

Когда я только знакомился с анализом данных на Python, то matplotlib я не любил из-за постоянно возникающего ощущения, что для создания хорошей визуализации нужно много танцев с бубном, но по-тихоньку моё отношение к нему менялось. На мой взгляд, обманчивая сложность освоения в первую очередь связана с тем, что самый распространенный способ создания визуализаций в matplotlib — это pyplot API, которое базируется на состояниях (state-based API), а после объектно-ориентированного подхода это немного дезориентирует. Вот хороший ответ на stackoverflow, объясняющий принцип состояний в matplotlib

Итого: секрет успешного освоения matplotlib — понимание компонентов фигуры + принципа state-based API. Зная компоненты становится яснее какие компоненты нужно изменять, а умея работать с состояниями — изменять эти компоненты

https://pyprog.pro/mpl/mpl_short_guide.html Открыть/Комментировать

2020-12-09 12:05:49 Эмели Драль и Лена Самуйлова опубликовали на Github легковесную библиотеку для генерации интерактивных отчетов по анализу датасетов для ML моделей. Это полноценный MVP, который сегодня умеет оценивать только Data Drift, а совсем скоро научится делать ещё массу всего полезного, например, ассеcсмент ML модели, а дальше полноценный мониторинг

https://evidentlyai.com/blog/evidently-001-open-source-tool-to-analyze-data-drift

Ссылка на github Открыть/Комментировать