Dan Okhlopkov - канал

2021-04-12 19:29:24 я выступаю через час есчо Открыть/Комментировать

2021-04-12 19:25:04 Мой доклад будет поверхностным и быстрым - я просто вкину технологии, которые помогут вам быстро собрать Data Platform для вашего проекта. Будет максимально приближено к практике, но самому погуглить детали нужно anyway.

Для маленьких стартапов, для маленьких данных, для будущих CTO. Открыть/Комментировать

2021-04-12 13:00:16 Каггл и корпорации извратили нас, предлагая готовые датасеты для анализа. А собирать их кто будет? Где хранить и как предоставить доступ для аналитиков и пацанам из бизнеса?

Сегодня где-то после 20:00 расскажу, как дешево сделать платформу по сбору, хранению и анализу данных для вашего стартапа. Не биг-бигдата, но для ~1Тб данных подойдет. Ссылочка. Открыть/Комментировать

2021-04-09 14:28:01 ETL vs. ELT

До меня только недавно дошло, что такое ELT и зачем. Раньше я думал, что это опечатка или прикол а-ля HODL. Но нет.

Когда ты дата инженер, тебе нужно перетаскивать данные из одного места в другое. Бывает, что ты добавляешь новый источник данных в свой Data Lake (например, начинаешь парсить что-то).

Так вот, в этом случае правильным и масштабируемым подходом будет ELT (extract-load-transform), а не ETL (extract-transform-load). Лучше сохранять максимально сырые данные (+ timestamp), а потом отдельной таской переводить их в нужный формат в новую таблицу.

Да, занимает больше места (хранение сырых и обработанных данных), дольше прогать (нужно писать скрипт, форматирующий данные). Но в будущем, когда окажется, что нужно было что-то ещё сохранять или форматирование было ошибочное, вы всегда сможете все переделать без потерь данных, так как у вас сохранены исходники. Открыть/Комментировать

2021-04-06 11:49:12 SQL + Python = Сила Открыть/Комментировать

2021-04-05 12:31:30 Квест

1) Расклеиваем QR коды в городе
2) Коды - одноразовые
3) Первому выдается NFT токен с местом
4) Заводим комьюнити, кидаем туда подсказки
5) Заводим сайт с картой, лидербордом и тп. Открыть/Комментировать

2021-04-05 09:47:01 Раз я люблю парсить открытые данные (кстати не факт, что это все еще можно делать), у меня была идея сделать поисковик по людям.

Формально просто парсить профили людей в разных соцсетях (Instagram, Facebook, Twittter, Linkedin, Telegram, Github). Объединять профили из разных соцсетей в одного человека. По UGC определять интересы, связи с другими людьми, демографию и гео. Внутри сервиса предлагать поиск по этим фильтрам, а на выходе давать ссылки на соцсети.

Такая вот read-only соцсеть получается. Начать можно с айтишников, так как о них можно больше инфы нарыть. Открыть/Комментировать

2021-04-01 15:50:00 Местоположение всех нод Ethereum (~4300 штук) Открыть/Комментировать

2021-04-01 14:55:44 Местоположение всех биткойн нод (~8800 штук) Открыть/Комментировать