Dan Okhlopkov - канал

2021-07-22 19:39:21 MOOD

- все запрогано идеально
- все работает не как часы
- непонятные фантомные инфраструктурные баги
- ты на территории, где первая страница гугла не поможет
- почему я занимаюсь DevOps, а не просто прогаю питон
- забыл пообедать
- забыл поработать
- в чатах комьюнити проклятья и обзывательства
- люди уходят, деньги тратятся впустую
- надо было на фрезеровщика идти
- устал, вымотан, почти сломлен
- кажется, что все разваливается, время потрачено зря
- нашел видосик в тему Открыть/Комментировать

2021-07-21 18:58:14 Я и мои шизы делают очередной проект Открыть/Комментировать

2021-07-21 13:45:13 Результат EXPLAIN ANALYSE можно скопировать на этот сайт, и он детально расскажет и покажет, где и что можно оптимизировать

https://explain.tensor.ru/ Открыть/Комментировать

2021-07-21 13:14:01 DBA для самых маленьких

Представьте, вы делаете стартап, запрогали бекенд, а потом бац: стало много данных и все грузится медленно. Что делать? Не переписывать же бекенд с питона на ГО....

Почти все проблемы до определенного масштаба можно решить просто добавив в нужное место индексы. Они ускорят SELECT, но чуть замедлят UPDATE/DELETE.

Вот мой алгоритм действий:
Найти SQL запрос, который нужно ускорить
Написать перед ним волшебные слова EXPLAIN ANALYSE
В полученной простыне найти слова Seq Scan - они укажут на таблицу.столбец, куда стоит добавить индекс.

Эксперты-оптимизаторы баз данных получают много. Но кто они без EXPLAIN ANALYSE? Открыть/Комментировать

2021-07-20 20:46:11 parse.tv - 24/7 стрим из браузера, который автоматизирован и через который парсят

Доступ к remote selenium можно выдавать своим "ведущим шоу". Стрим видео через VNC, можно сразу на ютуб. Открыть/Комментировать

2021-07-20 14:12:49 А вы тоже, когда парсите через Selenium, прогаете с нуля всякие рандомные скроллы, ожидание прогрузки страницы, зум аут, детекция cloudflare, движения мышкой и другие действия, которые от проекту к проекту не меняются?

Есть ли готовые библиотеки-обертки с ready-to-use методами автоматизации браузера? Открыть/Комментировать

2021-07-19 12:58:39 Новый ресторан

Представьте:
Приходишь за столик, скачиваешь приложение, сканируешь QR
Тебе высвечиваются персональная лента блюд с ETA, составом
Заказываешь через прилу / Apple Pay. Официант выносит заказ
Метрики блюд добавляются в Health для тех, кто трекает БЖУ
Не все блюда доступны: “Попробуйте это, чтобы открыть ветку “рыбы””
Можно позвать официанта-консультанта (автоматом +10% к счету)
Через прилу можно сплитить счет с друзьями
Реферальная програма, скидки за sharing / mention
“Сегодня приготовим только 10 осьминогов. Аукцион уже начался. Блюда будут готовы к 20:00” Открыть/Комментировать

2021-07-18 16:20:17 Пока я пишу свой лонг рид про парсинг, в очередной раз встал вопрос: куда его публиковать?

Пока тезисы у меня такие:
- самостоятельные кусочки конечно сюда в тг
- для больших текстов тг не оч
- единственный плюс внешних платформ (хабр, vc) - халявный траффик в краткосроке
- если внешняя платформа принесла мало траффика, то лучше было бы на своем выложить

Если говорить именно про парсинг, то лучшее внешнее место, куда его можно выложить - habr.
Если делать свой блог, то пока у меня в голове такой стэк: ghost + cloudflare CDN.

Очень много, кто делает себе персональные сайты с блогом. Может и мне надо? Это игра в долгую, результаты будут не сразу. Может, лучше здесь и сейчас рубить траффик с внешних платформ? Открыть/Комментировать

2021-07-17 16:08:18 Начал писать инструкцию, как прогать парсеры, чтобы все были довольны. Понял, что сначала нужно рассказать, что я понимаю под "парсером".

Для меня это программа, которая структурирует данные. Работать с табличками - удобно и понятно, а с картинками, большими текстами, html страницами, аудио/видео - не очень.

Если говорить про сбор данных с вебсайтов, то весь пайплайн можно разделить на три этапа:
по ссылке получить html страницу с данными (скрапинг)
извлечь оттуда все данные в удобном и правильном виде (парсинг)
положить все в базу данных (сейвинг??)

Зачастую с 1 и 3 пунктами все понятно, а вот 2 все делают как попало, из-за чего работать с результатами становится неудобно, хранить неэффективно, масштабируемость низкая. Именно про Best Practices парсинга я и расскажу скоро. Это будет не набор лайфхаков, как обходить защиты, а скорее "как оформить результаты так, чтобы все кайфанули". Открыть/Комментировать

2021-07-17 12:38:28 В августе я хочу пожить где-то рядом с Калининградом. Но я там не был ни разу - где посоветуете? Кто где был?

Интересует коктейль из красоты природы, больших проплывающих корабликов, вкусной еды и доступной цивилизации Открыть/Комментировать