No Data No Growth | Pavel Bukhtik

2023-02-22 11:00:42 Алгоритмическая задача с собеседования в один из банков

Нужно написать функцию, на вход которой подаётся строка вида 'Z5YX2G2' (сокращенная запись строки 'ZZZZZYXXGG'), а возвращается длина полной записи строки.

Пример ввода: Z5YX2G2

Пример вывода: 10

Через 24 часа опубликую разбор задачи. Тот, кто напишет в комментариях наиболее элегантное решение (т. е. простое и эффективное), получит звездочку.

А теперь раскрою, что можно делать со звездочками

Их можно обменять на бесплатную 30-минутную карьерную консультацию. На ней можно получить ответы на любые вопросы по профессиональному росту, трудоустройству и перспективах.)

Сейчас обладатели звездочек – @maxlukyanenko и @art290790. Предлагаю вам написать мне в л.с. Там мы договоримся о времени встречи.)

#задачиссобеседований Открыть/Комментировать

2023-02-21 11:16:01 Третий этап развития А/Б тестов в компаниях по опыту Рона Кохави.

Он называется Run, от английского – бегать.

На этом этапе продуктовые команды увеличивают количество экспериментов и быстро итерируются с целью выявления влияния гипотез на бизнес. А/Б тесты запускаются практически каждый день (~250 в год).

Метрики становятся более абстрактными: появляются понятия “лояльности”, “успеха” и подобные.

У экспериментальной платформы внедряются автоматические алерты на инциденты и функция постепенной раскатки экспериментов на пользователей. Взаимное влияние между А/Б тестами отслеживаются уже также автоматически.

Платформа начинает использоваться не только для проведения тестов над практически каждой фичей, но и для применения на других продуктах компании.

База завершенных экспериментов теперь является источником знаний. Также периодически проводятся ухудшающие тесты для лучшего понимания значимости отдельных фич и потенциального эффекта от изменений их метрик.

Продуктовый менеджер теперь наделен полномочиями самостоятельно оценивать длительность, запускать, мониторить и останавливать А/Б тесты. Data Scientist’ы только проверяют результаты анализа.

Цель этапа: создание общего критерия оценки экспериментов (OEC – Overall Evaluation Criterion) – единой составной метрики, которая учитывает в себе компромиссные взаимосвязи метрик продукта.

А уже в пятницу я расскажу о последнем этапе развития А/Б тестов в компаниях.

#продуктоваяаналитика #абтесты Открыть/Комментировать

2023-02-20 11:25:26 Почему работодателю выгодно предоставлять плюшки сотрудникам?

В описаниях IT-вакансий всегда упоминаются плюшки компании. Компенсации английского, спорта, питания, психолога, страховки, наличие настольного футбола или тенниса, печенья на кухне.

Тони Шварц в книге «То, как мы работаем, - не работает» объясняет, зачем нужны плюшки в корпоративной культуре.

Если коротко: работодатель выигрывает от того, что заботится о восстановлении энергии сотрудников. Считается, что сотрудники работают эффективнее, если есть политика отдыха, провизия для приготовления здоровых перекусов, гибкий график...

На своем опыте могу сказать, что приятно, когда корпоративный спорт вшит в распорядок работы. Уже 2 года я занимаюсь йогой перед работой в 8 утра прямо в офисе. В такие дни я чувствую себя куда более энергичным и что не мало важно – продуктивным, ведь еще до работы удается взбордриться телом и духом.

А какая у вас любимая плюшка? Видите ли вы связь между классными плюшками в компании и эффективностью? Открыть/Комментировать

2023-02-17 10:31:07 Второй этап развития А/Б тестов в компаниях по опыту Рона Кохави.

Он называется Walk, что с английского означает – ходить.

Инструменты настроены, одобрение бизнеса получено. Фокус смещается к определению метрик и экспериментальной платформе.

Начинают определяться стандартизированные продуктовые метрики: кроме примитивных кликов и просмотров появляются, например, среднее количество кликов на пользователя или среднее время сессии.

Также выделяются четыре типа метрик:

 метрики успеха – над улучшением которых работает продукт;

 оградительные метрики – ограничения, которые нежелательно нарушать;

 метрики качества данных — гарантируют, что эксперименты будут проведены корректно;

 метрики отладки – помогают глубже детализировать метрики успеха и оградительные метрики.

Поскольку тесты проводятся теперь каждую неделю (~50 в год), появляется потребность в платформе для экспериментов. Для этого компании либо начинают использовать готовые инструменты (Optimizely, Mixpanel, Oracle Maxymiser), либо работают над созданием собственного решения.

Независимо от выбранного пути, у платформы на этом этапе должны быть реализованы расчет размера выборки и А/А тестирование. Взаимное влияние между экспериментами отслеживается вручную.

Ответственность в планировании экспериментов переходит на продуктового менеджера. Проведение, мониторинг и анализ экспериментов остается на Data Scientist’ах.

Цель этапа: масштабирование количества экспериментов за счет платформы.

Во вторник я расскажу о третьем этапе развития А/Б тестов.

А у меня на этой неделе на этом все. Хороших всем выходных! До встречи в понедельник.)

#продуктоваяаналитика #абтесты Открыть/Комментировать

2023-02-16 16:10:25 Разбор задачи про шахматную доску из тестового в интернет-сервис объявлений.

Чтобы добраться до нижнего правого угла, независимо от выбранного пути, шашке нужно совершить N-1 шагов вправо и N-1 шагов вниз. Итого, 2*(N-1) шагов.

Пусть 0 и 1 – шаги вниз и вправо соответственно.

Рассмотрим ленту из 2*(N-1) ячеек, содержащие 0.

(0 0 0 0 0 0 для N=4)

Теперь задача сводится к количеству вариантов замены 0 для N-1 ячеек на 1.

(0 0 1 0 0 1 1 для N=4 )

Т. е., условно, есть 2*(N-1) ячеек, сколько есть вариантов выбрать N-1 из них?

Получаем через количество сочетаний – C(2*(N-1), N-1).

Если N было бы задано в виде конкретного числа, то задачу можно было бы также решить с помощью треугольника паскаля. Центральное значение из нижней строки треугольника с глубиной 2*(N-1) и было бы искомым значением.

Быстрее всех ответ на задачу дал @art290790. Спасибо @maxlukyanenko за самое развернутое решение. @AlexeyMalafeev – отдельное спасибо за альтернативное решение. Молодцы

Остались вопросы или что-то непонятно? Спрашивайте в комментариях или л. с.)

#задачиссобеседований Открыть/Комментировать

2023-02-15 16:10:33 Задание из тестового в интернет-сервис объявлений.

Перед вами шахматная доска размером NxN. В верхнем левом углу находится шашка.

Шашка может двигаться только вправо или вниз (вверх или влево двигаться не может).

Сколькими различными путями шашка может прийти в нижний правый угол?

Как всегда, через 24 часа выложу разбор задачи. А кто первым верно решит задачу в комментариях – тому звездочка.

#задачиссобеседований Открыть/Комментировать

2023-02-14 09:59:33 Первый этап развития А/Б тестов в компаниях по опыту Рона Кохави.

Кто такой Рон Кохави я уже рассказал в ознакомительном посте. Если еще не читали – вот он.

Первый этап развития называется Crawl, что с английского означает – ползать.

На этом этапе продуктовые команды подготавливают инструменты и создают необходимые условия к проведению экспериментов.

Для этого создается система логирования, позволяющая анализировать поведение пользователей: клики, показы экранов, свайпы.

На основе созданной системы логирования, проводятся первые эксперименты. В среднем это ~1 А/Б тест в месяц (~10 в год). Результаты по ним подводятся вручную.

А/Б тесты проводятся для тех изменений, где сразу же доступно несколько вариантов реализации, а также априори не очевидно, какой вариант лучше.

Вся работа по зарождению экспериментов инициируется и ведется отдельной командой data scientist’ов, поскольку у продуктовых команд для этого нет необходимой экспертизы.

Цель этапа: получить одобрение от бизнеса, необходимое для дальнейшего развития платформы, экспериментов и data-driven культуры в компании.

В эту пятницу я расскажу о втором этапе развития А/Б экспериментов.

Интересно и ждешь следующую часть? Поставь !

#продуктоваяаналитика #абтесты Открыть/Комментировать

2023-02-13 10:12:35 Почему А/Б эксперименты важны для бизнеса?

На днях общался с клиентом. Он владеет компанией, которая занимается разработкой мобильных игр. Всего игр 5: 2 уже закрылись, 2 в магазинах и 1 ещё создается.

Со мной поделились болью о том, что каждая третья выкладка крупных изменений в их играх драматически влияют на экономику. Речь идет о просадках в 10-15% от общей выручки. После каждого такого удара приходится восстанавливаться серией обновлений.

По этой причине закрылось уже 2 игры.

На вопрос «проводите ли вы а/б тесты?», я получил следующий ответ: «мы считаем, что они нам не нужны».

А/Б тесты – единственный надежный способ оценки эффекта и целесообразности изменений. Только с их помощью возможно зафиксировать то, сколько в среднем раз мы готовы ошибаться. Другие статистические методы таким свойством не наделены. Куда уж интуиции. Открыть/Комментировать

2023-02-10 11:14:35 Открыть/Комментировать

2023-02-09 10:30:45 Эту задачу HR’ы социальной сети задают на телефонном интервью.

Времени размышлять нет, ответ ожидается сходу.

В коробке 7 красных, 14 зеленых и 21 синий носков.

1. Какое минимальное количество носков нужно вытянуть наугад чтобы гарантированно образовалась одна пара одного цвета?

2. Какое минимально количество носков нужно вытягуть наугад чтобы в итоге гарантированно получилось три разных?

Попробуйте справиться с задачей самостоятельно перед просмотром решения.

В обеих задачах нужно отталкиваться от худшего случая.

1. Мы можем сначала вытянуть 3 разных носка. 4-ый гарантированно будет уже имеющегося цвета.

2. Аналогично, можем вытянуть 14 зеленых и 21 синий. Следующий носок – уже красный. Итого: 36.

#задачиссобеседований Открыть/Комментировать