Ross Nazarenko

2021-04-29 23:51:00 ого сообщения.

В результате, ровно половина команды (которая к этому моменту выросла в 2.5 раза +1 (Аманда) начали обсуждать на звонках, какое TVP мы ожидаем от нового изменения. Под давлением группы, остальная часть команды, мимикрировала и тоже начала задаваться этим вопросом.

Теперь оставалась вторая часть проблемы с data-driven культурой - скорость. И вот тут была битва не на жизнь, а на смерть. Все было ОООООЧЕНЬ медленно. Чертовски медленно. Когда вы думаете про медленно - мы были 5х раз медленнее и меня это бесило.

Опять таки, проблема решилась двумя способами. Один - довольно привычный, вырезать все лишнее.

В финтеке один из хороших источников траффика - аффилтяка. Тысячи блоггеров ежедневно выхлестывают десятки тысяч часов контента.

И всем им хочется есть.

Чтобы скипнуть этап с интеграцией другого инструмента и создания дашбордов, я предложил довольно упоротую вещь. Так как афилятам мы платим так же, как и рефералам - за пользователя, который сделал депозит на платформе, мы решили использовать эту же систему для выплаты афилятам. Единственная разница, что награда у них будет больше.

Для этого в Retool каждому пользователю мы вывели еще один флаг - размер реферальной награды. Так как каждого аффилята мы знаем лично, я руками апдейчу его профайл и повышаю награду за приведенного пользователя.

Второй способ - это показать на пальцах, что у нас есть и где нам надо быть в определенный момент. Момент этот - фандрейзинг. Чуть больше года после прошлого раунда, мы хотим взять взять х3 денег, показав при этом х10 рост за год. Следовательно, есть понятная цель и понятный дедлайн.

На основе growth model, я показал, сколько денег нам надо тут и сейчас, чтобы добиться цели. Конечно, это никого не устроило, потому что у нас есть явные проблемы с эквизишином. Primary account banks платят по 250-1500 баксов за пользователя, брокеры - $750-$1000.

Cash app получает своих пользователей за $20, а robinhood примерно за $50. Наши стоят в несколько раз больше.

Сошлись на компромиссной growth model, когда задачу по TVP разбили на несколько частей - кол-во транзакций на пользователя, их размер + источники траффика (paid, referral, organic) + сделали поправку на ретеншен. В процессе обсуждения, основной вопрос для каждой цифры был - верим ли мы, что один из грядущих апдейтов поменяет эту цифру значительно в лучшую сторону?

Все гипотезы оставили довольно консервативными, кроме рефералки, которая вот-вот должна была запуститься.

Наш K-factor - 1.2 и растет. Проблема заключается в том, что брать за базу? Всех пользователей или только тех, кто шлет инвайты? Я обычно беру только тех, кто шлет инвайты и ввожу еще одну переменную - процент людей, которые рефералку используют. Оказалось, что у нас это - нижние xx%, а для счастья, нам надо 30%+.

Появились новые ивенты - feature_x_discovered. В случае с рефералкой, этот ивент отправлялся в момент, когда пользователь попадал на скрин со своей реферальной ссылкой. Оказалось, что таких пользователей не очень много. В результате, СТА вынесли прямо на home screen, вместо того, чтобы оставить его в настройках.

Очевидно, что можно копать дальше, но пока что, это не приоритет. Цифра стала доходить до желаемой.

Результатом стал отчет, который я делают в спрешитах и обновляю каждый месяц, чтоб вся команда знала, какой конкретно цифру мы не дотягиваем. Это помогает приоритизировать ресурсы правильно + стараться выкатывать апдейты быстрее + ускорятся во второй спринт месяца, чтобы успеть добить до KPI.

Итого, вся команда знает, что происходит со стороны growth + видит тактические штуки и понимает, как их можно улучшить. Бизнес довольно "быстрый", так что любой апдейт можно увидеть на корпоративном счету в банке через час, после запуска кампании. Регулярные апдейты в Slack, которые перейдут позже на рассылку через email (пока руки не доходят, а в чатике оно таки теряется). Основа data-driven заложена за 6+ месяцев.

И пришла пора строить солюшен для тестов. Он состоит из: bucketing tool (= JSON playground для определением сегментов) + статмодели под капотом + анлитики.

Bucketing Открыть/Комментировать

2021-04-29 23:51:00 Про data-driven культуру и шапито сейчас тут вот будет в нескольких частях.

Август месяц. Я получаю письмо от Аманды, которая спрашивает че как у меня, и рассказывает про свой стартап. Пару дней спустя мы встречаемся в СФ, пьем кофе, смотрим офис и начинаем работать.

Продукт запустился за пару недель до, растет и все такое, но супер ерли стейдж. Я - шестой человек в команде и первый из product команды.

Первые штуки, которые начали делать - сетапить аналитику. До меня у них стоял metabase и retool. И там, и там были какие-то дашборды, но очень базовые. Чекали TVP (total volume payment) и воронку от инстала, через KYC, добавление банк аккаунта и первого депозита.

Первая итерация прошла отлично, новый человек в команде, кредит доверия и все такое. Но дальше че-то как-то было грустно. В итоге, пытался сделать так, чтоб все фичи до выхода на прод проходили через меня, я размечал их в таксономи и мы вешали ивенты.

Но нет.

Тогда в #growth канале в Slack, я завел рубрику insights и каждую неделю начал постить туда данные + интересные инсайты из той аналитики, которая у меня была.

Двое разработчиков повелось и стало веселее.

Но потом такая же проблема появилась с ивентами/пропертями для Iterable.

С учетом небольшой базы пользователей на тот момент, я решил не постить данные по конверсиям, а вместо этого новые кампании выкатывал сначала на сотрудников. И тут понеслось - "ой, а давай вот тут вот так скажем", "ой, а вот тут пуш зачем отправлять, если пользователь в апке?". Внезапно, все поняли, что ивенты и проперти нам нужны для того, чтобы деливирить важную информацию и добавлять туда нужные детали, а не потому что мне скучно.

Но у меня оставался еще один парень, который максимально не user-friendly. Это тот тип разработчиков, которые предпочитают поставить примерно три миллиона ограничений, только бы не допустить потери $10, которые может увести фродстер. И ему все равно на условную штуку баксов, которые можно получить не имея этих ограничений.

Вместе с ним мы сделали отдельный fraud dashboard в Amplitude, который показывает разбивку пользователей по fraud flags, чарт с подозрительными транзакциями, % фрод транзакций и пару других штук. Стало лучше, но проблема не решилась.

Усложнялось все тем, что мы работали над запуском рефералки. С учетом того, что наш продукт сам по себе имеет встроенный social engine - ожидания от рефералки крайне высокие.

Она должна заменить любые другие каналы.

Но, как следствие, это еще одна возможность скамерам украсть, теперь уже, наши деньги. И он хотел навесить миллион ограничений.

И тут пришла простая идея. Я предложил выкатить эту фичу только на супер-кластер. Супер-кластер - это наши проверенные пользователи, которых мы знаем и которым доверяем. Поразительно, но супер-кластер никогда не пересекался с фрод-кластером. И он согласился.

Нам пришлось построить свой feature flagging тул. И тут шалость удалась. Вместе с новым флагом мы апдейтили проперти referralEligible. А у меня появилась возможность группировать разбивку пользователей на фрод/не фрод по тому, заюзали ли они какую-то фичу или нет.

Тут стало очевидно, что его опасения сильно преувеличены и хоть полностью на мою сторону он и не встал, но зато перестал мешать. И на том спасибо.

Данных стало больше, они стали точнее.

Теперь была другая проблема - data-driven культура. В моих мечтах, любой решение должно было приниматься на основе ответа на вопрос - а поможет ли нам это увеличить TVP?

Заход в лоб провалилась, потому что это, оказывается, крайне неприятный вопрос, когда ты не хочешь ничего решать, а хочешь космолет.

В результате, эту крепость взяли осадой и другой хитростью. Осада заключалась в том, что на каждом стендапе я задавал один и тот же вопрос, что и раньше - как это повлияет на TVP. В довесок к этому, мы сделали обязательный demo call в конце спринта, где мое демо выражалось в запущенных кампаниях и росте того самого TVP.

А вот хитрость - мы сделали простую кверю, которая повторяла идею Bird-a, когда по каждому пушу/рассылке/и тд, я видел сколько инкрементального аплифта мы получаем от кажд Открыть/Комментировать

2021-04-29 06:22:57 Послушал классный разговор от Reforge про эксперименты и как начинать.

Мысль, которая отозвалась почему-то сильнее всего — приоритизировать ни тесты, ни гипотезы, а проблемы.

Из другого интересного:
30% тестов майкрософта давали результаты. 1/3 - лузеры, 1/3 - без изменений.

Команды в Airbnb шерили одну метрику - количество букингов, которые они принесли. Так создавалась конкуренция между командами.

Convoy (могу ошибиться, не помню, кто именно говорил) дает повышения тем, кто принес больше всего импакта, который меряется в цифрах.

Отличие growth-driven культуры только в процессах.

Нет смысла натягивать системы, которые используют Airbnb или Netflix, на стартап.

Получение buy-in от стейкхолдеров важнее, чем знание идеального процесса.

А начинать надо с чего-то очень простого и не гнаться за сложными метриками.

Из прикольных фейлов:
1) не делить пользователей по user id, потому что тогда все, условно, нечетные id будут попадать только в control

2) без user id жить сложно. Zillow перешел с куки на device id. Единственный вариант (кроме как плакать) - собирать больше сигналов (номера карт) и делать post-back анализ и собирать профайлы пользователей позже и уточнять их с каждым экспериментом. А это ведет к тому, что ретроспективно пользователей надо удалять из фанелов/результатов тестов.

Аж захотелось написать о муках выбора, через которые мы прошли сейчас. Stay tuned Открыть/Комментировать

2021-04-27 23:35:41 Продолжение истории не заставило себя ждать Открыть/Комментировать

2021-04-27 23:35:40 Открыть/Комментировать

2021-04-27 23:15:13 Если у вас для рассылки стоит Iterable и вы все время думали, почему он такой... наркоманский, штоле, то у меня есть ответ.

https://www.bloomberg.com/news/articles/2021-04-27/iterable-startup-ceo-says-he-was-ousted-for-taking-lsd-at-work

Что в целом, только продолжает тренд упоротости с 2017 (картинка в следующем посте) Открыть/Комментировать

2021-04-26 21:16:41 Почему финтек продукты не работают с крупными банками?

Текущий СЕО Chase (JP Morgan) регулярно выливает ушат в сторону стартапов. Это, по большой части, похоже на то, что у кого-то трясутся коленки от недополученной прибыли.

Но кроме этого, есть и другая причина. Банки с приличной капитализацией не могут делиться процентом от транзакций, на котором зарабатывает большое количество стартапов. Обычно они дают флэт рейт на уровне пары центов с транзакции.

А вот банки с небольшой капитализацией могут и делятся %. Обычно это около 1% и небольшой рост при росте метрики, которая называется total volume payment.

1% от оплаты на аренду - уже $30 баксов в ревенью. Точно звучит лучше пары копеек.

Экономика тут вот какая, на примере аффилятки по данным Insider.

За привлечение пользователя, который сделает депозит, компании платят:

Webull - $30
M1 - $100 (депозит на $1к)
Public - $20
Robinhood - $50

Банковские апки (не трейдинг) - дают на 20-30% больше. В тоже время, привлечь пользователей через пейдовую рекламу, стоит где угодно от $100 до $300 баксов.

При этом, ретеншен обычно довольно высокий. Выходит, что САС - $200, при оплате только аренды, LTV можно ожидать около $720 спокойно.

Из-за этого появляются очень смешные продукты. Они дают красивый интерфейс для оплаты ипотеки + мелких фичей и как welcome offer - предлагают дать $1к вперед.

И опять таки, при цене дома в $500к и даунпейменте в $100к, ревенью - $1к. Итого вэлкам оффер окупается почти сразу и дальше, если все ок, и оставшиеся $400к выплачиваются через эту апку - LTV повышается до $5к.

Так как средний американец любит кредитку из-за бонусов, у стартапов обычно проблема. Запустить кредитную карту - хороший челендж, не говоря уже про всякие плюшки по ней.

Из-за часть совсем молодых стартапов сайнапятся в афилятки разных продуктов и предлагают эти офферы, как «бонусы» по их карте.

————————————

За последний месяц пару людей написали по О-1 визе.

Есть целая пачка компаний, которая предоставляет очень странные сервисы - типа помощь по поиску жилья на месте или в таком духе. И берут они... 10-20% от зп в течении первых двух-трех лет (по сути - до окончания срока действия визы).

При зп в $150к (бейс), 10% комиссии и 3 лет, стоимость визы будет - $45к.

Юристы возьмут от $6к до $9к. Юристы в партнерстве с пиар компанией на техкранч берут $15к.

Крч, пожалуйста, не ведитесь на этот развод и созвонитесь с парой-тройкой лоеров.

————————————

Последние посты хорошо шерят. Если шерите - напишите хоть какой-то коммент, чтоб было понятно, что заходит лучше Открыть/Комментировать

2021-04-14 02:34:58 Я писал раньше, что одно из основных изменений, которые повлек за собой переезд - это пересмотр своего отношения к личным финансам.

До этого момента, у меня были попытки заняться этой темой, но так как работа в Украинской IT-шечки позволяет не особо забивать голову мыслями сколько стоит стейк перед тобой, все это фейлилось нещадно.

Так же я помню, насколько сложно было 3 года назад купить ценную бумажку или вообще вложить деньги куда-то кроме депозита или квартиры.

Но потом что-то поменялось. Мировые биржы, ОВГЗ, недвига, ПИФы, страховка - для обычного Украинца появилась возможность выбирать. Выбирать из инструментов, которые уже давно доступны во всем мире и которые стали способ для многих собрать себе приличное количество животворящих долларов работая даже на нормальных работах (= не в айти).

Идет ОЧЕНЬ сложно. Масса вопросов как заполнять декларации, как открыть счет на interactive brokers (справедливости ради, ребятам стоит нанять нормального дизайнера) и куча других вещей.

И как же для меня открытием стало то, что у нас есть Любомир Остапив. Мне кажется, он сделал для финансовой грамотности Украинцев (и меня в частности), больше, чем любые другие гос институты вместе взятые.

Крч, если вы живете от зарплаты до зарплаты или умудряетесь просадить $8k в месяц сидя в Украине - стоит на него подписаться. Кроме Youtube канала/митапов/группы в фб/курсов/школ у него еще есть канал в ТГ - @iplanua. Го туда Открыть/Комментировать

2021-04-13 01:55:53 Отмывать деньги в Штатах умеют и иногда даже лучше, чем делать бигмаки.

Вся цель отмывания денег сводится к тому, чтобы иметь доказательство их легального существования.

Старый метод - купить за кэш что-то в магазине с электроникой, придти на следующий день и сделать возврат. Идеально, чтоб сразу на карту. Если спросят - откладывал денег под матрас, купил телик, а он не подход под цвет плитки на кухне.

Новые времена - новые способы. Угнать вашу социальную сеточку, чтобы запостить ваши же фотки и просить денег за их удаление - так себе история. Люди на OF зарабатывают нормально, че уж тут удалять. Вместо этого мошенники угоняют аккаунты на venmo и cashapp. Или через вашу карту.

Вот карта - это безумно интересно.

Кто-то считывает данные карточки на заправке и продает их в интернете за копейки (буквально).

Кто-то другой их покупает. Берет болванки (пустые карты) и у себя в гараже штампует на них номер/дату/сививи. И продает за пару баксов.

Кто-то другой покупает сразу 200 карт и дальше начинается веселье.

В магазин не пойдешь особо. Когда вскроется, начнут пробивать камеры и все.

Выход - заказывать онлайн. Но если заказывать на свой адрес, можно и до вечера не сидеть.

Заказывают на чужой.

Берут маленький магазин. Скажем, магазин с аниме (реальная история сейчас). И покупают там на $3000 всякой мелочи. Заказывают на левый адрес, потом звонят и говорят, что посылку не получили, магазин возвращает деньги и идет искать свою посылку на почту.

Явление настолько массовое, что небольшие магазины, которые до этого влетели на круглую сумму теперь для проверки иногда задают вопросы в стиле, а какого цвета у вас дом (а сами смотрят в гугл мапс) или, если доставка своя, то какого цвета входная дверь.

Противостояние системы и фродстеров - это отдельная песня. Как только у нескольких людей спрашивают про цвет двери, на следующий день уже вся тусовка в курсе и дополнительно пробивают цвет двери на адресе, на который делают доставку.

Но мошенничество - это всегда человеческий фактор. И обычно за мелкими преступлениями стоят, мягко говоря, тупые личности (сами они, конечно же, так не считают). Конечно, все сидят через VPN. Что довольно забавно, потому что это видно. При том, даже сразу понятно, сидят через нормальный сервис (один IP-шник всегда) или через дашманский tunnelbear (IP-шник меняется регулярно).

Но жопа подкрадывается от куда не ждали.

При получении пуша или емейла, вместе с фактом получения, отдается еще много данных. В том числе - девайс и IP.

За редким исключением профессионализма, сердобольные мошенники не утруждают себя держать VPN включенным все время и палятся, как копы на рейвах.

За что, конечно же, сразу получают бан и, в зависимости от суммы, преследование властями.

Выигрывают обычно те, кто не спешит заказывать товаров из сексшопа на $10к сразу после зачисления на карту.

——————————————

У меня появился эталонный пример хастлера. Я раньше писал о том, что у всех коллег на работе всегда есть «еще что-то» - блог, шопифай магазин, книга, консалтинг.

Но этот парень просто побил все рекорды.

Мужчина, 31 год, без работы последние 5 лет, живет в СФ и почти каждый месяц летает в отпуск.

Picture this.

Это человек-аренда.

Он сдает:
- 7 машин (от приуса, до новой r8)
- 3 дома
- 5 паркомест
- Серф/велик/каяк
- Строительные инструменты
- Продает кроссовки
- Конечно подторговывает криптой и опционами
- И бог весть что еще

Самое интересное - это сдача домов. Суммарно, это около 16 квартир. Фишка в том - как?

Он покупает ушатаный дом.

И сдает квартиру в нем за $1к (что нереально для СФ).

Взамен он ставит условие, что ему нужна помощь с ремонтом. Как только ремонт на этапе завершения, он покупает следующий объект и предлагает жильцам съехать за эту же сумму или остаться в старом, но теперь красивым доме, и платить полную стоимость.

Капиталистический co-housing. Открыть/Комментировать