ProductDo: практика продакта

Что поможет вырасти?
Очень частый вопрос: какие именно знания помогают расти в роли?

Если кто-то вам в ответ говорит “вот этот курс”, улыбайтесь, делайте шаги назад и держите руку на кошельке. На самом деле ответ, как и все в жизни продакта - “зависит от”.

Во-первых, от ваших собственных скиллов. Например, мне, бывшему программисту, не нужно прокачивать знания технологий, я их и так знаю. А вот бывшему дизайнеру (а нынче продакту), это закроет огромный пробел в лидерстве команды технарей. В свою очередь мне надо фокусироваться больше на нетехнических областях (например, интервью с пользователями и дискавери), потому что “строить” я итак имею, а вот что и зачем - надо прокачать.

Во-вторых, зависит от продукта, в который вас занесла жизнь. Например, если вы оптимизируете воронку продаж, то вам сложно будет выжить без “A/B тестирования”. Если вы хотите (или ваш CEO хочет) внедрить ML, то логично было бы в нем разобраться. Помните, что важны не сами знания, а что с помощью них можно сделать, а ведь именно get shit done в итоге двигает вас вверх, а не пятерка на курсе. Если вы и без знаний запускаете все, что нужно, то курсы вам вообще не нужны.

В-третьих, от ваших амбиций. Давайте скажем честно: знать лучше, чем не знать. Когда в мозгу на каждую задачу вспыхивают нужные нейронные цепочки решений, то вы становитесь продуктовой машиной, и это круто. Тогда верно и утверждение: джун, который в первые полгода на работе влил в себя и утрамбовал практикой все известные скиллы продакта, РАЗУМЕЕТСЯ, будет расти быстрее своих коллег. Почему же тогда все так не делают? Потому что настоящее обучение требует фокуса, лопанья эго-пузырика (для мини-CEO чувствовать себя глупым - больно) и жесткого планирования (гораздо проще работать работу и быть “супер занятым”, чем выделять 10 часов в неделю на обучение). Это примерно как толпа туристов у подножия горы, только примерно 10% на первом наборе, куда надо немного пройтись в горку, и только 1% самых упертых на вершине, где самые красивые виды, но куда надо переться в поту 3 часа.

По многочисленным просьбам мы сделали страничку “Какой курс выбрать”, чтобы помочь тем, кто не уверен. Напишите плиз, какие категории мы не включили в список, а стоило бы?

PS Для тех, кто определился, что хочет прокачать технические навыки:
27/01 старт интенсива (симулятор из 18 уроков + 3 воркшопа) от Владимира Калмыкова (Lead Technical PM в Booking. com). Присоединяйтесь, пока еще есть места.

Посмотрите еще раз в родмап на 2026. Нет ли там запусков, которыми вы не будете гордиться?

Хайп и вечные ценности Рефлексия 2025 от №1 Владимира Калмыкова В этом году меня, как и у многих из вас, закружила хайп-тема AI. Вообще, я довольно “роботический” по складу ума, на любые рассказы условных автодилеров смотрю с улыбкой и пониманием, как устроен…

Начало года - опять (!) пора писать стратегию на 2026

Обычно начинающий продакт проходит в процессе создания стратегии через следующие этапы:

Розовые пони: «Пфф, это легко. Мой менеджер попросил документ, я пообещал, что сделаю это к следующей неделе».
Паника: «Когда я начал писать, стало понятно, что я даже не могу точно определить проблему. Зачем вообще существует моя команда/продукт?!»
Первая версия: «Окей, кажется, я разобрался. История получилась красивая, стейкхолдерам понравится».
Версия №1: «Менеджер оставил 26 комментариев и вежливо улыбнулся, но стало совершенно ясно, что моя стратегия - хрень».
Отрицание: «Мой менеджер просто ничего не понимает, пойду покажу другому стейкхолдеру».
Принятие: «Я показал стратегию Джону, он задал кучу очевидных вопросов и стало ясно, что он тоже ничего не понял. Ладно, теперь ясно, что нужно все переделать».
Версия №2: «Я показал новую версию своему менеджеру, и он оставил всего 5 комментариев и добавил один новый слайд. Идем в нужную сторону!»
Версия №3: «Я показал новую версию директору, и он оставил всего 15 комментариев и всего три новых слайда. Отлично, прогресс!»
… (8 итераций спустя)...
Версия № 11: «Даже спустя 3 месяца (мы между прочим уже полным ходом разрабатываем продукт!) я все еще добавляю что-то в стратегию — это живой документ».

Чтобы немного сэкономить вам силы, мы написали очередную статью для нашей библиотеки продакта:

Гайд по стратегии

Наслаждайтесь!

Какую метрику это растит?

Собрался тут я (Владимир) удалить Duolingo за его бесполезностью, а их продакт меня развеселил. Дуо вызвал сочувствие, приложение я не удалил, но и учиться не открыл

Сейчас улучшаю свой голландский и понимаю, что "потыкать в Дуолинго 5 минут между дел или в метро" не приносит никакого результата. От живого учителя оказалось x10 пользы и ROI времени и эффекта.

Ну а если надеть очки продакта, как думаете, какую метрику наш коллега тут вытягивает? И стоит ли?

Тем, кто уже доел салаты - 2 полезности для начала года

Важно: если ложка еще не звякнула о дно таза с оливье, то этот пост пока читать не надо - просто отдыхайте на здоровье.

А если звякнула, то я поделюсь двумя документами, с которых я (Владимир) начинаю год. Я пишу их для себя, ну и убеждаюсь, что моя команда из 5 продактов сделала такие же для своей зоны ответственности, и что я с ними согласен.

Первый документ - PDP (Personal Development Plan), он же ИПР (Индивидуальный План Развития), он же ППР (Персональный План Развития). Такие "одностраничники" полезно, кстати, начинать обдумывать в отпуске, пока голова не забита операционкой и мысль летит широко.

Я добавил в нашу базу полезностей гайд, в котором все объяснил:
- Зачем нужен PDP
- Структура PDP
- Пример заполнения
- Чего делать не надо

Ставьте огонь, если полезно и чувака в черных очках, если пока не до этого.

В следующем посте (после праздников) выдадим вторую полезность начала года.

PS Напомню, сегодня последний день новогодней распродажи. Завтра поднимем цены.

Новогоднее поздравление ProductDo

Дорогие продакты и те, кто читает канал для продактов, надеясь им стать.
Как водится в последнее время, "это был непростой год".

Для многих из вас это был год на новой работе, для некоторых – в новом городе, а для некоторых – в новой стране. В нашей команде есть истории начинаний из всех этих ситуаций, и мы прекрасно помним, как это поначалу сложно. Те, кто только в это окунулся, помните, что любая смена работы – игра вдолгую, и только года через 2-3 вы начнете получать плоды своих инвестиций. И обскачете тех, кто остался на "теплом" месте без развития.

Для многих из вас это был год "Куда-бы-засунуть-AI". CEO по всей планете задавались этим вопросом, а работать приходилось нам, продактам. Засунуть с умом получилось не у всех, но это дело времени. AI – это как новая электрическая розетка в доме, для которой построили еще мало приборов. Но построят, и мы с вами этому поможем.

Для кого-то это был год поиска работы. Рынок был довольно жестким, и редко по вашей вине. Несколько бигтехов сократили десятки тысяч сотрудников (и они пошли по рынку, блестя значками типа Amazon), тот же AI подтолкнул компании к спорным сокращениям, да и просто овер-сапплай продактов, как очень уж привлекательной роли, дает о себе знать. Мне (Владимиру), когда я еще до продактства был программистом, трижды отказал Google, отказал Тинькофф, отказал Uber, так что я понимаю боль. Ну ничего, погрустил, поработал над ошибками и теперь все норм.

В наступающем году мы желаем вам оставаться собой, отличать данные от инфошума, ставить реалистичные OKR-ы, и, самое главное, не только "улучшать продажи на 0.4%", а строить то, чем хочется гордиться. Ну а если для этого вам нужно прокачать какие-то из хард-скиллов, то вы знаете, где нас найти.

С Новым 2026 годом!

Команда ProductDo

Итоги 2025 года "ProductDo"
и подъем цен с 5 января

Новые члены семейства симуляторов. В этом году запустили:
- Симулятор по "AI-прототипированию", чтобы продакты могли не только "имитировать" продукты, но и строить полноценные full-stack приложения с базой данных, внешними API типа OpenAPI и платежкой
- Симулятор "Создание LLM продукта" про то, как использовать мощь современных LLM-ок не для написания (плохих) постов, а для решения новых задач бизнеса
- Симулятор "Пользовательские интервью" про скилл, который в мире хайпа и инфопомойки важен как никогда

Сделали существующие курсы более полезными и практичными:
- Добавили полноценный урок по "Пользовательскому интервью" в курс "Основы продакт менеджмента"
- Добавили новых кейсов и новый урок в "Технологии для продакта"
- Обновили датасеты и расширили курс "Аналитика"
- Расширили курс "SQL для продакта" и добавили урок по "составлению запросов в связке с AI"

Полезный контент:
- Написали для вас 15 "вечных" статей по ключем темам и создали на их основе Карьерный хаб / Библиотеку

С 5 января мы немного поднимем цены, чтобы отразить добавленную полезность (и инфляцию). До этой даты вы можете купить не только по старой цене, так еще и с новогодним купоном -10%.

Если не уверены, какой курс вам нужен, мы сделали удобную страничку.

И он же в видео-формате. Ставьте реакции, чтобы мы лучше понимали какой формат лучше. Или все сразу?

Предыдущий пост формате мини-подкаста

Рефлексия 2025 от продактов международных компаний.
Серия 2. (видео и аудио , если больше любите смотреть или слушать)

Игорь Седачёв, Head of Product в Semrush, ex-Head of Product Авито, автор симулятора Интервью с пользователями.

В начале года над менеджерами продукта заблестела гильотина с нацарапанным словом “вайб-кодинг”. Любой пользователь нашепчет машине промпт, и из пустоты возникает идеальный продукт. Первыми взбивать правильную пенку пойдут продакты B2B SaaS, а за ними и все остальные. Но уже к лету оказалось, что языковые модели не убили профессию. Они убили имитацию, став лакмусовой бумажкой, которая мгновенно отделяет профессионалов от всех остальных. Три главных явления этого года удивительно созвучны трём фундаментальным вопросам продакт-менеджмента.

Выяснилось, что «нашептать» промпт – это не работа. Работа – понять, “какую проблему решаешь?” За запросом пользователя «хочу анимированный отчет из трех источников» скрывается не потребность в данных, а экзистенциальный ужас перед начальником и желание получить повышение. Машина слышит: “сделай отчет”. Продакт слышит: “мне страшно, что меня уволят, дай мне цифры, чтобы я выглядел богом перед советом директоров”. Машина пишет функции, человек лечит страхи.

Языковые модели – блестящие лжецы. Если они врут, то делают это с лицом отличника. И их бред будет подписан нашим брендом. В этом году мы превратились в составителей моральных кодексов. Чтобы построить систему эвалов надо уметь отвечать на вопрос “Как поймешь, что решил проблему пользователя?” Чтобы научить модель понимать, что такое хорошо, а что такое плохо, продакт сам должен знать, в чём ценность его продукта, как эту ценность воспринимает пользователь, как выглядит рынок и т.д. Теперь завалить всех фичами и отчитываться скоростью поставки в прод не получится.

Поставка в прод всегда означала расходы, но раньше цена ошибки тонула в тумане ФОТа. Ну, посидели разработчики лишний месяц, бывает. Каждая бессмысленная фича теперь бьет не по «атмосфере в команде», а по кошельку компании здесь и сейчас. Дашборд с костами на токены — это самый отрезвляющий душ в истории IT. А раз все видят, как мы тратим, то приходится иметь убедительный ответ на вопрос “а как мы зарабатываем?”.

Машины побеждают там, где на входе порядок, а на выходе — четкий критерий. Ирония в том, что создавать этот порядок из хаоса человеческих желаний — это и есть единственная настоящая работа продакт-менеджера. В 2025 штука, которая должна была продактов уволить, стала их главным спонсором и амбассадором.

Хайп и вечные ценности
Рефлексия 2025 от №1 Владимира Калмыкова

В этом году меня, как и у многих из вас, закружила хайп-тема AI. Вообще, я довольно “роботический” по складу ума, на любые рассказы условных автодилеров смотрю с улыбкой и пониманием, как устроен рынок.

Но и на старуху бывает AI-проруха. В середине года лилось все больше новостей, что AI если еще не построил свою компанию, то уже активно заменяет программистов, а на очереди – продакты. Титаны бигтеха объявили о сокращениях, и приправлялось это соусом “дальше действовать будет AI”. Что уж говорить, Booking тоже немного ужался, и, хотя по другим причинам, в моменте все эти события казались связанными. Несколько знакомых продуктовых лидеров побросали работы и побежали открывать “AI-powered startup”, и, глядя на их улыбающиеся лица, я не мог не сомневаться – а не упускаю ли я тот самый "шанс на миллион" быть первым на волне? Последней каплей было кофе с одним опытным фаундером, который всерьез строил команду AI-агентов, которые по его замыслу должны были заменить продактов, программистов и так далее.

В общем, и я поверил в AI-силы, но, к счастью, хватило мозгов не делать резких движений, а вместо этого я начал разбираться. К концу года выкристаллизовалось несколько фактов:

1. AI и правда неплохо кодит. То есть создать “свой Uber” не получится (хоть хайперы и не унимались), а вот “живые” прототипы – вполне. Оглядываясь назад, я вижу, что этот скилл понравился продактам и, по крайней мере у нас в компании, большинство уже активно вайб-кодит: кто-то по-мелочи, а кто-то создает целые шедевры мысли.

2. Второе классное следствие: стало возможным делать полноценные MVP-шки (с базами данных, API-интеграциями, платежкой и вот этим всем). Так что перед тем, как уходить с работы, можно что-то закодить за выходные, протестить на живых пользователях, убедиться, что это никому не нужно (или наоборот!) и не спешить хлопать на работе автоматической дверью коворкинга (или, наоборот – спешить).

3. Третье следствие меня порадовало: AI использует те же самые кирпичики технологий, на которых все работает уже 30 лет. Что дало тем, кто в них понимает, +100 очков к легкости входа. А тем, кто не понимает, напоминание, что кирпичики никуда не денутся. Это к вопросу вечных ценностей - “Технологий для продакта”.

4. LLM-ки подают хорошие сигналы того, что могут решать тот класс задач, куда классический ML дотянуться не может. Из полезных задач: понимание смысла (например, отзыва) и генерация плана (например, рецепта котлеты). Из бесполезных: генерация текста (этой обтекаемой помойкой теперь завалено довольно много блогов) и всякие “ускорители продакта” типа “напиши мне PRD”. Прикольно, но жизнь не упрощает.

Получилось, как реклама (я не специально!), но на самом деле это просто иллюстрация, как мы делаем симуляторы: сначала понимаем “а используется ли оно на самом деле”, и только потом создаем курс.

Ну а AI, конечно, с нами надолго, и дальше будет только интереснее.

Ожидаемая ценность информации / Expected Value of Information (EVI)

Есть такое понятие: expected value of information (EVI). Получение любой информации требует времени и ресурсов. Нам приходится постоянно соизмерять

- затраты на получение информации
- с ее потенциальной ценностью для решений, которые мы собираемся принять.

Допустим, мы хотим улучшить экран X в нашем продукте. Хммм, а сколько человек вообще посещают экран X? А что это за сегмент пользователей? А какая у них конверсия в сравнении с остальными? Упс, мы только что потратили 8 часов на анализ задачи, которая (в лучшем случае) даст нам прирост 0.1% целевой метрики.

Если мы хотим проверять свою гипотезу A/B экспериментом, то уравнение становится еще сложнее. Далеко не все гипотезы и далеко не всегда разумно проверять тестами.

Если помнить про ожидаемую ценность информации (EVI), то нужно каждый раз задавать себе вопрос “А какие решения я ожидаю принять на основании того исследования, которое я собираюсь провести?”

→ Иногда придется признать, что лучше принять решение без дополнительной информации, потому что потенциальная выгода не окупит затрат на исследование.

→ В остальных случаях придется сильно экономить, и выбирать самый дешевый способ проверки гипотезы. Часто это будет означать, что мы будем использовать не настолько точные методы исследования, как нам (data driven людям) бы хотелось.

Конечно, провести A/B эксперимент гораздо приятнее, чем простое коридорное исследования… но если коридорка стоит вам 30 минут, а запуск теста – несколько дней, то даже если коридорный тест дает 60% точности (против 90-95% в A/B), это часто будет рациональным решением.

Ну или другой пример. Если вы собираетесь изменить лендинг страницу, а трафика пока маловато. Стоит ли запускать A/B тест или просто раскатить изменение на всех, и понаблюдать за изменением метрик недельку-две? Если ваш новый лендинг кардинально меняет позиционирование продукта (pivot), то эксперимент может окупиться. Если же это улучшение UI без глубокой цели, то скорее всего, на данном этапе это пустая трата ресурсов. Уравнение может измениться в вашу пользу, если у вас есть опыт и навыки, и запуск эксперимента “стОит” вам относительно дешево.

Собственно, развитие современного продакт менеджмента целиком построено на принципах продиктованных EVI.

→ проверять только те гипотезы, которые смертельно критичны для бизнеса на данном этапе (riskiest assumption first)

→ проверять гиптезы не самым точным, а самым экономным способом

Напоследок посоветую книгу на эту тему: How to Measure Anything. Когда в очередной статье я увидел цитату из нее, то решил наконец нормально ее дочитать до конца. Как только дочитаю, то поделюсь еще чем-нибудь интересным!

Если у вас в голове есть пример того, как гипотезу очень изящно проверили очень экономным способом – делитесь в комментариях.

Текст: А. Поваров, автор симуляторов: Основы продакт менеджмента, Продуктовое исследование рынка и др.

Рынок дополнительного профессионального образования – не самая благодатная почва. Этот рынок не очень большой сам по себе, и растет достаточно небыстро. Конкуренция высокая, клиенты по-хорошему избирательны, но при этом донести ценность продукта на лендинге очень сложно.

Когда мы начинали ProductDo, мы отдавали себе отчет, во что мы вписываемся. Нами двигало желание сделать что-то новое в том, как учатся уже состоявшиеся специалисты – точно не надежда построить быстрорастущий стартап.

Но иногда случаются такие события, которые напоминают нам, что все это не зря. Искренний и деловой фидбэк, новость о том, что студент утроился в крутую компанию после курса...

Или вот: нас рекомендует приемная комиссия ВШЭ. Не зря работаем!

Поиск респондентов это тест маркетинга
(автор: Игорь Седечёв)

Практически в каждом продуктовом чатике рано или поздно появляется сообщение “ребята, я запускаю продукт, решающий проблему Х, поставьте лайк, если готовы 30 минут поговорить со мной”. И ещё ни разу “проблема Х” не была проблемой продактов, которые сидят в чате. Разбег целевых аудиторий от “родителей трёх детей, у которых старшая девочка, а дома рыжая собака” до “все, кому неудобно хранить фен”. Собственно и проблему-то редко кто формулирует, в основном сразу фичи описывают.

Даже если продакты из чата попадают в целевой сегмент, то разговаривать с ними – это не лучшая идея. Когда человек по 2-8-12 часов в день думает над проблемами и путями их решения, а потом оказывается на интервью в качестве респондента, он автоматически начинает давать ответы продакта, а не пользователя.

Ещё хуже, если мы точно знаем, что продактам из чатика удобно хранить фен, то есть они не попадают в нужный нам сегмент. Понятно, откуда возникает желание искать под фонарём: будущих пользователей непонятно как искать, они не приходят на интервью, а если приходят, то говорят, что им ничего такого не надо. А продакты в чате вот они, рядом, и уже помогали много раз.

Польза реальных людей, относящихся к целевому сегменту заключается не только в том, что они придут на интервью и расскажут что-то полезное, но и в том, что в процессе поиска можно проверить маркетинговые гипотезы. Мы же как-то собираемся привлекать первых пользователей, вот так же будем и привлекать респондентов.

Если мы не можем найти людей на интервью, то мы точно не найдем людей, которые купят. Если привлечение респондента обходится в три сотни евро, то вряд ли первые пользователи будут дешевле. Если мы делаем что-то узкоспециальное для редкого B2B, то у нас будет достаточно короткий список потенциальных респондентов, к которым будет сложно попасть, но которые будут хорошо погружены в предметную область. Если же мы делаем массовый продукт, то набрать людей будет легко, но проводить интервью будет сложно, потому что люди редко задумываются о своей рутине и плохо осознают проблемы с ней связанные.

Пишите свои сообщения формата: "Ребята, я запускаю продукт, решающий проблему Х, поставьте лайк, если готовы 30 минут поговорить со мной" в комменты к этому посту ;)

Каждое повышение приносит не только деньги, но и боль

Вот он – карьерный рост! Постоянное переключение контекста, календарь, похожий на тетрис из бесконечных созвонов, потеря ощущения, что ты полностью знаешь свой продукт, больше неизбежной политики (пирамида сужается к вершине), выше риски, в конце концов. Владимир знает о чем говорит;)

Теперь от тебя ждут, что ты будешь драйвить не один понятный скоуп, а два-три – расплывчатых и сложных. Будешь метаться между департаментами и лавировать между внутренними клиентами на разных уровнях.
И это вполне логично в условиях капитализма: хочешь получать больше – закатывай рукава и готовься увидеть в зеркале новые седые волосы.

Есть три основные стратегии для роста по карьерной лестнице:

1. Не расти. У меня есть знакомые продакты, которые были PM (да, просто PM) последние 10 лет — и им ок. Меньше стресса, меньше денег.

2. Найти “sweet spot”. Подняться на несколько этажей и стать там профи. Идеальный баланс между деньгами, комфортом и давлением.

3. Лезть на самый верх. Такие люди не останавливаются никогда, пока не сделают последний вдох (и выдох). Могу только снять шляпу перед их упорством. И надеюсь, они понимают, что делают :)

Вы в какой команде? Ставь реакцию:
1. 2. 3.

Калькулятор A/B экспериментов для продакт менеджеров

Когда я (Андрей Менде) работал над курсом по A/B тестированию для продактов, я сформулировал за что именно отвечает продакт в команде, которая интенсивно проводит эксперименты. Продакт-менеджеру не нужно разбираться в разных статистических тестах, не нужно думать про корректировку метрик – это зона компетенции аналитиков.

Продакт должен уметь выбрать правильную целевую метрику для эксперимента, и оценить соответствует ли предлагаемое изменение тому трафику, который сейчас проходит через продукт.

В зрелом продукте, где очень много посетителей, можно попробовать поменять текст на кнопке. Даже если конверсия вырастет всего на 0.5% – тест покажет это за две недели и это даст значимый прирост ежедневной выручки.

Если попробовать сделать такое же изменение в стартапе с сотней посетителей в неделю, то для того, чтобы тест стал значимым при аналогичном улучшении конверсии, уйдет несколько лет, а рост выручки не окупит даже времени, затраченного на редактирование текста.

Чтобы оценить свою гипотезу надо пользоваться калькулятором размера выборки A/B эксперимента. Есть несколько публичных калькуляторов, но ни один из них не казался мне удачным. Между тем какое изменение конверсии мы можем зафиксировать и длительностью теста есть зависимость. Почему нельзя ее просто визуализировать для продакт менеджера? Увидев график он легко примет решение, проводить ли тест, а если проводить – то как долго.

Когда я начал проходить курс Владимира по AI прототипированию (курс огонь, рекомендую!), после первого же урока у меня не было сомнений, какой первый сервис я буду вайбкодить.

Итак встречайте:

идеальный калькулятор A/B тестов для продактов от ProductDo

В этот калькулятор нужно ввести только две величины, которые вы и так знаете:

- количество посетителей в неделю
- текущая конверсия в целевое действие

и калькулятор выведет вам график, который показывает за сколько недель можно надежно задетектить определенное изменение целевой метрики. По графику вы сможете быстро оценить адекватная гипотеза или нет для текущей стадии продукта.

Все параметры, введенные в калькулятор, зашиты в URL страницы, поэтому вы в любой момент можете скопировать ссылку, отправить ее или сохранить в документе – по ней откроется тот же расчет, который вы видите на экране.

Сохраняйте себе и пересылайте коллегам!

Антропик хотел сделать Интервьюера, а получил Фаундера

Антропик запустил сервис, который умеет проводить все три стадии пользовательских интервью: планирование, разговор и анализ. В качестве заказчика попробовать пока нельзя, но можно поучаствовать в качестве респондента на тему отношения к AI и прочитать результаты опроса 1250 человек на ту же тему.

Спойлер: вместо режима исследователя получился режим влюблённого фаундера. Инструмент отчаянно натягивает нужные ему правильные ответы на всех стадиях работы вместо того, чтобы пытаться приблизиться к объективным результатам учитывая ограничения метода.

Разработчики выложили полные транскрипты всех проведенных интервью и дали возможность самому поговорить с ботом в качестве респондента. Ниже (в комментах) можно посмотреть скринкаст моего (Игоря Седачёва) интервью, в котором видны те же паттерны, что и в транскриптах. Начинается всё очень хорошо, просто мёд для ушей: расскажи, говорит, для чего ты использовал AI-чат бота в последний раз (про то, откуда он знает, что я его вообще использовал поговорим в дальше, когда речь пойдет про интерпретацию результатов). Но дальше качество вопросов падает драматически: получив короткий ответ, вместо уточнения деталей, бот предлагает:

“Представить, что у тебя есть волшебная палочка, а AI может помочь с чем угодно”.

Уж сколько раз твердили миру, что вопросы вида “а представь, что…” абсолютно бессмысленны. Из-за когнитивных искажений люди очень плохо представляют возможное будущее и фантазируют. Такой способ задавать вопросы – одна из самых распространенных ошибок начинающих. Но на этом падение стандартов не заканчивается. Получив очередной короткий ответ, бот снова не пытается ничего уточнить, а своими словами пересказывает то, что могло бы быть ответом интервьюируемого. Но могло бы и не быть. Наводит на правильные ответы изо всех сил. И дальше фаталити – вторая производная: если бы вот то, что ты представил, было бы правдой, то что бы ты делал? Тут только чтобы понять вопрос надо кучу времени, а потом ещё и нафантазировать это всё (скринкаст пришлось резать, чтобы убрать паузу).

Когда я писал симулятор пользовательских интервью, в первую главу мне нужен был герой, на котором можно иллюстрировать самые распространенные ошибки. Так появился фаундер, влюбленный в свой продукт, который из каждого респондента пытается достать только правильные ответы, подтверждающие его точку зрения. Наводящие вопросы, пересказ ответов своими словами, отсутствие уточнений – все эти ошибки были приписаны персонажу симулятора и повторены AI-интервьюером Антропика.

В последних главах симулятора герой осваивает анализ и интерпретацию данных, полученных в интервью. Тут уже авторов статьи с результатами можно брать в отрицательные герои. Выводы полны красивых заявлений вида “85% процентов профессионалов сказали, что AI экономит им время”. Но нигде не указано, как выборка распределена по критерию наличия предыдущего опыта взаимодействия с AI. Само исследование заявлено как качественное, но основная часть выводов содержит проценты утвердивших то или иное (почти все утверждения положительные, почти все значения процентов 70-80 плюс). Профессионалами респондентов называют, потому что “all participants had an occupation other than crowdworking that was their main job”

В данном случае после активных уговоров со стороны интервьюеров, 100% пользователей интернета сказали, что обязательно будут пользоваться интернетом в будущем, когда он станет всемогущим.

Если вам показалось, что упоминание симулятора пользовательских интервью в середине поста – это скрытая реклама, то вот её открытая версия. Хотите не совершать ошибок влюблённого фаундера и получать более объективные результаты качественных исследований – проходите практический симулятор пользовательских интервью.

Так все-таки: можно ли проводить несколько A/B тестов параллельно?

Некоторое время назад я (@andrewmende) попросил помощи сообщества в том, чтобы понять, в каких компаниях практикуют разделение трафика на “слои” или “дорожки”, чтобы каждый эксперимент крутился изолированно от всех. И самое главное, зачем они это делают? Спасибо большое всем, кто написал, давал наводки и делился опытом.

Действительно в некоторых компаниях (чаще русскоязычных, но несколько зарубежных тоже были упомянуты) практикуют выделение трафика под каждый A/B тест. То есть, если вам на страницу приходит по 5 000 посетителей в неделю, то либо будет запущен один тест на 5 000 человек, либо два, но тогда каждый получит только по 2 500 трафика на все варианты, то есть каждый посетитель попадает только в один тест, но не в оба сразу.

Я не увидел убедительных аргументов, почему так нужно делать. Да, есть некоторая вероятность, что один тест будет как-то влиять на другой. Например, одна команда покрасила кнопку в зеленый цвет, другая сделала текст на ней зеленым, на пересечении тестов у нас кнопка с нечитаемым текстом.

Но на практике это происходит очень редко, и есть довольно много несложных способов этого избежать. Если продакты хотя бы немного общаются между собой, то 99% таких пересечений будут заблаговременно замечены.

При этом выигрыш от скорости, с которой мы будем тестировать гипотезы настолько больше, что гораздо выгоднее смириться с тем, что раз в год у нас будут коллизии.

Не верите мне? Вот вам две статьи, которые убедительно формулируют то же самое:

- A/B Interactions: A Call to Relax (Microsoft)
- Guide to A/B Testing Interactions (Ron Kohavi)

У вас в компании всё еще применяют “слои” и продактам приходится бороться за трафик и сложно планировать эксперименты? Приходите ко мне на бесплатную консультацию, я помогу вам немного улучшить культуру экспериментов и начать двигаться кратно быстрее.

PS А еще уже завтра первый вебинар четвертого потока курса Создание LLM продукта. Кто ждал знака до последнего — это он. Курс веду я и Аня Подображных. Группа набрана, но еще пару человек можем взять. Присоединяйтесь!

Как и зачем усиливать LLM c помощью RAG?

Делимся записью вчерашнего вебинара.

Продолжаем сезон бесплатных вебинаров. Завтра вечером поговорим о том, Как и зачем усиливать LLM c помощью RAG.

Что сделаем на вебинаре?
• научимся быстро оценивать точность работы LLM с помощью эвалов на своем датасете;
• соберем простую RAG цепочку на платформе OpenAI (ChatGPT);
• разберем, как анализировать и улучшать RAG с использованием traces (логов поиска и обработки запроса на каждом шаге).

Спикер
Андрей Менде
Действующий Senior Machine Learning PM
Booking .com Amsterdam

Когда пройдет встреча?
Четверг, 4 декабря в 19:00 (GMT+3).

Сколько времени займет?
60 минут.

Запишись, бот напомнит о событии и поможет добавить вебинар в календарь

Чёрная пятница: скидка 20% на всё AI не отменил базовые продуктовые навыки — хард-скиллы всё так же в основе. Но вместе с AI появился новый набор умений. Прокачивайте и классику, и новые AI-навыки на реальных кейсах — в наших симуляторах и живых курсах. …

Чёрная пятница: скидка 20% на всё

AI не отменил базовые продуктовые навыки — хард-скиллы всё так же в основе. Но вместе с AI появился новый набор умений. Прокачивайте и классику, и новые AI-навыки на реальных кейсах — в наших симуляторах и живых курсах.

AI-прототипирование → курс, где вы превращаете AI-идеи в работающие прототипы.
LLM для продактов → как создавать AI-фичи: от промптинга и пайплайнов до оценки качества и безопасности.
ML/AI для продактов → разберётесь, как работают модели и где применять ML в продукте.
Техническая база → становится ещё важнее в мире API-first и сервисной архитектуры.
A/B-тестирование → по-прежнему опора для решений на данных.
Data & SQL → нужны как никогда, когда замеряется буквально всё.
Research & planning + AI в пользовательских интервью → тот же фундамент, но теперь с инструментами, которые ускоряют поиск инсайтов.

Забирайте курсы с максимальной скидкой до 1 декабря по ссылке ↓

Серьезный вопрос

Привет, друзья! У меня к вам очень серьезный вопрос, нужна сила сообщества.

Я консультирую компании по применению A/B тестов в продуктовой разработке. У большинства компаний все отлично, можно делиться лайфхаками и продвинутыми техниками. Но есть один паттерн, который я иногда встречаю, который в разы снижает скорость команд.

Это представление о том, что каждый посетитель должен участвовать только в одном тесте (когда речь идет про один этап воронки, и одну и ту же целевую метрику). То есть если одна команда хочет добавить на страницу оплаты элементы, повышающие доверие, а другая – поменять текст на кнопке, при этом обе команды планируют повысить конверсию в оплату, то им предлагается запускать свои тесты по очереди.

В той школе, к которой я принадлежу, эти тесты запустили бы одновременно, и через 2-3 недели обе команды имели бы результаты по своим гипотезам. Да, бывает такое, что тесты как-то конфликтуют друг с другом, и результаты оказываются невалидны, но это случается достаточно редко. Выигрыш от скорости и, главное, автономности команд, несравнимо больше.

Если вариант для каждого посетителя выбирается независимо случайным образом, то со статистикой никаких проблем нет, у обоих тестов будут валидные результаты, на эту тему написано множество статей.

Когда я в очередной раз рассказывал эту доктрину, мой собеседник резонно спросил меня, почему тогда многие крупные компании (например, Авито? и Яндекс?) практикуют создание выделенных полос (слоев) для каждого теста, значительно снижая трафик и скорость проведения тестов.

Ну и, собственно, вопрос: сталкивались ли вы на практике с таким подходом (изолированные тесты)? Напишите пожалуйста в комменты. Если публично не готовы – можете рассказать мне об этом в лс (@andrewmende), я буду очень благодарен. Если вы можете меня познакомить с методологами тестирования, которые придерживаются такого подхода – это будет очень ценно.

Я хочу окончательно разобраться, может быть, я чего-то не понимаю, и есть какие-то еще причины проводить все тесты изолированно друг от друга.

В конце года все работники приличных компаний получают оценку (performance score). Это индикатор полезен как для определения траектории их карьерного развития, так и определения бонусов.

Есть две новости: хорошая и плохая.

Плохая состоит в том, что оценка – не математическая формула, и она все-таки субъективная, потому что определяется человеками. Хорошая новость в том, что за годы существования организаций, умные люди научились делать ее максимально объективной (насколько это возможно, разумеется).

Из чего же состоит эта субъективно-объективная формула?

Во-первых, из ваших целей. Вы ставите их себе сами (!) в начале года. Это не просто рандомные хотелки ("хочу поучиться на курсах про LLM"), а конкретные задачи бизнеса ("обещаем заработать Х млн" или "запуститься на рынке Y"). Тут менеджер помогает вам задать такие цели, которые и достижимые, и не слишком низкие.
В конце года вы по сути смотрите, насколько хорошо вы выполнили свои же обещания. Ругать некого!

Вторая часть "объективности" приходит от оценки коллег (peer feedback или 360 feedback). Про себя мы всегда думаем отлично, а вот коллеги (команда, другие продакты, лидершип) помогают открывать глаза на то, что сами мы видеть не хотим. Опять же, можно сказать, что один коллега "всенеправда" говорит, но если мессадж повторяет 5 человек, то придется чуть подкорректировать поведение. Хотя, продактам, людям с повышенным эго мини-CEO, это дается сложнее, чем остальным.

Есть еще один способ сделать оценку более "объективной" – это калибрация (performance calibration). Это процесс, когда группа менеджеров обсуждают всех своих продактов-подчиненных вместе, а в комнате еще сидят директоры и HR. Это позволяет убедиться, что планка у всех одинаковая, и решение об оценке принимается сообща.

Какие из этого практические выводы?

1) Во-первых, если вам не нравится ваша оценка, то искать причины лучше в себе – в выполнении целей или фидбеке коллег. Вдох-медленный выдох. В 95% причина в вас, но страшного в этом ничего нет – подкорректировал поведение и поехал дальше. В 5% (токсичная компания или просто у вас с ней "не мэтч") надо спокойно уходить.

2) Во-вторых, начинайте думать над целями на конец 2026 года и сразу проговорите с менеджером, что будет "норм", а что "на пятерку с плюсом". Некоторые тянут до января, потом к началу февраля что-то записывают, и вот уже 1-2 месяца от вашего же года прошли.

3) В-третьих, подумайте заранее над тем, что о вас напишут коллеги. Вас считают открытым к сотрудничеству продактом или обходят стороной? Вы бесите своего главного клиента? Команда хмурит брови на планнингах? Есть год, чтобы это исправить.

Составили план? Ну тогда остается самое простое, 365 дней над ним пахать.

Ну что, вы уже пробовали сделать AI ассистента, который помогает с приоритизацией и планированием на год? Кажется в 2026 AI нас еще на заменит, хе-хе.

Зато с написанием отчета за 2025 год ассистент с доступом в джиру и конфлюенс мне реально помог. Нет, писать все пришлось самому, конечно, но AI составил неплохое саммари по всем проектам, про многие из которых я уже напрочь забыл.

Потому что я заплатил за подписку!

Как устроена зарплата продакта Я, Владимир, давно вынашиваю эту статью, потому что вокруг этой темы много мифов, хайпа и дырок в понимании. Если бы мне подобный текст показали на заре карьеры, я бы может быть выбил бы условия получше. Но мне не показали,…

Как устроена зарплата продакта

Я, Владимир, давно вынашиваю эту статью, потому что вокруг этой темы много мифов, хайпа и дырок в понимании. Если бы мне подобный текст показали на заре карьеры, я бы может быть выбил бы условия получше. Но мне не показали, поэтому я тогда просто улыбался и кивал, понимая примерно половину из слов HR-а.

Сразу скажу, я всегда относился к ЗП просто: я делаю свое дело хорошо, и ожидаю что компания это ценит (а если нет, я сначала напоминаю ей об этом, а потом - ухожу). Пока данный подход работает. При этом, вы все равно должны понимать, как устроены ваши же финансы и где можно что-то двигать, а где просто смириться. Например, чтобы сразу выбирать компании с опционами (+$$$), а на этапе собеса чуть двигать вилку (+$), и не моргать глазом, когда говорят про "бесплатный кофе в офисе и скидку в спортзал" (+0). Кроме того, понимание вилок позволяет держать ваше руководство в тонусе (+$$), потому что вы всегда можете уйти в место получше.

Те же знания, наоборот, позволяют не дергаться там, где не нужно. Например, никто не даст джуну ЗП выше рынка (а если даст, то это повод искать подвохи). Или никто вам на пустом месте не станет давать опционы или бешеные надбавки. В общем надо знать, где рычага у вас нет, и смириться с этим. Что, кстати, полезно и для психологического самочувствия

В общем, я поговорил еще с несколькими Head продактами, и вместе мы родили небольшой лонгрид. В нем мы объясняем:

- Из чего в принципе состоит ЗП продакта (не только оклада) и как это работает
- Как смотреть на ЗП "реальными" глазами, понимая, во-первых net составляющую, а, во-вторых, динамику от года к году
- Что влияет на зарплату: вилки по грейдам, регионам, типу занятости, сектору
- Для общего развития: сравнение средних по грейдам для России / Европы / США
- На картинке выше: вилки по грейдам в России

Вот статья.


Надеюсь, новичкам будет полезно.