mtsepkov

2022-07-05 12:00:38 30 июня прошел форум FinNext, основной темой которого было разобраться с черными лебедями, которые слетелись на российский финансовый рынок. Как ни странно, основная оценка текущей ситуации состоит в том, что новых черных лебедей не замечено, все они уже кружили. Хотя то, что они все вместе сядут никто не ожидал. А второй тезис в том, что кризисные ситуации - это не только потери, но и возможности, они очень стимулируют развитие. И сейчас оно ожидается. Как сказал Кирилл Меньшов: «Рывку вперед предшествует пинок сзади, сейчас он получен». Я попал на форум благодаря журналу Банковское обозрение, который хотел получить качественный репортаж. Краткий репортаж опубликован https://bosfera.ru/bo/ryvku-vpered-predshestvuet, а у меня на сайте https://mtsepkov.org/FinNext-2022 подробная версия с конспектами выступлений. Открыть/Комментировать

2022-06-22 13:12:15 Собрал впечатления в отчет https://mtsepkov.org/LAF-2022 - море общения, нетворкинг и дискотека по вечерам, хорошая программа. Мне жаль, что из-за своих выступлений я не попал на доклады ряда интересных спикеров. Но там, куда попал - было интересно. Спасибо организаторам и программному комитету, и всем участникам! Открыть/Комментировать

2022-06-20 16:24:34 Замечательный рассказ про сотрудничество и win-win https://txt-me.livejournal.com/986522.html Открыть/Комментировать

2022-06-19 13:06:59 #lafest Владимир Баймаков. Просто о сложном: о моделях данных, интеграциях и баре. Хороший доклад о простых аналогиях из жизни, которыми объясняются сложные вещи бизнесу. Ведь основная задача аналитика - грамотная коммуникация между бизнесом и ИТ при разнице языков, что получается не слишком хорошо. Простые примеры это облегчают. В докладе было на примерах систем интеграции, но прием применим и для других областей.

Задача в интеграции - описание моделей данных. Вроде все просто - структуры данных. Но надо объяснить разницу разного уровня.
* Физический уровень данных. Коробка, и разнородный крепеж. Если накидать - будет ненормализованная БД. Нужны коробочки по видам изделий. И их подписать - индексация. При этом нормализация разумна, гайки и болты используют совместно - значит можно в одну коробку. Аналогия хорошо заходит людям.
* Логический уровень. В телекоме история: надо перекрутить перегородку, а мужик пришел, и говорит: фигня какая, надо открутить и прикрутить. Логический уровень - об объектах, свойствах и взаимосвязях.
* Концептуальный уровень. О терминологии, которую мы используем.
Телеком. Для них Договор - контейнер для услуг. А у заказчика договор - уникальный идентификатор клиента, по которому идет пополнение счета и так далее.
Агрегатор такси. Вы вызываете, оплачиваете со своей карты. Но есть функция "вызов для другого человека", при этом плательщик - другой, а не вы.

Способ интеграции - разница между шиной, точка-точка и видштл на примерах бара.
* Шина. Заходите в бар, заказываете пиво, платите. Бармен - идентификация, авторизация (18 лет), параметры контракта (пиво) и т.д. Он выполняет роль шины
* Точка-точка. Это уже другой бар - из холодильников с бутылками пива, и каждый из них с собственной авторизацией и собственной оплатой. И если надо несколько сортов пива - то надо стоять много очередей и в каждом выполнять свою процедуру.
* dblink - бар с бочкой и ковшиком, из которой сам наливаешь пиво. Очень просто - скорость и простота. Вместе с рисками - грязный ковшик, неаккуратный посетитель, могут всю бочку опрокинуть. Открыть/Комментировать

2022-06-19 12:22:56 #lafest Екатерина Подолина. Растим деревья на данных и тушим пожар риск-мониторинга. Очень интересная задача - как визуализировать массив данных в 100к строк понятным для пользователей образом. Задача решена для визуализации контрактов для целей проверки бюджетной закупочной деятельности. Но я подумал, что это может быть интересно и для визуализации большого проекта - увидеть прогресс движения по задачам. Решение сделано на основе фрактального дерева на питоне, дальше надо поменять логику построения.

Компания проверяет закупочную деятельность.
Конфликт интересов:
* Инспекторы выписывают безопасные штрафы, которые не оспариваются
* Руководитель - обеспечивает выполнение своих показателей
* Главный босс - заинтересован в увеличении числа штрафов.
Анализ: мощность инспекторов - десятки контрактов, а их 10к+. Большие контракты идут мимо проверок. Заказчик сложный - идет конфликт интересов.

Была процедура вне системы. Инспектор заходил на портал по госзакупкам, находил контракт, вручную копировал в Excel и так же вручную, заходил в систему закупок города, оттуда копировал.

Она сделала выгрузку контрактов, наложила на них риск-мониторинг. 10k строк, 50 колонок: характеристики и риски. Она сама была инспектором и хотела помочь инспектору - облегчить работу. И помочь боссу - чтобы он видел мониторинг.

Надо было наглядно показать проблему, и далее - динамику работы. Смотрела инфографику. Нашла 3d-дерево, но по масштабу не подходило. А потом - увидела фрактальное дерево на питоне, оно уже подходило на объеме. А риск мониторинг - подсвечивать цветами, как пробки. Построение дерева - открытый код, довольно быстро, но дальше игрались с хорошей визуализацией.

Две инфографики
* Клевер - четыре сегмента, общий план. Сколько всего, и что взяли в проверку. Видел ситуацию по количеству и по сумме - сколько попало в проверку.
* Детализация до конкретного контракта в виде дерева. Каждая веточка - отдельный контракт.

Логика дерева
* Справа - более дорогие контракты. И как раз было видно, какие контракты проверяют.
* Деление ветвей - по годам и финансовым критериям - по объему закупок.
* Более 15 фильтров, чтобы получить нужный срез контрактов - это часть дерева. Например, подозрительного поставщика, или по конкретному лекарству с особым учетом.
* Риск-мониторинг по цветовой гамме желтый-красный.
* Можно увидеть уже проведенные проверки и включение в текущие контракты. И эти контракты подсвечивались другим цветом - бирюзовым и синим. Красный пожар тушим синей водой.

Инфографика - не убирает работу с таблицами, под деревом есть таблица. Обоснование включения в проверку.

Результаты
* Инспекторы не делают 2/3 механической работы - все контракты в дереве.
* Руководитель получил инструмент, защищающий от высшего руководства - прозрачность и обоснованность проверок.
* Босс увидел картину и масштаб проблемы, получил управляемость.

Работает во многих проектах: контрольное управление РФ, города, ДИТ - анализ с поставщиками, Европейский банк. И не только нарушения, но и освоение бюджета. Открыть/Комментировать

2022-06-19 11:30:26 #lafest Дмитрий Моряков. Изоляция микросервисов по данным при миграции с монолита. Понятный доклад о процессе распила монолита в изолированные микросервисы. К сожалению, без примеров. На абстрактном уровне процесс понятен, а дьявол как всегда сидит в деталях, потому что оказывается, что система внутри сильно связана и с этим надо как-то разбираться. Дальше тезисы.

Монолит. Общая БД - ограничение масштабирования. А интеграция - через БД. Микросервисы: у каждого своя БД и взаимодействие через АПИ - для масшабируемости. Можно запустить много экземпляров.

Как менять? Варианты пилотного проекта.
* Делаем в микросервисах новое, ставим рядом. Оно хорошо, но не получается распилить.
* Поставить новую систему в параллельную работу, а потом переключить. Дорого, не всегда есть время.
* Вырезаем из монолита критичную часть и делаем микросервисами.
Рассматривали именно третий сценарий, когда монолит сильно не справляется, и критичную часть надо выделить для ее масштабирования.

Роль аналитика
* Реверс инжиниринг - анализ БД, сбор требований. С документацией обычно проблемы. Есть средства не только для БД, но и для кода и логов, но практически БД - не дорого и достаточно.
* Моделирование: предметная область, процессы AsIs
* Проектирование: бизнес-процессы ToBe на основании решений по архитектуре. Управление зависимостями.

И дальше в докладе было детальное описание по стадиям.
* Построить модель предметной области
* Описать бизнес-процессы AsIs - выдерживая модель
* Выделить микросервисы
* Спроектировать новые бизнес-процессы: монолит обеспечивал транзакционность работы по запросу пользователя, а в микросервисной архитектуре исполнение идет асинхронно по нескольким сервисам, и это требует перестройки процессов
* Детальное проектирование микросервисов.

Нотации.
* Процессы - BPMN. Процессы, и их ассоциация с хранилищами. Описание коллаборации: межпроцессный обмен, service task, очереди сообщений.
* Предметная область:
Domain-Subdomain - удобная, но слабая, только верхнего уровня. Работает на простых областях.
UML диаграмма классов - хорошая, но с трудом понимается всей командой, особенно бизнесом.
** ER-диаграммы, с дополнением сущность-связь EA для отложения вложенности доменов
Инструментарий - EA (он использовал его), Visual Paradigm, iServer. На большой БД нужны отчеты по БД.

Диаграмма: два БП, в одном пишем хранилище, в другом - читаем. Направленная связь записи/чтения - по варианту использования use case. Вся модель - в репозитории, и это дает возможности проверять модель, группировать информацию.

Итерационный процесс, чтобы добиться изоляции.
* Бизнес-процессы формулировать в сущностях предметной области
* Названия хранилищ - в соответствии с сущностями предметной области
* Отчеты по репозитарию
* Изоляция: хранилище ассоциировано с одним вариантом использования.
* Персистентность данных - только в конечных состояниях.
* Избегаем update, создаем новые данные

Самый страшный монолит можно распилить. Вопрос - сколько сил вкладывать в детальное проектирование и моделирование.

В вопросах - как интегрировать с системами ведения задач после начала разработки. Ответ: однократную выгрузку, например, для создания задач в Jira, сделать легко, а вот изменения отслеживать сложно. Именно поэтому он предлагает методику только для пилота. На описание полной системы не хватит ресурсов аналитиков. Но кусочки отпиливать по-очереди можно. Открыть/Комментировать

2022-06-19 10:34:33 #lafest Анжелика Арсланова. Работа с источниками данных и изменениями. Чек-лист для изменений. Понятный рассказ о переходе от устных уведомлений к чеклисту по изменениям для того, чтобы обеспечить устойчивость процесса. Большая компания, 15 команд занимаются аналитикой данных, а данные лежат на 20 серверах и поступают из многих CRM-систем. Структуры данных меняются. Раньше была устная информация об изменениях на летучке. Те, кто слушал вроде как прикидывали, что проблем нет. Но с голоса воспринимали не все, руководители не всегда знали про использование полей, и от изменений ложились процессы интеграции. И это было 1-2 раза в месяц, и это приводило к инкапсуляции команд внутри, взаимному недовольству.

Поэтому сделали протокол из 4 пунктов изменений. Потом постепенно это разрослось в большой чек-лист
* Использование изменяемых объектов - через инструменты, скрипты по базам, интеграционные пакеты, BI-отчеты, логи ClickHouse
* Предварительные уведомления: сделали структурную ленту новостей, с детальным описанием изменений. Плюс ping в slack инфраструктурных команд. Если с отработкой изменений есть проблемы - то новость комментируют или отвечают в slack, изменение может быть отложено.
* Изменения - задача на разработчиков по шаблону, изменения, тестирование. В задаче: проблема, мотивация, что сделать, сроки. Важно раскрыть смысл задачи, а не просто набор изменений. Разработчику это важно, чтобы ответственно отнестись, и не было рефакторинга.
* Уведомления по факту - новости в стафф, на каналах в слаке и на летучках.

Эффект
* Сократилось время на поиск объектов - собрали единые скрипты для поиска.
* Скорость подготовки к изменениям сократилась в два раза - задача стала типовой, идем по чеклисту
* Скорость реализации увеличилась в 1.5 раза
* Падения ушли
* Увеличилось доверие между командами Открыть/Комментировать

2022-06-18 18:22:55 Будущего нет: и в данных, ни в экспериментах, ни в гибком реагировании на внезапно прилетающие изменения. Это все - реактивное мышление. Воин сражается там, где застала битва, стратег выбирает место время и способ так, чтобы победить.

По мотивам фреймворка Роджера Мартина.
* В чем смысл существования (миссия)
* Где мы можем достичь максимум (рынок)
* Что есть наша победа (vision) - мы сами это формулируем в меняющемся мире
* Как победим (стратегические ставки, вектора развития)
* Как мы изменимся: в чем будем лучшими (возможности), как изменимся наши поддерживающие процессы

Как создать
* Discovery
* Research
* Design: ставки, capability, системы и процессы
* Operate & Optimize

Контур целостности.
* Холархия и холоны.
* Самоопределение - это способ вхождения в объемлющую систему.
* Самоопределение - основа эволюции.

На текущий момент мы как люди - не объекты эволюции. Мы не конкурируем друг с другом. Вопрос самоопределения - с кем и на кого. И мы сами определяем, на какую организацию работаем. Переход в другую организацию - способ поменять мир.

Не делайте херни, и не находитесь в организации, которая ее делает. Открыть/Комментировать

2022-06-18 18:22:55 Outcome - выгода - если вы получите результаты, то ваши клиенты получат такую-то выгоду
Impact - влияние - если выгоды для участников будут достигнуты, то можно ожидать изменений в организациях, сообществах или системах.

Как побеждать: Run - Grow - Transform.

Вы зачем получаете 80тр как аналитик, вместо того, чтобы получать 200тр как продукт? Вам это нравится? Реально вы сами для себя определяете, на какой площадке играть.

Принцип баланса инвестиций: Инвестиции, Варианты-Выбор, Операции - по трети.

Работать надо умнее, а не больше. И бежать из тех мест, где работа оценивается потением или демонстрацией потения (имитацией).
После трех лет имитации деятельности люди не способны вести деятельность.

* Прежняя парадигма: 80 run + 20 grow - кризис - transform - снова run + change
* Новая парадигма: 50 transform + 30 grow + 20 run. При этом часть transform невидима.
* Джобс 4 года собирал права на музыкальные произведения, чтобы запустить iPod+iPhone. B это создание конкурентного преимущества

Контур контекста.

Гараедаги. Как управлять хаосом и сложными проектами.

Почему нет результатов
* Не понял (просто скопировал)
* Я не подумал (сделал как привычно)
* Подумал, но мало
* Отказался меняться
* Не смог понять новую парадигму
Парадигма как сеть активов, каждым из которых управляет своя команда - в в этой парадигме не существует дебильных стейкхолдеров и заказчиков.

Сдвиг парадигмы от Анализа к Системе. Матрица: run-change-transform против complicated-complex.
В complicated - аналитический подход, в complex - системный. В клеточках подходы, надо будет посмотреть.

Работайте с теми, кто умеет работать.

Куда денется серийное производство? Каждая новая тесла уникальна, при этом программирование роботов ведут 8 scrum команд? и каждая новая тесла - новый релиз продукта.

Контур глубинной причины. TOC. Часть системного мышления - про причины, а не симптомы. Ищем корневые причины.
Но! В острой ситуации не всегда есть время искать корневые причины, надо устранять симптомы, а одновременно работать с причиной.

Контур осознанности. 2*2 Осознанность - Компетентность
* Мы еще не знаем, что не умеем
* Точно знаю, что не умею - из этого квадранта переход в остальные осознанно
* Осознанная компетентность - чеклисты, инструкции
* Magic - работа спорится на лету, наша интуиция подгоняет решения.
* Но: при изменении внешней среды мы неожиданно оказываемся в квадранте, где мы не знаем, что не умеем.

Люди внедряют устаревшие модели.

Малый круг - рефлексия. Объясняешь другим. Раз, два - сам понял, они не понимают. Когда ты оцениваешь свою компетентность - можно избежать большого круга.

Большинство проджектов думают, что знают, что такое продукт - то, что делает команда. Продукты знают, что продукт - нечто другое, то, что наносит пользу. Одни других не понимают. То есть понимание зависит от контекста.

Теория U. Кусочек, хорошие схемы. Система - не один, а двое. Потому что синергетический эффект - только тогда возникает. Поэтому определить только одну сторону - провально. Если мы хотим изменить - то мы должны и измениться сами. Принцип сотворчества.

Контур сотрудничества.
Ошибка выжившего. Цифровые компании занимают топ. Но при этом большая часть продуктов проваливается. Современный способ выращивания инновационных продуктов - слепая эволюция Чальза Дарвина.

Механизмы слепой эволюции
* здоровый дух авантюризма - отказ от канонов
* естественный отбор - плохо приспособленные должны умирать
* короткая память - многократные построения идентичных попыток - угадать с окном возможности
* примеры успеха - культивирование ошибок выжившего

600 экспериментов, 500 человек, выкатили 3.

История с разработкой продуктов больше похожа на кладбище великолепных идей.

В омут с головой - не надо.

Стратегия - не про героизм "мало ресурсов гарантированный результат".

Осознанность, а не авантюризм. Чем отличается Взрослый от Ребенка? Каждый делает, что хочет. Взрослый хочет с учетом последствий сделанного выбора. С учетом влияния решения на других - это более глубокий учет последствий. Открыть/Комментировать

2022-06-18 18:22:55 #lafest Дмитрий Безуглый. Не слепая эволюция. Системный подход в работе и жизни. Как часто у Димы - очень глубокий доклад, в котором собрано много концептов. Часть из них надо будет посмотреть на слайдах и взять себе. А пока - просто тезисы.

Никакого внешнего контента не бывает. То, что появляется в голове у зрителя - взаимодействие его собственного опыта с триггерами, которое предлагает контент. Глубина понимания - это глубина слушателя, а не спикера. Никакой идеальной презентации или требований не существует - потому что каждый их интерпретируют в своем контенте.

Собирается в докладе
* Заставить задуматься - возможно, это сложно
* Будет говорить вещи, которые могут показаться странными. И, возможно, такими являются.
* Первая стадия столкновения с изменениями - отрицание

Если ты такой умный, то почему до сих пор не богатый? В 20 ржешь, в 30 заставляет задуматься, в 40 - хочется дать в рожу задающему. Реплика из зала: в 40 отвечаешь на него. Вот так: одни отвечают, а другим хочется дать в рожу.

Что хуже поломанного компаса? Ложные ориентиры.

Как только встречает двуличие - это не мой человек.

Мало людей идут сложными путями. Вместо простых, пусть ложным. Большинство не может быть не правым. Если все побежали - не надо бежать в другую сторону.

Ролик с эффектом домино, когда маленькая дощечка по цепочке валит все больших и больших.

Контур - цепочка субъектов или объектов, которая формирует прямое или отложенное взаимодействие.

Искать где светло, а где потеряли. Ассоциативное мышление: есть внутренний позыв что-то делать, но делаем не то, что нужно.

В 1950 году британские ученые осознали опасность роста населения Индии.
* Первая версия: тупые индусы не знают, откуда дети. Развернули программу планирования семьи
* Наводнили дешевыми контрацептивами. Рождаемость сначала упала, потом поднялась.
* Главный секрет: папаша мог пойти на пенсию после рождения третьего сына. Поэтому - 4-6 детей. Закон принимали раджи, когда надо было набирать армии. До этой причины добирались 30 лет

Контур подхода для решения проблемы. Но любит исследовать, но не любит операционку.

Три подхода к решению
* Мышление собирателя - transportation thinking. Есть маленький генератор эндорфинов - собрал что-то. Эта яблоня там-то и есть единственный путь. Если не знаешь, как правильно решать задачу - не профессионал. 90% госов и run-бизнеса.
* Мышление охотника. Олень - не там, где видели в тот же раз. Вероятностное мышление, надо построить гипотезу, где может быть объект. А еще если не увидел - не надо уйти в депрессию. Удовлетворение от процесса. А еще "где бы я был, если бы был оленем", и рыбу ловить на то, что любит она. Надо смоделировать ситуацию, держа в голове другой объект. Grow Change.
* Конвергентное и дивергентное мышление. Сначала создаем альтернативы, а потом делаем выбор. Но еще после выбора - надо заниматься реализацией, просто взял и сделал то, что придумал. То есть надо чередовать все три деятельности, и уметь переключаться.
* Великий строитель. Надо создать календарь, чтобы заставать мигрирующие стада. А еще организовать деятельность товарищей: загнать мамонта, а не убить, чтобы убить там, где можно переработать, и потом убить. Строители получают удовлетворение от таких проектов. Но их мало.
Мы все гибриды, у нас есть все варианты удовлетворения.

Принцип ритма в процессе: нельзя застревать в фазе, по 30% каждой - и еще делегирование реализации. Вы можете стать великим строителем. Но надо научиться организовывать коллективную работу.

Контур результата. Мерило работы - не усталость. Лучше всех в колхозе работала лошадь, но председателем она не стала. Если вы в системе - лошадь, то вам будут все время накидывать задачи.

Клиентоориентированность важнее функциональности. Осознанность важнее клиентоориентированности.

Ресурсы - Действия - Результат - Выгода - Влияние. Output - Outcome - Impact (по-русски все - результат). Открыть/Комментировать