BeerPanda. Органично недоразвитый DevOps

2023-04-04 13:56:25 Сервер - это не "большой макбук". Часть 1. Топология памяти 3/2

В продолжение вчерашнего поста про ширину памяти на сервере.

Во вложении два документа от Lenovo Press по оптимальной конфигурации памяти в серверах (ключевое слово: балансная конфигурация).

Один документ по Xeon Scalable v2 (6 каналов), второй по Xeon Scalable v3 (8 каналов).

В том числе там подробно объясняется почему мой расчет общей теоретической ПСП является верным. Открыть/Комментировать

2023-04-03 18:57:44 Сервер - это не "большой макбук". Часть 1. Топология памяти 2/2

3. Ширина памяти

Ширина (ПСП - пропускная способность памяти) обеспечивается целой кучей параметров, из которых остановимся на двух: количество каналов памяти на контроллере памяти, скорость модуля.

И начнем со скорости. Все, кто выбирал (собирал) компьютер, видел такую вещь как DDR4-2933 (цифры могут меняться). Совсем на пальцах - DDR3, DDR4, DDR5 - это условно формат гнезда памяти, т.е. модуль DDR5 не вставишь в сервер с DDR3 слотами. А 2933 (иногда PC2933) - это собственно скорость этого модуля. Причем измеряется она не в MHz, как иногда ошибочно пишут, а в MT/s.
DDR - Double Data Rate - способ передачи информации с удвоенной скоростью, когда информация передается не самим 0/1, а крутизной фронта сигнала (а фронтов два). Поэтому настоящая частота в два раза ниже. Т.е. PC3200 - это 3200 MT/s (mega transfers / sec), которая работает на частоте 1600 MHz.

И вот в какой то момент мы начинаем выедать полную ширину и ограничиваемся в производительности скоростью памяти.

Поэтому придумали многоканальные контроллеры памяти - можно одновременно и независимо друг от друга обращаться сразу к нескольким модулям памяти. Что в конечном итоге увеличивает *теоретическую* ПСП в N раз (N - количество каналов). А для двухпроцессорной системы в 2 N раз соответственно. Теоретическую - потому что в реальности еще все зависит от того, как данные размазались по физическим модулям памяти, конечно же.

И вот тут следует вопрос: так продаются же крутые модули памяти, 6000, давай ими и набьем сервер.

Здесь есть два момента:
- крутые модули типа 6000 - это НЕрегистровая память для энтузиастов игроманов-оверклокеров. Если вдруг чо, то ну перегрузишься, ничего страшного.
- серверная память - регистровая, т.е. там стоит дополнительная микросхема для повышения стабильности работы.

Короче, в зависимости от класса сервера такую память либо нельзя / либо не надо ставить (как рекомендация).

Почему такая принципиальная разница в десктопном / северном мире?

Десктопные процессоры - это процессоры для однопроцессорных машин, причем максимум с двумя каналами памяти. Когда ты исчерпал два канала, остается только повышать частоту.

Серверные процессоры решают проблему ширины памяти путем многопроцессорных конфигурация с много (более 2) канальной памятью. Например Xeon Scalable v2 имеет 6-канальную память (и этим обуславливается объем памяти кратный 6 модулям - 192, 384, 768).

Десктоп 1 * 2 * DD5 5600 = 11 200 (Core i9)
Сервер 2 * 6 * DDR4 3200 = 38 400 (Xeon Scalable v2)
Сервер 2 * 8 * DDR5 4000 = 64 000 (Xeon Scalable v4)

Вы можете возразить, а как же AMD Ryzen ThreadRipper? Там 8 каналов памяти.
Да, вы совершенно правы. Только посмотрите на его стоимость, он подороже иных Xeon будет, и именно это обуславливает его крайне нишевое применение, где он борется за место уже с рабочими станциями на серверных процессорах.

P.S. по маркировке. Может применяться DDR4 3200 = PC4 25600 (MB/s) Открыть/Комментировать

2023-04-03 18:57:27 Сервер - это не "большой макбук". Часть 1. Топология памяти 1/2

Очень часто вижу подход к серверам и вычислительной инфраструктуре на кухонном уровне даже от вроде бы профессиональных людей с высочайшими ЗП в полмиллиона и выше.
Сервер - это просто большой макбук, а СХД просто большой диск.

Итак, давайте разбираться. И начнем со страшной темы - топология памяти.

Объяснять буду реально на желудях и шишках, поэтому сразу просьба к крутым суперпрофи - не надо пытаться меня уличить, это не для вас написано.

Есть процессор, который исполняет команды, и канал доступа к памяти, которая требуется для этих команд. Канал характеризуется двумя показателями: задержка доступа (через сколько наносекунд придет ответ), ширина канала (сколько гигабайт в секунду).

1. Задержка. UMA / NUMA

UMA - Uniform Memory Access, архитектура с равномерным доступом к памяти. В многопроцессорной (многоядерной) системе расстояние (задержка) от любого процессора (ядра) до любого блока памяти постоянна и одинакова.

NUMA - NonUniform Memory Access, архитектура с НЕравномерным доступом к памяти. В многопроцессорной (многоядерной) системе расстояние (задержка) от процессора (ядра) блока памяти различна.

В чем разница для программиста / архитектора-проектировщика? В случае с NUMA системой нужно продумывать особенности развертывания системы (модулей) и конфигурации, чтобы работать на полной скорости, избегая (минимизируя) дальние обращения. Если вы не понимаете как с этим работать, то легко получите до минус 30% производительности.

Напомню любителям AMD, что недавние поколения серверных AMD имели NUMA архитектуру даже внутри сокета. Т.е. по сути это был хак - два кристалла упаковали в один корпус.

2. Топология процессоров (при >2)

В случае с 2 процессорами все понятно, есть CPU1 <-> CPU2. А вот уже при 4 процессорах становится интереснее. Есть варианты с полносвязной системой и с промежуточными узлами.
Полносвязная система - когда есть прямой канал от каждого процессора к каждому, и соответственно задержка при обращении к чужой памяти одинаковая.
Система с промежуточными узлами имеет меньшее количество линков. Т.е. всего по два линка на каждый процессор.
- CPU1 <-> CPU2 <-> CPU4
- CPU1 <-> CPU3 <-> CPU4
И в этом случае CPU3 при обращении к памяти CPU2 получает двойную задержку, что еще сильнее роняет производительность. Открыть/Комментировать

2023-03-31 10:33:02 Капитальное строительство как фактор ИБ. Серия очередная.

В центре Риги рухнул дом. Старый пятиэтажный дом. Бывает, случается.

Какое это имеет отношение к ИТ?

Рядом с этим обычным старым домом располагается офис компании standart.lv, и помимо того, что под обломками машины сотрудников, случилась беда с ЦОДом. Нет-нет, все хорошо спроектировано, даже есть ДГУ.
Проблема - ведутся работы по расчистке завалов. И пока работы ведутся запустить ДГУ нельзя. Вот уже сутки ЦОД стоит выключенным.

По счастью архитекторы запроектировали дублирование сервисов и клиенты испытывают лишь легкие неудобства, но не полную недоступность сервиса.

Добавим в копилку неожиданных историй про капитальное строительство новую причину: на наш ЦОД упал дом :) Открыть/Комментировать

2023-03-31 07:47:03 Почему сертификаты бесполезны, а сертифицироваться все равно надо? 2/2

Все, молодец, обосновал - сертификаты херня. Так почему же надо сертифицироваться?

А тут все просто, давайте вспомним предыдуший пост про безответственных архитекторов, которые ничего не хотят изучать, и отсутствие нормальных учебных программ. Нормальные учебные программы есть, только преподают их не в университете и не на гос диплом, а у вендоров на сертифицированного специалиста.
Честно прочитанный учебник на 700 страниц для подготовки на сертификационный экзамен и честно сданный экзамен - вот что отличает того, кто ИТ считает инженерным делом, от шамана-крафтовика.
И возвращаясь к началу - наблюдается стойкая корреляция тех самых интересующихся с самостоятельно сданными сертификационными экзаменами. Вам работодатель оплачивает экзамены? Прекрасно, пользуйтесь. Не оплачивает? Не так уж дорого это стоит, можно и самому пойти поучиться. Даже если экзамен на сертификат вы не можете сдать (напр. требование официальный курс за 100+ тыр обязательно), то кто же вам мешает пойти прочитать честно добытый откуда-то (тсссс) учебник, подготовиться к экзамену и не пойти на него?

Официальные учебники "для подготовки к сертификации" обычно очень хороши, а особенно у некоторых контор (раньше такой была ЕМС). Я даже больше скажу, несмотря на 2023 год на дворе, ссанкции и все дела, многие учебные курсы и учебники ничуть не потеряли общей ценности для структурирования информации.

Некоторый "кандидатский минимум" для любого уважающего себя ойти инженера / архитектора:
- Олифер и Олифер. Компьютерные сети
- Таненбаум. Архитектура компьютера - разумеется
- EMC Information Storage and Management - есть в русском переводе. Несмотря на ЕМС, это про общую теорию СХД

И если первые две можно на самом деле пропустить и заменить на что-то более профессиональное для сетевиков или специалистов по серверам, то EMC ISM на мой взгляд просто безальтернативна. Открыть/Комментировать

2023-03-31 07:46:33 Почему сертификаты бесполезны, а сертифицироваться все равно надо? 1/2

В очередной раз участвую в марафоне "проведи 100 собеседований ради найма одного человека". И вот что я скажу - невооруженным глазом, сразу, с ходу видна разница между теми, кто сам читает, интересуется, что-то делает, и теми кто этого не делает. "Меня должны обучить, мне должны оплатить курсы, мне должны..."

Есть и корреляция с наличием у человека сертификатов. Давайте разберемся.

Сертификат в данном случае - подтверждение от вендора / учебного центра об успешном прохождении экзамена и получении статуса сертифицированного специалиста.

Сертифицированные специалисты и линии сертификации можно широким мазком поделить на две большие категории:

- sales / presales сертификаты от вендоров, которые получают сдав "экзамен" в виде теста прямо с рабочего места в браузере. По сути не значит вообще ничего, является подтверждением "не совсем конченный олигофрен, смог запомнить название линейки продуктов и еще несколько фирменных терминов". Именно легкость сдачи и возможность открыть мануал / видеокурс во втором окне и банально подставить нужные ответы нивелируют ценность данных сертификатов до уровня около нуля, хотя зачастую учебный курс сам по себе бывает неплох.

- сертифицированный инженер / архитектор по продукту или направлению. Например MCP, VCP, CCNP и тд. Отличаются от предыдущих значительным объемом и глубиной информации для изучения и сдачей в сертификационном центре под камерами и тд. Т.е. вполне такой настоящий экзамен.

Почему же сертификаты бесполезны, раз это даже вынесено в заголовок? Все очень просто, сам факт наличия сертификата у конкретного человека не дает ровным счетом ничего ввиду невозможности гарантии "человек прошел полный учебный курс и честно сдал". Дампы с ответами к тесту - еще не самое страшное, все упирается в бессмысленность самой сертификации у большинства инженеров на рынке. Наличие заданного количества сертифицированных инженеров у интеграторов - это требование для подтверждения партнерского статуса, и поэтому зачастую в интеграторах идет разнарядка - получить сертификаты в количестве Х штук, вот дампы, вот подкупленный тест-центр с отключенными камерами. Ладно бы сертификаты эти были по профилю, опытный специалист по серверам, выучивший дампы для очередного серверного вендора под статус, не станет от этого менее опытным, а так или иначе даже дампы дадут какие-то познания. Все печальнее в том смысле, что очень часто сертификаты получают по абсолютно левым направлениям. Т.е. серверные инженеры идут и сдают скажем какой нибудь BI, который никто из них никогда не видел и не увидит ни на одном проекте.

Второй камень в огород сертификации - их практическая никчемность в тех же интеграторах. По разным оценкам (мои личные и личные оценки моих знакомых) в некоторые периоды до 90-95% всех проектов в интеграторах не имеют никакого отношения к собственно проектированию и сколько нибудь заметному влиянию архитектора и его квалификации. Сейл уже все продал, обо всем договорено и даже готова спецификация. От инженера со всеми нужными партнерскими сертификатами требуется лишь написать нужное количество страниц в проекте, оформленном по ГОСТ34, примерно обосновывающих правильность решения и примерно про эту область. Нужное количество часто бывает на уровне "чтобы выглядело солидно", и честное слово, я лично видел 150 страничный техпроект, в котором полностью отсутствовало проектирование как расчет мощностей и обоснование выбора конфигураций, но было 80 страниц копипасты с Википедии о том что такое RAID и тому подобной воды. Тупо для объема. Открыть/Комментировать

2023-03-29 16:04:23 «Психологи как витамины» и «дай мне договорить, рррр!» 2/2

2. Дай мне договорить, РРРР!

Не перебивай меня, не перебивай, я сегодня как железо!
Не перебивай меня, не перебивай, это просто бесполезно!

В последнее время наблюдаю практически культ «не перебивай, дай договорить». И человек прямо бесится и злится.

Давайте разберем ситуацию.

Есть коммуникация А-Б-(В…Г…). И в процессе коммуникации А -> Б, внезапно Б не дает договорить А до конца, начиная возражать или начинает свою тему или еще что-то. Или в процессе А->Б встревает В, перебивая А.

Какие есть варианты трактовки:
1. Б (В) дурно воспитанная сторона в коммуникациях.
2. А рассказывает слишком сумбурно, и сторону А перебивают, чтобы вернуть на мысль.
3. А углубляется в незначащие детали, и у стороны Б кончается кратковременная память, чтобы все эти детали составляли картину, и картина рассыпается.
4. А говорит так долго, что Б утомляется ждать конца.
5. Б (В) внезапно понимает, что есть срочная тема, более важная (и см пункт 1).
6. Б (В) таким образом демонстрирует превосходство.

В случае с демонстрацией превосходства все понятно, даже обсуждать нечего. Если же мы видим недостаточное воспитание Б для получения адекватной реакции, то тут тоже понятно – надо Б просто объяснить правила вежливой коммуникации.

Практически при этом не встречается ситуации, когда психологи рассуждают про варианты 2-4, что перебить – это правильная коммуникация. И что А надо уважать собеседника, не приседая на уши.

Знаете почему мы это наблюдаем? Про всю эту ценность мнений и важность коммуникаций говорят обычно те, кто считает ценностью сам факт мнения и собственной коммуникации, а отнюдь не люди, привыкшие информацию структурировать.

Любое же противодействие приседанию на уши внезапно вызывает неприкрытую агрессию (наблюдаю в том числе на ребенке) с бесиловом «дай договорить!!!!»
Теперь представьте себе, что вы приходите на высокую встречу с генеральным директором ООО ААА, цена вопроса 20 млн руб, у вас 10 минут. В конце третьей минуты вас перебивают «давайте ближе к сути, что вы предлагаете», а вы «дайте договорить, РРРР!»
Как думаете, успешно ли закончится встреча?

Нам часто говорят, что перебить – это форма агрессии и демонстрации власти. Но вообще говоря, присесть на уши – это такая же форма агрессии и захвата времени, внимания и пространства, прикрываясь этикетом и правилами вежливой коммуникации.

Смотрите, любые ваши ресурсы являются возобновляемыми, включая даже здоровье (до определенной степени). Единственный невозобновляемый ресурс человека, который уходит строго безвозвратно – это время. Это ВАШЕ время, которое вы не обязаны тратить на тех, кто за ваш счет решил компенсировать нехватку общения и «социальных поглаживаний».
Не стесняйтесь перебить и послать этого захватчика. Открыть/Комментировать

2023-03-29 16:03:59 «Психологи как витамины» и «дай мне договорить, рррр!» 1/2

Сидел обедал, никого не трогал, и тут проморолик «Когда мы плохо себя чувствуем – мы принимаем витамины. Когда чувствуешь себя плохо душевно – надо идти к психологу» (вольная цитата)

Психологи – это новые витамины, панацея 21 века. Давайте немного разберемся.
1. Витамины.

Витамины – это жизненно важные амино (азотосодержащие) кислоты. То, без чего не может работать организм. Делятся на заменимые (организм вырабатывает их самостоятельно) и незаменимые (поступают в организм только с пищей). Вита (жизнь) в названии намекает нам на то, что без них или вообще жизни нет, или она крайне осложняется.
Скажем есть легендарные «болезни» древности, как цинга – это фактически попросту состояние, вызванное нехваткой определенных незаменимых витаминов (в случае цинги витамина С, аскорбиновой кислоты). И раз они такие полезные, то сложилось всеобщее (а особенно у мамочек) мнение, что надо есть витамины как можно больше, и особенно мультивитамины в ребенка засовывать супердозами.
Мультивитамины в средней полосе России (довольно северная полоса так-то, нигде больше в мире столько людей не живет в таких условиях) были бы сверхактуальны в царское время, когда 97% составляли крестьяне, питавшиеся как придется, и годов до 50, а затем в 90-е. В 97м помню мы покупали пару свежих огурцов зимой на Новый Год, для праздничного салата. Если же говорить про сейчас – это просто способ вызывать гипервитаминоз и аллергию. Витамины, как и любые биологически активные вещества, имеют показания к применению и негативные эффекты при превышении определенных доз. Да что витамины, соль и вода смертельно опасны при неумеренном употреблении.

Краткое резюме: витамины – это не то, что надо применять «когда плохо чувствуешь». Если тебе плохо не от заболевания, а просто так, вообще – кому поможет торт, кому 150 коньяка, кому секс, а кому прыжок с парашютом. И да, я говорю про выработку эндорфинов и снятие стресса как баланса нейромедиаторов в организме.

Если же речь про «психолог как средство против плохо себя чувствую», то тут интересный момент.
Давайте вспомним в чем задача психолога. Психолог – это специалист, который помогает здоровому человеку (психически, иначе клиент психиатра) помочь пережить жизненные трудности, с которой человек не может справиться сам. Т.е. у человека определенные сложности с собственным состоянием и отношением к тем самым проблемам, и это состояние мешает справиться с проблемами.
«Мне сегодня плохо» - это вообще норма для человека, с утра плохо, а к вечеру хорошо. Плохое самочувствие может быть свидетельством чего угодно, от грусти (умерла любимая собака) до низкого уровня сахара в крови по утрам (надо позавтракать). И плохо себя чувствовать, похоронив собаку, - нормально. Ненормально при этом петь и плясать.

Поход к психологу подается как прием витаминов. Сходи, поговори, станет лучше. Интересный момент, что если вы пришли к психологу и вам стало лучше сразу, от самого разговора – вы пришли не с той проблемой, и скорее всего не к тому психологу.

Это признак нехватки общения и отсутствия собеседников, одиночества в толпе. Сам разговор, когда тебя внимательно слушают, приносит облегчение лишь при острой нехватке таких разговоров в семье, обществе, на работе.

Нужна ли здесь «помощь» психолога и организация постоянного бизнеса с клиентом, который приходит пожаловаться на жизнь? Бабки ходят в поликлинику и на почту пообщаться, поругаться, ведут так сказать социальную жизнь там.
Или нужно объяснять, что проблема более комплексная в социальной адаптации? А какую социальную модель полагать верной? Открыть/Комментировать

2023-03-27 21:25:27 Об ответственности архитекторов и особенностях лицензирования OpenShift. 3/3

Часть 2. Особенности лицензирования OpenShift.

Был у меня один крупный проект, связанный с OpenShift, где стоимость лицензирования шифта превышала стоимость ВСЕГО остального софта, в том числе и по причине отличного подбора размера воркеров.

Проект ко мне попал уже в стадии планирования закупки, т.е. перепроектировать это было невозможно. Тем не менее.

2.1 Подбор размера воркера

Имея экселевскую таблицу размером примерно 60 * 100 ячеек для расчета мощи всего этого безобразия и автоматического размера кластеров с учетом фрагментации, избыточности, уровней консолидации и всего остального, мне удалось сделать очень простую вещь.
Только лишь от изменения 64 / 32 до 16 / 90 количество потребных лицензий OpenShift схлопнулся почти в 2 раза, если считать лицензии по виртуальной модели (на vCPU). И это мы не говорим про оптимизацию размеров кластеров и количества физического железа, которое требует портов, питания, места и снова лицензий.

2.2 Выбор модели лицензирования и бодание с RedHat

Лицензирование OpenShift строится (по крайней мере на момент моего участия строилось) двумя способами:
- bare-metal кластеры лицензируются по количеству физических ядер в серверах
- виртуальные кластеры лицензируются по количеству vCPU в воркерах

Для меня же стало очевидно, что при том количестве OpenShift даже без изменения развертывания на bare-metal в теории можно сделать выделенный кластер гипервизоров ТОЛЬКО под OpenShift и лицензироваться по модели bare-metal.
Первый запрос в сейлов RedHat принес ожидаемый ответ - такого в Licensing Guide не описано. Ну разумеется не описано, это промежуточная ситуация. В общем, как говорится, не будите во мне зверя, а не то проснется кролик и я вас всех затрахаю.
Спустя 2 месяца и множества конфколлов с привлечением архитекторов RedHat из Европы и даже юристов, было дано заключение, что вообще как бы при выделенном кластере bare-metal лицензирование допустимая модель, даже если все воркеры виртуальные. Главное, чтобы они с этого кластера не разбегались.
Итог: еще в 3 раза схлопнулись лицензии.

Ну а вы чего хотели, что вам капиталисты сами радостно подскажут как вам купить в несколько раз меньше софта и сбить им все планы продаж и надежды на повышенные премии за перевыполнение плана?

А всего лишь за счет понимания работы железа и архитектуры развертывания.

Но вы дальше можете надеяться, что DevOps - это магическая пилюля. Про свою проблему с наймом сисадминов, которые массово бегут в DevOps, я уже писал. Открыть/Комментировать

2023-03-27 21:09:01 Об ответственности архитекторов и особенностях лицензирования OpenShift. 2/3

Часть 1 с половиной.

Возьмем Градостроительный Кодекс РФ. И внезапно обнаруживается, что архитектор-строитель вообще-то несет уголовную ответственность за свой проект.
Развалился мост, погибли люди, колоссальный ущерб экономике. Возбуждается уголовное дело и начинается расследование - это при строительстве прораб "наоптимизировал", архитектор ошибся, стечение обстоятельств? Кто виноват? И архитектор может вполне присесть отдохнуть несколько лет.

Попробуйте предложить ойти Архитектору с огромной буквы А и зп в 500к/сек кусочек ответственности за работу систем. Скорее всего уже через неделю он выйдет в другой компании работать.

Во многом это связано еще и с тем, что архитекторов-строителей учат в специальном заведении со специальным дипломом. Разработаны все методики, есть все справочники, есть расчетные отделы. Да, это позволяет быть уверенным в своих расчетах.
Проблема ойти не только в том, что архиекторам приходится учиться самим, кому как придется. Хорошо, если есть старший товарищ, который расскажет и покажет. Но есть еще и проблема нежелания вообще выходить из крафтового на инженерный уровень. Абсолютное большинство архитекторов при разговоре:
- я под архитекурой понимаю инструмент
- для меня облако это

Да при чем тут ты и для тебя? Есть давно принятые в индустрии термины, которые стандартизируются именно для того, чтобы было не "для меня", а для "любого инженера".

Этого избегают. Потому что вслед за стандартизацией терминологии идет стандартизация процессов и появление стандартных критериев оценки, а следовательно можно будет сравнивать. И внезапно прилетит ответственность. А пока архитектура в айти будет крафтовой будет понятие "технического долга" использоваться вместо "мы тут наговнякали".
Так люди стараются быть незаменимыми.

Надо только помнить, что по-настоящему "незаменимый человек - тот, кого никем не надо заменять". Открыть/Комментировать