Давайте об IT

2021-12-10 12:00:33 Капризная дама Открыть/Комментировать

2021-12-10 11:57:29 ​​Задачка для ИТ-профессионалов (ОТВЕТ)

Ответ на задачку выше:

1. Действительно, как уже предположили в комментариях, первой версией была история с бэкапами. Систему резервного копирования не так давно ревизировали, так что можно было предположить. В итоге - анализ временных окон из расписания системы резервного копирования и инцидентов с просадкой дисковой системы по времени не совпадали - версию отмели.
2. Дальше под прицел попали конкретные хосты. Как вы помните сперва заметили на конкретных серверах проблемы. Проверили есть ли ошибки на конкретных hba-адаптерах FibreChannel. Ничего не выявили, разве что прошивки попробовать обновить. Решили искать дальше
3. Дальше стали анализировать уже сами СХД, нет ли деградировавших RAID-групп, нет ли просадки на бэкенде по дискам, нет ли переполнения и сброса кэша, не загружены ли процессоры контроллеров.
СХД показали себя молодцом, нагрузка хорошая на них шла, но запас по прочности и производительности вполне себе был достаточный.
А количество жалоб при этом продолжает расти...

4. Перешли к FibreChannel фабрике, той самой, с помощью которой серверы подключаются к СХД. Запустили анализаторы и коллекторы логов. Ну а дальше - внимательное чтение подробных отчётов и таблиц.
В итоге, в фабрике обнаружилось аномально большое количество отброшенных фреймов.
Выявили сбойную пару портов - это оказался транк между двумя коммутаторами одной фабрики.
Круг сузился .
Осталось два варианта - или SFP-модуль FibreChannel, или потрескавшийся патч-корд.
Ниже скриншот ошибок на выявленном порту, за 5 минут их набегало 200 тысяч
Красным выделил пару параметров, которые позволяют точно понять в чем проблема. Если ошибки только в одном параметре - это патч-корд. Если в обоих, то смотри SFP-модуль.

В итоге капризная дама, мадам SFPшка, была найдена и заменена.
Как видно было из графика, производительность кардинально улучшилась. Фото героини ниже. Модуль не вышел из строя до конца, поэтому фабрика не отработала второй путь и ошибку не сгенерировала.

Вот такая небольшая мелочь в уязвимом месте сгенерировала проблем для нескольких сотен виртуальных серверов. Мелочи важны, главное их знать и успевать за ними следить. Открыть/Комментировать

2021-12-09 13:03:37 График к предыдущему посту
Отклеился Открыть/Комментировать

2021-12-09 12:15:00 Задачка для ИТ-профессионалов

Друзья ИТшники, хочу поделиться кейсом из практики, попробуйте поразминать ИТ-извилины, интуицию и опыт)

Дано: инфраструктура заказчика - виртуализация vmware. Несколько блочных СХД, SAN коммутаторы на FibreChannel в растянутых фабриках, несколько десятков хостов виртуализации и несколько сотен виртуальных серверов.

В какой-то момент начинаются жалобы на производительность дисковой подсистемы. Не везде, не регулярно, не много.
Сперва определенные системы, затем определённые хосты, потом кластер целиком, потом ощутили все остальные системы.

По метрикам увидели серьёзную просадку во времени отклика дисковой подсистемы. Пики доходили до 12000 ms. (При норме до 15ms). Вплоть до отвалов datastore на хостах по таймауту.

Собственно график отклика ниже, в том числе с точкой, в которой была обнаружена и решена проблема.

Как вы думаете, где в итоге оказалась проблема? Откуда вы бы начали искать?

P.S. Призываю всех в комменты! Открыть/Комментировать

2021-12-03 13:23:41 Открыть/Комментировать

2021-12-02 09:30:05 ​​Задачка на смекалку

С начала ноября вынужденно подхватил управление соседним отделом по инженерным системам. Собственно опыт есть и дело знакомое, но работа там непростая и с самыми разными задачами и ситуациями. Как говорится больше "на земле" работать приходится, по объектам да стройкам бегать.
То на автовышку инженера с ноутбуком отправить светофоры настраивать в -23, то с кондиционерщиками искать место врезки дренажной трассы в канализацию.

А вот задачка из последнего: занос батарейного шкафа в сборе в ЦОД заказчика в глубину помещения через 4 дверных проёма по свежему ремонту. Вес шкафа 720 кг.
Пока можете пораскинуть мозгами на эту тему, репортаж с места события позже

Upd: на фото до и после) Открыть/Комментировать

2021-11-16 09:45:00 Ошибка, которую допускают 99% менеджеров проектов

8 марта в этом году мне край как понадобились суши :)) Но жизнь показала, что не я один оказался в такой ситуации) При попытке сделать заказ в ближайшем суши-маркете мне бездушно и невозмутимо ответили: “Время ожидания 4,5 часа, будете заказывать?” 4,5 часа! Я был возмущен и подавлен! Вечер накрывался медным тазом. Я даже сперва хотел поругаться с оператором, но потом одумался и не смог НИЧЕГО возразить.

Меня предупредили в самом начале, и если бы я согласился, у меня не было бы никакого права ругаться на долгое ожидание :) Они были абсолютно честны со мной. И за это я им остался благодарен! Более того, они мне помогли найти филиал, где время ожидания всего 1,5 часа и праздник в итоге удался.

Противоположный пример случился со мной этим летом в Крыму. Мы были на мысе Тарханкут с красивым скальным побережьем. Уставшие и довольные сели в местном ресторанчике. Дочка заказала какие-то грузинские помидоры под сыром. Мы уже все почти поели, а помидоров всё нет. И тут официант подходит и говорит: “Ещё 5 минут и они будут готовы!”. Ну что ж, подождём 5 минут. Через 10 минут ещё “8 минут”. Потом ещё “5 минут”. В итоге через 40 минут, стоя возле кухни, мы выцарапали этот контейнер и поехали домой. Печаль ещё в том, что мы пропустили просто шикарнейший закат из-за этой “5-минутной” ерунды с помидорами.

И я даже допускаю, что официант из лучших побуждений пытался нам “помочь”, выдавая желаемое за действительное. Только в этом случае я ушёл расстроенный и недовольный, и такая “помощь” мне совсем не понравилась, как и эти помидоры потом.

Так вот тоже самое можно наблюдать при работе в проектах с заказчиками. Самое сложное испытание - в самом начале проекта сказать “нет” там, где хочется сказать “да”. Заказчики хотят услышать желаемые сроки, суммы, красивые истории, как всё будет замечательно и не хотят слушать про длинные сроки, сложности, переделки, риски и доп.расходы.

И вот здесь кроется главная ошибка 99% менеджеров проектов - ожидания заказчиков не выравниваются с реальной картиной. И потом не корректируются по ходу проекта. А неправильные ожидания заказчика приведут и вас и заказчика к краху в конце пути.

Хотя, скажем честно, есть те, кто осознанно рисуют красивые картинки в начале, чтобы залезть в проект. Однако и я, и многие заказчики уже не раз бывали в ситуациях, когда в конце года приходится разгребать завалы и выкручиваться из непонятных ситуаций, которые проигнорировали на старте. И совсем не хочется заново это проходить.
У меня в связи с этим даже свой афоризм родился: “Лучше покраснеть в начале, чем в конце”. И тогда не придётся есть холодные помидоры. Открыть/Комментировать

2021-11-08 08:10:00 Свежие тренды в ИТ, ч.2
(по следам конференций)

Антидроновая защита Касперского
В России на 2021 год насчитывается порядка 1,5-2 млн дронов! Взрывной рост идёт также по всему миру. Цена за приличный дрон до 70 000 рублей, почти на каждом есть камера 4к, дальность полёта от точки управления до 4 км.
Таким образом от самых обычных гражданских дронов можно ожидать угрозу шпионажа, нелегальной переброски малогабаритных грузов, хулиганства и нарушения пространства режимных объектов. Из примеров: заброс сотовых телефонов в колонии, откуда потом идут мошеннические звонки, хищение ценных деталей с производства, нарушение работы аэропортов хулиганами или просто операторами. В общем инцидентов уже масса.
В Касперском разработали свой продукт - Antidrone. Это программно-аппаратный комплекс, с камерами, детекторами, радарами, софтом, радиопушками, а для соответствующих объектов и с пушками физической нейтрализации. При помощи анализа фото и других характеристик определяется модель, отключается радиоканал и 95% дронов возвращаются на место старта. Военные и полицейские имеют право на физическое уничтожение дрона. В общем было интересно.

Тренды: угроза становится очень реальной и доступной, режимные объекты, производства, стадионы, аэропорты вероятно скоро озадачатся этими вопросами.
СМОТРИТЕ ВИДЕО:
https://antidrone.kaspersky.com/assets/videos/industries-industrial-video-ru.bf77e0ea.mp4

Квантовые и нейроморфные процессоры от Intel
Intel строит квантовые процессоры, пока всё на очень ранней стадии, но прямо заявляют - область применения достаточно узкая, и никуда традиционные процессоры не денутся. Честно говоря, без подготовки тема сложная, уловил общие смыслы только.
С нейроморфными процессорами интереснее, выпустили уже второе поколение процессоров Loihi 2 и соответствующий фреймворк LAVA для работы с ним. Основная фишка нейроморфных процессоров - в 1000 раз эффективнее обычных процессоров в работе с нейронными сетями, в том числе в энергопотреблении, что крайне важно в робототехнике и автономных устройствах. Сферы применения нейроморфных процессоров: управление дронами, распознавание образов, распознавание речи.

Тренды: Раньше вычислительных мощностей было много, и было не очень понятно как их загружать. Сейчас разработчики, аналитики, дата-сайнтисты прекрасно знают для чего им нужны эти петафлопы и террабиты, осталось их обеспечить. Ну и борьба за уменьшение энергопотребления, киловатты и мегаватты становится всё дороже обеспечивать.

Был ещё круглый стол по импортозамещению, но извините, не пошёл. Мне пока уже хватит…
Ну и конечно главное - живые люди!
Куча встреч, друзей и знакомств.
Все-таки это очень важно и классно быть частью ИТ-сообщества!

Ну и велком в комменты! Открыть/Комментировать

2021-11-05 13:22:18 Свежие тренды в ИТ, ч.1
(по следам конференций)

За время двухнедельного затишья в канале побывал на двух ИТ-конференциях - региональной и московской, причём на региональной в качестве организатора. Но начну с московской.
26го октября в Москве прошла большая конференция IT-дистрибьютора OCS. Называлась «IT-Ось. Возможности». В общем прокачался в Сколково по полной программе!

Поделюсь с вами интересными трендами:

VR (Virtual Reality)
Открыл для себя эту тему с новой стороны. Сильно подросли технические характеристики и стали доступнее цены. Оказывается шлемы VR уже массово начинают использоваться на производстве, в основном в части обучения в сложных технологичных работах. От ремонта ядерного реактора, до задач попроще в виде сварки деталей и высотных работ. Есть уже набор разработанных российских производственных обучающих программ, а минимальный комплект шлем+ноутбук совершенно посильных денег стоит.
На конференции поделились классным кейсом - БургерКинг использует VR для обучения приготовления бургеров! Это, оказывается, быстрее и дешевле.

Тренды: ожидается дальнейший рост в этом направлении как раз с развитием социальной направляющей. Привет Фейсбук-Мета! Метавселенные со шлемом VR как раз про то. Уже сейчас народ собирается на рыбалку в виртуальной реальности из разных городов и стран, и эффект присутствия очень высок.

Автоматизация сельского хозяйства
Про высокий запрос на автоматизацию в с/х я уже слышал ранее, когда изучал тему полуавтономных модемов для комбайнов и тракторов. Собственно актуальность ещё раз подтвердилась.
Во-первых, в мире серьезные проблемы с продовольствием. Дмитрий Медведев на днях в своей последней статье даже сказал о начале продуктового кризиса во всем мире. На фоне этого в России рекордный экспорт пшеницы, сопоставимый (если не превышающий) экспорт нефти. Поэтому в секторе реальный запрос на автоматизацию растущего объема работ. И повышение кпд каждого гектара. В отрасли вовсю используются спутниковые снимки, дроны, аналитика фотографий посевных площадей, прогнозирование объемов урожая по промежуточным фотографиям кукурузы или пшеницы.
Рассказали про автоматику-«помогайку» при работе комбайна. Пример: при лишнем “нахлёсте” полосы уборки комбайна в 1м, ему на следующий день придётся дополнительно убирать несколько десятков гектаров, которые могли быть убраны вчера при тех же затратах топлива и времени. Логичным итогом стало объединение всех технологий и выпуск первого беспилотного трактора на заводе «Кировец», который скоро начнёт выпускаться серийно.

Тренды: в сельском хозяйстве есть реальный запрос на автоматизацию и в отрасли есть деньги для этого. Те же комбайны стоят по 20-30 млн.р., а в хозяйствах они исчисляются десятками или сотнями. Потребление будет только увеличиваться, к 2050 году количество продовольствия потребуется в 2 раза больше, чем сейчас. Поэтому спрос на ИТ в сельском хозяйстве будет сильно расти.




Темы интересные, по такому случаю можно и комменты открыть, вдруг ещё какие вопросы возникнут :)

в понедельник продолжение... Открыть/Комментировать

2021-10-18 11:35:00 ​​Помните ту лего-модель СХД которую собрали дети?
Так вот если долго смотреть на модель, то из неё может вырасти оригинал.

Не переставайте мечтать! Мечты сбываются
——
На фото демо оборудование для конференции 21 октября. СХД Dell EMC PowerStore на NVMe дисках. Открыть/Комментировать