ЗО

2021-07-05 17:50:00 ​​Преимущества запуска Spark в Kubernetes

Для частого запуска Spark-приложений необходимо максимально упростить процесс запуска задач, а также уметь гибко настраивать их конфигурации. Для этого можно запускать Spark внутри Kubernetes. Вот основные преимущества такого подхода:

Изоляция сред. При переходе на новую версию Spark в традиционном Hadoop-кластере нужно организовать бесшовный апгрейд, проверить все приложения и пайплайны. Запуск Spark в Kubernetes решает эту проблему: каждый член команды может создать независимое окружение и использовать любую версию Spark.

Управление ресурсами. Kubernetes позволяет накладывать ограничения ресурсов на разные приложения и разные типы пайплайнов, например, используя Namespace.

Гибкое масштабирование. Kubernetes в облаке умеет задействовать огромное количество ресурсов при необходимости. Например, ваше приложение обычно использует 10 ядер процессора, но иногда ему нужно 500. Автомасштабирование кластера Kubernetes позволит получить дополнительные ресурсы лишь на то время, когда они реально нужны приложению.

Разделение Storage и Compute-слоев. В Hadoop-кластере каждая нода является и Storage, и Compute. Если приложению нужно добавить больше ядер, то добавляется новую ноду, которая также добавляет и диски, за которые надо платить. Аналогично и обратное. Облако же позволяет разделить Storage и Compute-слои: Kubernetes выступает в роли Compute, а S3-хранилище в роли Storage.

В статье мы подробнее рассказываем о запуске Spark внутри Kubernetes, а также на реальном примере показываем как это сделать. Открыть/Комментировать

2021-07-02 16:20:00 Подход Multicloud Native Service: как сделать систему максимально отказоустойчивой

Подход Multicloud Native Service сочетает в себе лучшее из подходов Multicloud и Cloud Native. Он позволяет построить 100% отказоустойчивую и высокодоступную систему. В статье подробно рассказываем о преимуществах и способах реализации подхода, а также о сложностях и методах их обхода. Открыть/Комментировать

2021-07-01 16:44:00 ​​Аналитические сервисы Seeq в России будут предоставляться Mail․ru Cloud Solutions

Seeq — система для глубокой аналитики данных производственных процессов: анализ Big Data, смешение и интеграция данных, машинное обучение, предиктивная аналитика и многое другое. Система помогает повысить эффективность бизнеса за счет анализа производственных данных для решения прикладных задач.

Система Seeq расширяет экосистему отраслевых решений платформы Mail․ru Cloud Solutions. Теперь российский бизнес может получить доступ к аналитической системе, которая используется мировыми гигантами промышленности, прямо из отечественной облачной инфраструктуры.

Поддержку пользователей на этапе внедрения Seeq будет выполнять компания «ИндаСофт», которая выступает эксклюзивным партнером вендора на территории России.

https://clck.ru/Vn8qR Открыть/Комментировать

2021-06-30 17:14:00 Airflow — платформа для разработки, планирования и мониторинга сложных ETL-процессов, которая стала стандартом де-факто в своей области. В карточках — основные преимущества Airflow, а полное описание инструмента — в статье. Открыть/Комментировать

2021-06-29 17:39:00 Три основных отличия базы данных от озера данных

В работе с базами и озерами данных есть принципиальные различия. Мы перевели короткую статью об устройстве Data Lake. Она пригодится тем, у кого нет большого опыта работы с реляционными базами данных. Открыть/Комментировать

2021-06-28 19:30:01 MLflow в облаке: простой и быстрый способ вывести ML-модели в продакшен

Подход MLOps помогает стандартизировать процесс разработки ML-моделей и сокращает время их выкатки в продакшен. Для построения MLOps нужны специальные инструменты, например, MLflow. Это один из самых стабильных и легких инструментов, позволяющий управлять жизненным циклом ML-моделей. Но чтобы получить от него максимум пользы, важно развернуть его в продуктивном отказоустойчивом варианте.

В статье рассказываем, как развернуть MLflow в облаке, настроить все необходимые сервисы, опубликовать и протестировать модель. Открыть/Комментировать

2021-06-28 18:30:01 Как Kubernetes помогает работать с Big Data быстрее и эффективнее

В традиционной Hadoop-архитектуре есть несколько ограничений, вроде невозможности разделения Storage- и Compute-слоев, сложностей масштабирования и изоляции сред. Но есть и другой, Cloud-Native подход работы с большими данными. Он решает эти проблемы и задействует все преимущества облачных технологий.

В статье рассказываем, как в Data Science применяется Kubernetes и какие преимущества он может дать по сравнению с классическим развертыванием. Открыть/Комментировать

2021-06-28 16:18:00 ​​Как KGK Global повысила стабильность сервисов в три раза

Компания KGK Global проектирует оборудование для транспортных компаний и разрабатывает онлайн-сервисы для спутникового мониторинга транспорта.

Проблема. В KGK Global использовали собственное оборудование, на котором работали все сервисы компании. Со временем архитектура перестала справляться с растущей нагрузкой, а инструменты разработки отвечать требованиям актуальных клиентских задач. Из-за этого у компании регулярно возникали проблемы с доступностью онлайн-сервисов.

Решением стала миграция на облачную платформу Mail․ru Cloud Solution. Архитектура PaaS-сервисов, аттестация по 152-ФЗ, а также надежные и быстрые каналы связи полностью удовлетворяют требованиям компании KGK Global. Также было внедрено новое хранилище — аналитическая СУБД ClickHouse, которая позволяет работать с большими объемами данных в режиме реального времени. После миграции в облако надежность работы сервисов возросла в три раза при сохранении стоимости содержания ИТ-инфраструктуры.

https://clck.ru/VkpJW Открыть/Комментировать

2021-06-25 17:17:00 VMware vs OpenStack: сравниваем две платформы для развертывания инфраструктуры

Когда планируют развертывать виртуальную инфраструктуру, обычно выбирают между двумя платформами: VMware и Openstack. В статье мы рассказываем, почему сравнивать их не совсем корректно и какое решение больше подойдет для инфраструктуры на своих серверах и в облаке. Открыть/Комментировать

2021-06-24 16:16:00 ​​В частном облаке Mail․ru Cloud Solutions появилась защищенная СУБД Jatoba

Jatoba — защищенная российская СУБД, которую могут использовать компании с повышенными требованиями к IT-безопасности. Например, нефтегазовые и металлургические предприятия. Jatoba позволяет «из коробки» решать важные задачи по обеспечению безопасности данных, отказоустойчивости и производительности.

Mail․ru Private Cloud — платформа для построения частного облака. В Jatoba реализованы механизмы обработки данных в облаке, а также технологии для обеспечения отказоустойчивости с учетом специфики облачных хранилищ. Это позволяет пользователям приватного облака получить надежную российскую СУБД.

https://clck.ru/VhLmp Открыть/Комментировать