BIG DATAШирокое принятие
Все больше компаний используют технологию больших данных и активно используют эти результаты. Apache Hadoop / Hive, Apache Spark и Presto - одни из самых популярных механизмов, используемых для подготовки данных, методов машинного обучения, создания отчетов. и анализ рабочих нагрузок.
Увеличение громкости команд
Опять же, говоря об Apache Hadoop / Hive, Apache Spark и Presto, общее использование этих механизмов выросло на 162%. Будучи известным как один из самых быстрорастущих движков, пользователи испытывают 420-процентный рост вычислительных часов и 365-процентное увеличение общего числа выполненных команд.
Знакомьтесь с новыми инструментами
В дополнение к топ-3 двигателей, около 30 процентов организаций начали использовать эти инструменты. Например, Apache Airflow, он используется для анализа сложных конвейеров подготовки данных и внедрения машинного обучения с использованием кода Python. Проще говоря, мониторинг рабочих мест, обработка сбоев и список можно продолжать. Помимо этого, вы даже можете подумать о рассмотрении таких инструментов, как XGBoost (инструмент интеллектуального машинного обучения), Pandas (инструмент для обработки данных на основе Python, используемый для статистического анализа) и MLLib (библиотека ML Apache Spark), которые также получают признание.
Производительность увеличилась
В то время как использование и реализация растут, организации, управляемые данными, ориентированы на оптимизацию многих пользователей, запускающих команды на каждом ядре, так что затраты сокращаются, а процесс практически автоматизирован.
