Big Data AI

2022-11-02 15:58:12 Датасеты русского языка.

Национальный корпус русского языка — представительная коллекция текстов на русском языке общим объемом около 1,5 млрд слов
Russian Open Text To Speech (TTS) Dataset
Большой открытый корпус устной русской речи
Corus — коллекция русскоязычных NLP-датасетов
Golos dataset
Разметка аудиокниги Николая Старикова "Шерше ля нефть" в озвучке Эндшпиля
Набор данных по русской речи - Zpoken Dataset [RU]
Набор данных русской речи
Наборы данных для русского языка жестов

@bigdatai Открыть/Комментировать

2022-11-02 15:52:01 JSON Editor Online — веб-инструмент для просмотра, редактирования и форматирования JSON

С его помощью вы можете просматривать ваши же данные рядом друг с другом в чётком, редактируемом древовидном виде и в редакторе кода

Для большего удобства разработчики позволяют частично изменять внешний вид платформы. Никакой практической пользы — просто приятное дополнение

Стоимость: #бесплатно

#json #web

@bigdatai Открыть/Комментировать

2022-11-02 13:38:13 Источники данных для скачивания
https://fred.stlouisfed.org/

@bigdatai Открыть/Комментировать

2022-10-31 17:49:49 ​​Где брать данные инженеру-исследователю?

Статья предназначена для молодых инженеров-исследователей, не знающих – где взять данные для проведения исследований в области машинного обучения. 

Читать...

@bigdatai Открыть/Комментировать

2022-10-29 10:42:58 От перцептронов до AlexNet и OpenAI. Эволюция и проблемы ML

Интересная статья от Yandex Research, в которой исследователи разбирают историю обучаемых алгоритмов, объясняют проблему «черного ящика» и рассказывают, как улучшают интерпретируемость работы ML-моделей.

О том, что уже известно о «внутренностях» ИИ и почему работу нейросетей нельзя измерять только их эффективностью, читайте по ссылке.

@bigdatai Открыть/Комментировать

2022-10-27 09:20:14 ​​Enterprise Data Warehouse: компоненты, основные концепции и типы архитектур EDW

Ежедневно мы принимаем множество решений на основании предыдущего опыта. Наш мозг хранит триллионы бит данных о прошлых событиях и использует эти воспоминания каждый раз, когда мы сталкиваемся с необходимостью принятия решения. Как и люди, компании генерируют и собирают множество данных о прошлом, и эти данные можно использовать для принятия более осознанных решений.

Читать... Открыть/Комментировать

2022-08-31 09:38:18 Новости из мира аналитики:

Building Modern Data Teams - собрали много материала по этой теме в одном месте.

Airflow's Problem - популярный пост про судьбу Airflow и его туманное будущее

Databricks usage and cost analysis - пример анализа стоимости Databricks


The Evolution of Transformation Layer Architecture in 99 Group (DBT, Airflow and Kubernetes) - обзор аналитического решения в компании 99 Group

4 Must-Have Tests for Your Apache Kafka CI/CD with GitHub Actions - будет полезно, если вы используете Kafka

A Framework to Understand How Low-Quality Data Hurts Business Performance -

Reporting Data at Criteo: How to Measure at Scale - архитектура аналитического решения в Criteo

Harvard Data Science CS109A materials.

Spark Data Lineage - задачи lineage до сих пор актуальны, а если у вас Spark, то там все еще сложней.

Snowflake query optimiser: unoptimised - хороший пример про использования dbt и их подхода CTE, который в итоге оборачивается в огромной стоимости решения.

The next generation of Data Platforms is the Data Mesh - а может быть очередной buzz word. Открыть/Комментировать