Команда Delta Lake (формат для update-delete операций поверх p | Anscombe's Quartet

Команда Delta Lake (формат для update-delete операций поверх parquet, где update/delete механизмы работают за счет системы метаданных) выпустила свежий релиз версии 0.5.0. Одна из безусловно крутых особенностей delta - это возможность in-place удаления строк (чего обычный parquet не умеет), что сильно помогает при необходимости делать GDPR-compliant хранилище.

В версии 0.5.0 добавились две крутые фичи - в первую очередь, delta теперь поддерживает manifest-файлы, которые сильно облегчают работу с этим файловым форматом через Presto и Amazon Athena. Вторая фича пока экспериментальная, но уже выглядит довольно многообещающе - теперь таблицы в delta-формате можно запрашивать через Snowflake и Redshift Spectrum.

https://delta.io/news/delta-lake-0-5-0-released/