​​data-diff data-diff — это инструмент командной строки и биб | the Coding | Programming

​​data-diff

data-diff — это инструмент командной строки и библиотека Python для эффективного сравнения строк в двух разных базах данных.

Проверяет множество различных баз данных (например, PostgreSQL -> Snowflake)
Выводит разницу строк в деталях
Простой CLI/API для создания мониторинга и предупреждений
Соединяет типы столбцов разных форматов и уровней точности (например, Double ⇆ Float ⇆ Decimal)
Проверка более 25 млн строк менее чем за 10 с и более 1 млрд строк примерно за 5 минут.
Работает для таблиц с десятками миллиардов строк

data-diff разбивает таблицу на более мелкие сегменты, а затем вычисляет контрольные суммы каждого сегмента в обеих базах данных. Когда контрольные суммы для сегмента не равны, он далее разделит этот сегмент на еще меньшие сегменты, суммируя их, пока не дойдет до разных строк.

https://github.com/datafold/data-diff