2021-08-25 11:31:24
#library #production
evidently- интерактивные отчеты для анализа моделей машинного обучения во время проверки или мониторинга в продакшенеEvidently, помогает анализировать модели машинного обучения во время проверки или мониторинга продакшена. Инструмент генерирует интерактивные визуальные отчеты и профили JSON из файлов pandas DataFrame или csv. На данный момент доступно 6 отчетов:
- Data Drift - обнаруживает изменения в распределении фичей
- Numerical Target Drift - обнаруживает изменения числового таргета и поведение фичей
- Categorical Target Drift - обнаруживает изменения в категориального таргета и поведение фичей
- Regression Model Performance - анализирует производительность регрессионной модели и ошибки модели
- Classification Model Performance - анализирует производительность и ошибки модели классификации. Работает как для бинарных, так и для мультиклассовых моделей.
- Probabilistic Classification Model Performance - анализирует производительность модели вероятностной классификации, качество калибровки модели и ошибки модели. Работает как для бинарных, так и для мультиклассовых моделей.
Установка:
pip install evidently
Применение:
import pandas as pd
from sklearn import datasets
from evidently.dashboard import Dashboard
from evidently.tabs import DriftTab
iris = datasets.load_iris()
iris_frame = pd.DataFrame(iris.data, columns = iris.feature_names)
iris_data_drift_report = Dashboard(tabs=[DataDriftTab])
iris_data_drift_report.calculate(iris_frame[:100], iris_frame[100:], column_mapping = None)
iris_data_drift_report.save("reports/my_report.html")
iris_data_and_target_drift_report = Dashboard(tabs=[DataDriftTab, CatTargetDriftTab])
iris_data_and_target_drift_report.calculate(iris_frame[:100], iris_frame[100:], column_mapping = None)
iris_data_and_target_drift_report.save("reports/my_report_with_2_tabs.html")
670 views08:31
П
