Тема 'понимая' логики принятия решений нейронными сетями, для | Клуб CDO

Тема "понимая" логики принятия решений нейронными сетями, для того что бы исключить случаи использования "неэтичных" предикторов или предвзятости, набирает обороты в мире машинного обучения.

Вот в Сингапуре написали интересную утилиту "AI governance testing framework and toolkit" для решения этой задачи. Пока это MVP, но в целом описание довольно интересное и похоже решение рабочее и, что интересно, имеет web интерфейс.

Framework объединяет в себе целый набор open-source инструментов для такого тестирования, таких как: Adversarial Robustness Toolkit, SHAP (SHapley Additive Explanations), AIF360, and Fairlearn.

Пока решение работает для методов бинарной классификации и регрессии из таких библиотек как: scikit-learn, TensorFlow, and XGBoost.

Подробнее в этом посте: https://www.marktechpost.com/2022/06/05/singapore-based-researchers-launch-ai-verify-the-first-ai-governance-testing-framework-mvp/