В связи с распространением машинного обучения растет запрос | Город будущего
В связи с распространением машинного обучения растет запрос на «машинное забывание»
В современном мире машинное обучение проникает практически во все сферы. В связи с этим появился запрос на новую, только зарождающуюся область информатики — «машинное забывание». Это совокупность методов, способных вызвать избирательную «амнезию» в программном обеспечении, удаляя, например, «цифровой след» конкретного пользователя, не требуя при этом перезапуска всей системы с нуля.
Сегодня компании тратят миллионы долларов на обучение ИИ распознаванию лиц и ранжированию постов в социальных сетях, потому что алгоритмы зачастую могут решить ту или иную задачу несоизмеримо быстрее всякого человека.
«Глубоко обученную систему изменить нелегко. Зачастую, чтобы избежать рисков с конфиденциальностью, приходится перестраивать ее, «обнуляя». А это требует немалых затрат», — говорит профессор Пенсильванского университета Аарон Рот.
Разработки в области «машинного забывания» отчасти мотивирована растущим вниманием к тому, как ИИ может угрожать конфиденциальности. Регулирующие органы по всему миру уже давно обязывают компании удалять неправомерно полученную информацию. Федеральная торговая комиссия США выпустила список рекомендаций по защите пользовательских данных для компаний, работающих с технологиями распознавания лиц. В начале 2021 года стартап Paravision, работающий в этом направлении, был вынужден удалить все свои базы из-за нарушения данного требования.
Обобщенно говоря, есть несколько способов научить ИИ забывать. Есть, например, алгоритм EWC, созданный в 2017 году исследователями из Google. Он имитирует нейробиологический процесс под названием синаптическая консолидация, во время которой мозг оценивает задачу, вычисляет важность используемых для ее выполнения нейронов и «закрепляет» наиболее важные из них. Эти нейроны теперь «помечены» как важные. В нейронных сетях для выполнения задачи тоже используются множественные соединения, похожие на нейроны. Алгоритм EWC помечает некоторые соединения как критически важные, защищая их от перезаписи и забывания. Рассуждая от обратного, все остальное — «неважное». А значит, будет «забываться».
Другой пример. Нафтали Тишби, невролог из Еврейского университета в Иерусалиме и специалист по информатике, представил свою «теорию бутылочного горлышка». Когда в сеть поступает данные, она избавляется от ненужной информации: она как бы пропускает ее через бутылочное горлышко, сохраняя только релевантные данные. По Тишби, существует два этапа обучения нейронной сети — разметка и сжатие. Во время разметки сеть помечает поступившие данные. Затем начинается намного более длительный процесс — сжатие, во время которого нейросеть «отбрасывает часть данных, оставляя только релевантную информацию». Именно она и поможет нейросети сделать обобщение. Сжатие — это эффективный способ «забывания». Вполне возможно, что исследователи ИИ будут использовать этот метод, чтобы решать новые задачи и выстраивать новые архитектуры нейронных сетей.
src
