Учёные создали принципиально новую архитектуру нейросетей
В основе всех архитектур глубокого обучения лежит многослойный перцептрон (MLP). Недавно исследователи представили новую архитектуру нейронной сети Kolmogorov-Arnold Networks (KAN) на основании трудов Андрея Колмогорова и Владимира Арнольда.
В то время как MLP имеют фиксированные функции активации на узлах «нейронах», KAN имеют обучаемые функции активации на ребрах «веса».
По словам исследователей, KAN превосходят MLP по точности и интерпретируемости. Гораздо меньшие KAN могут достигать сравнимой или лучшей точности, чем более крупные MLP при подгонке данных и решении задач. Теоретически и эмпирически KAN обладают более быстрыми законами нейронного масштабирования, чем MLP.
KAN в отличии от MLP может обрабатывать новую входную информацию без катастрофического забывания, что помогает поддерживать модель в актуальном состоянии, не полагаясь на какую-либо базу данных или переобучение.
