Интереснейший пост в блоге Open AI. Нейроны Холли Берри, Спай | Культурный

Интереснейший пост в блоге Open AI.

Нейроны Холли Берри, Спайдер-Мена и пр.
(до "нейронов бабушки" дело не дошло пока)

"Пятнадцать лет назад обнаружили, что человеческий мозг обладает мультимодальными нейронами. Эти нейроны реагируют на кластеры абстрактных концепций, сосредоточенных вокруг общей высокоуровневой темы, а не на какой-либо конкретной визуальной функции. Самым известным из них был нейрон «Холли Берри», нейрон, описанный в журналах Scientific American и The New York Times, который реагирует на фотографии, зарисовки и даже(!) текст «Холли Берри» (но не на другие имена).

Два месяца назад OpenAI анонсировала CLIP, а теперь мы публикуем наше открытие о присутствии мультимодальных нейронов в CLIP. Одним из таких нейронов, например, является нейрон «Человек-паук» (имеющий поразительное сходство с нейроном «Холли Берри»), который реагирует на изображение паука, изображение текста «паук», книгу комиксов, персонажа «Человек-паук» либо в костюме, либо с иллюстрациями. Наше открытие мультимодальных нейронов в CLIP дает нам ключ к пониманию того, что может быть общим механизмом как синтетических, так и естественных систем зрения - абстракции. Мы обнаруживаем, что самые высокие уровни CLIP организуют изображения в виде свободной семантической коллекции идей, обеспечивая простое объяснение как универсальности модели, так и компактности представления."

1. Удивительная получается картина. Нейрофизиологи ковыряются в человеческих мозгах. А ИИ-физиологи, ковыряются в слоях нейросеток, пытаясь понять, как работает черный ящик.
Одни помогают другим понять, что находится под капотом.
"В рамках CLIP мы обнаруживаем высокоуровневые концепции, которые охватывают большую часть визуального лексикона человека - географические регионы, выражения лица, религиозную иконографию, известных людей и многое другое".

2. Картинки из этой статьи можно хоть сейчас на выставку, в галерею, в музей. Если немного задержаться у картинки, то смыслы начинают переть из нее сами. Только не говорите кожаным мешкам, что это ИИ.

3. "Мы считаем, что эти исследования CLIP только верхушка айсберга в понимании поведения CLIP, и мы приглашаем исследовательское сообщество присоединиться к улучшению нашего понимания CLIP и подобных ему моделей."

Еще раз: "Понимание Поведения ИИ(Clip)".

Это к вопросу о неолуддитах, которые все (давно и хорошо) понимают про ИИ и постоянно восклицают про отсутствие новизны, ничего своего, ивощеонтупой.

А взрослые мальчики, просто пытаются понять как он устроен.
https://openai.com/blog/multimodal-neurons/