Прунинг синапсов или как не обречь себя на деградацию? Мне нр | Замышляев / Future Learning
Прунинг синапсов или как не обречь себя на деградацию?
Мне нравится, когда кто-то умеет объяснять сложное простыми словами. А ещё очень вдохновляет, когда в таких объяснениях прослеживается логика, опираясь на которую ты можешь делать собственные выводы. На этой неделе слушал такую лекцию Вячеслава Дубынина. Про мозг.
Что я узнал?
Головной мозг (нейросеть) состоит из 80-90 млрд нейронов. Каждый из них может образовывать до нескольких тысяч связей. Ааааааааааа! Голова кружится, когда пытаюсь это себе представить. Для работы этой сети требуется много энергии. Очень много. Поэтому наша нейросеть оптимизирует себя, чтобы разумно использовать энергию. Неиспользуемые или малоиспользуемые связи (синапсы) перестают поддерживаться и исчезают. Происходит «прунинг» (обрезка) синапсов. А через некоторое время после исчезновения синапсов могут «отключаться» и разрушаться и сами нейроны, связи которых недостаточно задействованы.
Нейросеть постоянно оптимизируется, потому что так ее «экономически эффективнее» эксплуатировать (меньший размер сети на единичное полезное действие). В результате остается разумный минимум, который покрывает ваши регулярные мыслительные процессы и занятия.
И что?
Любой выбор оптимизирует нейросеть именно для этой деятельности
При этом ваш выбор определяет не только то, что будет развиваться, но и то, что будет «обрезано». О втором вы, скорее всего, не задумываетесь. Процесс «обрезки» идет постоянно. Представляю себе эту унылую очередь к краю обрыва в моей голове: неиспользуемые английские слова… умение играть в сложных тональностях… техника владения мячом…
Фактически, любой выбор приводит к тройной оплате: невосполнимый ресурс времени (1) + развитие/поддержание некоторого участка нейросети (2) + риск потери некоторого участка нейросети, который вы в этот момент не используете (3). Ух, а это стимулирует осознаннее подходить к выбору следующего занятия…
Неправильный старт удваивает потери
Начиная развиваться в новой сфере, лучше стартовать с правильной* техники (или подхода). Мы можем начать плавать (или кататься на горных лыжах, или продавать) и сами, без тренера/наставника/обучения. Однако начав изучение с заведомо эффективного подхода, мы сможем добиться большего. Потому что мы изначально построим «правильный» участок нейросети, сэкономив время. А ещё, начав с правильной техники, потом не придется переучиваться и перестраивать сеть. Снова экономия ресурсов.
* — увы, очевидно «правильное» есть далеко не во всех сферах. И это несколько обескураживает. Например, в управлении — как определить «однозначно правильное»? Хотя недавно MIT опубликовали исследование про будущее работы, где признали, что «единственного верного» и «лучшего» подхода к организации работы не существует. Так что можно выдыхать и начинать с любого подхода, по которому есть хоть какие-то подтверждения его жизнеспособности (к примеру, есть хотя бы несколько человек, которые управляют в некотором стиле, и это работает).
Вредные действия тоже образуют связи
В контексте понимания этой механики новыми красками заиграла идея «ищите дело/занятие, которое нравится, потому что тогда вам не придется себя заставлять». Не раз сталкивался с тем, что, заставляя себя что-то делать (да-да, иногда это неизбежно, не спорю), я сильно уставал и потом был вынужден отдыхать. И вот, отдыхая от такого нежеланного занятия, я нередко находил себя в соцсети, безостановочно потребляя бесполезный контент.
И вот в ключе постоянной модификации нейросети это выглядит вдвойне вредно. Во-первых, на такой вынужденный отдых уходит продуктивное время, необходимое для преодоления последствий «заставляния себя». Во-вторых, такой тип «отдыха» формирует и активно развивает не самый полезный участок нейросети. Как знать, что в результате этого будет поставлено в очередь на «обрезку»: может быть, знание прекрасных мест в соседнем городе или несколько английских слов?
На этом пока всё))
На такие мысли меня натолкнула лекция Дубынина. А что вдохновляет вас на этих выходных?
