Telegraph-статья «Архитектура искусственных нейронных сетей»

Дата: 26.04.2017
Категории: ,
Автор: Digital хейтер
Ссылка на статью впервые опубликована в канале: @digitalhater
(0)
3D-модель человеческого мозга

Если вы еще не читали первую и вторую статью этого цикла, обязательно прочтите. Ну а мы пойдем дальше.

Сегодня разговариваем про архитектуру нейронных сетей.

Полное официальное название нейросетей — искусственные нейронные сети. И их определение звучит следующим образом:

Искусственные нейронные сети (ИНС) (Artificial neural networks, ANN) — упрощенные модели биологических нейронных сетей.

То есть, как вы понимаете, программы на основе нейросетей — это просто копия нейросетей биологических.

Но важно упоминание слова «упрощенная». Чтобы разобраться, что именно там упростили, углубимся немного в сведения о биологических нейронных сетях.

Биологические нейронные сети — это наш с вами мозг. Мозг есть у нас, он есть и у животных (только у них он меньше, и от этого менее мощный). Биологические нейронные сети есть даже у тех, у кого мозга нет (медузы, черви, морские звезды), у них вместо мозга — примитивная нервная система.

Как я говорил в прошлой статье, человеческий мозг — это венец эволюции. Самый эффективный инструмент, который был создан за миллионы лет проб, тестов, ошибок, которые делала и делает природа каждый день.

Ну так вот, наш мозг представляет собой сложнейшую биологическую нейронную сеть, которая принимает информацию от органов чувств и каким-то образом ее обрабатывает (распознавание лиц, образное мышление, логические выводы).

Наш мозг, как и любая биологическая нейронная сеть, состоит из совокупности нейронов.

Строение биологического нейрона

Вы наверное уже смекнули, что в структуре биологического нейрона без 100 грамм не разобраться. Система крайне сложная. Это связано с тем, что нейрон, кроме обработки сигнала (основное его назначение), должен реализовывать ряд других функций, поддерживающих его жизнь. Более того, сам механизм передачи сигнала от нейрона к нейрону тоже очень сложный с биологической и химической точки зрения.

Поскольку человеку нужно повторить именно модель передачи сигнала нейроном, то все остальные функции, которые касаются его жизнедеятельности, просто отбрасываются.

Так что все эти ядра, мембраны и прочее просто удаляется.

Остается структура, которая принимает сигнал, преобразует его (примерно так, как это делают настоящие нейроны), и передает другим нейронам (которые делают то же самое). Вот такую структуру и называют искусственным нейроном.

Нейрон. От модели биологической к модели математической

Ту же аналогию делаем и с целыми нейронными сетями, отбросив у них всю лишнюю шелуху для поддержания жизни в них. Получится математическая модель нейросети. Ну и, естественно, рассматривать в качестве примеров мы будем только модели с маленьким количеством нейронов (на самом деле с одним), которые ни в какое сравнение не идут с тем, что у нас в мозгу.

С этим разобрались. Теперь важно уяснить, каким именно образом нейрон обрабатывает сигнал, который через него проходит. А главное, почему в итоге сигнал, прошедший через миллионы нейронов, формирует мысли или образы.

Многие могут подумать, что сам нейрон внутри себя по-разному обрабатывает сигнал. Но нет, все нейроны ВСЕГДА обратывают сигнал абсолютно одинаково.

Тогда сразу напрашивается мысль, если сигнал не преобразуется, то значение на входе сети будет равно значению не выходе?

Но нет! Ведь как-то она работает?)

Вся сила в так называемых синапсах. Вот их официальное определение:

Синапс (Synapsis) — место стыка выхода одного нейрона и входа другого, в котором происходит усиление/ослабление сигнала.

На рисунке ниже цветом выделены синапсы (в центре показан синапс в деталях). Красный цвет — главный нейрон на картинке. Желтый цвет — выходы соседних нейронов.

Схема синапса

Длинный отросток главного нейрона справа является его выходом. Там вдалеке он соединяется уже с другими нейронами.

У каждого биологического нейрона тысячи или даже десятки тысяч входов. Каждый из этих входов соединен с выходами других нейронов. Как результат, получаем тысячи синапсов на каждый нейрон. В головном мозге около 85 миллиардов нейронов — получаем просто колоссальное количество синапсов.

Возможно, вы сейчас вспомнили фразу о том, что не столь важен размер мозга человека, сколько количество связей между нейронами. Именно они позволяют запоминать больше и учиться быстрее.

Каждый синапс индивидуален. Он может либо усиливать, либо ослаблять проходящий через него сигнал. И самое главное, с течением времени синапсы могут меняться, а значит будет меняться характер изменения сигнала. При правильной комбинации изменений входного сигнала, синапсами он будет преобразовываться в нужный выходной сигнал.

Благодаря синапсам и происходит преобразование множества входных сигналов в верное решение на выходе.

Понимаю, что сейчас не совсем ясна механика. Много теории — мало практики. Дальше объясню на примере.

Ниже представлена математическая модель искусственного нейрона.

Математическая модель искусственного нейрона

Входы — это как раз входной сигнал, который идет от других нейронов, либо от органов чувств. Например, визуальный образ, который восприняли наши глаза. Дальше изображение разбивается на «пиксели» (достаточно малую величину для элементарного анализа). Веса синапсов разбивают каждый пиксель по его важности. Например, если это нейроны для распознавания образов: каждый из нейронов ответственен за распознавание линии определенной кривизны или цвета, а группа нейронов позволяет распознать цифру «9» или букву «А». Далее все это идет в сумматор, который просто суммирует произведение входных сигналов на веса синапсов и, если получившееся число больше определенного заданного в нейроне, то нейрон дает выходной сигнал. За это отвечает функция активации. У нее есть минимальный порог. Например, число 5. Если сумма меньше него, то она не сработает, и нейрон не пустит сигнал дальше; если получившаяся сумма больше, то нейрон пускает сигнал дальше.

Покажу на примере.

Например, есть задача: распознавание цифр на изображении. Возьмем их и впишем каждую в прямоугольник из 15 клеток:

Получается, каждую черно-белую цифру можно передать при помощи 15 пикселей (двоичное значение 1 или 0).

То есть, мы имеем 15 входных сигналов, которые пройдут через синапсы с определенными коэффициентами, и если наш нейрон нацелен на распознавание цифры «5», то высокие коэффициенты будут именно у тех синапсов, через которые проходят «пиксели» с характерными для цифры «5» значениями.

Карта коэффициентов цифры «5»

И, чем более вероятно, что этот активный пиксель даст в сумме пятерку, тем выше коэффициент. Черные квадраты, например, будут с коэффициентом 10, серые — 5, белые — 0, а красные — с коэффицентом -10, поскольку пятерка так точно выглядеть не может.

В итоге все это суммируется, и если итоговая сумма получается больше, чем минимум для прохождения истинности цифры «5», нейрон посылает сигнал: «Браток, да это цифра 5!».

Почему могут получаться разные суммы? Потому, что образ пятерки не всегда может быть четким. Ниже вы видите примеры подобных случаев.

Варианты нечеткого написания цифры «5»

Но коэффициенты синапсов и контрольная сумма помогут распознать и их.

Пожалуй, хватит на этот раз. Впереди еще много интересных материалов. Следите за обновлениями!

Похожие Статьи

Telegraph-статья «Shopping»
(0)
: 0 ( 54)
Telegraph-статья «Псевдорегионы Яндекса»
(0)
: 0 ( 61)
Telegraph-статья «16 лучших историй о Найтвинге. Часть 3.»
(0)
: 0 ( 63)
Telegraph-статья «Спонж яйцо для макияжа»
(0)
: 0 ( 50)
Telegraph-статья «Во что поиграть на Nintendo Switch, если ты не азиат»
(0)
: 0 ( 56)
Telegraph-статья «Почему черные дыры могут разрушить общую теорию относительности»
(0)
: 0 ( 60)
Telegraph-статья «PosterBot 3 — Facebook, новые настройки и ещё меньше ограничений»
(0)
: 0 ( 119)
Telegraph-статья «А вечером ты включишь свет…»
(0)
: 0 ( 56)
Чтобы поставить рейтинг, вам нужно авторизоваться
Пожалуйста, нажмите на кнопку Войти и следуйте инструкциям