Нейронные сети: правило Хебба

Термин «нейронная сеть» появился в середине XX века. Первые работы, в которых были получены основные результаты в данном направлении, были проделаны Мак-Каллоком и Питтсом. В 1943 году им была разработана компьютерная модель нейронной сети на основе математических алгоритмов и теории деятельности головного мозга. Они выдвинули предположение, что нейроны можно упрощённо рассматривать как устройства, оперирующие двоичными числами, и назвали эту модель «пороговой логикой». Подобно своему биологическому прототипу нейроны Мак-Каллока–Питтса были способны обучаться путём подстройки параметров, описывающих синаптическую проводимость. Исследователи предложили конструкцию сети из электронных нейронов и показали, что подобная сеть может выполнять практически любые вообразимые числовые или логические операции. Мак-Каллок и Питтс предположили, что такая сеть в состоянии также обучаться, распознавать образы, обобщать, т. е. обладает всеми чертами интеллекта. 

Данная модель заложила основы двух различных подходов исследований нейронных сетей. Один подход был ориентирован собственно на изучение биологических процессов в головном мозге, другой – на применение нейронных сетей как метода искусственного интеллекта для решения различных прикладных задач. 

В 1949 году канадский физиолог и психолог Хебб высказал идеи о характере соединения нейронов мозга и их взаимодействии. Он первым предположил, что обучение заключается в первую очередь в изменениях силы синаптических связей. Теория Хебба считается типичным случаем самообучения, при котором испытуемая система спонтанно обучается выполнять поставленную задачу без вмешательства со стороны экспериментатора. 

С точки зренения математики простейшая нейронная сеть может быть предствлена в следующем виде:

Или в матричной форме

Y = WX

При этом число слоев может варьироваться, от одного и более. 

Хебб в своей книге "Организация поведения" в 1949 г. и говорит, что синаптическая связь, соединяющая два нейрона, будет усиливаться, если в процессе обучения оба нейрона согласованно испытывают возбуждение, либо торможение.  При возбуждении одновременно двух нейронов с выходами (хj, уі) на t-том шаге обучения вес синаптического соединения между ними возрастает, в ином случае - уменьшается или не изменяется в зависимости от выбора функции активации, то есть 

delta Wij(k)=r * xj (k) * yi (k)
Wij(k+1) = delta Wij(k) + Wij(k)

где Wij - элемент матрицы нейронной сети, r - коэффициент скорости обучения. Основной недостаток правила Хебба состоит в том, что результирующие элементы Wij не ограничены и могут принимать достаточно большие значения. Для решения этой проблемы применяется нормировка. 

На базе правила Хебба может быть построен процесс обучения нейронной сети без учителя. Который направлен на нахождение близости между группами нейронов, работающих вместе. Если внешний сигнал активирует любой узел в группе нейронов, действие всей группы в целом увеличивается. Аналогично, если внешний сигнал в группе уменьшается, это приводит к тормозящему эффекту на всю группу. 

Конкуренция между нейронами формирует основу для обучения. Обучение конкурирующих нейронов усиливает отклики определенных групп на определенные сигналы. Это связывает группы между собой и откликом. При конкуренции изменяются весы лишь нейрона-победителя. В результате чего могут быть получены самоорганизованные карты. 

Тэги: искусственный интеллект нейронные сети правило хебба


 


 
архив

подписка