Архитектура нейронной сети и ее построение

Биологические и искусственные нейронный сети

Современные ЭВМ превосходят человека по способности производить числовые и символьные вычисления, однако человек может без усилий решать сложные задачи восприятия внешних данных с высочайшей скоростью и точностью. Это происходит потому, что биологическая нейронная система совершенно не похожа на классическую архитектуру машины фон Неймана (таблица 2.1).

Таблица 2.1

Элемент

сравнения

Машина фон Неймана

Биологическая нейронная система

Процессор

сложный

высокоскоростной один или несколько

простой

низкоскоростной большое количество

Память

отделена от процессора локализована адресация не по содержанию

интегрирована в процессор распределена адресация по содержанию

Вычисления

централизованные последовательные хранимые программы

распределенные

параллельные

самообучение

Надежность

высокая уязвимость

живучесть

Специализация

численные и символьные операции

проблемы восприятия

Среда функционирования

строго определена строго ограничена

плохо определена без ограничений

Машина фон Неймана по сравнению с биологической __нейронной системой_

Нейрон (нервная клетка) является особой биологической клеткой, которая обрабатывает информацию (рисунок 2.1). Она состоит из тела клетки, или сомы (soma), и двух типов внешних древоподобных ветвей: аксона (axon) и дендритов (dendrites). Тело клетки включает ядро (nucleus), которое содержит информацию о наследственных свойствах, и плазму, обладающую молекулярными средствами для производства необходимых нейрону материалов. Нейрон получает сигналы (импульсы) от других нейронов через дендриты (приемники) и передает сигналы, сгенерированные телом клетки, вдоль аксона (передатчик), который в конце разветвляется на волокна, оканчивающиеся синапсами (synapses)[1].

Взаимодействие двух биологических нейронов

Рис. 2.1. Взаимодействие двух биологических нейронов

Синапс является элементарной структурой и функциональным узлом между двумя нейронами: волокно аксона одного нейрона и дендрит другого. Когда импульс достигает синаптического окончания, высвобождаются определенные химические вещества, называемые нейротрансмиттерами. Нейротрансмиттеры диффундируют через синаптическую щель, возбуждая или затормаживая, в зависимости от типа синапса, способность нейрона-приемника генерировать электрические импульсы. Результативность синапса может настраиваться проходящими через него сигналами, так что синапсы могут обучаться в зависимости от активности процессов, в которых они участвуют. Эта зависимость от предыстории действует как память, которая, возможно, ответственна за память человека.

Кора головного мозга человека имеет толщину 2-3 мм, площадь около 2200 см2 и содержит около 1011 нейронов, что приблизительно равно числу звезд Млечного пути. Каждый нейрон связан с 103—104 другими нейронами, поэтому в целом мозг человека содержит приблизительно 1014 - 1015 взаимосвязей. Нейроны взаимодействуют посредством короткой серии импульсов, как правило, продолжительностью несколько мс. Сообщение передается посредством частотно-импульсной модуляции. Частота может изменяться от нескольких единиц до сотен герц, что в миллион раз медленнее, чем самые быстродействующие переключательные электронные схемы. Тем не менее, сложные решения по восприятию информации, как, например, распознавание лица, человек принимает за несколько сотен милисекунд. Эти решения контролируются сетью нейронов, которые имеют скорость выполнения операций всего несколько мс. Это означает, что вычисления требуют не более 100 последовательных стадий. Другими словами, для таких сложных задач мозг «запускает» параллельные программы, содержащие около 100 шагов. Это известно как правило ста шагов. Рассуждая аналогичным образом, можно обнаружить, что количество информации, посылаемое от одного нейрона другому, должно быть очень маленьким (несколько бит). Отсюда следует, что основная информация не передается непосредственно, а захватывается и распределяется в связях между нейронами.

Формальный нейрон

Рис. 2.2. Формальный нейрон

В 1943г. английские ученые У. Маккаллок и У. Пите предложили формальную модель нейрона - формальный нейрон

(ФН), который задается совокупностью входов xi9 ie{l,2v..n}, весами входов (весовыми коэффициентами) ci? пороговым уровнем чувствительности 0, функцией состояния NET=L(crXi) и функцией активации OUT = F(NET) (рисунок 2.2).

В настоящее время наибольшее распространение получили следующие функции активации нейронов (таблица 2.2).

Таблица 2.2

Функции активации__

Название

Формула

Производная

OUT’net

Диапазон

вывода

Жесткая

ступенька

0, NET < 0

оит =

1, NET > 0

-

{0,1}

Пологая

ступенька

0, NET < 0 NET

OUT= ,0< NET< A A

1, NET > A

-

[0,1]

Логистическая

(сигмоида)

OUT= 1

1+ eNET

OUT(l-OUT)

[0,1]

Гиперболическ ий тангенс

NET - NET

OUT =

eNET + e~ NET

1-OUT2

[-1,1]

  • [1] Заенцев И.В. Нейронные сети: основные модели: учебное пособие [Электрон, ресурс]- Internet: http://neuroschool.narod.ru
 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ   ОРИГИНАЛ     След >