Искусственный интеллект

§ 1. Физиология нервной клетки

§ 1. Физиология нервной клеткиОсновным структурным элементом нервной системы является нервная клетка, или нейрон. Через нейроны осуществляется передача информации от одного участка нервной системы к другому, обмен информацией между нервной системой и различными участками тела. В нейронах происходят сложнейшие процессы обработки информации. С их помощью формируются ответные реакции организма (рефлексы) на внешние и внутренние раздражения.
Нейроны разделяются на три основных типа: афферентные, эфферентные и промежуточные нейроны. Афферентные нейроны (чувствительные, или центростремительные) передают информацию от рецепторов в центральную нервную систему. Тела этих нейронов расположены вне центральной нервной системы — в спинномозговых ганглиях и в ганглиях черепно-мозговых нервов.
Афферентный нейрон имеет ложноуниполярную форму, т. е. оба его отростка выходят из одного полюса клетки. Далее нейрон разделяется на длинный дендрит, образующий на периферии воспринимающее образование — рецептор, и аксон, входящий через задние рога в спинной мозг. К афферентным нейронам относят также нервные клетки, аксоны которых составляют восходящие пути спинного и головного мозга. Эфферентные нейроны (центробежные) связаны с передачей нисходящих влияний от вышележащих этажей нервной системы к нижележащим (например, пирамидные нейроны коры больших полушарий — рис. 42) или из центральной нервной системы к рабочим органам (например, в передних рогах спинного мозга расположены тела двигательных нейронов, или мотонейронов, от которых идут волокна к скелетным мышцам; в боковых рогах спинного мозга находятся клетки вегетативной нервной системы, от которых идут пути к внутренним органам). Для эфферентных нейронов характерны разветвленная сеть дендритов и один длинный отросток — аксон. Промежуточные нейроны (интернейроны, или вставочные) — это, как правило, более мелкие клетки, осуществляющие связь между различными (в частности, афферентными и эфферентными) нейронами. Они передают нервные влияния в горизонтальном направлении (например, в пределах одного сегмента спинного мозга) и в вертикальном (например, из одного сегмента спинного мозга в другие — выше или нижележащие сегменты).
Благодаря многочисленным разветвлениям аксона промежуточные нейроны могут одновременно возбуждать большое число других нейронов (например, звездчатые клетки коры — см. рис. 42).

Функциональное значение различных структурных элементов нервной клетки. Различные структурные элементы нейрона имеют свои функциональные особенности и разное физиологическое значение. Нервная клетка состоит из тела, или сомы (рис. 43), и различных отростков. Многочисленные древовидно разветвленные отростки дендриты (от греч. dendron — дерево) служат входами нейрона, через которые сигналы поступают в нервную клетку. Выходом нейрона является отходящий от тела клетки отросток аксон (от греч. axis — ось), который передает нервные импульсы дальше — другой нервной клетке или рабочему органу (мышце, железе). Форма нервной клетки, длина и расположение отростков чрезвычайно разнообразны и зависят от функционального назначения нейрона.

§ 1. Физиология нервной клеткиСреди нейронов встречаются самые крупные клеточные элементы организма. Размеры их поперечника колеблются от 6—7 мк (мелкие зернистые клетки мозжечка) до 70 мк (моторные нейроны головного и спинного мозга). Плотность их расположения в некоторых отделах центральной нервной системы очень велика. Например, в коре больших полушарий человека на 1 мм3 приходится почти 40 тыс. нейронов. Тела и дендриты нейронов коры занимают в целом примерно половину объема коры.

В крупных нейронах почти 1/3 — 1/4 величины их тела составляет ядро. Оно содержит довольно постоянное количество дезоксирибонуклеиновой кислоты (ДНК). Входящие в его состав ядрышки участвуют в снабжении клетки рибонуклеиновыми кислотами (РНК) и протеинами. В моторных клетках при двигательной деятельности ядрышки заметно увеличиваются в размерах. Нервная клетка покрыта плазматической мембраной—полупроницаемой клеточной оболочкой, которая обеспечивает регуляцию концентрации ионов внутри клетки и ее обмен с окружающей средой. При возбуждении проницаемость клеточной мембраны изменяется, что играет важнейшую роль в возникновении потенциала действия и передаче нервных импульсов.


Аксоны многих нейронов покрыты миелиновой оболочкой, образованной Шванновскими клетками, многократно «обернутыми» вокруг ствола аксона. Однако начальная часть аксона и расширение в месте его выхода из тела клетки — аксонный холмик лишены такой оболочки. Мембрана этой немиелинизированной части нейрона — так называемого начального сегмента — обладает высокой возбудимостью.

Внутренняя часть клетки заполнена цитоплазмой, в которой расположены ядро и различные органоиды. Цитоплазма очень богата ферментными системами (в частности, обеспечивающими гликолиз) и белком. Ее пронизывает сеть трубочек и пузырьков — эндоплазматический ретикулюм. В цитоплазме имеются также отдельные зернышки — рибосомы и скопления этих зернышек — тельца Ниссля, представляющие собой белковые образования, содержащие до 50% РНК. Это белковые депо нейронов, где также происходит синтез белков и РНК. При чрезмерно длительном возбуждении нервной клетки, вирусных поражениях центральной нервной системы и других неблагоприятных воздействиях величина этих рибосомных зернышек резко уменьшается.

В специальных аппаратах нервных клеток — митохондриях совершаются окислительные процессы с образованием богатых энергией соединений (макроэргических связей АТФ). Это энергетические станции нейрона. В них происходит трансформация энергии химических связей в такую форму, которая может быть использована нервной клеткой. Митохондрии концентрируются в наиболее активных частях клетки. Их дыхательная функция усиливается при мышечной тренировке. Интенсивность окислительных процессов нарастает в нейронах более высоких отделов центральной нервной системы, особенно в коре больших полушарий. Резкие изменения митохондрий вплоть до разрушения, а следовательно, и угнетение деятельности нейронов отмечаются при различных неблагоприятных воздействиях (длительном торможении в центральной нервной системе, при интенсивном рентгеновском облучении, кислородном голодании и гипотермии).

Обмен веществ в нейроне. Основной особенностью обмена веществ в нейроне является высокая скорость обмена и преобладание аэробных процессов.


Потребность мозга в кислороде очень велика ( в состоянии покоя поглощается около 46 мл/мин кислорода). Хотя вес мозга по отношению к весу тела составляет всего 2%, потребление кислорода мозгом достигает в состоянии покоя у взрослых людей 25% от общего его потребления организмом, а у маленьких детей — 50%. Даже кратковременное нарушение доставки кислорода кровью может вызвать необратимые изменения в деятельности нервных клеток: в спинном мозгу — через 20 — 30 мин., в стволе головного мозга — через 15 — 20 мин., а в коре больших полушарий — уже через 5 — 6 мин.

Энерготраты мозга составляют 1/6 — 1/8 суточных затрат организма человека. Основным источником энергии для мозговой ткани является глюкоза. Мозг человека требует для обмена около 115 г глюкозы в сутки. Содержание ее в клетках мозга очень мало, и она постоянно черпается из крови.

Деятельное состояние нейронов сопровождается трофическими процессами—усилением в них синтеза белков. При различных воздействиях, вызывающих возбуждение нервных клеток, в том числе при мышечной тренировке, в их ткани значительно возрастает количество белка и РНК, при тормозных же состояниях и утомлении нейронов содержание этих веществ уменьшается. В процессе восстановления оно возвращается к исходному уровню или превышает его. Часть синтезированного в нейроне белка компенсирует его расходы в теле клетки во время деятельности, а другая часть перемещается вдоль по аксону (со скоростью около 1—3 мм в сутки) и, вероятно, участвует в биохимических процессах в синапсах.

Кровоснабжение нервных клеток. Высокая потребность нейронов в кислороде и глюкозе обеспечивается интенсивным кровотоком.

Кровь протекает через мозг в 5—7 раз скорее, чем через покоящиеся мышцы. Мозговая ткань обильно снабжена кровеносными сосудами. Наиболее густая сеть их находится в коре больших полушарий (занимает около 10% объема коры). В отдельных слоях ее средняя длина капиллярной сети достигает у человека 1 м на 1 мм3 ткани. Каждый крупный нейрон имеет несколько собственных капилляров у основания тела клетки, а группы мелких клеток окутаны общей капиллярной сетью.


При активном состоянии нервной клетки она нуждается в усиленном поступлении через кровь кислорода и питательных веществ. Вместе с тем жесткий каркас черепа и малая сжимаемость нервной ткани препятствуют резкому увеличению кровоснабжения мозга при работе. Однако это компенсируется выраженными в мозгу процессами перераспределения крови, в результате которых активный участок нервной ткани получает значительно больше крови, чем находящийся в покое. Возможность перераспределения крови в мозгу обеспечена наличием в основаниях артериальных ветвей крупных пучков гладких мышечных волокон — сфинктерных валиков. Эти валики могут уменьшать или увеличивать диаметр сосудов и тем самым производить раздельную регуляцию кровоснабжения разных участков мозга.

Мышечная работа вызывает снижение тонуса стенок мозговых артерий. При развитии физического или умственного утомления тонус артериальных сосудов повышается, что ведет к уменьшению кровотока через нервную ткань.

В головном мозгу имеется богато развитая система анастомозов между различными артериями, между венозными сосудами и между артериями и венами. Эта система уменьшает пульсацию внутричерепного кровотока, обусловленную ритмическими сокращениями сердца и дыхательными движениями грудной клетки. Уменьшение пульсовых колебаний способствует улучшению тканевого кровотока. Благодаря наличию артериовенозных анастомозов пульсовые колебания кровотока передаются с артерий мозга на вены, минуя капилляры. Анастомоз между системами сонных и позвоночных артерии (Виллизиев круг) гарантирует постоянство кровотока в различных отделах головного мозга при любом положении головы по отношению к туловищу и направлению силы тяжести, связанном с изменением положения тела в пространстве.

Клетки глии. В процессах питания нервных клеток и их обмене веществ участвуют также окружающие нейрон клетки глии (глиальные клетки, или нейроглия). Эти клетки заполняют в мозгу все пространство между нейронами. В коре больших полушарий их примерно в 5 раз больше, чем нервных клеток.


Капилляры в центральной нервной системе плотно окружены клетками глии, которые покрывают сосуд полностью или оставляют небольшую часть (15%) свободной. Выросты некоторых глиальных клеток расположены частично на кровеносных сосудах и частично на нейроне (см. рис. 42). Полагают, что расположение этих клеток между сосудом и нейроном указывает на их роль в снабжении нервных клеток питательными веществами из крови. Глиальные клетки активно участвуют в функционировании нейрона. Показано, что при длительном возбуждении в нейроне высокое содержание белка и нуклеиновых кислот поддерживается за счет клеток глии, в которых их количество соответственно уменьшается. В процессе восстановления после работы запасы белка и нуклеиновых кислот сначала нарастают в клетках глии, а затем и в цитоплазме нейрона. Глиальные клетки обладают способностью перемещаться в пространстве по направлению к наиболее активным нейронам. Это наблюдается при различных афферентных раздражениях и при мышечной нагрузке. Например, уже через 20 мин. плавания у крыс было обнаружено увеличение числа глиальных клеток вокруг мотонейронов переднего рога спинного мозга.

Возможно, клетки глии участвуют в условно-рефлекторной деятельности мозга и в процессах памяти.

Основные функции нервной клетки. Основными функциями нервной клетки являются восприятие внешних раздражении (рецепторная функция), их переработка (интегративная функция) и передача нервных влияний на другие нейроны или различные рабочие органы (эффекторная функция).

Особенности осуществления этих функций позволяют разделить все нейроны центральной нервной системы на 2 большие группы:

1) клетки, передающие информацию на большие расстояния (из одного отдела центральной нервной системы в другой, от периферии к центру, от центров к исполнительному органу). Это крупные, афферентные и эфферентные нейроны, имеющие на своем теле и отростках большое количество синапсов, как возбуждающих, так и тормозящих, и способные к сложным процессам переработки поступающих через них влиянии;


2) клетки, обеспечивающие межнейроальные связи в пределах ограниченных нервных структур (промежуточные нейроны спинного мозга, коры больших полушарий и др.). Это мелкие клетки, воспринимающие нервные влияния только через возбуждающие синапсы. Эти клетки не способны к сложным процессам интеграции локальных синаптических влияний потенциалов, они служат передатчиками возбуждающих или тормозящих влияний на другие нервные клетки.

Воспринимающая функция нейрона. Все раздражения, поступающие в нервную систему, передаются на нейрон через определенные участки его мембраны, находящиеся в области синаптических контактов. В большинстве нервных клеток эта передача осуществляется химическим путем с помощью медиаторов. Ответом нейронов на внешнее раздражение является изменение величины, мембранного потенциала.

Чем больше синапсов на§ 1. Физиология нервной клетки нервной клетке, тем больше воспринимается различных раздражений и, следовательно, шире сфера влияний на ее деятельность и возможность участия нервной клетки в разнообразных реакциях организма. На телах крупных мотонейронов спинного мозга насчитывают до 15000—20000 синапсов. Разветвления аксонов могут образовывать синапсы на дендритах (аксодендритические синапсы) и на соме (теле) нервных клеток (аксосоматические синапсы), в ряде случаев—на аксоне (аксоаксональные синапсы). Наибольшее число (до 50%) синапсов находится на дендритах. Особенно густо они покрывают средние части и окончания дендритных отростков, причем многие контакты расположены на специальных шипиковидных выростах, или шипиках (рис. 44), которые еще больше увеличивают воспринимающую поверхность нейрона. В мотонейронах спинного мозга и пирамидных клетках коры поверхность дендритов в 10—20 раз больше поверхности тела клетки.

Чем сложнее интегративная функция нейрона, тем большее развитие имеют аксодендритические синапсы (в первую очередь те, которые расположены на шипиках). Особенно они характерны для нейрональных связей пирамидных клеток в коре больших полушарий.

Промежуточные нейроны (например, звездчатые клетки коры) таких шипиков лишены.


Приходящие в пресинаптическую часть контакта нервные импульсы вызывают опорожнение синоптических пузырьков с выведением медиатора в синаптическую щель (рис. 45). Веществами, передающими нервные влияния в синапсах нервных клеток, или медиаторами, могут быть ацетилхолин (в некоторых клетках спинного мозга, в вегетативных ганглиях), норадреналин (в окончаниях симпатических нервных волокон, в гипоталамусе), некоторые аминокислоты и др. Диаметр пузырьков примерно равен ширине синаптической щели. В клетках передней центральной извилины коры больших полушарий у людей 18 — 30 лет синаптические пузырьки имеют диаметр 250 — 300 ангстрем при ширине синаптической щели 200 — 300 ангстрем. Выделение медиатора облегчается тем, что синаптические пузырьки скапливаются вблизи от синаптической щели— в так называемых активных, или оперативных, зонах. Чем больше нервных импульсов проходит через синапс, тем больше пузырьков перемещается в эту зону и прикрепляется к пресинаптической мембране. В результате облегчается выделение медиатора последующими нервными импульсами.

Эффекты, возникающие при активации синапса, могут быть возбуждающими или тормозящими. Это зависит от качества медиатора и свойств постсинаптической мембраны. Возбуждающие нейроны выделяют возбуждающий медиатор, а тормозные — тормозной. Кроме того, один и тот же медиатор может оказывать различное воздействие в разных органах (например ацетилхолин возбуждает скелетные мышечные волокна и тормозит сердечные).

В состоянии покоя мембрана поляризована: снаружи регистрируется положительный заряд, а внутри — отрицательный. В нервной клетке мембранный потенциал покоя равен примерно 70 мв.

При возбуждающих влияниях увеличение проницаемости мембраны обусловливает вхождение положительно заряженных ионов натрия в клетку и, следовательно, уменьшение разности потенциалов по обе стороны мембраны, т. е. ее деполяризацию. В постсинаптической мембране данного участка клетки при этом регистрируется небольшое отрицательное колебание мембранного потенциала с амплитудой около 10 мв, или возбуждающий постсинаптический потенциал (сокращенно ВПСП), нарастающий примерно за 1, 2 мсек.


до своего максимума и затем убывающий.

При тормозных воздействиях проницаемость мембраны увеличивается незначительно — главным образом для ионов калия (диаметр гидратированного иона калия меньше, чем диаметр иона натрия). Поскольку ионов калия больше внутри клетки, они выходят из нее наружу, увеличивая поляризацию мембраны, т. е. вызывают ее гиперполяризацию. При этом регистрируется положительное колебание с амплитудой около 5 мв — тормозной постсинаптический потенциал (сокращенно ТПСП). Обычно ВПСП и ТПСП длятся всего несколько миллисекунд. Однако в некоторых нейронах головного мозга постсинаптические потенциалы могут иметь значительно большую длительность: ВПСП — до 80 мсек., ТПСП — более 100 мсек.

Интегративная функция нейрона. Общее изменение мембранного потенциала нейрона является результатом сложного взаимодействия (интеграции) местных ВПСП и ТПСП всех многочисленных активированных синапсов на теле и дендритах клетки. На мембране нейрона происходит процесс алгебраического суммирования положительных и отрицательных колебаний потенциала. При одновременной активации нескольких возбуждающих синапсов общий ВПСП нейрона представляет собой сумму отдельных местных ВПСП каждого синапса. При одновременном возникновении двух различных синаптических влияний — ВПСП и ТПСП — происходит взаимное вычитание их эффектов. В конечном итоге реакция нервной клетки определяется суммой всех синаптических влияний. Преобладание тормозных синаптических воздействий приводит к гиперполяризации мембраны и торможению деятельности клетки. При сдвиге мембранного потенциала в сторону деполяризации повышается возбудимость клетки. Ответный разряд нейрона возникает лишь тогда, когда изменения мембранного потенциала достигают порогового значения — критического уровня деполяризации. Для этого величина ВПСП клетки должна составлять примерно 10 мв.

В крупных (афферентных и эфферентных) нейронах возбудимость различных участков мембраны неодинакова. В области начального сегмента нервной клетки (аксонного холмика и начальной немиелинизированной части аксона) имеется низкопороговая зона, мембрана которой обладает в несколько раз более высокой возбудимостью, чем на других участках клетки (порог возбудимости мембраны начального сегмента равен 10 мв, а порог возбудимости соматодендритической мембраны—20—30 мв).


В этой зоне с момента достижения критического уровня деполяризации начинается лавинообразное вхождение натрия в клетку и регистрируется потенциал действия (ПД). В ПД различают кратковременную высоковольтную часть, или спайк (пик), и длительные низкоамплитудные колебания — следовые потенциалы. ПД мотонейронов имеют амплитуду пика около 80 — 100 мв и длительность его около 1,5 мсек.

Эффекторная функция нейрона. С появлением ПД, который в отличие от местных изменений мембранного потенциала (ВПСП и ТПСП) является распространяющимся процессом, нервный импульс начинает проводиться от тела нервной клетки вдоль по аксону к другой нервной клетке или рабочему органу, т. е. осуществляется эффекторная функция нейрона. Синапсы, расположенные ближе к возбудимой низкопороговой зоне на теле клетки (аксосоматические), оказывают большее влияние на возникновение потенциала действия, чем более удаленные, расположенные на окончаниях дендритов (аксодендритические). Импульсы, приходящие через аксосоматический синапс, как правило, вызывают ответный разряд нейрона, а импульсы, действующие на аксодендритический синапс —лишь подпороговое изменение его возбудимости. Так, разряды мотонейронов спинного мозга и пирамидных нейронов коры, вызывающие двигательные реакции организма, являются ответом на специфические аксосоматические влияния. Но возникнет ли этот ответ или нет, определяется характером воздействий, поступающих через аксодендритические синапсы от других нервных путей. Так складываются адекватные реакции, зависящие от многих раздражении, действующих на организм в данный момент времени, и осуществляется тонкое приспособление поведения к меняющимся условиям внешней среды.

Процессы, происходящие в активном нейроне, можно представить в виде следующей цепи: потенциал действия в пресинаптическом окончании предыдущего нейрона —> выделение медиатора в синаптическую щель —> увеличение проницаемости постсинаптической мембраны —> ее деполяризация (ВПСП) или гиперполяризация (ТПСП) —> взаимодействие ВПСП и ТПСП на мембране сомы и дендритов нейрона —> сдвиг мембранного потенциала в случае преобладания возбуждающих влияний —> достижение критического уровня деполяризации —> возникновение потенциала действия в низкопороговой зоне (мембране начального сегмента) нейрона —> распространение потенциала действия вдоль по аксону (процесс проведения нервного импульса) —> выделение медиатора в окончаниях аксона (передача нервного процесса на следующий нейрон или на рабочий орган).

Таким образом, передача информации в нервной системе происходит с помощью двух механизмов — электрического (ВПСП, ТПСП, потенциалы действия) и химического (медиаторы).

§ 2. Физиологические показатели функционального состояния нейрона

Величина мембранного потенциала является основным параметром, который определяет значения важнейших показателей функционального состояния нейрона — его возбудимость и лабильность.
Возбудимость нейрона. Возбудимость нейрона — это его способность отвечать на синоптическое воздействие потенциалом действия. Она зависит от соотношения двух параметров—мембранного потенциала и критического уровня деполяризации (рис. 46). В нормальных условиях деятельности критический уровень деполяризации нейрона относительно постоянный, поэтому возбудимость нейрона определяется в основном величиной мембранного потенциала.
Подпороговые изменения мембранного потенциала. Мембранный потенциал может иметь нормальную величину (для нервной клетки—около 70 мв), уменьшенную (явление деполяризации) или большую (явление гиперполяризации). Для появления ПД при нормальном уровне мембранного потенциала требуется его сдвиг примерно на 10 мв, т. е. амплитуда порогового ВПСП должна быть около 10 мв для достижения критического уровня деполяризации. Эта величина и называется порогом возбудимости нейрона (см. рис. 46, Л).
При активной деятельности нейрона в нем может некоторое время сохраняться состояние подпороговой деполяризации. Такое же состояние возникает при слабых синаптических воздействиях, когда появляются подподпороговые ВПСП. При этом разница между уровнем мембранного потенциала и критическим уровнем деполяризации уменьшается (см. рис. 46, Б), т. е. требуется уже меньшая сила раздражения (меньшая амплитуда порогового ВПСП) для появления ответного ПД. Возбудимость нейрона в этом случае повышена.
При понижении возбудимости нервной клетки разница между уровнем мембранного потенциала и критическим уровнем деполяризации увеличена и, следовательно, требуется значительно большее, чем в норме, раздражение (большая амплитуда ВПСП) для появления ПД (см. рис. 46, В).
Сверхпороговое изменение мембранного потенциала. При сильном возбуждении в нервной клетке могут возникать ВПСП очень большой амплитуды, которая значительно превосходит критический уровень деполяризации и длительное время сохраняется на этом сверхпороговом уровне.
Благодаря многочисленным разветвлениям аксона промежуточные нейроны могут одновременно возбуждать большое число других нейронов (например, звездчатые клетки коры — см. рис. 42).

Функциональное значение различных структурных элементов нервной клетки. Различные структурные элементы нейрона имеют свои функциональные особенности и разное физиологическое значение. Нервная клетка состоит из тела, или сомы (рис. 43), и различных отростков. Многочисленные древовидно разветвленные отростки дендриты (от греч. dendron — дерево) служат входами нейрона, через которые сигналы поступают в нервную клетку. Выходом нейрона является отходящий от тела клетки отросток аксон (от греч. axis — ось), который передает нервные импульсы дальше — другой нервной клетке или рабочему органу (мышце, железе). Форма нервной клетки, длина и расположение отростков чрезвычайно разнообразны и зависят от функционального назначения нейрона.

§ 2. Физиологические показатели функционального состояния нейронаСреди нейронов встречаются самые крупные клеточные элементы организма. Размеры их поперечника колеблются от 6—7 мк (мелкие зернистые клетки мозжечка) до 70 мк (моторные нейроны головного и спинного мозга). Плотность их расположения в некоторых отделах центральной нервной системы очень велика. Например, в коре больших полушарий человека на 1 мм3 приходится почти 40 тыс. нейронов. Тела и дендриты нейронов коры занимают в целом примерно половину объема коры.

В крупных нейронах почти 1/3 — 1/4 величины их тела составляет ядро. Оно содержит довольно постоянное количество дезоксирибонуклеиновой кислоты (ДНК). Входящие в его состав ядрышки участвуют в снабжении клетки рибонуклеиновыми кислотами (РНК) и протеинами. В моторных клетках при двигательной деятельности ядрышки заметно увеличиваются в размерах. Нервная клетка покрыта плазматической мембраной—полупроницаемой клеточной оболочкой, которая обеспечивает регуляцию концентрации ионов внутри клетки и ее обмен с окружающей средой. При возбуждении проницаемость клеточной мембраны изменяется, что играет важнейшую роль в возникновении потенциала действия и передаче нервных импульсов.


Аксоны многих нейронов покрыты миелиновой оболочкой, образованной Шванновскими клетками, многократно «обернутыми» вокруг ствола аксона. Однако начальная часть аксона и расширение в месте его выхода из тела клетки — аксонный холмик лишены такой оболочки. Мембрана этой немиелинизированной части нейрона — так называемого начального сегмента — обладает высокой возбудимостью.

Внутренняя часть клетки заполнена цитоплазмой, в которой расположены ядро и различные органоиды. Цитоплазма очень богата ферментными системами (в частности, обеспечивающими гликолиз) и белком. Ее пронизывает сеть трубочек и пузырьков — эндоплазматический ретикулюм. В цитоплазме имеются также отдельные зернышки — рибосомы и скопления этих зернышек — тельца Ниссля, представляющие собой белковые образования, содержащие до 50% РНК. Это белковые депо нейронов, где также происходит синтез белков и РНК. При чрезмерно длительном возбуждении нервной клетки, вирусных поражениях центральной нервной системы и других неблагоприятных воздействиях величина этих рибосомных зернышек резко уменьшается.

В специальных аппаратах нервных клеток — митохондриях совершаются окислительные процессы с образованием богатых энергией соединений (макроэргических связей АТФ). Это энергетические станции нейрона. В них происходит трансформация энергии химических связей в такую форму, которая может быть использована нервной клеткой. Митохондрии концентрируются в наиболее активных частях клетки. Их дыхательная функция усиливается при мышечной тренировке. Интенсивность окислительных процессов нарастает в нейронах более высоких отделов центральной нервной системы, особенно в коре больших полушарий. Резкие изменения митохондрий вплоть до разрушения, а следовательно, и угнетение деятельности нейронов отмечаются при различных неблагоприятных воздействиях (длительном торможении в центральной нервной системе, при интенсивном рентгеновском облучении, кислородном голодании и гипотермии).

Обмен веществ в нейроне. Основной особенностью обмена веществ в нейроне является высокая скорость обмена и преобладание аэробных процессов.


Потребность мозга в кислороде очень велика ( в состоянии покоя поглощается около 46 мл/мин кислорода). Хотя вес мозга по отношению к весу тела составляет всего 2%, потребление кислорода мозгом достигает в состоянии покоя у взрослых людей 25% от общего его потребления организмом, а у маленьких детей — 50%. Даже кратковременное нарушение доставки кислорода кровью может вызвать необратимые изменения в деятельности нервных клеток: в спинном мозгу — через 20 — 30 мин., в стволе головного мозга — через 15 — 20 мин., а в коре больших полушарий — уже через 5 — 6 мин.

Энерготраты мозга составляют 1/6 — 1/8 суточных затрат организма человека. Основным источником энергии для мозговой ткани является глюкоза. Мозг человека требует для обмена около 115 г глюкозы в сутки. Содержание ее в клетках мозга очень мало, и она постоянно черпается из крови.

Деятельное состояние нейронов сопровождается трофическими процессами—усилением в них синтеза белков. При различных воздействиях, вызывающих возбуждение нервных клеток, в том числе при мышечной тренировке, в их ткани значительно возрастает количество белка и РНК, при тормозных же состояниях и утомлении нейронов содержание этих веществ уменьшается. В процессе восстановления оно возвращается к исходному уровню или превышает его. Часть синтезированного в нейроне белка компенсирует его расходы в теле клетки во время деятельности, а другая часть перемещается вдоль по аксону (со скоростью около 1—3 мм в сутки) и, вероятно, участвует в биохимических процессах в синапсах.

Кровоснабжение нервных клеток. Высокая потребность нейронов в кислороде и глюкозе обеспечивается интенсивным кровотоком.

Кровь протекает через мозг в 5—7 раз скорее, чем через покоящиеся мышцы. Мозговая ткань обильно снабжена кровеносными сосудами. Наиболее густая сеть их находится в коре больших полушарий (занимает около 10% объема коры). В отдельных слоях ее средняя длина капиллярной сети достигает у человека 1 м на 1 мм3 ткани. Каждый крупный нейрон имеет несколько собственных капилляров у основания тела клетки, а группы мелких клеток окутаны общей капиллярной сетью.


При активном состоянии нервной клетки она нуждается в усиленном поступлении через кровь кислорода и питательных веществ. Вместе с тем жесткий каркас черепа и малая сжимаемость нервной ткани препятствуют резкому увеличению кровоснабжения мозга при работе. Однако это компенсируется выраженными в мозгу процессами перераспределения крови, в результате которых активный участок нервной ткани получает значительно больше крови, чем находящийся в покое. Возможность перераспределения крови в мозгу обеспечена наличием в основаниях артериальных ветвей крупных пучков гладких мышечных волокон — сфинктерных валиков. Эти валики могут уменьшать или увеличивать диаметр сосудов и тем самым производить раздельную регуляцию кровоснабжения разных участков мозга.

Мышечная работа вызывает снижение тонуса стенок мозговых артерий. При развитии физического или умственного утомления тонус артериальных сосудов повышается, что ведет к уменьшению кровотока через нервную ткань.

В головном мозгу имеется богато развитая система анастомозов между различными артериями, между венозными сосудами и между артериями и венами. Эта система уменьшает пульсацию внутричерепного кровотока, обусловленную ритмическими сокращениями сердца и дыхательными движениями грудной клетки. Уменьшение пульсовых колебаний способствует улучшению тканевого кровотока. Благодаря наличию артериовенозных анастомозов пульсовые колебания кровотока передаются с артерий мозга на вены, минуя капилляры. Анастомоз между системами сонных и позвоночных артерии (Виллизиев круг) гарантирует постоянство кровотока в различных отделах головного мозга при любом положении головы по отношению к туловищу и направлению силы тяжести, связанном с изменением положения тела в пространстве.

Клетки глии. В процессах питания нервных клеток и их обмене веществ участвуют также окружающие нейрон клетки глии (глиальные клетки, или нейроглия). Эти клетки заполняют в мозгу все пространство между нейронами. В коре больших полушарий их примерно в 5 раз больше, чем нервных клеток.


Капилляры в центральной нервной системе плотно окружены клетками глии, которые покрывают сосуд полностью или оставляют небольшую часть (15%) свободной. Выросты некоторых глиальных клеток расположены частично на кровеносных сосудах и частично на нейроне (см. рис. 42). Полагают, что расположение этих клеток между сосудом и нейроном указывает на их роль в снабжении нервных клеток питательными веществами из крови. Глиальные клетки активно участвуют в функционировании нейрона. Показано, что при длительном возбуждении в нейроне высокое содержание белка и нуклеиновых кислот поддерживается за счет клеток глии, в которых их количество соответственно уменьшается. В процессе восстановления после работы запасы белка и нуклеиновых кислот сначала нарастают в клетках глии, а затем и в цитоплазме нейрона. Глиальные клетки обладают способностью перемещаться в пространстве по направлению к наиболее активным нейронам. Это наблюдается при различных афферентных раздражениях и при мышечной нагрузке. Например, уже через 20 мин. плавания у крыс было обнаружено увеличение числа глиальных клеток вокруг мотонейронов переднего рога спинного мозга.

Возможно, клетки глии участвуют в условно-рефлекторной деятельности мозга и в процессах памяти.

Основные функции нервной клетки. Основными функциями нервной клетки являются восприятие внешних раздражении (рецепторная функция), их переработка (интегративная функция) и передача нервных влияний на другие нейроны или различные рабочие органы (эффекторная функция).

Особенности осуществления этих функций позволяют разделить все нейроны центральной нервной системы на 2 большие группы:

1) клетки, передающие информацию на большие расстояния (из одного отдела центральной нервной системы в другой, от периферии к центру, от центров к исполнительному органу). Это крупные, афферентные и эфферентные нейроны, имеющие на своем теле и отростках большое количество синапсов, как возбуждающих, так и тормозящих, и способные к сложным процессам переработки поступающих через них влиянии;


2) клетки, обеспечивающие межнейроальные связи в пределах ограниченных нервных структур (промежуточные нейроны спинного мозга, коры больших полушарий и др.). Это мелкие клетки, воспринимающие нервные влияния только через возбуждающие синапсы. Эти клетки не способны к сложным процессам интеграции локальных синаптических влияний потенциалов, они служат передатчиками возбуждающих или тормозящих влияний на другие нервные клетки.

Воспринимающая функция нейрона. Все раздражения, поступающие в нервную систему, передаются на нейрон через определенные участки его мембраны, находящиеся в области синаптических контактов. В большинстве нервных клеток эта передача осуществляется химическим путем с помощью медиаторов. Ответом нейронов на внешнее раздражение является изменение величины, мембранного потенциала.

Чем больше синапсов на§ 2. Физиологические показатели функционального состояния нейрона нервной клетке, тем больше воспринимается различных раздражений и, следовательно, шире сфера влияний на ее деятельность и возможность участия нервной клетки в разнообразных реакциях организма. На телах крупных мотонейронов спинного мозга насчитывают до 15000—20000 синапсов. Разветвления аксонов могут образовывать синапсы на дендритах (аксодендритические синапсы) и на соме (теле) нервных клеток (аксосоматические синапсы), в ряде случаев—на аксоне (аксоаксональные синапсы). Наибольшее число (до 50%) синапсов находится на дендритах. Особенно густо они покрывают средние части и окончания дендритных отростков, причем многие контакты расположены на специальных шипиковидных выростах, или шипиках (рис. 44), которые еще больше увеличивают воспринимающую поверхность нейрона. В мотонейронах спинного мозга и пирамидных клетках коры поверхность дендритов в 10—20 раз больше поверхности тела клетки.

Чем сложнее интегративная функция нейрона, тем большее развитие имеют аксодендритические синапсы (в первую очередь те, которые расположены на шипиках). Особенно они характерны для нейрональных связей пирамидных клеток в коре больших полушарий.

Промежуточные нейроны (например, звездчатые клетки коры) таких шипиков лишены.


Приходящие в пресинаптическую часть контакта нервные импульсы вызывают опорожнение синоптических пузырьков с выведением медиатора в синаптическую щель (рис. 45). Веществами, передающими нервные влияния в синапсах нервных клеток, или медиаторами, могут быть ацетилхолин (в некоторых клетках спинного мозга, в вегетативных ганглиях), норадреналин (в окончаниях симпатических нервных волокон, в гипоталамусе), некоторые аминокислоты и др. Диаметр пузырьков примерно равен ширине синаптической щели. В клетках передней центральной извилины коры больших полушарий у людей 18 — 30 лет синаптические пузырьки имеют диаметр 250 — 300 ангстрем при ширине синаптической щели 200 — 300 ангстрем. Выделение медиатора облегчается тем, что синаптические пузырьки скапливаются вблизи от синаптической щели— в так называемых активных, или оперативных, зонах. Чем больше нервных импульсов проходит через синапс, тем больше пузырьков перемещается в эту зону и прикрепляется к пресинаптической мембране. В результате облегчается выделение медиатора последующими нервными импульсами.

Эффекты, возникающие при активации синапса, могут быть возбуждающими или тормозящими. Это зависит от качества медиатора и свойств постсинаптической мембраны. Возбуждающие нейроны выделяют возбуждающий медиатор, а тормозные — тормозной. Кроме того, один и тот же медиатор может оказывать различное воздействие в разных органах (например ацетилхолин возбуждает скелетные мышечные волокна и тормозит сердечные).

В состоянии покоя мембрана поляризована: снаружи регистрируется положительный заряд, а внутри — отрицательный. В нервной клетке мембранный потенциал покоя равен примерно 70 мв.

При возбуждающих влияниях увеличение проницаемости мембраны обусловливает вхождение положительно заряженных ионов натрия в клетку и, следовательно, уменьшение разности потенциалов по обе стороны мембраны, т. е. ее деполяризацию. В постсинаптической мембране данного участка клетки при этом регистрируется небольшое отрицательное колебание мембранного потенциала с амплитудой около 10 мв, или возбуждающий постсинаптический потенциал (сокращенно ВПСП), нарастающий примерно за 1, 2 мсек.


до своего максимума и затем убывающий.

При тормозных воздействиях проницаемость мембраны увеличивается незначительно — главным образом для ионов калия (диаметр гидратированного иона калия меньше, чем диаметр иона натрия). Поскольку ионов калия больше внутри клетки, они выходят из нее наружу, увеличивая поляризацию мембраны, т. е. вызывают ее гиперполяризацию. При этом регистрируется положительное колебание с амплитудой около 5 мв — тормозной постсинаптический потенциал (сокращенно ТПСП). Обычно ВПСП и ТПСП длятся всего несколько миллисекунд. Однако в некоторых нейронах головного мозга постсинаптические потенциалы могут иметь значительно большую длительность: ВПСП — до 80 мсек., ТПСП — более 100 мсек.

Интегративная функция нейрона. Общее изменение мембранного потенциала нейрона является результатом сложного взаимодействия (интеграции) местных ВПСП и ТПСП всех многочисленных активированных синапсов на теле и дендритах клетки. На мембране нейрона происходит процесс алгебраического суммирования положительных и отрицательных колебаний потенциала. При одновременной активации нескольких возбуждающих синапсов общий ВПСП нейрона представляет собой сумму отдельных местных ВПСП каждого синапса. При одновременном возникновении двух различных синаптических влияний — ВПСП и ТПСП — происходит взаимное вычитание их эффектов. В конечном итоге реакция нервной клетки определяется суммой всех синаптических влияний. Преобладание тормозных синаптических воздействий приводит к гиперполяризации мембраны и торможению деятельности клетки. При сдвиге мембранного потенциала в сторону деполяризации повышается возбудимость клетки. Ответный разряд нейрона возникает лишь тогда, когда изменения мембранного потенциала достигают порогового значения — критического уровня деполяризации. Для этого величина ВПСП клетки должна составлять примерно 10 мв.

В крупных (афферентных и эфферентных) нейронах возбудимость различных участков мембраны неодинакова. В области начального сегмента нервной клетки (аксонного холмика и начальной немиелинизированной части аксона) имеется низкопороговая зона, мембрана которой обладает в несколько раз более высокой возбудимостью, чем на других участках клетки (порог возбудимости мембраны начального сегмента равен 10 мв, а порог возбудимости соматодендритической мембраны—20—30 мв).


В этой зоне с момента достижения критического уровня деполяризации начинается лавинообразное вхождение натрия в клетку и регистрируется потенциал действия (ПД). В ПД различают кратковременную высоковольтную часть, или спайк (пик), и длительные низкоамплитудные колебания — следовые потенциалы. ПД мотонейронов имеют амплитуду пика около 80 — 100 мв и длительность его около 1,5 мсек.

Эффекторная функция нейрона. С появлением ПД, который в отличие от местных изменений мембранного потенциала (ВПСП и ТПСП) является распространяющимся процессом, нервный импульс начинает проводиться от тела нервной клетки вдоль по аксону к другой нервной клетке или рабочему органу, т. е. осуществляется эффекторная функция нейрона. Синапсы, расположенные ближе к возбудимой низкопороговой зоне на теле клетки (аксосоматические), оказывают большее влияние на возникновение потенциала действия, чем более удаленные, расположенные на окончаниях дендритов (аксодендритические). Импульсы, приходящие через аксосоматический синапс, как правило, вызывают ответный разряд нейрона, а импульсы, действующие на аксодендритический синапс —лишь подпороговое изменение его возбудимости. Так, разряды мотонейронов спинного мозга и пирамидных нейронов коры, вызывающие двигательные реакции организма, являются ответом на специфические аксосоматические влияния. Но возникнет ли этот ответ или нет, определяется характером воздействий, поступающих через аксодендритические синапсы от других нервных путей. Так складываются адекватные реакции, зависящие от многих раздражении, действующих на организм в данный момент времени, и осуществляется тонкое приспособление поведения к меняющимся условиям внешней среды.

Процессы, происходящие в активном нейроне, можно представить в виде следующей цепи: потенциал действия в пресинаптическом окончании предыдущего нейрона —> выделение медиатора в синаптическую щель —> увеличение проницаемости постсинаптической мембраны —> ее деполяризация (ВПСП) или гиперполяризация (ТПСП) —> взаимодействие ВПСП и ТПСП на мембране сомы и дендритов нейрона —> сдвиг мембранного потенциала в случае преобладания возбуждающих влияний —> достижение критического уровня деполяризации —> возникновение потенциала действия в низкопороговой зоне (мембране начального сегмента) нейрона —> распространение потенциала действия вдоль по аксону (процесс проведения нервного импульса) —> выделение медиатора в окончаниях аксона (передача нервного процесса на следующий нейрон или на рабочий орган).

Таким образом, передача информации в нервной системе происходит с помощью двух механизмов — электрического (ВПСП, ТПСП, потенциалы действия) и химического (медиаторы).

§ 3. Системы нервных клеток

Диффузная нервная сеть и процесс централизации. У простейших одноклеточных животных одна клетка осуществляет разнообразные функции. Передвижение этих животных обеспечивается либо выпячиванием части клетки (ложноножки) и переливанием в нее содержимого клетки (амебоидное движение, характерное и для белых клеток крови человека), либо с помощью специальных образований — ресничек или жгутиков.
Усложнение деятельности организма привело к разделению функций различных клеток — их специализации. Одни из них приобрели способность к сокращению (мышечные клетки), другие — к восприятию внешних и внутренних раздражении, переработке поступающей информации и передаче управляющих сигналов на органы движения и другие органы тела (нервные клетки). Наиболее простая форма организации нервной системы — диффузная нервная сеть низших беспозвоночных животных (губок, гидр, актиний и медуз). Нейроны такой сети имеют многочисленные взаимные связи, по которым возбуждение распространяется диффузно, по всем направлениям.
Более сложной формой является сегментарная организация нервной системы у высших беспозвоночных животных (червей, насекомых). Тело их состоит из имеющих одинаковое строение участков — сегментов, иннервация которых осуществляется расположенными в этих же сегментах нервными клетками.
С усложнением поведенческих реакций происходит развитие у позвоночных животных головного конца нервной системы—энцефалона. В нем сосредоточиваются группы нервных клеток, управляющих важнейшими функциями, — нервные центры. При этом утрачивается автономность отдельных сегментов и все большая часть функций передается вышележащим отделам нервной системы. Этот процесс получил название энцефализации (централизация) функций.
С формированием коры больших полушарий происходит подчинение всех других отделов нервной системы, т. е. процесс кортикализации.
Строение и функции центральной нервной системы у человека отражают этот эволюционный процесс. Более древние и менее сложно организованные ее отделы имеют более выраженную, сегментарную организацию.
Это спинной мозг, продолговатый и средний, многие центры которых иннервируют расположенные на том же уровне участки тела (рис. 47). Находящиеся над ними более мо§ 3. Системы нервных клетоклодые отделы, так называемые надсегментарные—промежуточный мозг, мозжечок, кора больших полушарий,—не имеют непосредственной связи с органами тела, а управляют их деятельностью через сегментарные центры. Надсегментарные отделы приобретают по мере совершенствования все более важную роль в жизнедеятельности органов. Они не только подчиняют, но и значительно перестраивают функции нижележащих структур, оставляя им лишь самые элементарные рефлексы. Так, отделение спинного мозга от головного вызывает угнетение всех его рефлексов—спинальный шок, который выражен гораздо слабее и длится меньше (всего несколько минут) У рыб и земноводных и более глубок и длителен (несколько недель) у млекопитающих. После исчезновения явлений шока спинальная лягушка (лишенная головного мозга) может осуществлять довольно сложные координированные движения (например, удаление пальцами задней лапки кислотного раздражителя с бедра), у спинальных кошек и собак могут наблюдаться сгибание, разгибание, маятникообразные движения конечностей, а у человека при перерыве связи головного мозга со спинным — практически только сгибательные рефлексы (разгибательные движения у него ниже места перерыва спинного мозга почти не наблюдаются, перекрестный разгибательный рефлекс выражен намного слабее, чем у спинальной собаки).

Соматотопическое представительство функций. Системы нейронов, образующих восходящие пути от рецепторов или нисходящие "ути к рабочим органам, расположены в определенном порядке — по типу проекции «точку в точку». Так, каждый участок воспринимающей поверхности глаза (сетчатой оболочки с фоторецепторами) передает свои сигналы определенному участку в зрительной области коры больших полушарий. Эти чувствительные корковые центры расположены таким образом, что они как бы образуют экран, отражающий расположение фоторецепторов на периферии.


Следовательно, наш мозг получает объективную информацию о пространственных особенностях внешнего мира. Определенная пространственная организация в нервной системе сигналов от различных органов чувств (от зрительных, слуховых, мышечных, тактильных и других рецепторов) позволяет человеку иметь необходимое представление о схеме пространства.

Таким же образом в мозгу обеспечивается представление о схеме тела. Порядок размещения афферентных волокон в проводящих путях и локализация нервных центров в проекционных областях разных этажей нервной системы соответствуют порядку размещения участков кожи и скелетных мышц в теле. Этому принципу отвечает представительство моторных функций в различных этажах нервной системы. Так, например, в самой верхней части передней центральной извилины коры больших полушарий находятся центры, посылающие импульсы к мышцам нижних конечностей, несколько ниже — моторные центры мышц туловища, еще ниже—моторное представительство мышц верхних конечностей и, наконец, центры мышц шеи и головы. Таков же порядок расположения этих центров в моторных ядрах нижележащих этажей нервной системы (например, в красном ядре среднего мозга).

Такая организация связей в центральной нервной системе, при которой пространственное расположение нейронов, связанных с определенными рецепторами или рабочими органами на периферии, отражает специфику их пространственного расположения в организме, называется соматопическим (от лат. somaticus — телесный и topicus — местный) или экранным представительством функций. В соматопической организации нервной системы важное значение имеют: 1) функциональная значимость отдельного органа тела и 2) роль данного участка мозга в его иннервации. В связи с этим возникает несоответствие размеров органа тела и размеров территории мозга, которая управляет его деятельностью. Например, мышцы пальцев руки выполняют чрезвычайно сложные функции в произвольных движениях человека. В их деятельности основную роль играют импульсы, идущие от коры больших полушарий.


Этим объясняется то, что представительство (как сенсорное, так и в особенности моторное) этих мышц в коре занимает значительно большую территорию, чем представительство всех остальных мышц тела.

Механизмы взаимодействия нервных клеток. Нервные клетки функционируют в тесном взаимодействии друг с другом.

Значение нервных импульсов. Все взаимодействия между нервными клетками осуществляются благодаря двум механизмам: 1) влияниям электрических полей нервных клеток (электротоническим влияниям) и 2) влияниям нервных импульсов.

Первые распространяются на очень небольшие территории мозга Электрический заряд нервной клетки создает вокруг нее электрическое поле, колебания которого вызывают изменения электрических полей лежащих рядом нейронов, что приводит к изменениям их возбудимости, лабильности и проводимости. Электрическое поле нейрона имеет сравнительно небольшую протяженность—около 100 мк, оно быстро затухает по мере удаления от клетки и может оказывать воздействие лишь на соседние нейроны.

Второй механизм обеспечивает не только ближайшие взаимодействия, но и передачу нервных влияний на большие расстояния. Именно с помощью нервных импульсов происходит объединение отдаленных и изолированных участков мозга в общую, синхронно работающую систему, что необходимо для протекания сложных форм деятельности организма. Нервный импульс, следовательно, является основным средством связи между нейронами. Высокая скорость распространения импульсов и локальное их воздействие на избранную точку мозга способствуют быстрой и точной передаче информации в нервной системе. В межнейронных взаимодействиях используется частотный код, т. е. изменения функционального состояния и характера ответных реакций одной нервной клетки кодируются изменением частоты импульсов (потенциалов действия), которые она посылает к другой нервной клетке. Общее количество импульсов, отправляемых нервной клеткой в единицу времени, или ее суммарная импульсная активность,—важный физиологический показатель деятельности нейрона.


Значение синапсов. В передаче нервных импульсов от одного нейрона к другому большое значение имеют синапсы. Особенно много их в высших отделах нервной системы и у нейронов с наиболее сложными функциями. С совершенствованием условнорефлекторной деятельности в процессе эволюции животных организмов увеличивается число синаптических контактов на пирамидных нейронах коры больших полушарий, в частности за счет увеличения числа шипиков на их дендритах. Состояние синапсов на этих шипиках коррелирует с состоянием высшей нервной деятельности. При подавлении условных рефлексов некоторыми веществами (например, аминазином) контакты на шипиках разрушаются, исчезают сами шипики, а затем деформируются и дендритные отростки нейрона.

Способность синапсов передавать нервные импульсы непостоянна. Она повышается после активной деятельности синапса и снижается при отсутствии активности. Понижение функциональных возможностей синапсов (гипосинапсия) ведет к ухудшению проведения через них нервных импульсов, а их полное нарушение (асинапсия) вызывает окончательное разобщение нервных клеток.

При отсутствии активации синапса в течение нескольких дней уже наблюдаются уменьшение размера синаптических пузырьков, запасов медиатора, нарастание длительности синаптической задержки и т. п. Бездействие синаптических контактов на мотонейронах спинного мозга, вызванное перерезкой чувствительных путей от соответствующих мышечных волокон, через 2—4 недели уменьшает их возбуждающее влияние на мембрану мотонейрона вдвое по сравнению с влияниями других афферентных путей, оканчивающихся на том же мотонейроне. У кролика через несколько дней содержания в абсолютной темноте, т. е. после полного бездействия рецепторных клеток глаза, уменьшаются синаптические пузырьки в окончаниях их аксонов.

Активная деятельность нервных клеток способствует улучшению синоптического взаимодействия между ними: росту площади синаптических контактов, ускорению проведения через синапсы и т. д. Это наблюдается, например, при двигательной деятельности.Как показали эксперименты на животных, ежедневная принудительная ходьба их по 1 часу приводит к значительной активации синапсов в соответствующих рефлекторных дугах спинного мозга.

Синапсы, являются самым чувствительным местом нервной системы. Именно синаптические контакты между нейронами первыми реагируют на различные повреждающие воздействия. При травмах нервной ткани, отеках, нарушениях кровообращения, рентгеновских облучениях, отравлениях и других неблагоприятных воздействиях в синапсах сначала возникают обратимые изменения — сильное набухание (увеличение их размеров в несколько раз) и деформация, а затем происходят необратимые изменения синапсов — их разрушение, в результате чего полностью нарушается нервная деятельность.

§ 4. Свойства нервных центров

Понятие о нервном центре. В сложных многоклеточных организмах животных и человека отдельная нервная клетка не в состоянии регулировать какие-либо функции. Все основные формы деятельности нервной системы связаны с участием в ее функциях определенных групп нервных клеток—нервных центров.
Нервным центром называют совокупность нервных клеток, необходимых для осуществления какой-либо функции. Эти центры отвечают соответствующими рефлекторными реакциями на внешнее раздражение, поступившее от связанных с ними рецепторов. Клетки нервных центров реагируют и на непосредственное их раздражение веществами, находящимися в протекающей через них крови (гуморальные влияния).
Для выявления функций нервного центра используют ряд методов: метод раздражения (усиление его деятельности), метод разрушения или удаления — экстирпации (нарушение регулируемой им функции), электрофизиологический метод — регистрация электрических явлений в нервном центре и др. Так, функциональное значение, а также локализация дыхательного центра в продолговатом мозгу были выявлены путем последовательных перерезок головного мозга. При перерезках выше области его расположения (выше продолговатого мозга) дыхание сохранялось, а при перерезках ниже продолговатого мозга дыхательные движения исчезали.
Сложные реакции в целостном организме обычно связаны с участием многих нервных центров, расположенных в различных этажах центральной нервной системы. Например, произвольное изменение дыхания осуществляется человеком при участии центров коры больших полушарий, особого центра в среднем мозгу, дыхательного центра продолговатого мозга и центров спинного мозга, иннервирующих дыхательные мышцы.
Физиологические свойства нервных центров определяют характер ответных реакций. Эти свойства в значительной мере связаны с особенностями проведения нервных импульсов через синапсы, соединяющие различные нервные клетки.
Одностороннее проведение возбуждения. В отличие от нервного волокна, в котором возможно двустороннее проведение волны возбуждения от места нанесения раздражения, в нервных центрах волна возбуждения проводится только в одном направлении: раздражение задних (чувствительных) корешков спинного мозга вызывает возникновение нервного импульса в передних двигательных корешках, однако при раздражении передних корешков волна возбуждения в задних корешках не появляется.
Это обусловлено особенностями синаптической передачи возбуждения в отдельных нервных клетках.

Поскольку проведение волны возбуждения от одного нейрона к другому через синапс происходит химическим путем—с помощью медиатора, а медиатор содержится лишь в пресинаптической части синапса и отсутствует в постсинаптической мембране, — проведение нервных влияний через синапс возможно только от пресинаптической мембраны к постсинаптической и невозможно в обратном направлении (см. рис. 45). В связи с этим поток нервных импульсов в рефлекторной дуге имеет определенное направление: от афферентных нейронов к вставочным и затем к эффекторным — мотонейронам и вегетативным нейронам.

Замедленное проведение возбуждения. В основе проведения нервных импульсов по цепочке нейронов лежат два различных механизма: электрический (проведение потенциала действия — ПД — по нервным волокнам) и химический (передача через синапс с помощью медиатора). Первый осуществляется с большой скоростью (до 100—140 м/сек), второй—в тысячу раз медленнее. Замедление проведения связано с затратой времени на процессы, происходящие от момента прихода пресинаптического импульса в синапс до появления в постсинаптической мембране возбуждающих или тормозных потенциалов. Этот интервал называется синаптической задержкой и составляет в мотонейронах и большинстве других клеток Центральной нервной системы примерно 0,3 мсек. В вегетативной нервной системе длительность синаптической задержки больше — не менее 10 мсек. За это время пресинаптический импульс вызывает опорожнение синаптических пузырьков, происходит диффузия медиатора через синаптическую щель, увеличение под его влиянием ионной проницаемости постсинаптической мембраны и возникает постсинаптический потенциал. После этого требуется еще около 1,2 мсек. на развитие возбуждающего постсинаптического потенциала (ВПСП) до максимума, чтобы возник (в случае достижения критического уровня деполяризации) ПД. Таким образом, весь процесс передачи нервного импульса (от ПД одной клетки до ПД следующей клетки) через один синапс занимает примерно 1,5 мсек.


При утомлении, охлаждении и ряде других воздействий длительность синаптической задержки возрастает. Если же для осуществления какой-либо реакции требуется участие большого числа нейронов (многих сотен и даже тысяч), то суммарная величина задержки проведения по нервным центрам — так называемое центральное время проведения — может составить десятые доли секунды и даже целые секунды. Поскольку проведение импульсов по нервным § 4. Свойства нервных центровволокнам от периферических рецепторов в нервные центры и от нервных центров к исполнительным органам занимает сравнительно небольшое время, общее время от момента нанесения внешнего раздражения до появления ответной реакции организма (латентный период рефлекса) определяется центральным временем проведения. Величина латентного периода рефлекса служит важным показателем функционального состояния нервных центров и широко используется в практике. Латентный период двигательной реакции измеряется от момента подачи сигнала до момента начала движения (или до появления электрической активности соответствующей мышцы). При осуществлении человеком простых движений в ответ на внешние сигналы, например нажимание на кнопку при световом сигнале (рис. 48, А), длительность латентного периода двигательной реакции составляет около 120 – 220 мсек., а при утомлении, недостатке кислорода и пр. она может увеличиваться до 300 – 500 и более миллисекунд. При более сложных движениях, например выполнении фехтовальщиком укола в мишень с выпадом в ответ на световой сигнал, этот период значительно больше – около 300 – 400 мсек. и более (см. рис. 48, Б).

Подпись: Рис. 49. Временная (Л) и пространственная (5) суммация возбуждения в нерв-ных центрах. На А: ПД — потенциал действия, Кр.—" критический уровень деполяризации, ВПСП — возбуждающие постсинаптические потенциалы, МГ — механогр амма м ышечного сокращения, Р — последовательные подпорого-вые раздражения (1—6) одного и того же нервного: волокна. <br alt="§ 4. Свойства нервных центров"><br> <br> На Б: ВПСП в мотонейроне длинной малоберцовой мышцы в ответ на раздражение (Р) нервных волокон, идущих от короткой малоберцово й мышцы (/), длиного разгибателя пальцев (2), длинной малоберцовой мышцы (3), и на одновременное раздражение всех трех нервов вместе (1+2+3) (по Дж. Экклсу) Укорочение латентного периода одной и той же двигательной реакции человека в процессе спортивной тренировки может отражать повышение функционального состояния нервных центров (ускорение проведения) и перестройку нервных цепей, участвующих в передаче нервных импульсов (укорочение проводящего пути).

Суммация. В ответ на одиночную афферентную волну, идущую от мышц к мотонейронам, в пресинаптической части синапса освобождается 1 квант нейромедиатора. При этом в пресинаптической мембране мотонейрона обычно возникает ВПСП подпороговой величины – 0,1 – 0,2 мв, недостаточной для вызова ответной реакции клетки. Чтобы величина ВПСП достигла критического уровня (порога возникновения ПД – примерно 10 мв.), требуется суммация на мембране клетки многих подпороговых ВВСП. Различают пространственную и временную суммацию. Пространственная суммация наблюдается в случае одновременного поступления нескольких импульсов в один и тот же нейрон по разным пресинаптическим волокнам. Одновременное возбуждение синапсов в различных участках мембраны мотонейрона повышает амплитуду суммарного ВПСП до пороговой величины, возникает ответный импульс мотонейрона и рефлекторно осуществляется двигательная реакция. Так, при синхронном раздражении трех афферентных нервах волокон—от короткой малоберцовой мышцы, длинного разгибателя пальцев и длинной малоберцовой мышцы — в мотонейроне длинной малоберцовой мышцы регистрируется ВПСП, равный сумме отдельных ВПСП, получаемых при изолированном раздражении каждого волокна (рис. 49, Б}. Обычно требуется одновременная активация 50—100 афферентных волокон для получения ответа двигательной клетки спинного мозга. Временная суммация происходит при активации одного и того же афферентного пути серией последовательных раздражении. Если интервалы между поступающими импульсами достаточно коротки и ВПСП мотонейрона от предыдущего раздражения не успевают затухать, то последующие ВПСП накладываются друг на друга, пока деполяризация мембраны не Достигнет критического уровня для возникновения ПД (см. рис. 49, Л).

Явления суммации могут наблюдаться при осуществлении отдельных рефлексов (например, рефлексов чихания и кашля в ответ на слабые раздражения слизистой оболочки дыхательных путей).


Они лежат в основе формирования нейронных комплексов, определяющих поведение целого организма, в основе развития условных рефлексов.

Фоновая активность. Многие нервные клетки обладают способностью к постоянной импульсной активности. Их мембранный потенциал периодически колеблется, то увеличиваясь, то уменьшаясь. Каждый раз, когда его увеличение превышает критический уровень деполяризации (порог возбудимости клетки), возникает импульсный разряд. Такая автоматическая деятельность называется фоновой активностью нейрона (рис. 50). Ее могут вызывать случайные импульсы, циркулирующие в нервной системе, но она может проявляться и при отсутствии приходящих к нейрону раздражении—в результате изменении ионных и обменных процессов, колебаний температуры и других причин. В последнем случае ее называют спонтанной.

§ 4. Свойства нервных центровФоновая активность играет важную роль в деятельности целого организма. Во-первых, импульсы, приходящие по афферентным путям, легче возбуждают клетки со спонтанной активностью, чем

бездеятельные. Это облегчает протекание многих рефлекторных реакций. Во-вторых, клетки, обладающие постоянным ритмом фоновой активности, могут иметь значение водителя ритма (пейсмекера), т. е. задавать этот ритм другим нервным клеткам. При этом возникают большие комплексы синхронно работающих клеток, в которых благодаря общему ритму особенно хорошо выражено взаимодействие между отдельными нейронами. В-третьих, некоторые такие клетки выполняют роль счетчиков времени в центральной нервной системе. Их деятельность помогает поддерживать определенный ритм движений, субъективно оценивать интервалы времени, через определенные сроки включать необходимые функции и т. п.

Автоматическая деятельность присуща клеткам дыхательного центра. Их спонтанные разряды позволяют поддерживать ритмические дыхательные движения не только при бодрствовании, но и во время сна человека, в условиях наркоза; периодические разряды дыхательного центра регистрируются даже при полной изоляции продолговатого мозга от других отделов центральной нервной системы.


§ 4. Свойства нервных центровВызванная активность. Импульсные разряды нейрона, возникающие в ответ на внешнее раздражение, называются вызванной активностью. Ответ нервной клетки может возникнуть в форме одиночного ПД, серии импульсов с затухающей частотой, а также в виде пачек импульсов, появляющихся через определенные интервалы. В различных нейронах наблюдаются разные типы вызванной активности. Одни клетки дают разряды только в момент включения раздражителя (эффект включения) —это наиболее частая реакция клеток, другие — только в момент его выключения (эффект выключения), третьи—в обоих случаях. В центральной нервной системе имеются клетки, дающие разряды лишь на новые раздражители, что обеспечивает ориентировочную реакцию. Известны также клетки, в которых отмечается вызванная активность при неправильных реакциях организма, т. е. сигнализирующие об ошибках, что позволяет вносить коррекции в действия человека.

Усвоение и трансформация ритма. При ритмических раздражениях вызванная активность нейрона может настроиться на ритм приходящих импульсов (явление усвоения ритма—рис. 51). Эта настройка деятельности нейрона на заданный извне ритм (реакция усвоения, перестройки или навязывания ритма) имеет большое значение для организации взаимодействия между различными нервными центрами и различными этажами нервной системы, в частности для организации ритмических движений у человека.

Активность нейрона может перестроиться как на более высокий, так и на более низкий ритм. В результате такой способности многие нервные клетки получают возможность сонастраиваться, т. е. работать сообща, в одном комплексе, не мешая друг другу различной по темпу импульсацией.

Впервые вопрос о значении усвоения ритма для протекания реакций организма был поставлен А. А. Ухтомским и его учениками (Н. В. Голиковым, Е. К. Жуковым и др.). Особенно важно, что в процессе ритмического раздражения рефлекторной дуги нервные центры способны усвоить ритм активности, превышающий их первоначальную лабильность. Это явление лежит в основе повышения работоспособности отдельных рефлекторных дуг, а также целостного организма (в частности, это имеет место в спортивной тренировке).


Очень часто вызванная активность нейрона не соответствует ритму приходящей к данной клетке импульсации. Нервные клетки обладают свойством изменять частоту передающихся импульсов, т.е. свойством трансформации ритма. Характер ответного разряда зависит, во-первых, от свойств раздражителя и, во-вторых, от функционального состояния нейрона (его мембранного заряда, возбудимости, лабильности). В обычных условиях чем сильнее раздражение, тем чаще проявляется ответная импульсация.

При высокой возбудимости нейрона может возникать учащение импульсации (мультипликация ритма). В этом случае афферентная волна вызывает длительные надпороговые ВПСП в клетке, и на .каждое одиночное раздражение клетка отвечает залпом из нескольких ПД (пока ВПСП превышает пороговый уровень). При низком уровне возбудимости и лабильности нейрона чаще происходит урежение ритма, так как несколько приходящих импульсов должны суммироваться, чтобы наконец достичь порога возникновения ПД. В результате на несколько приходящих импульсов нейрон отвечает лишь одним импульсом.

В некоторых крупных клетках, например мотонейронах спинного мозга, имеются специальные механизмы, регулирующие ритм ответных реакций. После каждого ПД в этих клетках наблюдаются выраженные следовые процессы — следовая гиперполяризация мембраны. В этот момент возбудимость клетки понижена. Следующий разряд возникает в клетке лишь тогда, когда заканчивается этот следовой потенциал. Поэтому ритм разрядов мотонейрона, направляющихся к скелетной мышце, обычно не превышает 60 импульсов в 1 сек. Мелкие клетки, например вставочные нейроны, такого механизма не имеют и могут давать в начальные моменты ответа очень высокую частоту разрядов—до 1600 импульсов в 1 сек., которая, однако, быстро затухает.

Следовые процессы. После окончания действия раздражителя активное состояние нервной клетки или нервного центра обычно продолжается еще некоторое время. Длительность следовых процессов различна: небольшая в спинном мозгу (несколько секунд или минут), значительно больше в центрах головного мозга (десятки минут, часы и даже дни) и очень велика в коре больших полушарий (до нескольких десятков лет).


Различают явные и скрытые следы прежних раздражении. В явной форме сохраняются лишь кратковременные следовые процессы или последствия. Они могут быть одноименными — продолжение возникшего в клетке состояния (тормозное или экзальтационное последействие) или контрастными (возбуждение вслед за торможением, торможение вслед за возбуждением).

Поддерживать состояние возбуждения или торможения в нервном центре могут импульсы, блуждающие в нервных цепях—задержавшиеся на длинных путях передачи или возвращающиеся повторно к нейрону по замкнутым цепям нейронов.

Значительно сложнее по природе скрытые следы, характеризующиеся отсутствием импульсации в нервных центрах. Предполагают, что длительное сохранение в нервной клетке скрытых следов со всеми характерными свойствами раздражителя основано на изменении структуры составляющих клетку белков (возможно, также и белков глиальных клеток).

Согласно биохимической теории памяти (X. Хиден), в процессе запоминания происходят структурные изменения в молекулах рибонуклеиновой кислоты (РНК), от которой зависит образование белков клетки. В результате этого в нервной клетке начинают синтезироваться «измененные» белки с отпечатками прежних раздражении, составляющие биохимическую основу памяти.

Эксперименты на крысах и других животных показали, что способность их запоминать следы прежних раздражении или способность к обучению коррелирует с изменением содержания рибонуклеиновой кислоты в нервной ткани. Интересные опыты были проведены на червях. У них вырабатывали условные рефлексы — включение света сопровождалось электрическим ударом, вызывающим у червя реакцию сжимания. После ряда сочетаний этих раздражении одно включение света заставляло червей сжиматься. Эту способность реагировать на включение света двигательной реакцией приобретали также и «необученные» черви после того, как их кормили кашицей из растолченных «обученных» червей или вводили им рибонуклеиновую кислоту, полученную из тканей «обученных» червей. Следовательно, приобретенный опыт может передаваться от одного организма к другому с химическими веществами.


При формировании новых двигательных навыков увеличивается содержание измененной рибонуклеиновой кислоты в соответствующих нервных центрах. Такие изменения, сохраняющиеся в двигательных нейронах, могут составлять основу так называемой «мышечной памяти». Известно, что человек, забывший в результате ранения одного из участков мозга начертания букв алфавита, может писать слова автоматически, пользуясь сохранившейся моторной памятью. Мышечная память позволяет человеку вспомнить заученные движения, которые он забыл после длительного перерыва.

Непродолжительные последействия (длительностью до 1 часа) лежат в основе так называемой кратковременной памяти, а длительные следы, связанные с биохимическими перестройками в клетках,—в основе долгосрочной памяти. Кратковременная память служит человеку недолго (например, спросив по телефону справочной необходимый номер телефона, можно набрать его и сразу забыть). Долгосрочная память обеспечивает длительное сохранение следов. Она имеет важнейшее значение в обучении человека (например, для усвоения определенного объема теоретических знаний, фиксирования в мозгу выработанных двигательных навыков).


Алгоритмы обучения искусственных нейронных сетей

На главную страницу | Листинг
С.Короткий
Нейронные сети: обучение без учителя
 В статье рассмотрены алгоритмы обучения искусственных нейронных сетей без учителя. Приведена библиотека классов на C++ и тестовый пример.
Рассмотренный в [1] алгоритм обучения нейронной сети с помощью процедуры обратного распространения подразумевает наличие некоего внешнего звена, предоставляющего сети кроме входных так же и целевые выходные образы. Алгоритмы, пользующиеся подобной концепцией, называются алгоритмами обучения с учителем. Для их успешного функционирования необходимо наличие экспертов, создающих на предварительном этапе для каждого входного образа эталонный выходной. Так как создание искусственного интеллекта движется по пути копирования природных прообразов, ученые не прекращают спор на тему, можно ли считать алгоритмы обучения с учителем натуральными или же они полностью искусственны. Например, обучение человеческого мозга, на первый взгляд, происходит без учителя: на зрительные, слуховые, тактильные и прочие рецепторы поступает информация извне, и внутри нервной системы происходит некая самоорганизация. Однако, нельзя отрицать и того, что в жизни человека не мало учителей – и в буквальном, и в переносном смысле, – которые координируют внешние воздействия. Вместе в тем, чем бы ни закончился спор приверженцев этих двух концепций обучения, они обе имеют право на существование.
Главная черта, делающая обучение без учителя привлекательным, – это его "самостоятельность". Процесс обучения, как и в случае обучения с учителем, заключается в подстраивании весов синапсов. Некоторые алгоритмы, правда, изменяют и структуру сети, то есть количество нейронов и их взаимосвязи, но такие преобразования правильнее назвать более широким термином – самоорганизацией, и в рамках данной статьи они рассматриваться не будут. Очевидно, что подстройка синапсов может проводиться только на основании информации, доступной в нейроне, то есть его состояния и уже имеющихся весовых коэффициентов.
Исходя из этого соображения и, что более важно, по аналогии с известными принципами самоорганизации нервных клеток[2], построены алгоритмы обучения Хебба.

Сигнальный метод обучения Хебба заключается в изменении весов по следующему правилу:

Алгоритмы обучения искусственных нейронных сетей (1)

где yi(n-1) – выходное значение нейрона i слоя (n-1), yj(n) – выходное значение нейрона j слоя n; wij(t) и wij(t-1) – весовой коэффициент синапса, соединяющего эти нейроны, на итерациях t и t-1 соответственно; a – коэффициент скорости обучения. Здесь и далее, для общности, под n подразумевается произвольный слой сети. При обучении по данному методу усиливаются связи между возбужденными нейронами.

Существует также и дифференциальный метод обучения Хебба.

Алгоритмы обучения искусственных нейронных сетей (2)

Здесь yi(n-1)(t) и yi(n-1)(t-1) – выходное значение нейрона i слоя n-1 соответственно на итерациях t и t-1; yj(n)(t) и yj(n)(t-1) – то же самое для нейрона j слоя n. Как видно из формулы (2), сильнее всего обучаются синапсы, соединяющие те нейроны, выходы которых наиболее динамично изменились в сторону увеличения.

Полный алгоритм обучения с применением вышеприведенных формул будет выглядеть так:

1. На стадии инициализации всем весовым коэффициентам присваиваются небольшие случайные значения.

2. На входы сети подается входной образ, и сигналы возбуждения распространяются по всем слоям согласно принципам классических прямопоточных (feedforward) сетей[1], то есть для каждого нейрона рассчитывается взвешенная сумма его входов, к которой затем применяется активационная (передаточная) функция нейрона, в результате чего получается его выходное значение yi(n), i=0...Mi-1, где Mi – число нейронов в слое i; n=0...N-1, а N – число слоев в сети.

3. На основании полученных выходных значений нейронов по формуле (1) или (2) производится изменение весовых коэффициентов.

4. Цикл с шага 2, пока выходные значения сети не застабилизируются с заданной точностью. Применение этого нового способа определения завершения обучения, отличного от использовавшегося для сети обратного распространения, обусловлено тем, что подстраиваемые значения синапсов фактически не ограничены.


На втором шаге цикла попеременно предъявляются все образы из входного набора.

Следует отметить, что вид откликов на каждый класс входных образов не известен заранее и будет представлять собой произвольное сочетание состояний нейронов выходного слоя, обусловленное случайным распределением весов на стадии инициализации. Вместе с тем, сеть способна обобщать схожие образы, относя их к одному классу. Тестирование обученной сети позволяет определить топологию классов в выходном слое. Для приведения откликов обученной сети к удобному представлению можно дополнить сеть одним слоем, который, например, по алгоритму обучения однослойного перцептрона необходимо заставить отображать выходные реакции сети в требуемые образы.

Другой алгоритм обучения без учителя – алгоритм Кохонена – предусматривает подстройку синапсов на основании их значений от предыдущей итерации.

Алгоритмы обучения искусственных нейронных сетей (3)

Из вышеприведенной формулы видно, что обучение сводится к минимизации разницы между входными сигналами нейрона, поступающими с выходов нейронов предыдущего слоя yi(n-1), и весовыми коэффициентами его синапсов.

Полный алгоритм обучения имеет примерно такую же структуру, как в методах Хебба, но на шаге 3 из всего слоя выбирается нейрон, значения синапсов которого максимально походят на входной образ, и подстройка весов по формуле (3) проводится только для него. Эта, так называемая, аккредитация может сопровождаться затормаживанием всех остальных нейронов слоя и введением выбранного нейрона в насыщение. Выбор такого нейрона может осуществляться, например, расчетом скалярного произведения вектора весовых коэффициентов с вектором входных значений. Максимальное произведение дает выигравший нейрон.

Другой вариант – расчет расстояния между этими векторами в p-мерном пространстве, где p – размер векторов.

Алгоритмы обучения искусственных нейронных сетей, (4)

где j – индекс нейрона в слое n, i – индекс суммирования по нейронам слоя (n-1), wij – вес синапса, соединяющего нейроны; выходы нейронов слоя (n-1) являются входными значениями для слоя n. Корень в формуле (4) брать не обязательно, так как важна лишь относительная оценка различных Dj.


В данном случае, "побеждает" нейрон с наименьшим расстоянием. Иногда слишком часто получающие аккредитацию нейроны принудительно исключаются из рассмотрения, чтобы "уравнять права" всех нейронов слоя. Простейший вариант такого алгоритма заключается в торможении только что выигравшего нейрона.

При использовании обучения по алгоритму Кохонена существует практика нормализации входных образов, а так же – на стадии инициализации – и нормализации начальных значений весовых коэффициентов.

Алгоритмы обучения искусственных нейронных сетей, (5)

где xi – i-ая компонента вектора входного образа или вектора весовых коэффициентов, а n – его размерность. Это позволяет сократить длительность процесса обучения.

Инициализация весовых коэффициентов случайными значениями может привести к тому, что различные классы, которым соответствуют плотно распределенные входные образы, сольются или, наоборот, раздробятся на дополнительные подклассы в случае близких образов одного и того же класса. Для избежания такой ситуации используется метод выпуклой комбинации[3]. Суть его сводится к тому, что входные нормализованные образы подвергаются преобразованию:

Алгоритмы обучения искусственных нейронных сетей, (6)

где xi – i-ая компонента входного образа, n – общее число его компонент, a (t) – коэффициент, изменяющийся в процессе обучения от нуля до единицы, в результате чего вначале на входы сети подаются практически одинаковые образы, а с течением времени они все больше сходятся к исходным. Весовые коэффициенты устанавливаются на шаге инициализации равными величине

Алгоритмы обучения искусственных нейронных сетей, (7)

где n – размерность вектора весов для нейронов инициализируемого слоя.

На основе рассмотренного выше метода строятся нейронные сети особого типа – так называемые самоорганизующиеся структуры – self-organizing feature maps (этот устоявшийся перевод с английского, на мой взгляд, не очень удачен, так как, речь идет не об изменении структуры сети, а только о подстройке синапсов). Для них после выбора из слоя n нейрона j с минимальным расстоянием Dj (4) обучается по формуле (3) не только этот нейрон, но и его соседи, расположенные в окрестности R.


Величина R на первых итерациях очень большая, так что обучаются все нейроны, но с течением времени она уменьшается до нуля. Таким образом, чем ближе конец обучения, тем точнее определяется группа нейронов, отвечающих каждому классу образов. В приведенной ниже программе используется именно этот метод обучения.

Развивая объектно-ориентированный подход в моделировании нейронных сетей, рассмотренный в [1], для программной реализации сетей, использующих алгоритм обучения без учителя, были разработаны отдельные классы объектов типа нейрон, слой и сеть, названия которых снабжены суффиксом UL. Они наследуют основные свойства от соответствующих объектов прямопоточной сети, описанной в [1]. Фрагмент заголовочного файла с описаниями классов и функций для таких сетей представлен на листинге 1.

Как видно из него, в классе NeuronUL в отличие от NeuronBP отсутствуют обратные связи и инструменты их поддержания, а по сравнению с NeuronFF здесь появилось лишь две новых переменных – delta и inhibitory. Первая из них хранит расстояние, рассчитываемое по формуле (4), а вторая – величину заторможенности нейрона. В классе NeuronUL существует два конструктора – один, используемый по умолчанию, – не имеет параметров, и к созданным с помощью него нейронам необходимо затем применять метод _allocateNeuron класса NeuronFF. Другой сам вызывает эту функцию через соответствующий конструктор NeuronFF. Метод Propagate является почти полным аналогом одноименного метода из NeuronFF, за исключением вычисления величин delta и inhibitory. Методы Normalize и Equalize выполняют соответственно нормализацию значений весовых коэффициентов по формуле (5) и их установку согласно (7). Метод CountDistance вычисляет расстояние (4). Следует особо отметить, что в классе отсутствует метод IsConverged, что, объясняется, как говорилось выше, различными способами определения факта завершения обучения. Хотя в принципе написать такую функцию не сложно, в данной программной реализации завершение обучения определяется по "телеметрической" информации, выводимой на экран, самим пользователем.


В представленном же вместе со статьей тесте число итераций, выполняющих обучение, вообще говоря, эмпирически задано равным 3000.

В состав класса LayerUL входит массив нейронов neurons и переменная с размерностью массивов синапсов – neuronrang. Метод распределения нейронов – внешний или внутренний – определяется тем, как создавался слой. Этот признак хранится в переменной allocation. Конструктор LayerUL(unsigned, unsigned) сам распределяет память под нейроны, что соответствует внутренней инициализации; конструктор LayerUL(NeuronUL _FAR *, unsigned, unsigned) создает слой из уже готового, внешнего массива нейронов. Все методы этого класса аналогичны соответствующим методам класса LayerFF и, в большинстве своем, используют одноименные методы класса NeuronUL.

В классе NetUL также особое внимание необходимо уделить конструкторам. Один из них – NetUL(unsigned n) создает сеть из n пустых слоев, которые затем необходимо заполнить с помощью метода SetLayer. Конструктор NetUL(unsigned n, unsigned n1, ...) не только создает сеть из n слоев, но и распределяет для них соответствующее число нейронов с синапсами, обеспечивающими полносвязность сети. После создания сети необходимо связать все нейроны с помощью метода FullConnect. Как и в случае сети обратного распространения, сеть можно сохранять и загружать в/из файла с помощью методов SaveToFile, LoadFromFile. Из всех остальных методов класса новыми по сути являются лишь NormalizeNetInputs и ConvexCombination. Первый из них нормализует входные вектора, а второй реализует преобразование выпуклой комбинации (6).

В конце заголовочного файла описаны глобальные функции. SetSigmoidTypeUL, SetSigmoidAlfaUL и SetDSigmaUL аналогичны одноименным функциям для сети обратного распространения. Функция SetAccreditationUL устанавливает режим, при котором эффективность обучения нейронов, попавших в окружение наиболее возбужденного на данной итерации нейрона, пропорциональна функции Гаусса от расстояния до центра области обучения. Если этот режим не включен, то все нейроны попавшие в область с текущим радиусом обучения одинаково быстро подстраивают свои синапсы, причем область является квадратом со стороной, равной радиусу обучения.


Функция SetLearnRateUL устанавливает коэффициент скорости обучения, а SetMaxDistanceUL – радиус обучения. Когда он равен 0 – обучается только один нейрон. Функции SetInhibitionUL и SetInhibitionFresholdUL устанавливают соответственно длительность торможения и величину возбуждения, его вызывающего.

Тексты функций помещены в файле neuro_mm.cpp, представленном в листинге 2. Кроме него в проект тестовой программы входят также модули neuron_ff.cpp и subfun.cpp, описанные в [1]. Главный модуль, neuman7.cpp приведен в листинге 3. Программа компилировалась с помощью компилятора Borland C++ 3.1 в модели LARGE.

Тестовая программа демонстрирует христоматийный пример обучения самонастраивающейся сети следующей конфигурации. Входной слой состоит из двух нейронов, значения аксонов которых генерируются вспомогательной функцией на основе генератора случайных чисел. Выходной слой имеет размер 10 на 10 нейронов. В процессе обучения он приобретает свойства упорядоченной структуры, в которой величины синапсов нейронов плавно меняются вдоль двух измерений, имитируя двумерную сетку координат. Благодаря новой функции DigiShow и выводу индексов X и Y выигравшего нейрона, пользователь имеет возможность убедиться, что значения на входе сети достаточно точно определяют позицию точки максимального возбуждения на ее выходе.

Необходимо отметить, что обучение без учителя гораздо более чувствительно к выбору оптимальных параметров, нежели обучение с учителем. Во-первых, его качество сильно зависит от начальных величин синапсов. Во-вторых, обучение критично к выбору радиуса обучения и скорости его изменения. И наконец, разумеется, очень важен характер изменения собственно коэффициента обучения. В связи с этим пользователю, скорее всего, потребуется провести предварительную работу по подбору оптимальных параметров обучения сети.

Несмотря на некоторые сложности реализации, алгоритмы обучения без учителя находят обширное и успешное применение. Например, в [4] описана многослойная нейронная сеть, которая по алгоритму самоорганизующейся структуры обучается распознавать рукописные символы.


Возникающее после обучения разбиение на классы может в случае необходимости уточняться с помощью обучения с учителем. По сути дела, по алгоритму обучения без учителя функционируют и наиболее сложные из известных на сегодняшний день искусственные нейронные сети – когнитрон и неокогнитрон, – максимально приблизившиеся в своем воплощении к структуре мозга. Однако они, конечно, существенно отличаются от рассмотренных выше сетей и намного более сложны. Тем не менее, на основе вышеизложенного материала можно создать реально действующие системы для распознавания образов, сжатия информации, автоматизированного управления, экспертных оценок и много другого.

Литература
  • С.Короткий, Нейронные сети: алгоритм обратного распространения.
  • Ф.Блум, А.Лейзерсон, Л.Хофстедтер, Мозг, разум и поведение, М., Мир, 1988.
  • Ф.Уоссермен, Нейрокомпьютерная техника, М., Мир, 1992.
  • Keun-Rong Hsieh and Wen-Tsuen Chen, A Neural Network Model which Combines Unsupervised and Supervised Learning, IEEE Trans. on Neural Networks, vol.4, No.2, march 1993.
    • На главную страницу | Листинг

    Биологическая изменчивость и обучение нейронных сетей.

    Структура основных типов нейронных сетей генетически предопределена. При этом исследования в области сравнительной нейроанатомии говорят о том, что по фундаментальному плану строения мозг очень мало изменился в процессе эволюции. Однако детерминированные нейронные структуры демонстрируют свойства изменчивости, обуславливающие их адаптацию к конкретным условиям функционирования. Генетическая предопределенность имеет место также и в отношении свойств отдельных нейронов, таких, например, как тип используемого нейромедиатора, форма и размер клетки. Изменчивость на клеточном уровне проявляется в пластичности синаптических контактов. Характер метаболической активности нейрона и свойства проницаемости синаптической мемраны могут меняться в ответ на длительную активизацию или торможение нейрона. Синаптический контакт "тренируется" в ответ на условия функционирования. Изменчивость на уровне сети связана со спецификой нейронов. Нервная ткань практически лишена характерной для других типов тканей способности к регенерации путем деления клеток. Однако нейроны демонстрируют способность к формированию новых отростков и новых синаптических контактов. Ряд экспериментов с преднамеренным повреждением нервных путей указывает, что развитие нейронных ответвлений сопровождается конкуренцией за обладание синаптическими участками. Это свойство в целом обеспечивает устойчивость функционирования нейронный сетей при относительной ненадежности их отдельных компонент - нейронов. Специфическая изменчивость нейронных сетей и свойств отдельных нейронов лежит в основе их способности к обучению - адаптации к условиям функционирования - при неизменности в целом их морфологической структуры. Следует заметить, однако, что рассмотрение изменчивости и обучаемости малых групп нейронов не позволяет в целом ответить на вопросы об обучаемости на уровне высших форм психической деятельности, связанных с интеллектом, абстрактным мышлением, речью.
    Прежде чем перейти к рассмотрению моделей нейронов и искусственных нейронных сетей, сформулируем общие фактологические положения о биологических нейронных сетях. Здесь мы полностью следуем изложенному в книге Ф.Блума, А.Лейзерсона и Л.Хофстедтера. Основными действующими элементами нервной системы являются отдельные клетки, называемые нейронами. Они имеют ряд общих с клетками других типов черт, при этом сильно отличаясь от них по своей конфигурации и функциональному назначению. Активность нейронов при передаче и обработке нервных импульсов регулируется свойствами мембраны, которые могут меняться под воздействием синаптических медиаторов. Биологические функции нейрона могут меняться и адаптироваться к условиям функционирования. Нейроны объединяются в нейронные сети, основные типы которых, а также схемы проводящих путей мозга являются генетически запрограммированными. В процессе развития возможно локальное видоизменение нейронных сетей с формированием новых соединений между нейронами. Отметим также, что нервная система содержит помимо нейронов клетки других типов.

    Биологический нейрон и его кибернетическая модель.

    Нейробиология. Биологический нейрон, его строение и функции. Об'единение нейронов в сети. Биологическая изменчивость и обучаемость нейронных сетей. Кибернетическая модель нейрона - формальный нейрон МакКаллока и Питса. Обучение нейрона задаче детектирования границы яркости. Эта лекция посвящена биологическим основаниям науки о вычислительных нейронных сетях. Также, как и в предыдущей лекции, изложение будет носить справочный характер, и предназначено для читателя, не имеющего специальных знаний по биологии. Более глубокие профессиональные сведения можно найти в относительно недавно переведенной книге Н.Грина, У. Стаута и Д.Тейлора, а также в монографии Г.Шеперда. Для ознакомительного чтения можно порекомендовать книгу Ф.Блума, А.Лейзерсона и Л.Хофстедтера. На протяжении книги нашей основной целью будет исследование методов и кибернетических систем, имитирующих функции мозга при решениии информационных задач. Такой путь разработки искусственных вычислительных систем во многом представляется естественным - высшие биологические организмы, и особенно человек, легко справляются с такими, крайне сложными при математическом рассмотрении проблемами, как, например, распознавание образов (зрительных, слуховых, сенсорных и других), память и устойчивое управление движением тела. Биологический фундамент при изучении этих функций является крайне важным, природное многобразие дает исключительно богатый исходный материал для направленного создания искусственных моделей. В завершении лекции будет представлена классическая кибернетическая модель нейрона - так называемый формальный нейрон Маккалока и Питтса. Некоторые свойства формального нейрона будут изучены на задаче детектирования границы перехода "черное-белое" в простом изображении.

    Биологический нейрон.

    Элементом клеточной структуры мозга является нервная клетка - нейрон. Нейрон в своем строении имеет много общих черт с другими клетками биоткани: тело нейрона окружено плазматической мембраной, внутри которой находится цитоплазма, ядро и другие составляющие клетки. Однако нервная клетка существенно отличается от иных по своему функциональному назначению. Нейрон выполняет прием, элементарное преобразование и дальнейшую передачу информации другим нейронам. Информация переносится в виде импульсов нервной активности, имеющих электрохимическую природу. Нейроны крайне разнообразны по форме, которая зависит от их местонахождения в нервной системе и особенностей фунционирования. На Рис. 3.1. приведена схема строения "типичного" нейрона. Тело клетки содержит множество ветвящихся отростков двух типов. Отростки первого типа, называемые дендритами за их сходство с кроной раскидистого дерева, служат в качестве входных каналов для нервных импульсов от других нейронов. Эти импульсы поступают в сому или тело клетки размером от 3 до 100 микрон, вызывая ее специфическое возбуждение, которое затем распространяется по выводному отростку второго типа - аксону. Длина аксонов обычно заметно превосходит размеры дентритов, в отдельных случаях достигая десятков сантиметров и даже метров. Гигантский аксон кальмара имеет толщину около миллиметра, и именно наблюдение за ним послужило выяснению механизма передачи нервных импульсов между нейронами. Тело нейрона, заполненное проводящим ионным раствором, окружено мембраной толщиной около 75 ангстрем, обладающей низкой проводимостью. Между внутреннней поверхностью мембраны аксона и внешней средой поддерживается разность электрических потенциалов. Это осуществляется при помощи молекулярного механизма ионных насосов, создающих различную концентрацию положительных ионов K+ и Na+ внутри и вне клетки. Проницаемость мембраны нейрона селективна для этих ионов. Внутри аксона клетки, находящейся в состоянии покоя, активный транспорт ионов стремится поддерживать концентрацию ионов калия более высокой, чем ионов натрия, тогда как в жидкости, окружающей аксон, выше оказывается концентрация ионов Na+.
    Пассивная диффузия более подвижных ионов калия приводит к их интенсивному выходу из клетки, что обуславливает ее общий отрицательный относительно внешней среды потенциал покоя, составляющий около -65 милливольт. Биологический нейрон.

    Рис. 3.1.Общая схема строения биологического нейрона.

    Под воздействием стимулирующих сигналов от других нейронов мембрана аксона динамически изменяет свою проводимость. Это происходит, когда суммарный внутренний потенциал превышает пороговое значение масштаба -50 мв. Мембрана на короткое время, сотавляющее около 2 миллисекунд, изменяет свою полярность (деполяризуется) и достигает потенциала действия около +40 мв. На микроуровне это объясняется кратковременным повышением проницаемости мембраны для ионов Na+ и активным поступлением их в аксон. В дальнейшем, по мере выхода ионов калия, положительный заряд с внутренней стороны мембраны меняется на отрицательный, и наступает так называемый период рефрактерности, длящийся около 200 мс. В течении этого времени нейрон является полностью пассивным, практически неизменно сохраняя потенциал внутри аксона на уровне около -70 мв. Импульс деполяризации клеточной мембраны, называемый спайком, распространяется вдоль аксона практически без затухания, поддерживаясь локальными ионными градиентами. Скорость перемещения спайка является относительно невысокой и составляет от 100 до 1000 сантиметров в секунду. Возбуждение нейрона в виде спайка передается другим нейронам, которые таким образом объеденены в проводящую нервные импульсы сеть. Участки мембраны на аксоне, где размещаются области контакта аксона данного нейрона с дендритами другими нейронов, называются синапсами. В области синапса, имеющего сложное строение, происходит обмен информацией о возбуждении между нейронами. Механизмы синаптической передачи достаточно сложны и разнообразны. Они могут иметь химическую и электрическую природу. В химическом синапсе в передаче импульсов участвуют специфические химические вещества - нейромедиаторы, вызывающие изменения проницаемости локального участка мембраны.В зависимости от типа вырабатываемого медиатора синапс может обладать возбуждающим (эффективно проводящим возбуждение) или тормозящим действием. Обычно на всех отростках одного нейрона вырабатывается один и тот же медиатор, и поэтому нейрон в целом функционально является тормозящим или возбуждающим. Это важное наблюдение о наличии нейронов различных типов в последующих главах будет существенно использоваться при проектировании искуственных систем.

    Что такое нейроподобная сеть

    На компьютерном рынке России, перенасыщенном вычислительными средствами традиционной однопроцессорной архитектуры фон Неймана, появился новый вид программно-аппаратных изделий, которые реализуют параллельную распределенную обработку информации, аналогичную мыслительной деятельности высокоорганизованных живых существ. Речь идет о нейроподобных сетях (НПС) и различных видах их реализации: нейропакетах, нейроплатах и нейрокомпьютерах (НК).
    Современные цифровые вычислительные машины способны с высоким быстродействием и точностью решать формализованные задачи с вполне определенными данными по заранее известным алгоритмам. Однако в тех случаях, когда задача не поддается формализации, а входные данные неполны, зашумлены или противоречивы, применение традиционных компьютеров становится неэффективным. Альтернативой им становятся специализированные компьютеры, реализующие нетрадиционные нейросетевые технологии. Сильной стороной этих комплексов является нестандартный характер обработки информации. Она кодируется и запоминается не в отдельных ячейках памяти, а в распределении связей между нейронами и в их силе, поэтому состояние каждого отдельного нейрона определяется состоянием многих других нейронов, связанных с ним. Следовательно, потеря одной или нескольких связей не оказывает существенного влияния на результат работы системы в целом, что обеспечивает ее высокую надежность.
    Высокая «естественная» помехоустойчивость и функциональная надежность касаются как искаженных (зашумленных) потоков информации, так и в смысле отказов отдельных процессорных элементов. Этим обеспечиваются высокая оперативность и достоверность обработки информации, а простая дообучаемость и переобучаемость НПС позволяют при изменении внешних факторов своевременно осуществлять переход на новые виды решаемых задач.
    Приведенные выше преимущества нейросетевой обработки данных определяют области применения НПС:
  • обработка и анализ изображений;
  • распознавание речи независимо от диктора, перевод;
  • обработка высокоскоростных цифровых потоков;


  • автоматизированная система быстрого поиска информации;
  • классификация информации в реальном масштабе времени;
  • планирование применения сил и средств в больших масштабах;
  • решение трудоемких задач оптимизации;
  • адаптивное управление и предсказание.
    • Во многих зарубежных странах, где нейрокомпьютеры и нейроплаты не являются невиданной экзотикой, их уже сегодня активно применяют военные и медики, финансовые брокеры и налоговые инспекторы, специалисты по обработке изображений и представители многих других профессий. Таможенники используют нейроплаты для обнаружения пластиковых бомб и наркотиков, финансисты — для предсказания курсов валют, летчики — для распознавания наземных целей, банкиры — для оценки кредитных рисков...
    Основные положения теории деятельности головного мозга и математическая модель нейрона были разработаны У. Маккалоком и Ч. Питтсом в 1943 году и опубликованы в статье «Логическое исчисление идей, относящихся к нервной деятельности», которая была издана на русском языке в сборнике «Автоматы» только спустя 13 лет. Согласно предложенной модели мозг представляет собой ансамбль нейронов, имеющих одинаковую структуру. Каждый нейрон реализует некоторую функцию, называемую пороговой, над входными значениями. Если значение функции превышает определенную величину - порог (что характеризует суммарную значимость полученной нейроном информации), нейрон возбуждается и формирует выходной сигнал для передачи его другим нейронам. Пройдя путь от рецепторов (слуховых, зрительных и других) через нейронные структуры мозга до исполнительных органов, входная информация преобразуется в набор управляющих воздействий, адекватных ситуации.
    Отдельные нейроны, соединяясь между собой, образуют новое качество, которое, в зависимости от характера межнейронных соединений, имеет различные уровни биологического моделирования:
  • группа нейронов;
  • нейронная сеть;
  • нервная система;
  • мыслительная деятельность;
  • мозг.
    • Теперь мы подошли к тому моменту, когда необходимо дать ряд определений, характеризующих рассматриваемую предметную область.


    Нейроподобная сеть — это параллельная связная сеть простых адаптивных элементов, которая взаимодействует с объектами реального мира аналогично биологической нервной системе. С инженерной точки зрения такая сеть представляет собой сильно распараллеленную динамическую систему с топологией направленного графа, которая может выполнять переработку информации посредством изменения своего состояния в ответ на постоянный или импульсный входной сигнал.
    В настоящее время основными направлениями реализации НПС являются:
  • программная реализация на цифровых ЭВМ традиционной архитектуры;
  • программно-аппаратная реализация в виде сопроцессоров к ЭВМ общего назначения;
  • аппаратная реализация путем создания нейрокомпьютеров на базе нейроплат в виде параллельных нейроподобных структур.
    • Ранние варианты реализации НПС относятся к первым двум из указанных направлений. Первое направление характеризуется универсальностью, дешевизной и низкой скоростью обучения и функционирования НПС. Для второго направления характерна высокая скорость моделирования функционирования НПС, но при этом существуют серьезные физические ограничения числа моделируемых элементов и связей между ними, а также возможностей обучения и до обучения. По мере развития элементной базы ЭВМ стало возможным самостоятельное развитие третьего направления, которое положило начало индустрии нейрокомпьютеров, представляющих совокупность аппаратных и программных средств для реализации моделей нейронных сетей.
    На сегодняшний день известно уже более 200 различных парадигм нейронных сетей (не только детерминированных, но и вероятностных), десятки НПС реализованы в специализированных кристаллах и платах, на их основе созданы мощные рабочие станции и даже суперкомпьютеры.

    Два основных направления в исследованиях по искусственному интеллекту

    Искусственный интеллект как научное направление, связанное с попытками формализовать мышление человека, имеет длительную предысторию. Первые шаги кибернетики были направлены на изучение и осмысление в новых понятиях процессов, протекающих в сложных, прежде всего живых, системах, включая и мыслящие. Позднее это направление работ оформилось в самостоятельную область, разрабатывающую проблему искусственного интеллекта.
    В ходе последующего развития исследований по искусственному интеллекту произошло их разделение на относительно самостоятельных направления. Это разделение сохраняется и до сегодняшнего дня.
    Разделение работ по искусственному интеллекту на два направления связано с существованием двух точек зрения на вопрос, каким образом строить системы искусственного интеллекта. Сторонники одной точки зрения убеждены, что «важнее всего результат», т.е. хорошее совпадение поведения искусственно созданных и естественных интеллектуальных систем, а что касается внутренних механизмов формирования поведения, то разработчик искусственного интеллекта вовсе не должен копировать или даже учитывать особенности естественных, живых аналогов.
    Другая точка зрения состоит в том, что именно изучение механизмов естественного мышления и анализ данных о способах формирования разумного поведения человека могут создать основу для построения систем искусственного интеллекта, причем построение это должно осуществляться прежде всего как моделирование, воспроизведение техническими средствами принципов и конкретных особенностей функционирования биологических объектов.
    Первое направление, таким образом, рассматривает продукт интеллектуальной деятельности человека, изучает его структуру, и стремиться воспроизвести этот продукт средствами современной техники. Ясно, что успехи этого направления искусственного интеллекта оказываются тесно связанны с развитием возможностей ЭВМ и искусства программирования, т.е. с тем комплексом научно-технических исследований, которые часто называют компьютерными науками.
    В связи со сказанным это направление искусственного интеллекта можно охарактеризовать термином «машинный интеллект».
    Второе направление искусственного интеллекта рассматривает данные о нейрофизиологических и психологических механизмах интеллектуальной деятельности и, в более широком плане, разумного поведения человека. Оно стремиться воспроизвести эти механизмы с помощью тех или иных технических устройств, с тем чтобы «поведение» таких устройств хорошо совпадало с поведением человека в определенных, заранее задаваемых пределах. Развитие этого направления тесно связано с успехами наук о человеке. Для него характерно стремление к воспроизведению более широкого, чем в машинном интеллекте, спектра проявлений разумной деятельности человека. Сказанное позволяет охарактеризовать данное направление искусственного интеллекта термином «искусственный разум».
    Оба основных направления искусственного интеллекта связаны с моделированием, но в случае машинного интеллекта мы имеем дело с моделированием феноменологическим, имитационным, а в случае искусственного разума – с моделированием структурным.

    ФИЗИОЛОГИЯ ЦЕНТРАЛЬНОЙ НЕРВНОЙ СИСТЕМЫ

    Центральную нервную систему составляют спинной и головной мозг. Основными функциями центральной нервной системы являются: 1) регуляция деятельности всех тканей и органов и объединение их в единое целое; 2) обеспечение приспособления организма к условиям внешней среды (организация адекватного поведения соответственно потребностям организма).
    Управление различными функциями осуществляется и гуморальным путем (через кровь, лимфу, тканевую жидкость), однако нервная система играет главенствующую роль. У высших животных и человека ведущим отделом центральной нервной системы является кора больших полушарий, которая управляет также наиболее сложными функциями в жизнедеятельности человека — психическими процессами (сознание, мышление, память и др.).

    Формальный нейрон.

    Исторически первой работой, заложившей теоретический фундамент для создания искусственных моделей нейронов и нейронных сетей, принято считать опубликованную в 1943 г. статью Уоррена С.Мак-каллока и Вальтера Питтса "Логическое исчислени идей, относящихся к нервной активности". Главный принцип теории Маккалока и Питтса заключается в том, что произвольные явления, относящиеся к высшей нервной деятельности, могут быть проанализированы и поняты, как некоторая активность в сети, состоящей из логических элементов, принимающих только два состояния ("все или ничего"). При этом для всякого логического выражения, удовлетворяющего указанным авторами условиям, может быть найдена сеть логических элементов, имеющая описываемое этим выражением поведение. Дискуссионные вопросы, касающиеся возможности моделирования психики, сознания и т.п. находятся за рамками этой книги. Формальный нейрон.
    Рис.4.1. Функциональная схема формального нейрона Маккалока и Пиитса.
    В качестве модели такого логического элемента, получившего в дальнейшем название "формальный нейрон", была предложена схема, приведенная на Рис. 4.1. С современной точки зрения, формальный нейрон представляет собой математическую модель простого процессора, имеющего несколько входов и один выход. Вектор входных сигналов (поступающих через "дендриды") преобразуется нейроном в выходной сигнал (распространяющийся по "аксону") с использованием трех функциональных блоков: локальной памяти, блока суммирования и блока нелинейного преобразования. Вектор локальной памяти содержит информацию о весовых множителях, с которыми входные сигналы будут интерпретироваться нейроном. Эти переменные веса являются аналогом чувствительности пластических синаптических контактов. Выбором весов достигается та или иная интегральная функция нейрона. В блоке суммирования происходит накопление общего входного сигнала (обычно обозначаемого символом net), равного взвешенной сумме входов: Формальный нейрон.
    В модели Маккалока и Питтса отсутствуют временные задержки входных сигналов, поэтому значение net определяет полное внешненее возбуждение, воспринятое нейроном.
    Отклик нейрон далее описывается по принципу "все или ничего", т. е. переменная подвергается нелинейному пороговому преобразованию, при котором выход (состояние активации нейрона) Y устанавливается равным единице, если net > Q, и Y=0 в обратном случае. Значение порога Q (часто полагаемое равным нулю) также хранится в локальной памяти. Фомальные нейроны могут быть объединены в сети путем замыкания выходов одних нейронов на входы других, и по мысли авторов модели, такая кибернетическая система с надлежаще выбранными весами может представлять произвольную логическую функцию. Для теоретического описания получаемых нейронных сетей предлагался математический язык исчисления логических предикатов. Нужно отметить, что сегодня, спустя 50 лет после работы Маккалока и Питтса, исчерпывающей теории синтеза логических нейронных сетей с произвольной функцией, по-видимому, нет. Наиболее продвинутыми оказались исследования в области многослойных систем и сетей с симметричными связями. Большинство моделей опираются в своей основе на различных модификациях формального нейрона. Важным развитием теории формального нейрона является переход к аналоговым (непрерывным) сигналам, а также к различным типам нелинейных переходных функций. Опишем наиболее широко используемые типы переходных функций Y=f(net).
  • Пороговая функция (рассмотренная Маккалоком и Питтсом): Формальный нейрон.

  • Линейная функция, а также ее вариант - линейная функция с погашением отрицательных сигналов: Формальный нейрон.

  • Сигмоидальная функция: Формальный нейрон.

    • Как указывалось еще С.Гроссбергом, сигмоидальная функция обладает избирательной чувствительностью к сигналам разной интенсивности, что соответсвует биологическим данным. Наибольшая чувствительность наблюдается вблизи порога, где малые изменения сигнала net приводят к ощутимым изменениям выхода. Напротив, к вариациям сигнала в областях значительно выше или ниже порогового уровня сигмоидальная функция не чувствительна, так как ее производная при больших и малых аргументах стремится к нулю. В последнее время также рассматриваются математические модели формальных нейронов, учитывающие нелинейные корреляции между входами.Для нейронов Маккалока и Питтса предложены электротехнические аналоги, позволяющие проводить прямое аппаратное моделирование.

    Каким образом нейроподобная сеть способна решить нетривиальную задачу

    Как известно, для решения неформализованных задач традиционно применяются два основных подхода. Первый, основанный на правилах, характерен для хорошо известных и уже зарекомендовавших себя экспертных систем. Второй, основанный на примерах, представляет собой классический случай применения нейросетевой технологии: от пользователя не требуется знания каких бы то ни было правил, как в экспертных системах; надо лишь иметь достаточное количество примеров для настройки адаптивной системы с заданной степенью достоверности:
    Процесс обучения НПС новому классу задач включает следующие стадии:

  • Формулируется постановка задачи и выделяется набор ключевых параметров, характеризующих предметную область.
  • Выбирается парадигма нейронной сети (модель, включающая в себя вид входных данных, пороговой функции, структуры сети и алгоритмов обучения), наиболее подходящая для решения данного класса задач. Как правило, современные нейропакеты, нейроплаты и нейрокомпьютеры позволяют реализовать не одну, а несколько базовых парадигм.
  • Подготавливается возможно более широкий набор обучающих примеров, организованных в виде наборов входных данных, ассоциированных с известными выходными значениями. Входные значения для обучения могут быть неполны и частично противоречивы.
  • Входные данные по очереди предъявляются НПС, а полученное выходное значение сравнивается с эталоном. Затем производится подстройка весовых коэффициентов межнейронных соединений для минимизации ошибки между реальным и желаемым выходом сети.
  • Обучение повторяется до тех пор, пока суммарная ошибка во всем множестве входных значений не достигнет приемлемого уровня либо НПС не придет в стационарное состояние. Рассмотренный метод обучения нейроподобной сети носит название «обратное распространение ошибки» (error backpropagation) и относится к числу классических алгоритмов нейроматематики.
  • Настроенная и обученная НПС может использоваться на реальных входных данных, не только подсказывая пользователю корректное решение, но и оценивая степень его достоверности. Рассмотрим более подробно современные возможности реализации НПС в программно-аппаратных изделиях и используемую элементную базу.


    • Лекции по теории и приложениям искусственных нейронных сетей

    Сергей А. Терехов
    Лаборатотория Искусственных Нейронных Сетей НТО-2, ВНИИТФ, Снежинск

    Метод нейробиологии.

    К предмету нейробилологии относится изучение нервной системы и ее главного органа - мозга. Принципиальным вопросом для этой науки является выяснение соотношения между строением нервной системы и ее функцией. При этом рассмотрение проводится на на нескольких уровнях: молекулярном, клеточном, на уровне отдельного органа, организма в целом, и далее на уровне социальной группы. Таким образом, классический нейробилогический подход состоит в последовательном продвижении от элементарных форм в направлении их усложнения. Для наших практических целей отправной точкой будет клеточный уровень. По современным представлениям, именно на нем совокупность элементарных молекулярных химико-биологических процессов, протекающих в отдельной клетке, формирует ее как элементарных процессор, способный к простейшей переработке информации.

    Методы исследования нейроподобных сетей.

    Для исследования построенной модели сети (с заданными характеристиками элементов, архитектурой и обучающими правилами) применяют три основных метода: аналитическое исследование, а также математическое (имитационное) и физическое моделирование. Сложность аналитического исследования рассматриваемых нами моделей с коллективным поведением обусловлена наличием большого числа взаимодействующих нелинейных нейроподобных элементов. Несмотря на это интересные аналитические результаты получены для многих из рассматриваемых далее моделей нейронных сетей, что в значительной степени способствовало их популярности.
    Физическое моделирование позволяет быстро получать достоверные результаты работы модели, однако связано с технической сложностью аппаратной реализации большого количества нейроподобных элементов со многими адаптивными связями.
    Математическое моделирование на универсальных ЭВМ дает возможность создать практически любые модели нейронных сетей, однако из-за последовательного характера их работы в обозримое время удается исследовать модели ограниченного размера. В настоящее время существуют и продолжают создаваться специальные вычислительные средства для эффективного моделирования больших нейроподобных сетей, а также реализованные в виде микросхем очень быстродействующие аппаратные модели небольших нейросетей.

    Нейрокомпьютинг и его применения в экономике


    Нейрокомпьютинг и его применения в экономике Лекция 1
    Нейрокомпьютинг и его применения в экономике Лекция 2
    Нейрокомпьютинг и его применения в экономике Лекция 3
    Нейрокомпьютинг и его применения в экономике Лекция 4
    Нейрокомпьютинг и его применения в экономике Лекция 5
    Нейрокомпьютинг и его применения в экономике Лекция 6
    Нейрокомпьютинг и его применения в экономике Лекция 7
    Нейрокомпьютинг и его применения в экономике Лекция 8
    Нейрокомпьютинг и его применения в экономике Лекция 9
    Нейрокомпьютинг и его применения в экономике Лекция 10
    Нейрокомпьютинг и его применения в экономике Лекция 11
    Нейрокомпьютинг и его применения в экономике Лекция 12
    Нейрокомпьютинг и его применения в экономике Лекция 13

    Нейрон

    Нервные клетки, или нейроны, представляют собой особый вид клеток в живых организмах, обладающих электрической активностью, основное назначение которых заключается в оперативном управлении организмом. Схематическое изображение нейрона приведено на рисунке.
    НейронНейрон имеет тело (сому) 1, дерево входов (дендриты) 4 и выходов (аксон и его окончания) 2. Сома, как правило, имеет поперечный размер в несколько десятков микрон. Длина дендритов может достигать 1 мм, дендриты сильно ветвятся, пронизывая сравнительно большое пространство в окрестности нейрона. Длина аксона может достигать сотен миллиметров. Начальный сегмент аксона 3, прилегающий к телу клетки, утолщен. Иногда этот сегмент называют аксонным холмиком. По мере удаления от клетки он постепенно сужается и на расстоянии нескольких десятков микрон на нем появляется миэлиновая оболочка, имеющая высокое электрическое сопротивление. На соме и на дендритах располагаются окончания (коллатерали) аксонов, идущих от других нервных клеток. Каждое такое окончание J имеет вид утолщения, называемого синаптической бляшкой, или синапсом. Поперечные размеры синапса, как правило, не превышают нескольких микрон, чаще всего эти размеры составляют около 1 мкм.
    Входные сигналы дендритного дерева (постсинаптические потенциалы) взвешиваются и суммируются на пути к аксонному холмику, где генерируется выходной импульс (спайк) или пачка импульсов. Его наличие (или интенсивность), следовательно, является функцией взвешенной суммы входных сигналов. Выходной сигнал проходит по ветвям аксона и достигает синапсов, которые соединяют аксоны с дендритными деревьями других нейронов. Через синапсы сигнал трансформируется в новый входной сигнал для смежных нейронов. Этот входной сигнал может быть положительным и отрицательным (возбуждающим или тормозящим) в зависимости от вида синапсов. Величина входного сигнала, генерируемого синапсом, может быть различной даже при одинаковой величине сигнала, приходящего в синапс. Эти различия определяются эффективностью или весом синапса.
    Синаптический вес может изменяться в процессе функционирования синапса. Многие ученые считают такое изменение нейрофизиологическим коррелятом (следом) памяти. При этом роль механизмов молекулярной памяти заключается в долговременном закреплении этих следов.
    Нейроны можно разбить на три большие группы: рецепторные, промежуточные и эффекторные. Рецепторные нейроны обеспечивают ввод в мозг сенсорной информации. Они трансформируют сигналы, поступающие на органы чувств (оптические сигналы в сетчатке глаза, акустические в ушной улитке или обонятельные в хеморецепторах носа), в электрическую импульсацию своих аксонов. Эффекторные нейроны передают приходящие на них сигналы исполнительным органам. На конце их аксонов имеются специальные синаптические соединения с исполнительными органами, например мышцами, где возбуждение нейронов трансформируется в сокращения мышц. Промежуточные нейроны осуществляют обработку информации, получаемой от рецепторов, и формируют управляющие сигналы для эффекторов. Они образуют центральную нервную систему.
    О строении мозга.
    Головной мозг человека и высших животных состоит из серого и белого вещества. Серое вещество Нейронпредставляет собой сеть дендритов, аксонов и тел нервных клеток. Миэлинизированные волокна, соединяющие различные области мозга друг с другом, с органами чувств и мускулами, образуют белое вещество.
    В мозге существуют структурно обособленные отделы, такие, как кора, гиппокамп, таламус, мозжечок, миндалина, полосатое тело и т. д. Каждый из отделов, в свою очередь, имеет сложное модульное строение. Особое место в мозге зажимает церебральная кора. Она образует поверхность мозга, она также является его новейшей частью. Считается, что именно здесь происходят важнейшие процессы ассоциативной переработки информации.

    О моделировании нейронных сетей
    Уровни моделирования и терминология.
    Моделирование функций нервной системы производится на разных уровнях организации и абстракции. Можно выделить следующие категории моделей: отдельных нейронов, небольших групп нейронов, нейронных сетей, нервной системы, мыслительной деятельности и мозга в целом.Далее будем рассматривать модели уровня нейронных сетей, состоящие из большого количества взаимосвязанных моделей нейронов. При этом акцент делается не на тщательной имитации свойств нейрона с целью исследования его динамических и адаптивных характеристик (как это имеет место на уровне моделирования отдельных нейронов), а на коллективных эффектах, возникающих при объединении большого числа нейроподобных элементов. Основная роль здесь отводится структуре межнейронных связей, что позволяет использовать простые модели нейронов и моделировать достаточно большие сети.
    В дальнейшем при рассмотрении различных моделей нейронных сетей мы будем, придерживаясь терминологии различных авторов, называть их также «искусственные нейронные сети», «нейроподобные сети» или просто «нейронные сети». Модель нейрона принято называть также «нейроподобный элемент», «искусственный нейрон», «блок», «узел» или просто «нейрон».

    Нейронные сети Хопфилда и Хэмминга

    На главную страницу | Листинг
    С.Короткий
    Нейронные сети Хопфилда и Хэмминга
     Среди различных конфигураций искуственных нейронных сетей (НС) встречаются такие, при классификации которых по принципу обучения, строго говоря, не подходят ни обучение с учителем [1], ни обучение без учителя [2]. В таких сетях весовые коэффициенты синапсов рассчитываются только однажды перед началом функционирования сети на основе информации об обрабатываемых данных, и все обучение сети сводится именно к этому расчету. С одной стороны, предъявление априорной информации можно расценивать, как помощь учителя, но с другой – сеть фактически просто запоминает образцы до того, как на ее вход поступают реальные данные, и не может изменять свое поведение, поэтому говорить о звене обратной связи с "миром" (учителем) не приходится. Из сетей с подобной логикой работы наиболее известны сеть Хопфилда и сеть Хэмминга, которые обычно используются для организации ассоциативной памяти. Далее речь пойдет именно о них.
    Структурная схема сети Хопфилда приведена на рис.1. Она состоит из единственного слоя нейронов, число которых является одновременно числом входов и выходов сети. Каждый нейрон связан синапсами со всеми остальными нейронами, а также имеет один входной синапс, через который осуществляется ввод сигнала. Выходные сигналы, как обычно, образуются на аксонах.
    Нейронные сети Хопфилда и Хэмминга
    Рис.1 Структурная схема сети Хопфилда
     Задача, решаемая данной сетью в качестве ассоциативной памяти, как правило, формулируется следующим образом. Известен некоторый набор двоичных сигналов (изображений, звуковых оцифровок, прочих данных, описывающих некие объекты или характеристики процессов), которые считаются образцовыми. Сеть должна уметь из произвольного неидеального сигнала, поданного на ее вход, выделить ("вспомнить" по частичной информации) соответствующий образец (если такой есть) или "дать заключение" о том, что входные данные не соответствуют ни одному из образцов. В общем случае, любой сигнал может быть описан вектором X = { xi: i=0...n-1}, n – число нейронов в сети и размерность входных и выходных векторов.
    Каждый элемент xi равен либо +1, либо -1. Обозначим вектор, описывающий k-ый образец, через Xk, а его компоненты, соответственно, – xik, k=0...m-1, m – число образцов. Когда сеть распознá ет (или "вспомнит") какой-либо образец на основе предъявленных ей данных, ее выходы будут содержать именно его, то есть Y = Xk, где Y – вектор выходных значений сети: Y = { yi: i=0,...n-1}. В противном случае, выходной вектор не совпадет ни с одним образцовым.

    Если, например, сигналы представляют собой некие изображения, то, отобразив в графическом виде данные с выхода сети, можно будет увидеть картинку, полностью совпадающую с одной из образцовых (в случае успеха) или же "вольную импровизацию" сети (в случае неудачи).

    На стадии инициализации сети весовые коэффициенты синапсов устанавливаются следующим образом [3][4]:

    Нейронные сети Хопфилда и Хэмминга (1)

    Здесь i и j – индексы, соответственно, предсинаптического и постсинаптического нейронов; xik, xjk – i-ый и j-ый элементы вектора k-ого образца.

    Алгоритм функционирования сети следующий (p – номер итерации):

    1. На входы сети подается неизвестный сигнал. Фактически его ввод осуществляется непосредственной установкой значений аксонов:

    yi(0) = xi , i = 0...n-1, (2)

    поэтому обозначение на схеме сети входных синапсов в явном виде носит чисто условный характер. Ноль в скобке справа от yi означает нулевую итерацию в цикле работы сети.

    2. Рассчитывается новое состояние нейронов

    Нейронные сети Хопфилда и Хэмминга, j=0...n-1 (3)

    и новые значения аксонов

    Нейронные сети Хопфилда и Хэмминга (4)

    Нейронные сети Хопфилда и Хэмминга где f – активационная функция в виде скачка, приведенная на рис.2а.

    3. Проверка, изменились ли выходные значения аксонов за последнюю итерацию. Если да – переход к пункту 2, иначе (если выходы застабилизировались) – конец. При этом выходной вектор представляет собой образец, наилучшим образом сочетающийся с входными данными.

    Как говорилось выше, иногда сеть не может провести распознавание и выдает на выходе несуществующий образ. Это связано с проблемой ограниченности возможностей сети. Для сети Хопфилда число запоминаемых образов m не должно превышать величины, примерно равной 0.15• n.


    Кроме того, если два образа А и Б сильно похожи, они, возможно, будут вызывать у сети перекрестные ассоциации, то есть предъявление на входы сети вектора А приведет к появлению на ее выходах вектора Б и наоборот.

    Нейронные сети Хопфилда и Хэмминга

    Рис.3 Структурная схема сети Хэмминга

     Когда нет необходимости, чтобы сеть в явном виде выдавала образец, то есть достаточно, скажем, получать номер образца, ассоциативную память успешно реализует сеть Хэмминга. Данная сеть характеризуется, по сравнению с сетью Хопфилда, меньшими затратами на память и объемом вычислений, что становится очевидным из ее структуры (рис. 3).

    Сеть состоит из двух слоев. Первый и второй слои имеют по m нейронов, где m – число образцов. Нейроны первого слоя имеют по n синапсов, соединенных со входами сети (образующими фиктивный нулевой слой). Нейроны второго слоя связаны между собой ингибиторными (отрицательными обратными) синаптическими связями. Единственный синапс с положительной обратной связью для каждого нейрона соединен с его же аксоном.

    Идея работы сети состоит в нахождении расстояния Хэмминга от тестируемого образа до всех образцов. Расстоянием Хэмминга называется число отличающихся битов в двух бинарных векторах. Сеть должна выбрать образец с минимальным расстоянием Хэмминга до неизвестного входного сигнала, в результате чего будет активизирован только один выход сети, соответствующий этому образцу.

    На стадии инициализации весовым коэффициентам первого слоя и порогу активационной функции присваиваются следующие значения:

    Нейронные сети Хопфилда и Хэмминга, i=0...n-1, k=0...m-1 (5)

    Tk = n / 2, k = 0...m-1 (6)

    Здесь xik – i-ый элемент k-ого образца.

    Весовые коэффициенты тормозящих синапсов во втором слое берут равными некоторой величине 0 < e < 1/m. Синапс нейрона, связанный с его же аксоном имеет вес +1.

    Алгоритм функционирования сети Хэмминга следующий:

    1. На входы сети подается неизвестный вектор X = {xi:i=0...n-1}, исходя из которого рассчитываются состояния нейронов первого слоя (верхний индекс в скобках указывает номер слоя):

    Нейронные сети Хопфилда и Хэмминга, j=0...m-1 (7)


    После этого полученными значениями инициализируются значения аксонов второго слоя:

    yj(2) = yj(1), j = 0...m-1 (8)

    2. Вычислить новые состояния нейронов второго слоя:

    Нейронные сети Хопфилда и Хэмминга (9)

    и значения их аксонов:

    Нейронные сети Хопфилда и Хэмминга (10)

    Активационная функция f имеет вид порога (рис. 2б), причем величина F должна быть достаточно большой, чтобы любые возможные значения аргумента не приводили к насыщению.

    3. Проверить, изменились ли выходы нейронов второго слоя за последнюю итерацию. Если да – перейди к шагу 2. Иначе – конец.

    Из оценки алгоритма видно, что роль первого слоя весьма условна: воспользовавшись один раз на шаге 1 значениями его весовых коэффициентов, сеть больше не обращается к нему, поэтому первый слой может быть вообще исключен из сети (заменен на матрицу весовых коэффициентов), что и было сделано в ее конкретной реализации, описанной ниже.

    Программная модель сети Хэмминга строится на основе набора специальных классов NeuronHN, LayerHN и NetHN – производных от классов, рассмотренных в предыдущих статьях цикла [1][2]. Описания классов приведены в листинге 1. Релизации всех функций находятся в файле NEURO_HN (листинг 2). Классы NeuronHN и LayerHN наследуют большинство методов от базовых классов.

    В классе NetHN определены следующие элементы:

    Nin и Nout – соответственно размерность входного вектора с данными и число образцов;

    dx и dy – размеры входного образа по двум координатам (для случая трехмерных образов необходимо добавить переменную dz), dx*dy должно быть равно Nin, эти переменные используются функцией загрузки данных из файла LoadNextPattern;

    DX и DY – размеры выходного слоя (влияют только на отображение выходого слоя с помощью функции Show); обе пары размеров устанавливаются функцией SetDxDy;

    Class – массив с данными об образцах, заполняется функцией SetClasses, эта функция выполняет общую инициализацию сети, сводящуюся к запоминанию образцовых данных.

    Метод Initialize проводит дополнительную инициализацию на уровне тестируемых данных (шаг 1 алгоритма). Метод Cycle реализует шаг 2, а метод IsConverged проверят, застабилизировались ли состояния нейронов (шаг 3).


    Из глобальных функций – SetSigmoidAlfaHN позволяет установить параметр F активационной функции, а SetLimitHN задает коэффициент, лежащий в пределах от нуля до единицы и определяющий долю величины 1/m, образующую e .

    На листинге 3 приведена тестовая программа для проверки сети. Здесь конструируется сеть со вторым слоем из пяти нейронов, выполняющая распознавание пяти входных образов, которые представляют собой схематичные изображения букв размером 5 на 6 точек (см.рис.4а). Обучение сети фактически сводится к загрузке и запоминанию идеальных изображений, записанных в файле "charh.img", приведенном на листинге 4. Затем на ее вход поочередно подаются зашумленные на 8/30 образы (см.рис.4б) из файла "charhh.img" с листинга 5, которые она успешно различает.

    Нейронные сети Хопфилда и Хэмминга

    Рис. 4 Образцовые и тестовые образы

     Нейронные сети Хопфилда и Хэмминга

    Рис.5 Структурная схема ДАП

     В проект кроме файлов NEURO_HN и NEUROHAM входят также SUBFUN и NEURO_FF, описанные в [1]. Программа тестировалась в среде Borland C++ 3.1.

    Предложенные классы позволяют моделировать и более крупные сети Хэмминга. Увеличение числа и сложности распознаваемых образов ограничивается фактически только объемом ОЗУ. Следует отметить, что обучение сети Хэмминга представляет самый простой алгоритм из всех рассмотренных до настоящего времени алгоритмов в этом цикле статей.

    Обсуждение сетей, реализующих ассоциативную память, было бы неполным без хотя бы краткого упоминания о двунаправленной ассоциативной памяти (ДАП). Она является логичным развитием парадигмы сети Хопфилда, к которой для этого достаточно добавить второй слой. Структура ДАП представлена на рис.5. Сеть способна запоминать пары ассоциированных друг с другом образов. Пусть пары образов записываются в виде векторов Xk = {xik:i=0...n-1} и Yk = {yjk: j=0...m-1}, k=0...r-1, где r – число пар. Подача на вход первого слоя некоторого вектора P = {pi:i=0...n-1} вызывает образование на входе второго слоя некоего другого вектора Q = {qj:j=0...m-1}, который затем снова поступает на вход первого слоя.


    При каждом таком цикле вектора на выходах обоих слоев приближаются к паре образцовых векторов, первый из которых – X – наиболее походит на P, который был подан на вход сети в самом начале, а второй – Y – ассоциирован с ним. Ассоциации между векторами кодируются в весовой матрице W(1) первого слоя. Весовая матрица второго слоя W(2) равна транспонированной первой (W(1))T. Процесс обучения, также как и в случае сети Хопфилда, заключается в предварительном расчете элементов матрицы W (и соответственно WT) по формуле:

    Нейронные сети Хопфилда и Хэмминга (11)

    Эта формула является развернутой записью матричного уравнения

    Нейронные сети Хопфилда и Хэмминга (12)

    для частного случая, когда образы записаны в виде векторов, при этом произведение двух матриц размером соответственно [n*1] и [1*m] приводит к (11).

    В заключении можно сделать следующее обобщение. Сети Хопфилда, Хэмминга и ДАП позволяют просто и эффективно разрешить задачу воссоздания образов по неполной и искаженной информации. Невысокая емкость сетей (число запоминаемых образов) объясняется тем, что, сети не просто запоминают образы, а позволяют проводить их обощение, например, с помощью сети Хэмминга возможна классификация по критерию максимального правдоподобия [3]. Вместе с тем, легкость построения программных и аппаратных моделей делают эти сети привлекательными для многих применений.

    Литература
  • С. Короткий, Нейронные сети: алгоритм обратного распространения.
  • С. Короткий, Нейронные сети: обучение без учителя.
  • Artificial Neural Networks: Concepts and Theory, IEEE Computer Society Press, 1992.
  • Ф.Уоссермен, Нейрокомпьютерная техника, М.,Мир, 1992.
    • На главную страницу | Листинг

    Нейронные сети: обучение без учителя

    С.Короткий
    Нейронные сети: обучение без учителя
     В статье рассмотрены алгоритмы обучения искусственных нейронных сетей без учителя. Приведена библиотека классов на C++ и тестовый пример.
    Рассмотренный в [1] алгоритм обучения нейронной сети с помощью процедуры обратного распространения подразумевает наличие некоего внешнего звена, предоставляющего сети кроме входных так же и целевые выходные образы. Алгоритмы, пользующиеся подобной концепцией, называются алгоритмами обучения с учителем. Для их успешного функционирования необходимо наличие экспертов, создающих на предварительном этапе для каждого входного образа эталонный выходной. Так как создание искусственного интеллекта движется по пути копирования природных прообразов, ученые не прекращают спор на тему, можно ли считать алгоритмы обучения с учителем натуральными или же они полностью искусственны. Например, обучение человеческого мозга, на первый взгляд, происходит без учителя: на зрительные, слуховые, тактильные и прочие рецепторы поступает информация извне, и внутри нервной системы происходит некая самоорганизация. Однако, нельзя отрицать и того, что в жизни человека не мало учителей – и в буквальном, и в переносном смысле, – которые координируют внешние воздействия. Вместе в тем, чем бы ни закончился спор приверженцев этих двух концепций обучения, они обе имеют право на существование.
    Главная черта, делающая обучение без учителя привлекательным, – это его "самостоятельность". Процесс обучения, как и в случае обучения с учителем, заключается в подстраивании весов синапсов. Некоторые алгоритмы, правда, изменяют и структуру сети, то есть количество нейронов и их взаимосвязи, но такие преобразования правильнее назвать более широким термином – самоорганизацией, и в рамках данной статьи они рассматриваться не будут. Очевидно, что подстройка синапсов может проводиться только на основании информации, доступной в нейроне, то есть его состояния и уже имеющихся весовых коэффициентов. Исходя из этого соображения и, что более важно, по аналогии с известными принципами самоорганизации нервных клеток[2], построены алгоритмы обучения Хебба.

    Сигнальный метод обучения Хебба заключается в изменении весов по следующему правилу:

    Нейронные сети: обучение без учителя (1)

    где yi(n-1) – выходное значение нейрона i слоя (n-1), yj(n) – выходное значение нейрона j слоя n; wij(t) и wij(t-1) – весовой коэффициент синапса, соединяющего эти нейроны, на итерациях t и t-1 соответственно; a – коэффициент скорости обучения. Здесь и далее, для общности, под n подразумевается произвольный слой сети. При обучении по данному методу усиливаются связи между возбужденными нейронами.

    Существует также и дифференциальный метод обучения Хебба.

    Нейронные сети: обучение без учителя (2)

    Здесь yi(n-1)(t) и yi(n-1)(t-1) – выходное значение нейрона i слоя n-1 соответственно на итерациях t и t-1; yj(n)(t) и yj(n)(t-1) – то же самое для нейрона j слоя n. Как видно из формулы (2), сильнее всего обучаются синапсы, соединяющие те нейроны, выходы которых наиболее динамично изменились в сторону увеличения.

    Полный алгоритм обучения с применением вышеприведенных формул будет выглядеть так:

    1. На стадии инициализации всем весовым коэффициентам присваиваются небольшие случайные значения.

    2. На входы сети подается входной образ, и сигналы возбуждения распространяются по всем слоям согласно принципам классических прямопоточных (feedforward) сетей[1], то есть для каждого нейрона рассчитывается взвешенная сумма его входов, к которой затем применяется активационная (передаточная) функция нейрона, в результате чего получается его выходное значение yi(n), i=0...Mi-1, где Mi – число нейронов в слое i; n=0...N-1, а N – число слоев в сети.

    3. На основании полученных выходных значений нейронов по формуле (1) или (2) производится изменение весовых коэффициентов.

    4. Цикл с шага 2, пока выходные значения сети не застабилизируются с заданной точностью. Применение этого нового способа определения завершения обучения, отличного от использовавшегося для сети обратного распространения, обусловлено тем, что подстраиваемые значения синапсов фактически не ограничены.

    На втором шаге цикла попеременно предъявляются все образы из входного набора.


    Следует отметить, что вид откликов на каждый класс входных образов не известен заранее и будет представлять собой произвольное сочетание состояний нейронов выходного слоя, обусловленное случайным распределением весов на стадии инициализации. Вместе с тем, сеть способна обобщать схожие образы, относя их к одному классу. Тестирование обученной сети позволяет определить топологию классов в выходном слое. Для приведения откликов обученной сети к удобному представлению можно дополнить сеть одним слоем, который, например, по алгоритму обучения однослойного перцептрона необходимо заставить отображать выходные реакции сети в требуемые образы.

    Другой алгоритм обучения без учителя – алгоритм Кохонена – предусматривает подстройку синапсов на основании их значений от предыдущей итерации.

    Нейронные сети: обучение без учителя (3)

    Из вышеприведенной формулы видно, что обучение сводится к минимизации разницы между входными сигналами нейрона, поступающими с выходов нейронов предыдущего слоя yi(n-1), и весовыми коэффициентами его синапсов.

    Полный алгоритм обучения имеет примерно такую же структуру, как в методах Хебба, но на шаге 3 из всего слоя выбирается нейрон, значения синапсов которого максимально походят на входной образ, и подстройка весов по формуле (3) проводится только для него. Эта, так называемая, аккредитация может сопровождаться затормаживанием всех остальных нейронов слоя и введением выбранного нейрона в насыщение. Выбор такого нейрона может осуществляться, например, расчетом скалярного произведения вектора весовых коэффициентов с вектором входных значений. Максимальное произведение дает выигравший нейрон.

    Другой вариант – расчет расстояния между этими векторами в p-мерном пространстве, где p – размер векторов.

    Нейронные сети: обучение без учителя, (4)

    где j – индекс нейрона в слое n, i – индекс суммирования по нейронам слоя (n-1), wij – вес синапса, соединяющего нейроны; выходы нейронов слоя (n-1) являются входными значениями для слоя n. Корень в формуле (4) брать не обязательно, так как важна лишь относительная оценка различных Dj.


    В данном случае, "побеждает" нейрон с наименьшим расстоянием. Иногда слишком часто получающие аккредитацию нейроны принудительно исключаются из рассмотрения, чтобы "уравнять права" всех нейронов слоя. Простейший вариант такого алгоритма заключается в торможении только что выигравшего нейрона.

    При использовании обучения по алгоритму Кохонена существует практика нормализации входных образов, а так же – на стадии инициализации – и нормализации начальных значений весовых коэффициентов.

    Нейронные сети: обучение без учителя, (5)

    где xi – i-ая компонента вектора входного образа или вектора весовых коэффициентов, а n – его размерность. Это позволяет сократить длительность процесса обучения.

    Инициализация весовых коэффициентов случайными значениями может привести к тому, что различные классы, которым соответствуют плотно распределенные входные образы, сольются или, наоборот, раздробятся на дополнительные подклассы в случае близких образов одного и того же класса. Для избежания такой ситуации используется метод выпуклой комбинации[3]. Суть его сводится к тому, что входные нормализованные образы подвергаются преобразованию:

    Нейронные сети: обучение без учителя, (6)

    где xi – i-ая компонента входного образа, n – общее число его компонент, a (t) – коэффициент, изменяющийся в процессе обучения от нуля до единицы, в результате чего вначале на входы сети подаются практически одинаковые образы, а с течением времени они все больше сходятся к исходным. Весовые коэффициенты устанавливаются на шаге инициализации равными величине

    Нейронные сети: обучение без учителя, (7)

    где n – размерность вектора весов для нейронов инициализируемого слоя.

    На основе рассмотренного выше метода строятся нейронные сети особого типа – так называемые самоорганизующиеся структуры – self-organizing feature maps (этот устоявшийся перевод с английского, на мой взгляд, не очень удачен, так как, речь идет не об изменении структуры сети, а только о подстройке синапсов). Для них после выбора из слоя n нейрона j с минимальным расстоянием Dj (4) обучается по формуле (3) не только этот нейрон, но и его соседи, расположенные в окрестности R.


    Величина R на первых итерациях очень большая, так что обучаются все нейроны, но с течением времени она уменьшается до нуля. Таким образом, чем ближе конец обучения, тем точнее определяется группа нейронов, отвечающих каждому классу образов. В приведенной ниже программе используется именно этот метод обучения.

    Развивая объектно-ориентированный подход в моделировании нейронных сетей, рассмотренный в [1], для программной реализации сетей, использующих алгоритм обучения без учителя, были разработаны отдельные классы объектов типа нейрон, слой и сеть, названия которых снабжены суффиксом UL. Они наследуют основные свойства от соответствующих объектов прямопоточной сети, описанной в [1]. Фрагмент заголовочного файла с описаниями классов и функций для таких сетей представлен на листинге 1.

    Как видно из него, в классе NeuronUL в отличие от NeuronBP отсутствуют обратные связи и инструменты их поддержания, а по сравнению с NeuronFF здесь появилось лишь две новых переменных – delta и inhibitory. Первая из них хранит расстояние, рассчитываемое по формуле (4), а вторая – величину заторможенности нейрона. В классе NeuronUL существует два конструктора – один, используемый по умолчанию, – не имеет параметров, и к созданным с помощью него нейронам необходимо затем применять метод _allocateNeuron класса NeuronFF. Другой сам вызывает эту функцию через соответствующий конструктор NeuronFF. Метод Propagate является почти полным аналогом одноименного метода из NeuronFF, за исключением вычисления величин delta и inhibitory. Методы Normalize и Equalize выполняют соответственно нормализацию значений весовых коэффициентов по формуле (5) и их установку согласно (7). Метод CountDistance вычисляет расстояние (4). Следует особо отметить, что в классе отсутствует метод IsConverged, что, объясняется, как говорилось выше, различными способами определения факта завершения обучения. Хотя в принципе написать такую функцию не сложно, в данной программной реализации завершение обучения определяется по "телеметрической" информации, выводимой на экран, самим пользователем.


    В представленном же вместе со статьей тесте число итераций, выполняющих обучение, вообще говоря, эмпирически задано равным 3000.

    В состав класса LayerUL входит массив нейронов neurons и переменная с размерностью массивов синапсов – neuronrang. Метод распределения нейронов – внешний или внутренний – определяется тем, как создавался слой. Этот признак хранится в переменной allocation. Конструктор LayerUL(unsigned, unsigned) сам распределяет память под нейроны, что соответствует внутренней инициализации; конструктор LayerUL(NeuronUL _FAR *, unsigned, unsigned) создает слой из уже готового, внешнего массива нейронов. Все методы этого класса аналогичны соответствующим методам класса LayerFF и, в большинстве своем, используют одноименные методы класса NeuronUL.

    В классе NetUL также особое внимание необходимо уделить конструкторам. Один из них – NetUL(unsigned n) создает сеть из n пустых слоев, которые затем необходимо заполнить с помощью метода SetLayer. Конструктор NetUL(unsigned n, unsigned n1, ...) не только создает сеть из n слоев, но и распределяет для них соответствующее число нейронов с синапсами, обеспечивающими полносвязность сети. После создания сети необходимо связать все нейроны с помощью метода FullConnect. Как и в случае сети обратного распространения, сеть можно сохранять и загружать в/из файла с помощью методов SaveToFile, LoadFromFile. Из всех остальных методов класса новыми по сути являются лишь NormalizeNetInputs и ConvexCombination. Первый из них нормализует входные вектора, а второй реализует преобразование выпуклой комбинации (6).

    В конце заголовочного файла описаны глобальные функции. SetSigmoidTypeUL, SetSigmoidAlfaUL и SetDSigmaUL аналогичны одноименным функциям для сети обратного распространения. Функция SetAccreditationUL устанавливает режим, при котором эффективность обучения нейронов, попавших в окружение наиболее возбужденного на данной итерации нейрона, пропорциональна функции Гаусса от расстояния до центра области обучения. Если этот режим не включен, то все нейроны попавшие в область с текущим радиусом обучения одинаково быстро подстраивают свои синапсы, причем область является квадратом со стороной, равной радиусу обучения.


    Функция SetLearnRateUL устанавливает коэффициент скорости обучения, а SetMaxDistanceUL – радиус обучения. Когда он равен 0 – обучается только один нейрон. Функции SetInhibitionUL и SetInhibitionFresholdUL устанавливают соответственно длительность торможения и величину возбуждения, его вызывающего.

    Тексты функций помещены в файле neuro_mm.cpp, представленном в листинге 2. Кроме него в проект тестовой программы входят также модули neuron_ff.cpp и subfun.cpp, описанные в [1]. Главный модуль, neuman7.cpp приведен в листинге 3. Программа компилировалась с помощью компилятора Borland C++ 3.1 в модели LARGE.

    Тестовая программа демонстрирует христоматийный пример обучения самонастраивающейся сети следующей конфигурации. Входной слой состоит из двух нейронов, значения аксонов которых генерируются вспомогательной функцией на основе генератора случайных чисел. Выходной слой имеет размер 10 на 10 нейронов. В процессе обучения он приобретает свойства упорядоченной структуры, в которой величины синапсов нейронов плавно меняются вдоль двух измерений, имитируя двумерную сетку координат. Благодаря новой функции DigiShow и выводу индексов X и Y выигравшего нейрона, пользователь имеет возможность убедиться, что значения на входе сети достаточно точно определяют позицию точки максимального возбуждения на ее выходе.

    Необходимо отметить, что обучение без учителя гораздо более чувствительно к выбору оптимальных параметров, нежели обучение с учителем. Во-первых, его качество сильно зависит от начальных величин синапсов. Во-вторых, обучение критично к выбору радиуса обучения и скорости его изменения. И наконец, разумеется, очень важен характер изменения собственно коэффициента обучения. В связи с этим пользователю, скорее всего, потребуется провести предварительную работу по подбору оптимальных параметров обучения сети.

    Несмотря на некоторые сложности реализации, алгоритмы обучения без учителя находят обширное и успешное применение. Например, в [4] описана многослойная нейронная сеть, которая по алгоритму самоорганизующейся структуры обучается распознавать рукописные символы.


    Возникающее после обучения разбиение на классы может в случае необходимости уточняться с помощью обучения с учителем. По сути дела, по алгоритму обучения без учителя функционируют и наиболее сложные из известных на сегодняшний день искусственные нейронные сети – когнитрон и неокогнитрон, – максимально приблизившиеся в своем воплощении к структуре мозга. Однако они, конечно, существенно отличаются от рассмотренных выше сетей и намного более сложны. Тем не менее, на основе вышеизложенного материала можно создать реально действующие системы для распознавания образов, сжатия информации, автоматизированного управления, экспертных оценок и много другого.

    Литература
  • С.Короткий, Нейронные сети: алгоритм обратного распространения.
  • Ф.Блум, А.Лейзерсон, Л.Хофстедтер, Мозг, разум и поведение, М., Мир, 1988.
  • Ф.Уоссермен, Нейрокомпьютерная техника, М., Мир, 1992.
  • Keun-Rong Hsieh and Wen-Tsuen Chen, A Neural Network Model which Combines Unsupervised and Supervised Learning, IEEE Trans. on Neural Networks, vol.4, No.2, march 1993.
    • На главную страницу | Листинг

    Нейронные сети: основные положения

    На главную страницу
    С.Короткий
    Нейронные сети: основные положения
     В статье рассмотрены основы теории нейронных сетей, позволяющие в дальнейшем обратиться к конкретным структурам, алгоритмам и идеологии практического применения сетей в компьютерных приложениях.
    В последние десятилетия в мире бурно развивается новая прикладная область математики, специализирующаяся на искусственных нейронных сетях (НС). Актуальность исследований в этом направлении подтверждается массой различных применений НС. Это автоматизация процессов распознавания образов, адаптивное управление, аппроксимация функционалов, прогнозирование, создание экспертных систем, организация ассоциативной памяти и многие другие приложения. С помощью НС можно, например, предсказывать показатели биржевого рынка, выполнять распознавание оптических или звуковых сигналов, создавать самообучающиеся системы, способные управлять автомашиной при парковке или синтезировать речь по тексту. В то время как на западе применение НС уже достаточно обширно, у нас это еще в некоторой степени экзотика – российские фирмы, использующие НС в практических целях, наперечет [1].
    Широкий круг задач, решаемый НС, не позволяет в настоящее время создавать универсальные, мощные сети, вынуждая разрабатывать специализированные НС, функционирующие по различным алгоритмам.
    Модели НС могут быть программного и аппаратного исполнения. В дальнейшем речь пойдет в основном о первом типе.
    Несмотря на существенные различия, отдельные типы НС обладают несколькими общими чертами.
    Нейронные сети: основные положения Во-первых, основу каждой НС составляют относительно простые, в большинстве случаев – однотипные, элементы (ячейки), имитирующие работу нейронов мозга. Далее под нейроном будет подразумеваться искусственный нейрон, то есть ячейка НС. Каждый нейрон характеризуется своим текущим состоянием по аналогии с нервными клетками головного мозга, которые могут быть возбуждены или заторможены. Он обладает группой синапсов – однонаправленных входных связей, соединенных с выходами других нейронов, а также имеет аксон – выходную связь данного нейрона, с которой сигнал (возбуждения или торможения) поступает на синапсы следующих нейронов.
    Общий вид нейрона приведен на рисунке 1. Каждый синапс характеризуется величиной синаптической связи или ее весом wi, который по физическому смыслу эквивалентен электрической проводимости.

    Текущее состояние нейрона определяется, как взвешенная сумма его входов:

    Нейронные сети: основные положения (1)

    Выход нейрона есть функция его состояния:

    y = f(s) (2)

    Нейронные сети: основные положения Нелинейная функция f называется активационной и может иметь различный вид, как показано на рисунке 2. Одной из наиболее распространеных является нелинейная функция с насыщением, так называемая логистическая функция или сигмоид (т.е. функция S-образного вида)[2]:

    Нейронные сети: основные положения (3)

    При уменьшении a сигмоид становится более пологим, в пределе при a =0 вырождаясь в горизонтальную линию на уровне 0.5, при увеличении a сигмоид приближается по внешнему виду к функции единичного скачка с порогом T в точке x=0. Из выражения для сигмоида очевидно, что выходное значение нейрона лежит в диапазоне [0,1]. Одно из ценных свойств сигмоидной функции – простое выражение для ее производной, применение которого будет рассмотрено в дальнейшем.

    Нейронные сети: основные положения (4)

    Следует отметить, что сигмоидная функция дифференцируема на всей оси абсцисс, что используется в некоторых алгоритмах обучения. Кроме того она обладает свойством усиливать слабые сигналы лучше, чем большие, и предотвращает насыщение от больших сигналов, так как они соответствуют областям аргументов, где сигмоид имеет пологий наклон.

    Нейронные сети: основные положения Возвращаясь к общим чертам, присущим всем НС, отметим, во-вторых, принцип параллельной обработки сигналов, который достигается путем объединения большого числа нейронов в так называемые слои и соединения определенным образом нейронов различных слоев, а также, в некоторых конфигурациях, и нейронов одного слоя между собой, причем обработка взаимодействия всех нейронов ведется послойно.

    В качестве примера простейшей НС рассмотрим трехнейронный перцептрон (рис.3), то есть такую сеть, нейроны которой имеют активационную функцию в виде единичного скачка* . На n входов поступают некие сигналы, проходящие по синапсам на 3 нейрона, образующие единственный слой этой НС и выдающие три выходных сигнала:


    Нейронные сети: основные положения, j=1...3 (5)

    Очевидно, что все весовые коэффициенты синапсов одного слоя нейронов можно свести в матрицу W, в которой каждый элемент wij задает величину i-ой синаптической связи j-ого нейрона. Таким образом, процесс, происходящий в НС, может быть записан в матричной форме:

    Y=F(XW) (6)

    где X и Y – соответственно входной и выходной сигнальные векторы, F( V) – активационная функция, применяемая поэлементно к компонентам вектора V.

    Теоретически число слоев и число нейронов в каждом слое может быть произвольным, однако фактически оно ограничено ресурсами компьютера или специализированной микросхемы, на которых обычно реализуется НС. Чем сложнее НС, тем масштабнее задачи, подвластные ей.

    Выбор структуры НС осуществляется в соответствии с особенностями и сложностью задачи. Для решения некоторых отдельных типов задач уже существуют оптимальные, на сегодняшний день, конфигурации, описанные, например, в [2],[3],[4] и других изданиях, перечисленных в конце статьи. Если же задача не может быть сведена ни к одному из известных типов, разработчику приходится решать сложную проблему синтеза новой конфигурации. При этом он руководствуется несколькими основополагающими принципами: возможности сети возрастают с увеличением числа ячеек сети, плотности связей между ними и числом выделенных слоев (влияние числа слоев на способность сети выполнять классификацию плоских образов показано на рис.4 из [5]); введение обратных связей наряду с увеличением возможностей сети поднимает вопрос о динамической устойчивости сети; сложность алгоритмов функционирования сети (в том числе, например, введение нескольких типов синапсов – возбуждающих, тромозящих и др.) также способствует усилению мощи НС. Вопрос о необходимых и достаточных свойствах сети для решения того или иного рода задач представляет собой целое направление нейрокомпьютерной науки. Так как проблема синтеза НС сильно зависит от решаемой задачи, дать общие подробные рекомендации затруднительно. В большинстве случаев оптимальный вариант получается на основе интуитивного подбора.


    Очевидно, что процесс функционирования НС, то есть сущность действий, которые она способна выполнять, зависит от величин синаптических связей, поэтому, задавшись определенной структурой НС, отвечающей какой-либо задаче, разработчик сети должен найти оптимальные значения всех переменных весовых коэффициентов (некоторые синаптические связи могут быть постоянными).

    Этот этап называется обучением НС, и от того, насколько качественно он будет выполнен, зависит способность сети решать поставленные перед ней проблемы во время эксплуатации. На этапе обучения кроме параметра качества подбора весов важную роль играет время обучения. Как правило, эти два параметра связаны обратной зависимостью и их приходится выбирать на основе компромисса.

    Обучение НС может вестись с учителем или без него. В первом случае сети предъявляются значения как входных, так и желательных выходных сигналов, и она по некоторому внутреннему алгоритму подстраивает веса своих синаптических связей. Во втором случае выходы НС формируются самостоятельно, а веса изменяются по алгоритму, учитывающему только входные и производные от них сигналы.

    Существует великое множество различных алгоритмов обучения, которые однако делятся на два больших класса: детерминистские и стохастические. В первом из них подстройка весов представляет собой жесткую последовательность действий, во втором – она производится на основе действий, подчиняющихся некоторому случайному процессу.

    Развивая дальше вопрос о возможной классификации НС, важно отметить существование бинарных и аналоговых сетей. Первые из них оперируют с двоичными сигналами, и выход каждого нейрона может принимать только два значения: логический ноль ("заторможенное" состояние) и логическая единица ("возбужденное" состояние). К этому классу сетей относится и рассмотренный выше перцептрон, так как выходы его нейронов, формируемые функцией единичного скачка, равны либо 0, либо 1. В аналоговых сетях выходные значения нейронов способны принимать непрерывные значения, что могло бы иметь место после замены активационной функции нейронов перцептрона на сигмоид.


    Еще одна классификация делит НС на синхронные и асинхронные[3]. В первом случае в каждый момент времени свое состояние меняет лишь один нейрон. Во втором – состояние меняется сразу у целой группы нейронов, как правило, у всего слоя. Алгоритмически ход времени в НС задается итерационным выполнением однотипных действий над нейронами. Далее будут рассматриваться только синхронные НС.

    Нейронные сети: основные положения Сети также можно классифицировать по числу слоев. На рисунке 4 представлен двухслойный перцептрон, полученный из перцептрона с рисунка 3 путем добавления второго слоя, состоящего из двух нейронов. Здесь уместно отметить важную роль нелинейности активационной функции, так как, если бы она не обладала данным свойством или не входила в алгоритм работы каждого нейрона, результат функционирования любой p-слойной НС с весовыми матрицами W(i), i=1,2,...p для каждого слоя i сводился бы к перемножению входного вектора сигналов X на матрицу

    W(S )=W(1)× W(2) × ...× W(p) (7)

    то есть фактически такая p-слойная НС эквивалентна однослойной НС с весовой матрицей единственного слоя W(S ):

    Y=XW(S ) (8)

    Продолжая разговор о нелинейности, можно отметить, что она иногда вводится и в синаптические связи. Большинство известных на сегодняшний день НС используют для нахождения взвешенной суммы входов нейрона формулу (1), однако в некоторых приложениях НС полезно ввести другую запись, например:

    Нейронные сети: основные положения (9)

    или даже

    Нейронные сети: основные положения (10)

    Вопрос в том, чтобы разработчик НС четко понимал, для чего он это делает, какими ценными свойствами он тем самым дополнительно наделяет нейрон, и каких лишает. Введение такого рода нелинейности, вообще говоря, увеличивает вычислительную мощь сети, то есть позволяет из меньшего числа нейронов с "нелинейными" синапсами сконструировать НС, выполняющую работу обычной НС с большим числом стандартных нейронов и более сложной конфигурации[4].

    Многообразие существующих структур НС позволяет отыскать и другие критерии для их классификации, но они выходят за рамки данной статьи.


    Теперь рассмотрим один нюанс, преднамеренно опущенный ранее. Из рисунка функции единичного скачка видно, что пороговое значение T, в общем случае, может принимать произвольное значение. Более того, оно должно принимать некое произвольное, неизвестное заранее значение, которое подбирается на стадии обучения вместе с весовыми коэффициентами. То же самое относится и к центральной точке сигмоидной зависимости, которая может сдвигаться вправо или влево по оси X, а также и ко всем другим активационным функциям. Это, однако, не отражено в формуле (1), которая должна была бы выглядеть так:

    Нейронные сети: основные положения (11)

    Дело в том, что такое смещение обычно вводится путем добавления к слою нейронов еще одного входа, возбуждающего дополнительный синапс каждого из нейронов, значение которого всегда равняется 1. Присвоим этому входу номер 0. Тогда

    Нейронные сети: основные положения (12)

    где w0 = –T, x0 = 1.

    Очевидно, что различие формул (1) и (12) состоит лишь в способе нумерации входов.

    Нейронные сети: основные положения Из всех активационных функций, изображенных на рисунке 2, одна выделяется особо. Это гиперболический тангенс, зависимость которого симметрична относительно оси X и лежит в диапазоне [-1,1]. Забегая вперед, скажем, что выбор области возможных значений выходов нейронов во многом зависит от конкретного типа НС и является вопросом реализации, так как манипуляции с ней влияют на различные показатели эффективности сети, зачастую не изменяя общую логику ее работы. Пример, иллюстрирующий данный аспект, будет представлен после перехода от общего описания к конкретным типам НС.

    Какие задачи может решать НС? Грубо говоря, работа всех сетей сводится к классификации (обобщению) входных сигналов, принадлежащих n-мерному гиперпространству, по некоторому числу классов. С математической точки зрения это происходит путем разбиения гиперпространства гиперплоскостями (запись для случая однослойного перцептрона)

    Нейронные сети: основные положения, k=1...m (13)

    x1 x2 0 1
    0 A B
    1 B A
    Каждая полученная область является областью определения отдельного класса. Число таких классов для одной НС перцептронного типа не превышает 2m, где m – число выходов сети.


    Однако не все из них могут быть разделимы данной НС.

    Например, однослойный перцептрон, состоящий из одного нейрона с двумя входами, представленный на рисунке 5, не способен разделить плоскость (двумерное гиперпространоство) на две полуплоскости так, чтобы осуществить классификацию входных сигналов по классам A и B (см. таблицу 1).

    Уравнение сети для этого случая

    Нейронные сети: основные положения (14)

    является уравнением прямой (одномерной гиперплоскости), которая ни при каких условиях не может разделить плоскость так, чтобы точки из множества входных сигналов, принадлежащие разным классам, оказались по разные стороны от прямой (см. рисунок 6).

    Если присмотреться к таблице 1, можно заметить, что данное разбиение на классы реализует логическую функцию исключающего ИЛИ для входных сигналов. Невозможность реализации однослойным перцептроном этой функции получила название проблемы исключающего ИЛИ.

    Нейронные сети: основные положения Функции, которые не реализуются однослойной сетью, называются линейно неразделимыми[2]. Решение задач, подпадающих под это ограничение, заключается в применении 2-х и более слойных сетей или сетей с нелинейными синапсами, однако и тогда существует вероятность, что корректное разделение некоторых входных сигналов на классы невозможно.

    Наконец, мы можем более подробно рассмотреть вопрос обучения НС, для начала – на примере перцептрона с рисунка 3.

    Рассмотрим алгоритм обучения с учителем[2][4].

    1. Проинициализировать элементы весовой матрицы (обычно небольшими случайными значениями).

    2. Подать на входы один из входных векторов, которые сеть должна научиться различать, и вычислить ее выход.

    3. Если выход правильный, перейти на шаг 4.

    Иначе вычислить разницу между идеальным и полученным значениями выхода:

    Нейронные сети: основные положения

    Модифицировать веса в соответствии с формулой:

    Нейронные сети: основные положения

    где t и t+1 – номера соответственно текущей и следующей итераций; n – коэффициент скорости обучения, 0
    Очевидно, что если YI > Y весовые коэффициенты будут увеличены и тем самым уменьшат ошибку.


    В противном случае они будут уменьшены, и Y тоже уменьшится, приближаясь к YI.

    4. Цикл с шага 2, пока сеть не перестанет ошибаться.

    На втором шаге на разных итерациях поочередно в случайном порядке предъявляются все возможные входные вектора. К сожалению, нельзя заранее определить число итераций, которые потребуется выполнить, а в некоторых случаях и гарантировать полный успех. Этот вопрос будет косвенно затронут в дальнейшем.

    В завершении данной вводной статьи хотелось бы отметить, что дальнейшее рассмотрение НС будет в основном тяготеть к таким применениям, как распознавание образов, их классификация и, в незначительной степени, сжатие информации. Более подробно об этих и других применениях и реализующих их структурах НС можно прочитать в журналах Neural Computation, Neural Computing and Applications, Neural Networks, IEEE Transactions on Neural Networks, IEEE Transactions on System, Man, and Cybernetics и других.

    Литература
  • Е. Монахова, "Нейрохирурги" с Ордынки, PC Week/RE, №9, 1995.
  • Ф.Уоссермен, Нейрокомпьютерная техника, М.,Мир, 1992.
  • Итоги науки и техники: физические и математические модели нейронных сетей, том 1, М., изд. ВИНИТИ, 1990.
  • Artificial Neural Networks: Concepts and Theory, IEEE Computer Society Press, 1992.
  • Richard P. Lippmann, An Introduction to Computing withNeural Nets, IEEE Acoustics, Speech, and Signal ProcessingMagazine, April 1987.
    • На главную страницу

    Нейронные сети.

    Взаимодействующие между собой посредством передачи через отростки возбуждений нейроны формируют нейронные сети. Переход от рассмотрения отдельного нейрона к изучению нейронных сетей является естественным шагом в нейробиологической иерархии. Общее число нейронов в центральной нервной системе человека достигает 1010 - 1011, при этом каждая нервная клетка связана в среднем с 103 - 104 других нейронов. Установлено, что в головном мозге совокупность нейронов в объеме масштаба 1 мм3формирует относительно независимую локальную сеть, несущую определенную функциональную нагрузку. Выделяют несколько (обычно три) основных типов нейронных сетей, отличающихся структурой и назначением. Первый тип составляют иерархические сети, часто встречающиеся в сенсорных и двигательных путях. Информация в таких сетях передается в процессе последовательного перехода от одного уровня иерархии к другому. Нейронные сети.
    Рис. 3.2.Структура простой рефлекторной нейронной сети.
    Нейроны образуют два характерных типа соединений - конвергентные, когда большое число нейронов одного уровня контактирует с меньшим числом нейронов следующего уровня, и дивергентные, в которых контакты устанавливаются со все большим числом клеток последующих слоев иерархии. Сочетание конвергентных и дивергентных соединений обеспечивает многократное дублирование информационных путей, что является решающим фактором надежности нейронной сети. При гибели части клеток, сохранившиеся нейроны оказываются в состоянии поддерживать функционирование сети. Ко второму типу нейронных сетей относятся локальные сети, формируемые нейронами с ограниченными сферами влияния. Нейроны локальных сетей производят переработку информации в пределах одного уровня иерархии. При этом функционально локальная сеть представляет собой относительно изолированную тормозящую или возбуждающую структуру. Важную роль также играют так называемые дивергентные сети с одним входом. Командный нейрон, находящийся в основании такой сети может оказывать влияние сразу на множество нейронов, и поэтому сети с одним входом выступают согласующим элементом в сложном сочетании нейросетевых систем всех типов. Рассмотрим схематически нейронную сеть, формирующую простой рефлекторную цепь с передачей возбуждения от раздражителя к двигательной мышце (Рис. 3.2). Сигнал внешнего раздражителя воспринимается сенсорными нейронами, связанными с чувствительными клетками-рецепторами. Сенсорные нейроны формируют первый (нижний) уровень иерархии. Выработанные ими сигналы передаются нейронам локальной сети, содержащим множество прямых и обратных связей с сочетанием дивергентных и конвергентных соединений. Характер преобразованного в локальных сетях сигнала определяет состояние возбуждения моторных нейронов. Эти нейроны, составляющие верхний в рассматриваемой сети уровень иерархии, образно говоря, "принимают решение", которое выражается в воздействии на клетки мышечной ткани посредством нервно-мышечных соединений.

    Нейроподобная сеть

    Нейроподобная сеть представляет собой совокупность нейроподобных элементов, определенным образом соединенных друг с другом и с внешней средой. Входной вектор (кодирующий входное воздействие или образ внешней среды) подается на сеть путем активации входных нейроподобных элементов. Множество выходных сигналов нейронов сети y1…ум называют вектором выходной активности, или паттерном активности нейронной сети. Веса связей нейронов сети удобно представлять в виде матрицы W, где Wij - вес связи между i- и j-м нейронами. В процессе функционирования (эволюции состояния) сети осуществляется преобразование входного вектора в выходной, т. е. некоторая переработка информации, которую можно интерпретировать, например, как функцию гетеро- или авто- ассоциативной памяти. Конкретный вид выполняемого сетью преобразования информации обусловливается не только характеристиками нейроподобных элементов, но и особенностями ее архитектуры, т. е. той или иной топологией межнейронных связей, выбором определенных подмножеств нейроподобных элементов для ввода и вывода информации, наличием или отсутствием конкуренции, направлением и способами управления и синхронизации информационных потоков между нейронами и т. д.

    Нейроподобный элемент.

    Нейроподобный элемент, который обычно используется при моделировании нейронных сетей, приведен на рисунке ниже. На нейроподобный элемент поступает набор входных сигналов x1 ... хм (или входной вектор Нейроподобный элемент.), Нейроподобный элемент.представляющий собой выходные сигналы других нейроподобных элементов. Этот входной вектор соответствует сигналам, поступающим в синапсы биологических нейронов. Каждый входной сигнал умножается на соответствующий вес связи w1…wm -аналог эффективности синапса. Вес связи является скалярной величиной, положительной для возбуждающих и отрицательной для тормозящих связей. Взвешенные весами связей входные сигналы поступают на блок суммации, соответствующий телу клетки, где осуществляется их алгебраическая суммация и определяется уровень возбуждения нейроподобного элемента S:
    Нейроподобный элемент. (1)
    Выходной сигнал нейрона у определяется путем пропускания уровня возбуждения S через нелинейную функцию f :
    Нейроподобный элемент. (2)
    где и - некоторое постоянное смещение (аналог порога нейрона). Обычно используются простейшие нелинейные функции:

    бинарная
    Нейроподобный элемент.Нейроподобный элемент. (3)

    или сигмоидная:
    Нейроподобный элемент.Нейроподобный элемент. (4)

    В такой модели нейрона пренебрегают многими известными характеристиками биологического прототипа, которые некоторые исследователи считают критическими. Например, в ней не учитывают нелинейность пространственно-временной суммации, которая особенно проявляется для сигналов, приходящих по возбуждающим и тормозящим синапсам, различного рода временные задержки, эффекты синхронизации и частотной модуляции, рефрактерность и т. п. Несмотря на это нейроподобные сети, простроенные на основе таких простых нейроподобных элементов, демонстрируют ассоциативные свойства, напоминающие свойства биологических систем.

    Некоторые сведения о мозге

    Мозг является, пожалуй, самой сложной из известных нам систем переработки информации. Достаточно сказать, что в нем содержится около 100 миллиардов нейронов, каждый из которых имеет в среднем 10 000 связей. При этом мозг чрезвычайно надежен: ежедневно погибает большое количество нейронов, а мозг продолжает функционировать. Обработка огромных объемов информации осуществляется мозгом очень быстро, за доли секунды, несмотря на то, что нейрон является медленнодействующим элементом со временем реакции не менее нескольких миллисекунд.
    Пока не слишком понятно, как мозгу удается получить столь впечатляющее сочетание надежности и быстродействия. Довольно хорошо изучена структура и функции отдельных нейронов, имеются данные об организации внутренних и внешних связей между нейронами некоторых структурных образований мозга, совсем мало известно об участии различных структур в процессах переработки информации.
    Ниже приводятся некоторые сведения об устройстве и работе нервной системы, которые используются при построении моделей нейронных сетей.

    Обучение нейрона детектированию границы "черное-белое"

    Способность формального нейрона к обучению проявляется в возможности изменения значений вектора весов W, соответствующей пластичности синапсов биологических нейронов. Рассмотрим обучение формального нейрона на примере простейшей задачи детектирования границы. Пусть имеется образ, составленный из одномерной цепочки черных и белых клеток. Зачерненные клетки соответсвуют единичному сигналу, а белые клетки - нулевому. Сигнал на входах формального нейрона устанавливается равным значениям пар примыкающих клеток рассматриваемого образа. Нейрон обучается всякий раз возбуждаться и выдавать единичный выходной сигнал, если его первый вход (на Рис. 4.2. - левый) соединен с белой клеткой, а второй (правый) - с черной. Таким образом, нейрон должет служить детектором границы перехода от светлого к темному тону образа. Обучение нейрона детектированию границы
    Рис. 4.2. Формальный нейрон с двумя входами, занятый обработкой образа в виде одномерной цепочки черных и белых клеток.
    Функция, выполняемая нейроном, определяется следующей таблицей.
    Вход 1 Вход 2 Требуемый выход
    1 1 0
    1 0 0
    0 1 1
    0 0 0
    Для данной задачи значения весов и порога нейрона могут быть предъявлены и без специальной процедуры обучения. Легко убедиться, что нужным требованиям удовлетворяет набор Q = 0, W1 = -1, W1 = +1. В случае задачи детектирования границы перехода от темного к светлому веса нужно поменять местами. В общем случае для подстройки весов при обучении нейрона разработаны различные алгоритмы, которые будут рассматриваться в применении к конкретным типам нейронных сетей, составленных из формальных нейронов.
    © 1994, С. А. Терехов, оригинальный текст
    © 1998, С. А. Терехов, электронная версия

    Обучение нейроподобной сети

    Одно из важнейших свойств нейроподобной сети - способность к самоорганизации, самоадаптации с целью улучшения качества функционирования. Это достигается обучением сети, алгоритм которого задается набором обучающих правил. Обучающие правила определяют, каким образом изменяются связи в ответ на входное воздействие. Многие из них являются развитием высказанной Д. О. Хеббом идеи о том, что обучение основано на увеличении силы связи (синаптического веса) между одновременно активными нейронами. Таким образом, часто используемые в сети связи усиливаются, что объясняет феномен обучения путем повторения и привыкания. Математически это правило можно записать следующим образом:
    Обучение нейроподобной сети (5)
    где wij (t) и wij(t + 1) - значение веса связи от i-го к j-му нейрону соответственно до и после его изменения, б - скорость обучения. В настоящее время существует множество разнообразных обучающих правил (алгоритмов обучения). Некоторые из них будут представлены в параграфах, посвященных рассмотрению конкретных нейросетевых моделей.

    Оценки… Выводы… Прогнозы

    Современные возможности аппаратной реализации НПС можно обобщенно оценить следующим образом:

  • число моделируемых нейронов — до 5 млн.;
  • число моделируемых связей — до 5 млн.;
  • скорость моделирования — до 500 млн. переключений связей/с.
    • Для аппаратной реализации НПС в настоящее время широко используются процессорные СБИС, обладающие максимальными коммуникационными возможностями и ориентированные на быстрое выполнение векторных операций. К таким СБИС относятся транспьютеры фирмы INMOS (Т414, Т800, А100), сигнальные процессоры фирм Texas Instruments (TMS 320С40, TMS 320C80), Motorola, Analog Device. Отечественная элементная база представлена нейрочипами на базе БМК «Исполин - бОТ».
    На современном этапе развития технологии микроэлектроники и других смежных областей нейронная технология стала адекватна не только различным типам микроэлектронной полупроводниковой технологии, но и оптической, оптоэлектронной, молекулярной, квантовой и некоторым другим.
    Необходимо отметить, что рождение технологии систем на пластине и нанотехнологии приведет к рождению новых сверхпараллельных архитектур. Уже сейчас ясна адекватность нейросетевых архитектур технологии на пластине. Поэтому любые попытки на уровне наноэлементов делать функциональные блоки со старой архитектурой, адекватной однопроцессорным машинам, должны окончиться неудачей.
    Современные технологии достигли того рубежа, когда стало возможным изготовление технической системы из 3...4 млрд. нейронов (именно такое количество их в мозгу человека). Однако их соединение продолжает оставаться проблемой.
    Перечислим основные направления вычислительной техники:
  • однопроцессорные ЭВМ (персональные ЭВМ, ЭВМ среднего класса);
  • малопроцессорные ЭВМ;
  • многопроцессорные ЭВМ (ЭВМ с массовым параллелизмом, транспьютерная ЭВМ, псевдотранспьютерная ЭВМ, ЭВМ с транспьютерным ядром и периферийными процессорами типа i860, Power PC, Alfa, Рб);
  • нейрокомпьютеры.
    • Приоритет российской вычислительной науки и техники в указанных направлениях в ближайшие годы максимально может быть проявлен именно в области НК, поскольку она является максимально наукоемкой и менее других зависит от технологического уровня.
    В России высок уровень теоретических работ и экспериментальных исследований по нейросистемам и нейроинформатике. Удачно выбрана форма взаимодействия между организациями через координацию НЦН РАН. Это говорит о том, что все необходимые компоненты для технологического рывка в нашей стране существуют.
    Реальность создания нейрокомпьютерных средств уже сегодня не вызывает сомнений. Это кредиторам дает дополнительный стимул для вложения средств в развитие теоретических исследований, направленных на поиск решений широкого круга практических задач на основе нейросетевых технологий.

    Разделяй и властвуй

    Рассмотрим теперь построение большинства современных алгоритмов оптимизации структуры и параметров. Несмотря на их огромное разнообразие, можно выделить основную черту: оптимизируемый объект является "черным ящиком", который оптимизируется целиком. Для полученного на очередном шаге набора параметров достигнутый результат оценивается только по общей оценочной функции. Это приводит к тому, что малые улучшения в работе отдельных локальных подсистем не закрепляются на фоне ухудшения работы остальных. Можно назвать еще некоторые недостатки подобной реализации — сложности в подборе шага, коэффициента мутаций и т. д., но это уже решаемые мелочи.
    Незакрепление малых улучшений в подсистемах при последовательной адаптации приводит к одному результату — в сложных системах, состоящих из большого количества подсистем, скорость обучения катастрофически снижается.
    Здесь примером (пример взят из [1]) могли бы служить N колес с буквами А и В на ободе, где буквы А занимали бы k-ю долю окружности, а В — остальную ее часть. Все колеса приводят во вращение и дают им остановиться; остановка колеса на букве А считается "успехом". Сравним три способа сложения этих частных успехов в Большой Успех, который будем считать достигнутым только тогда, когда все колеса остановятся на букве А.
    Случай 1. Приводятся во вращение все N колес; если все они дадут букву А, регистрируется Успех и пробы заканчиваются; в других случаях колеса снова приводятся во вращение — и так далее, пока все А не появятся сразу. В этом случае потребуется в среднем (1/k)N проб.
    Случай 2. Вращается 1-е колесо; если оно остановится на А, оно остается в этом положении; в противном случае его вращают снова. Когда оно, наконец, остановится на А, таким же образом вращают 2-е колесо и т. д. Так поступают до тех пор, пока все N колес не остановятся на секторе А. Здесь в среднем потребуется N/k проб.
    Случай 3. Приводятся во вращение все N колес; те, которые покажут А, остаются в этом положении, а те, которые покажут В, вращаются снова. При дальнейших появлениях А соответствующие колеса также остаются в покое. Среднее число проб равно среднему числу проб в самой длинной серии из N серий проб с одним колесом и может быть найдено из распределения длин таких серий; оно будет несколько больше 1/k.
    Случайный поиск служит полным аналогом 1-го случая. Многие остальные алгоритмы занимают промежуточное положение между первым и вторым случаем (случайный поиск в подпространствах [4], генетический алгоритм и т. д.). Метод группового учета аргументов (МГУА) [5] приближается ко второму случаю. Очевидно, что человек как правило решает свои проблемы независимо друг от друга, что соответствует третьему случаю.
    Таким образом, перспективные алгоритмы обучения нейронных сетей должны предусматривать возможность разделения целей на подцели, которые не зависят друг от друга. Для этого критерии оценки качества работы каждого нейрона должны носить более локальный характер.

    Сети с прямыми связями.

    1. Простой персептрон. В середине 50-х годов была предложена одна из первых моделей нейронных сетей, которая вызвала большой интерес из-за своей способности обучаться распознаванию простых образов. Эта модель - персептрон - состоит из бинарных нейроподобных элементов и имеет простую топологию, что позволило достаточно полно проанализировать ее работу и создать многочисленные физические реализации.
    Типичный персептрон состоит из трех основных компонент:

  • матрицы бинарных входов r1..rn (сенсорных нейронов или «сетчатки», куда подаются входные образы);
  • набора бинарных нейроподобных элементов xi… хм (или предикатов в наиболее общем случае) с фиксированными связями к подмножествам сетчатки («детекторы признаков»);
  • бинарного нейроподобного элемента с модифицируемыми связями к этим предикатам («решающий элемент»). На самом деле число решающих элементов выбирают равным количеству классов, на которое необходимо разбить предъявляемые персептрону образы.
    • Таким образом, модель персептрона характеризуется наличием только прямых связей, один из слоев которых является модифицируемым. В простейшем случае, когда п = m и xi == ri, детекторы признаков могут рассматриваться как входной слой. Тогда персептрон становится одним бинарным нейроподобным элементом. Это классическая модель М -входового нейрона, приведенная на рисунке, или простой персептрон Розенблатта. В общем случае каждый элемент xi может рассматриваться как булева функция, зависящая от некоторого фиксированного подмножества сетчатки. Тогда величина выходных сигналов этих обрабатывающих элементов является значением функции xi, которое равно 0 или 1.
    Устройство реагирует на входной вектор генерацией выходного сигнала у решающего элемента по формуле (3). Таким образом, персептрон формирует гиперплоскость, которая делит многомерное пространство x1... хм на две части и определяет, в какой из них находится входной образ, выполняя, таким образом, его классификацию. Возникает вопрос, как определить значения весов, чтобы обеспечить решение персептроном конкретной задачи.
    Это достигается в процессе обучения.
    Предложены различные правила обучения персептрона. Один из алгоритмов называется процедурой сходимости персептрона Розенблатта и является вариантом хеббовского правила изменения весов связей с учителем.
    Алгоритм работает следующим образом. Вектор весов Сети с прямыми связями. устанавливают в произвольное состояние. На сетчатку поочередно подают образы из обучающей выборки, которые трансформируются в выходной сигнал у решающего элемента. При правильном отклике ничего не изменяют. При неправильном отклике у = 0 веса всех связей от активных элементов сетчатки увеличивают, а при неправильном отклике у = 1 - уменьшают. Величина изменения связи определяет степень адаптации. Если решение существует, оно будет достигнуто при циклической подаче образов обучающей выборки за конечное число шагов при любом начальном выборе связей.
    Таким образом, если два класса образов могут быть разделены гиперплоскостью, то при достаточно долгом обучении персептрон будет различать их правильно. Однако линейная разделяющая поверхность, упрощающая анализ персептрона, ограничивает решаемый им круг задач. Этот вопрос тщательно исследовали Минский и Пейперт, показав, какие задачи в принципе не может решить персептрон с одним слоем обучаемых связей. Одним из таких примеров является выполнение логической операции «исключающее ИЛИ».

    2. Многослойный персептрон. Как отмечалось выше, простой персептрон с одним слоем обучаемых связей формирует границы областей решений в виде гиперплоскостей. Двухслойный персептрон может выполнять операцию логического «И» над полупространствами, образованными гиперплоскостями первого слоя весов. Это позволяет формировать любые, возможно неограниченные, выпуклые области в пространстве входных сигналов. С помощью трехслойного персептрона, комбинируя логическими «ИЛИ» нужные выпуклые области, можно получить уже области решений произвольной формы и сложности, в том числе невыпуклые и несвязные. То, что многослойные персептроны с достаточным множеством внутренних нейроподобных элементов и соответствующей матрицей связей в принципе способны осуществлять любое отображение вход-выход, отмечали еще Минский и Пейперт, однако они сомневались в том, что можно открыть для них мощный аналог процедуры обучения простого персептрона.


    В настоящее время в результате возрождения интереса к многослойным сетям предложено несколько таких процедур. В данном параграфе описана детерминированная версия, получившая название « error back propagation» - алгоритм обратного распространения ошибки. Этот алгоритм является обобщением одной из процедур обучения простого персептрона, известной как правило Уидроу - Хоффа (или дельта-правило), и требует представления обучающей выборки. Выборка состоит из набора пар образов, между которыми надо установить соответствие, и может рассматриваться как обширное задание векторной функции, область определения которой - набор входных образов, а множество значений - набор выходов.
    Сети с прямыми связями.
    Рассмотрим многослойную нейроподобную сеть с прямыми связями (см. рисунок). Входные элементы (блоки) образуют нижний слой сети, выходные - верхний. Между ними может быть много слоев скрытых блоков. Каждый блок может быть соединен модифицируемой связью с любым блоком соседних слоев, но между блоками одного слоя связей нет. Каждый блок может посылать выходной сигнал только р вышележащие слои и принимать входные сигналы только от нижележащих слоев. Входной вектор подается на нижний слой, а выходной вектор определяется путем поочередного вычисления уровней активности элементов каждого слоя (снизу - вверх) с использованием уже известных значений активности элементов предшествующих слоев. С точки зрения распознавания образов входной вектор соответствует набору признаков, а выходной - классу образов. Скрытый слой используется для представления области знаний.
    Перед началом обучения связям присваиваются небольшие случайные значения. Каждая итерация процедуры состоит из двух фаз. Во время первой фазы на сеть подается входной вектор путем установки в нужное состояние входных элементов. Затем входные сигналы распространяются по сети, порождая некоторый выходной вектор. Для работы алгоритма требуется, чтобы характеристика вход-выход нейроподобных элементов была неубывающей и имела ограниченную производную. Обычно для этого используют сигмоидную нелинейность вида (4).


    Полученный выходной вектор сравнивается с требуемым. Если они совпадают, обучение не происходит. В противном случае вычисляется разница между фактическими и требуемыми выходными значениями, которая передается последовательно от выходного слоя к входному. На основании этой информации об ошибке производится модификация связей в соответствии с обобщенным дельта правилом, которое имеет вид:
    Сети с прямыми связями. (6)
    где изменение в силе связи wij для р-й обучающей пары пропорционально произведению сигнала ошибки д j-го блока, получающего входной сигнал по этой связи, и выходного сигнала блока i, посылающего сигнал по этой связи. Определение сигнала ошибки является рекурсивным процессом, который начинается с выходных блоков. Для выходного блока сигнал ошибки:
    Сети с прямыми связями. (7)
    где djp и ojp - желаемое и действительное значения выходного сигнала j-го блока; уj' - производная нелинейности блока. Сигнал ошибки для скрытого блока определяется рекурсивно через сигнал ошибки блоков, с которым соединен его выход, и веса этих связей:
    Сети с прямыми связями. (8)
    Для используемой сигмоидной нелинейности уj| = уj (1 - уj), поэтому для 0Ј уjЈ1 производная максимальна при уj == 0,5 и равна нулю при уj =0 или 1. Соответственно веса изменяются максимально для блоков, которые еще не выбрали свое состояние. Кроме того, при конечных весах выходные сигналы блоков не могут достигать значений 0 или 1, Поэтому за 0 обычно принимают значения уj < 0.1, а за 1 - значения уj > 0.9.
    Модификация весов производится после предъявления каждой пары вход - выход. Однако если коэффициент h, определяющий скорость обучения, мал, то можно показать, что обобщенное дельта-правило достаточно хорошо аппроксимирует минимизацию общей ошибки функционирования сети D методом градиентного спуска в пространстве весов. Общая ошибка функционирования сети определяется так:
    Сети с прямыми связями.
    Обучение продолжается до тех пор, пока ошибка не уменьшится до заданной величины. Эмпирические результаты свидетельствуют о том, что при малых h система находит достаточно хороший минимум D.
    Один из основных недостатков алгоритма обратного распространения, однако, заключается в том, что во многих случаях для сходимости может потребоваться многократное (сотни раз) предъявление всей обучающей выборки.


    Повышения скорости обучения добиваются, например, использованием информации о второй производной D, увеличением h. В последнем случае избежать осцилляций позволяет инерционный член:
    Сети с прямыми связями. (9)
    где a - экспоненциально затухающий множитель, определяющий относительное воздействие текущего и прошлых градиентов на изменение веса.
    Предпринимаются попытки использовать алгоритм обратного распространения ошибки для обучения сетей с обратными связями обработки последовательностей образов. Основой для этого является эквивалентность многослойной сети с прямыми связями и синхронной сети с обратными связями на ограниченном временном интервале (слой соответствует такту времени). Предложены также варианты алгоритмов обучения, более привлекательные с биологической точки зрения. Таким, например, является алгоритм рециркуляции, предложенный для сетей, в которых скрытые блоки соединены со входными. При обучении веса связей перестраиваются таким образом, чтобы минимизировать частоту смены активности каждого блока. Таким образом, обученная сеть имеет стабильные состояния и может функционировать в режиме ассоциативной памяти.
    В настоящее время многослойные персептроны являются наиболее популярной моделью нейронных сетей. Это в значительной степени объясняется тем, что с их помощью удалось продемонстрировать решение ряда задач, в том числе классической для персептронов задачи «исключающего ИЛИ», задачи синтеза речи по тексту, а также задач, требующих принятия экспертных решений. Возможно, что подобные многослойным персептронам нейронные структуры используются мозгом для предварительной обработки сенсорной информации, например, при выделении признаков.

    Сети с симметричными связями

    1. Ансамблевые нейронные сети. Минский и Пейперт отмечали, что недостатки простых персептронов можно преодолеть как с помощью многослойных сетей, так и введением в сеть обратных связей, допускающих циркуляцию сигналов по замкнутым контурам. Использовать свойства такого рода сетей для моделирования функций мозга еще в 1949 г. предложил Хебб.
    Согласно взглядам Хебба нервные клетки мозга соединены друг с другом большим количеством прямых и обратных возбуждающих связей и образуют нейронную сеть. Каждый нейрон осуществляет пространственно-временную суммацию приходящих к нему сигналов от возбужденных нейронов, определяя потенциал на своей мембране. Когда потенциал на мембране превышает пороговое значение, нейрон возбуждается. Нейрон обладает рефрактерностью и усталостью. Эффективность связей может изменяться в процессе функционирования сети, повышаясь между одновременно возбужденными нейронами. Это приводит к объединению нейронов в клеточные ансамбли - группы клеток, которые чаще всего возбуждались вместе, и к обособлению ансамблей друг от друга. При возбуждении достаточной части ансамбля он возбуждается целиком. Различные ансамбли могут пересекаться: один и тот же нейрон может входить в разные ансамбли. Электрическая активность мозга обусловлена последовательным возбуждением отдельных ансамблей.
    Идеи Хебба оказали большое воздействие на представления о работе мозга и послужили основой для создания нейронных моделей долговременной памяти. Действительно, ансамблевую нейронную сеть можно рассматривать как структуру, реализующую функции распределенной ассоциативной памяти. Формирование ансамблей в такой сети соответствует запоминанию образов (признаков, объектов, событий, понятий), закодированных паттерном активности нейронов, а сформированные ансамбли являются их внутренним представлением. Процесс возбуждения всего ансамбля при активации части его нейронов можно интерпретировать как извлечение запомненной информации по ее части - ключу памяти. Модель памяти на основе ансамблевой нейронной сети обладает некоторыми свойствами, присущими биологической памяти, такими, как ассоциативность, распределенность, параллельность, устойчивость к шуму и сбоям, надежность.
    Проводятся также структурные аналогии между ансамблевыми моделями нейронных сетей и строением коры головного мозга. Имеются экспериментальные данные о синаптической пластичности, постулированной Хеббом.
    Модель ансамблевой сети состоит из большого количества нейроподобных элементов, каждый из которых обычно соединен со всеми другими элементами сети. Входной образ подается на сеть путем активации нужных нейроподобных элементов. В отличие от персептрона ансамблевая сеть может обучаться как с учителем, так и без него. Обучение производится по правилу Хебба (5) или одному из его вариантов. Значение коэффициента a (5) при обучении с учителем определяет величину подкрепления, а при обучении без учителя эта величина может быть установлена, например, постоянной. Отметим, что правило Хебба (5) формирует симметричную матрицу связей.
    В процессе обучения при подаче на сеть набора входных образов - представителей среды - в сети формируются ансамбли, которые могут иметь сложную структуру, отражающую свойства среды. Действительно, связность внутри групп нейроподобных элементов, которые наиболее часто возбуждались одновременно, будем значительно выше, чем в среднем по сети. Так образуются ядра ансамблей, в которых накапливаются комбинации признаков, наиболее часто встречающиеся во входных образах. Их можно рассматривать как внутреннее представление образов-прототипов классов, объективно существующих во внешней среде. Более редкие комбинации возбужденных нейроподобных элементов образуют бахрому ансамблей, где фиксируются индивидуальные особенности образов, внутренний и внешний контексты и т. д.
    Количество образов, которое можно запомнить в сети, сильно зависит от их размера, т. е. от количества нейроподобных элементов, которое активизируется образом, а также от степени корреляции образов. Аналитически и экспериментально показано, что количество стохастических образов, которое можно запомнить и восстановить в ансамблевой сети, при малом размере образа может значительно превышать число нейроподобных элементов сети.


    При подаче на обученную ансамблевую сеть некоторого входного образа путем установки начального паттерна активности осуществляется восстановление наиболее близкого к нему образа из числа запомненных в сети. Сеть представляют самой себе, и в ней начинается обычный процесс (синхронный или асинхронный - в зависимости от используемого алгоритма) изменения состояний нейроподобных элементов. При этом из-за наличия только возбуждающих связей возникает проблема регулирования уровня активности сети, т. е. количества одновременно активных элементов. Для ее решения был предложен ряд внутрисетевых и внешних механизмов. Если уровень активности сети поддерживается примерно равным величине ансамбля, то межансамблевая конкуренция приводит к релаксации сети из начального к конечному устойчивому состоянию, соответствующему запомненному образу.
    В ряде работ теоретически и экспериментально исследуются количественные характеристики функционирования ансамблевых сетей, например качество воспроизведения образа в зависимости от числа запомненных в сети образов и их размера, а также от степени близости к ним входного образа и т. д. Интересный метод аналитического исследования сетей с обратными связями предложен Хопфилдом.

    2. Сеть Хопфилда. Хотя многочисленные результаты моделирования демонстрировали стабильность ансамблевых сетей с обратными связями и хеббовским правилом обучения (эволюцию сети к устойчивому состоянию), отсутствие математического обоснования такого введения препятствовало их популярности. Положение изменилось с появлением работ, где было определено подмножество нейронных сетей с обратными связями, которые гарантированно достигают устойчивого состояния.
    В 1982 г. американский биофизик Джон Хопфилд опубликовал статью [134], где на основании аналогии между нейронными сетями и особым классом физических систем - спиновыми стеклами - ему удалось привлечь к анализу нейросетевых моделей мощный математический аппарат статистической физики. Это стимулировало вторжение в область моделирования нейронных сетей большого отряда ученых-физиков, которыми в настоящее время получено много интересных аналитических результатов.


    Сам Хопфилд в упомянутой статье рассмотрел поведение модели полносвязной сети бинарных нейроподобных элементов с симметричными связями (wij = wji). Элементы функционировали в асинхронном режиме, т. е. каждый нейрон в случайные моменты времени с некоторой средней частотой определял свое состояние в соответствии с правилом (3). Это позволило описать поведение сети как релаксационный процесс, при котором минимизируется энергетическая функция Е (функция Ляпунова, гамильтониан) модели:
    Сети с симметричными связями (10)
    где wij - матрица связей; у и q - состояние и порог модельного нейрона. Действительно, изменение Е при изменении состояния нейрона (учитывая симметрию wij и полагая q=0)
    Сети с симметричными связями(11)
    Так как знак Dyi совпадает со знаком Сети с симметричными связями, ясно, что Е по мере срабатывания нейронов будет монотонно убывать, а так как Е ограничена, будет достигнуто состояние ее минимума. Таким образом, эволюция сети из любого начального состояния приводит к состоянию, соответствующему локальному минимуму Е. Можно провести аналогию поведения сети с движением легкой частицы по некоторому вязкому рельефу под действием силы тяжести.

    В своей работе Хопфилд исследовал сеть с нейроподобными элементами, имеющими сигмоидную характеристику. Состояния нейронов такой сети изменяются одновременно и непрерывно, и сеть описывается Сети с симметричными связямисистемой дифференциальных уравнений. Хопфилд доказал сходимость и такой сети к стабильным энергетическим минимумам и нашел соответствие между ее устойчивыми состояниями и устойчивыми состояниями сети с бинарными элементами. Это послужило основой для построения аппаратных моделей, где сеть реализуется как аналоговая электронная схема, состоящая из операционных усилителей, моделирующих нейроны, соединенных резисторами с проводимостями wij, и со смещениями входными токами q (см. рисунок).

    Понятно, что если сделать минимумами энергии заданный набор паттернов нейронной активности (образов), оба варианта сети Хопфилда смогут выполнять функции ассоциативной памяти, «скатываясь» к тому образу, в чей «бассейн притяжения» попадает начальный паттерн активности нейронов сети.


    Например, на рисунке Сети с симметричными связями показано восстановление сетью из 40 нейронов, которые расположены в виде матрицы 5х8, запомненного в сети изображения
    буквы «Е». Активному нейрону соответствует заштрихованный элемент изображения. Из поданного на сеть зашумленного изображения (слева) восстанавливается правильное изображение (справа).
    Как и следовало ожидать, одним из способов получения нужной энергетической функции является формирование матрицы связей в соответствии с вариантом хеббовского правила:
    Сети с симметричными связями (12)
    где zp - образы, которые надо запомнить в сети; L - их количество. Это правило, как и правило, предложенное Хеббом, обеспечивает формирование симметричной матрицы связей, однако постулирует увеличение веса связей между не только одновременно активными, но и одновременно неактивными нейронами, а также его уменьшение между нейронами, находящимися в разном состоянии. Такое правило допускает существование тормозящих модифицируемых связей между нейронами и даже переход возбуждающих связей в тормозящие. Оно позволяет сети автоматически саморегулировать уровень активности и работать с нулевыми порогами нейронов. Однако при этом значительно снижается емкость памяти сети: количество случайных образов, которое можно записать в сеть с возможностью восстановления, не превышает 0.14 количества нейронов. Кроме того, в дополнение к энергетическим минимумам, соответствующим запомненным образам, возникают ложные минимумы функции Е. Положение еще более осложняется для скоррелированных образов, которые после запоминания не становятся минимумами Е.
    В настоящее время ведется интенсивная работа по улучшению характеристик модели Хопфилда, предлагаются ее интересные расширения и обобщения. Предпринимаются попытки создать алгоритмы обучения, позволяющие работать со скоррелированньми образами. В ряде работ приводятся обучающие правила, осуществляющие ортогонализацию и позволяющие запоминать в матрице связей произвольный набор линейно независимых образов. Такие правила, однако, приводят к усложненной нелокальной зависимости матрицы связей от записываемых образов.


    Предлагаются способы отражения иерархии скоррелированных образов, существующей в реальном мире, в иерархическом дереве устойчивых состояний нейронной сети.
    В ряде работ дан анализ появления в сети Хопфилда ложных образов. Они возникают вследствие присущего нейронной сети свойства накапливать в процессе обучения наиболее часто встречающиеся комбинации входных сигналов, формируя прототипные образы. Однако это свойство, очень полезное для ансамблевых сетей с малым уровнем активности, для сети Хопфилда приводит к отрицательному эффекту из-за большого уровня активности используемых в ней образов, а следовательно, значительного их перекрытия.
    Предпринимаются поиски способов увеличения количества образов, которое можно запомнить в сети Хопфилда. Предлагалось ввести в модель «забывание» (например, ограничением величины весов). При этом новые записываемые в сеть образы будут вытеснять старые. Можно добиться увеличения числа запомненных образов ценой введения множественных связей. Однако радикального улучшения информационных характеристик сети Хопфилда, как показывает анализ, позволяет добиться первоначальный вариант хеббовского правила в сети с низким уровнем активности. Это подтверждается также данными исследователей, работающих с ансамблевыми сетями.
    Интересным результатом увенчалась работа по преодолению таких серьезных с биологической точки ограничений модели, как полносвязность и симметрия. Оказалось, что сильно разреженная асимметричная версия сети Хопфилда может быть решена аналитически, и ее поведение качественно похоже на поведение полносвязной сети в области хорошего восстановления.
    Для сети Хопфилда предложен также ряд механизмов работы с последовательностями. Основная проблема заключается в том, чтобы при запоминании отразить в статической структуре матрицы связей порядок следования входных образов, а при воспроизведении обеспечить их восстановление в нужном порядке. Это достигается формированием матрицы связей, в которой наряду со стационарными состояниями (симметричные связи) запомнены переходы между ними (асимметричные связи от предшествующего образа к последующему).


    Для того чтобы разделить два типа динамики - релаксацию к устойчивому состоянию, соответствующему одному из образов последовательности, и переход к следующему образу- было предложено записывать переходы между состояниями в отдельной матрице связей и ввести временные задержки на сигналы, поступающие на входы нейронов через эту матрицу. Вследствие этого сеть сначала стабилизируется в некотором состоянии, а уже потом начинает «ощущать» притягивающее влияние следующего состояния и переходит в него. На таких сетях была продемонстрирована генерация, распознавание и подсчет элементов простейших последовательностей, однако пока не решена проблема обработки более сложных последовательностей, имеющих общие части, разветвления и повторения.
    Развивая свои идеи о «коллективных вычислениях» в нейронных сетях, Хопфилд предложил использовать свойство сети минимизировать энергетическую функцию для решения оптимизационных задач. С этой целью сначала выбирается «нейронное» представление для конкретной задачи, т. е. исходя из ее условий состоянию нейронов присваивается смысл. Затем с учетом ограничений, налагаемых на задачу, конструируется энергетическая функция таким образом, чтобы в состояниях, представляющих возможные решения, она была пропорциональна стоимостной функции задачи. После этого из энергетической функции извлекаются связи wij и пороги qi, и конструируется соответствующая сеть. Так как в процессе функционирования сеть минимизирует свою энергию, динамика в пространстве состояний направлена на минимизацию соответствующей стоимостной функции. Поиск минимума энергии занимает всего несколько постоянных времени нейронов, поэтому сеть быстро достигает стабильного состояния, из которого декодируется решение задачи. Так как здесь в отличие от задачи ассоциативной памяти требуется нахождение не локального, а глобального энергетического минимума, существенной оказывается сигмоидность характеристик нейронов (бинарные нейроны здесь не подходят) и аналоговый характер их взаимодействия.


    Решения, находимые такой аналоговой сетью, не самые лучшие, но достаточно близки к ним.
    Несмотря на недостатки сети Хопфилда, предпринимаются попытки использовать ее аппаратные реализации для решения задач, требующих быстрого распознавания небольшого количества простых образов.

    3. Машина Больцмана. Машина Больцмана представляет собой стохастический вариант сети Хопфилда. Бинарные нейроподобные элементы (блоки) трактуются здесь как представители элементарных гипотез, а веса - как слабые парные взаимоограничения между ними. Положительный вес связи указывает, что две гипотезы стремятся поддерживать друг друга, а отрицательный - на их несовместимость. Симметрия связей позволяет проанализировать поведение сети с использованием энергетической функции:
    Сети с симметричными связями (13)
    Энергию определенного паттерна активности можно интерпретировать как степень нарушения ограничений, присутствующих в проблемной области, со стороны конкретной комбинации гипотез или как стоимостную функцию, которая должна быть минимизирована для решения оптимизационной задачи.
    Если зафиксировать состояния некоторых блоков, подав, таким образом, на сеть входное воздействие, остальные блоки начнут изменять свое состояние так, чтобы минимизировать энергию Е. Действительно, поступающая на каждый блок взвешенная сумма сигналов от активных блоков из-за симметрии связей совпадает с величиной разности между значениями, энергетической функции, зависящей от его собственного состояния:
    Сети с симметричными связями(14)
    Поэтому алгоритм изменения состояния бинарных нейроподобных элементов автоматически приводит к минимизации энергии Е.
    При этом, однако, сеть может попасть в локальный минимум, что крайне нежелательно для оптимизационных задач. Чтобы сеть могла выбраться из локального энергетического минимума, в машине Больцмана применяется вероятностное правило срабатывания блоков:
    Сети с симметричными связями(15)
    где рi - вероятность нахождения i-ro блока в единичном состоянии;
    Р (х) - сигмоидная функция;
    T - параметр, аналогичный температуре.
    При Т ® 0 это правило переходит в правило срабатывания детерминированных бинарных элементов (3), а при повышении температуры увеличивается вероятность перехода системы в состояние с большей энергией.


    Если сеть с таким вероятностным правилом придет в состояние «теплового равновесия», относительные вероятности ее нахождения в двух глобальных состояниях будут подчиняться распределению Больцмана
    Сети с симметричными связями(16)
    где РA - вероятность нахождения сети в глобальном состоянии A;
    ЕA - его энергия;
    При низкой температуре система «предпочитает» состояния с низкой энергией, однако требуется много времени для достижения равновесия. При высоких температурах равновесие достигается быстрее, однако нет сильного предпочтения низким энергетическим состояниям.
    Хороший способ нахождения глобального минимума получил название «имитация отжига» из-за аналогии с медленным охлаждением металла для получения низкоэнергетической кристаллической решетки. При этом сначала в сети устанавливают высокую температуру, при которой ее поведение почти случайно, а затем постепенно понижают температуру со скоростью, которая гарантирует, что система всегда будет близка к тепловому равновесию и не попадет в локальный минимум. При высокой температуре- сеть быстро находит зону энергетического ландшафта, где находится хороший минимум. При снижении температуры сеть находит в этой зоне близкий к глобальному минимум энергии.
    Машина Больцмана может использоваться для классификации образов. При этом в ней, как и в многослойном персептроне, выделяют входные, выходные и внутренние (скрытые) блоки, однако для каждой прямой связи между блоками существует равная ей по величине обратная (симметричная) связь. Процесс распознавания состоит из следующих шагов:

  • на входных блоках фиксируют входной образ;
  • рандомизируют состояние скрытых и выходных блоков, а затем медленно понижают температуру;
  • наблюдают за состоянием сети при конечной низкой температуре и собирают статистику состояний выходных блоков. На основании этой статистики делают вывод о входном образе.
    • Для машины Больцмана существует алгоритм обучения, который, как и для многослойного персептрона, создает путем модификации связей внутреннюю модель среды, позволяющую достаточно хорошо классифицировать входные образы.


    Для работы алгоритма требуется обучающая выборка, состоящая из пар вход - выход, которые должна научиться ассоциировать сеть. Если после обучения зафиксировать на входных блоках один из входных образов, на выходных блоках должен появиться соответствующий выходной образ. Если подать на вход неизвестный образ, система на основе выявленных в обучающей выборке закономерностей должна провести правильное обобщение.
    Практически каждый цикл обучения состоит из трех шагов.
    1. Фаза тренировки. Для каждой пары образов фиксируются состояния входных и выходных блоков, а остальная часть сети подвергается отжигу к низкой температуре. Затем для каждой связи собирается статистика, какую часть времени pij+ были одновременно активны соединяемые ею блоки.
    2. Фаза проверки. Вычисляется аналогичная величина pij-, однако теперь выходные блоки не зафиксированы и свободно меняют состояние.
    3. Изменение связей. В хорошо обученной сети ее поведение будет идентично для обеих фаз. Если р+ и р- не совпадают для конкретной связи, ее изменяют: Сети с симметричными связями, где e масштабирует размер изменения.
    Каждый цикл необходимо повторить много раз, пока матрица связей не стабилизируется в достаточной степени.
    Оказывается, что при таком изменении весов осуществляется минимизация методом градиентного спуска теоретико-информационной меры различия между внешней средой и ее моделью, сформированной сетью:
    Сети с симметричными связями (18)
    где P+(Ia Щ Ob) - вероятность а-го состояния входных блоков и b-го состояния выходных, когда они фиксированы внешней средой;
    P+(Ia | Ob) - вероятность b-го состояния выходных блоков при а-м состоянии входных, когда они фиксированы средой;
    Р- (Оb | Ia) - соответствующая вероятность, когда фиксированы только входы.
    Действительно, частная производная Q по каждому из весов имеет вид:
    Сети с симметричными связями(19)
    что позволяет обучать сеть с помощью описанной локальной процедуры.
    К сожалению, алгоритм обучения машины Больцмана имеет типичные недостатки, присущие процедурам градиентного спуска в многопараметрических пространствах. Прежде всего это неточность вычисления градиента, обусловленная неполным достижением теплового равновесия и ограниченным временем сбора статистик.Из-за своей стохастичности алгоритм требует гораздо больших временных затрат по сравнению даже с алгоритмом обучения многослойного персептрона методом обратного распространения ошибки. Имеющаяся аппаратная реализация, однако, смягчает этот недостаток по крайней мере для небольших сетей. Известны примеры применения машины Больцмана для решения классических персептронных задач, таких, как задача «исключающего ИЛИ», обнаружение симметрии во входном образе и т. д., а также для распознавания речи.

    Слабосвязанный мир

    Авторы статьи являются сторонниками мнения, что мир, в котором мы живем, является миром со слабыми причинно-следственными связями. Что имеется в виду?
    Представим себе, что Вы пишете статью, а за окном упал осенний кленовый лист, которого Вы не видите. Если такое событие повлияет на текст, который вы пишете, то можно сказать, что наш мир настолько насыщен причинно-следственными связями, что любое событие окажет большое или малое влияние на события, произошедшие после него. Такой мир будем называть сильносвязанным [1, 2].
    Однако весь наш опыт доказывает обратное. К примеру, на самолет не успел один из пассажиров. На подавляющее большинство остальных пассажиров это не окажет никакого влияния. Дело в том, что обычно реальные системы имеют так называемые "ступенчатые функции" (данный термин дан в соответствии с [1, 2]), которые при небольших вариациях возмущающих воздействий не дают им распространяться к другим системам. Более того, именно благодаря слабой связанности мира мы можем выделить в нем отдельные системы, а в них подсистемы. В противном случае весь мир представлял бы собой одну настолько сложную систему, что самый великий гений не мог бы разобраться и жить в этом безумном мире, не говоря уж об обычной амебе.
    Биологическим системам управления приходится адаптироваться к окружающей среде, принимая форму зеркального отражения ее структуры, поэтому в нашем мозгу всегда можно выделить подсистемы, которые никоим образом не должны влиять друг на друга в обученном состоянии. К примеру, рассмотрим человека, управляющего автомобилем с ручной коробкой передач. В тот момент, когда его правая рука переключает очередную передачу, левая должна продолжать удерживать руль в положении "прямо" независимо от того, что делает правая. Если данные подсистемы будут объединены, то при каждом переключении передачи автомобиль начнет вилять, что и случается у новичков. В процессе обучения вождению автомобиля происходит ослабление внутренних связей между нейронными ансамблями, управляющими процессами переключения передач и вращения руля, в результате чего устраняется эффект “виляния”. Можно привести и более простой пример: человек с нормальной координацией движений, продолжает двигаться прямо вне зависимости от того, куда повернута его голова.
    Таких примеров можно привести множество.

    СТРУКТУРА ПАМЯТИ

    Искусственный интеллект
    СТРУКТУРА ПАМЯТИ. Лукьянов Анатолий Николаевич
    copyright (c) 2 июня 1998 г. all rigths reserved
    Структура памяти человека.
    Введение.
    Перед началом работы над темой своей диссертации автор занимался обзором различных направлений в реализации экспертных систем. Одной из таких направлений являются Нейронные сети. Перед тем как приступить к изучению нейросетей автор решил исследовать что известно науке о структуре мозга. Каким образом в нем хранится информация. Оказалось что ученными подробно изучены процессы происходящие в мозге. Но ответить на вопрос где и как хранится информация в мозге до сих пор нет ответа. Вполне возможно что уже существует ответ на этот вопрос или ответ на него набивает на клавиатуре другой исследователь, но автор данной работы так и не встретил его (ответ). Если считать что каждый нейрон является хранителем одной единицы информации, то как человек может вспомнить под гипнозом мельчайшие подробности чего увиденного им десятки лет назад. В одной книге («Память хорошая - память плохая» (не помню автора)) приводился пример : Кирпичник под гипнозом рассказал от точно расположении каждого кирпича в кладке которую он делал 10 лет до этого. После этого разобрали стену и обнаружили точное соответствие. Автор, как программист , может утверждать, что для хранения такого количества информации не хватит даже не только количества нейронов в мозге человека но и всех клеток человека. В этой же книге (написанной кстати советским ученным) приводился всем известный пример того как под гипнозом человек вспоминает момент своего рождения. Как человек под гипнозом начинает рассказывать о «своей» жизни до момента его зачатия! Исследуя структуру нейрона автор данной работы выдвинул свою гипотезу о структуре памяти человека. Которая как ему кажется дает ответы на все вопросы. И в тоже время он не претендует на абсолютную истинность его гипотезы и надеется на поправки и обсуждение.
    Следует отметить что в данной работе даются гипотезы только о процессе записи информации.

    «Нечеткая» память клеток организма.

    Внутри клеток организма происходят химические реакции что вызывает некоторое выделение энергии (тепловая, электромагнитные волны).
    Гипотеза 1: Каждая клетка человека излучает электромагнитное поле.
    Клетку организма для общности можно изобразить в виде шара. Но в данном случае нам очень трудно изобразить ее и отходящее от нее поле на плоскости листа. Поэтому не теряя общности будем изображать клетку в виде круга. Поле исходящее из клетки будем изображать в виде цилиндра сечение которого равно размерам клетки. Хотя поле на самом деле не имеет такой вид, такое представление будет очень удобно для нас (см рис. 1) и оно сохраняет общность. Данный вопрос будет важен только когда мы будем говорить о максимально-возможном объеме хранимой информации.
    Гипотеза 2: Поле излучаемое клеткой служит для хранения информации. Информация хранится в виде формы этого поля.
    Действительно какие бы процессы не происходили бы в любом месте организма человека они всегда несут в себе информацию о внешнем воздействии на организм человека. Отсюда вывод:
    Гипотеза 3: Каждая клетка организма записывает в свое поле полную информацию о каждом моменте жизни человека (животного, растения).
    Причем эта информация может кодироваться разными способами разными клетками, но содержать они будут одну и ту же информацию. Назовем память клетки живого организма «нечеткой» памятью (почему вы поймете когда мы будем рассматривать «четкую» память).
    Рис 1. «Нечеткая» память клетки.
    СТРУКТУРА ПАМЯТИ
    Следовательно: Объем «нечеткой» памяти человека равен объему памяти одной клетки умноженному на количество клеток в организме.
    Чему равен объем «нечеткой» памяти клетки?
    Объем памяти клетки бесконечен и имеет мощность равную мощности трехмерного пространства (3*Омега). Где одна мера время. Две другие меры расположены на поверхности шара излучения поля.

    «Четкая» память нейрона.

    Для исследования структуры памяти нейрона возьмем за основу описание нейрона данного в работе K. Gurney «Neural Nets». В основе его лежит Пороговое Логическое Устройство ( TLU ).


    Нейрон представляет собой клетку от которой отходят аксоны. На мембране нейронов расположены синапсы. На концах аксонов находятся дендриты которые соприкасаются с синапсами других нейронов. Импульс передается по аксону через дендрит на синапс и на мембране на месте прикрепления синапса возникает постсинаптический потенциал. Который будем считать собирается и в случае если суммарное значение постсинаптических потенциалов превысит пороговое значение то по исходящим аксонам пойдет импульс, который передается через дендриты на аксоны других клеток. Здесь и возникает «четкая» память. «Четкая» память содержится в «нечеткой», но колебания в излучаемом поле имеют более четкий характер, так как вызваны передаваемыми аксонными импульсами. Скорость передачи импульса сравнима с 100-1000 кбит/сек. Аксонные импульсы как бы нарезают (накалывают) информацию на «нечеткой» памяти (см. рис 2). Следует заметить что «четкая» и «нечеткая память» равноценны, первая имеет более четкую форму вторая больший объем, но в нейронных процессах скорее всего используется только «четкая».
    Рисунок 2. «Четкая» память нейрона.
    СТРУКТУРА ПАМЯТИ

    Какой объем «четкой» памяти нейрона? Скорее всего его мощность также равна мощности трехмерного пространства. Правда более узка (Вспомните теорему из математического анализа: Отрезок равномощен прямой.) и прерывиста. Ширина «нарезок» ненулевая. Потенциалы скапливаются, следовательно занимают какой-то объем на мембране.
    При считывании поле памяти проходит через нейрон. В следствии того что поле имеет электромагнитную природу , оно вызывает появление в нейроне потенциала называемого в [1] условным. Постсинаптический потенциал появляется в результате прохождения электрического импульса по аксонам. Условный же потенциал вызван прохождением поля памяти через клетку.

    Изменения в модели Перцептрона (искусственного нейрона).

    Подробное описание Перцептрона приведено в работе K. Gurney «Neural Nets». В основе его лежит Пороговое Логическое Устройство ( TLU ). Изменения затронут только TLU.


    На каждый вход TLU добавляется машина Тьюринга (см Рис. 3) Которая записывает каждый сигнал пришедший из вне. Для реализации искусственного интеллекта с подобной моделью Перцептрона необходим большой объем памяти какой нынешние носители не могут обеспечить. Скорее всего для этого понадобиться вся сеть Интернет или эта проблема будет решена только тогда когда появятся накопители которые смогут хранить бесконечные объемы информации и если гипотеза автора данной работы верна то вполне возможно она будет иметь полевой характер.
    Рисунок 3. Новая модель Перцептрона
    СТРУКТУРА ПАМЯТИ

    Общая структура памяти. Биополе человека.

    Предложим еще несколько гипотез:
    Гипотеза 4: Память каждой клетки «привязана» к ней и находится рядом с ней.
    В каком виде она располагается рядом с клеткой пока неизвестно. Скорее всего в виде скрученных полей. В связи со скручиванием полей вполне возможно появление различных квантов и элементарных частиц. (см. «НОВАЯ ФИЗИКА»).
    Гипотеза 5: При делении клеток память делится на две идентичные копии и каждая копия привязывается к клеткам которые получились в результате деления.
    Если данная гипотеза верна то вполне возможно передача информации в виде «нечеткой» памяти детям, так как яйцеклетка и сперматозоид тоже являются клетками человека. Совокупность информационных полей клеток организма составляет Биополе организма (животного или растительного). Совокупность биополей живых организмов земли составляет биополе земли - ноосферу. Следовательно биополе является хранителем информации. Мозг человека хранит также рефлексивную память. Но исследование памяти подобного вида не является целью данной работы. Тем более что ученные уже достигли больших результатов в этом направлении.
    Следует заметить что обычные поля, кванты и элементарные частицы имеют формы гармонического вида (синусоида, спираль и прочее), в тоже время поля, кванты и элементарные частицы возникающие в биополе имеют в основе своей формы информацию, их форма является отображением воспринятой из вне информации и их можно также называть биоволнами, биоквантами и элементарными биочастицами.


    Причины амнезии.

    Каковы причины амнезии. Амнезия возникает во время сильных ударов и психических потрясений. Давайте посмотрим что при этом происходит: При сильном сотрясении мозга происходит смещение полей памяти клеток и клетка не может считывать информацию записанную ей ранее. При психических потрясениях в мозге происходят сильные колебания потенциалов что может также вызвать смещение полей либо вызвать сильное изменение постсинаптических потенциалов некоторых нейронов либо вызвать искажение поля памяти что приводит к потере памяти. Вполне возможно что существует способ копирования информации к соседней клетке и происходит восстановление памяти. Но оформлять все это в виде гипотезы пока еще рано. Восстановление «четкой» памяти нейронов может происходить следующим образом: При процессах вспоминания неповрежденных клеток возникают так называемые условные потенциалы [1] которые вызывают цепочки импульсов пробегая по остальным нейронам поправляют постсинаптические потенциалы поврежденных клеток тем самым создавая новую память.
    P.S. Вопрос: Существуют ли в организме человека клетки которые могут воспринимать информационные поля другого человека и считывать информацию? Возможно ли чтение мыслей?

    Литература.

    1. Память хорошая память плохая.
    2. Dr. K. Gurney. Neural Nets.

    Варианты решения

    В работах [1, 2] для решения указанных проблем предлагалось строить системы управления, аналогичные окружающему миру — с малым количеством связей и со "ступенчатыми" функциями. Для проверки этой гипотезы авторами была создана нейронная сеть со следующим алгоритмом функционирования в общем виде.
    Каждый нейрон представляет собой объект с двумя информационными входами и одним входом ошибки. По информационным входам происходит взвешенное суммирование с ограничением по абсолютной величине, которое с запаздыванием на несколько тактов передается на выход нейрона. Переменными величинами являются весовые коэффициенты и время задержки. Поскольку рабочей гипотезой принципа функционирования нейрона была принята гипотеза минимизации энергозатрат нейрона [3], то на вход ошибки поставлено апериодическое звено, которое с некоторым запаздыванием повторяет уровень на входе. Если уровень этой "сглаженной" ошибки превышает некоторый порог, то выполняется одно из следующих действий: случайно изменяются все параметры, случайно изменяется один из параметров, делается малое случайное изменение одного из параметров, восстанавливаются параметры одного из предыдущих состояний, в котором нейрон был продолжительное время. Последнее действие выполняется с наибольшей вероятностью.
    Несколько нейронов являются входами системы, одни из которых дублируют входные переменные, а другие являются сигналами ошибки. Причем к "ошибочным" нейронам подключены только входы ошибки у некоторых нейронов. Выходным сигналом является сумма сигналов от нескольких нейронов. Подключения нейронов между собой внутри сети случайны.
    Каковы результаты работы данной сети? Были опробованы различные сочетания настроек алгоритма при работе в качестве управляющего контроллера простого объекта управления и в большинстве случаев происходило следующее:
    1. Во многих случаях сеть чисто физически не могла управлять никаким объектом по причине отсутствия канала "вход — выход" при случайном ее построении.
    Данную проблему можно было бы решить, увеличив количество нейронов, но тогда мы приближаемся к тому, от чего уходили.

    2. В тех случаях, когда такой канал существовал, система настраивалась очень медленно и, что самое плохое, не держала полученный результат, постоянно считая за цель снижение возбуждения какого-либо нормально работающего нейрона.

    Таким образом, предложенная в работах [1, 2] методика построения системы управления соответствует приведенному выше случаю 1. Почему? По-видимому, дело здесь в том, что принцип симметрии может быть применим к уже настроенной сети, а ее заготовка должна иметь большое количество возможных связей, поскольку априори не известно, какие из них понадобятся. Простота сети должна выражаться не в минимальном количестве возможных связей, а в выделении из главной цели более простых подцелей, которые в экстремальном варианте индивидуальны для каждого нейрона.

    Именно так функционируют нейроны человеческого мозга. Они увеличивают весовые коэффициенты связей, идущих к нейронам, которые чаще всего возбуждаются совместно с ними [6].

    В данный момент ведутся работы по созданию нейронной сети с большим, чем раньше количеством связей, алгоритм обучения каждого нейрона в которых соответствует приведенному в предыдущем абзаце. Такой алгоритм можно также считать соответствующим принципу максимума информации, приведенному в [3].

    В заключение хотелось бы привести еще одну аналогию. Работу сети, которая для своей настройки использует один глобальный критерий, можно сравнить с государством, которое осуществляет жесткое регулирование экономики. Сеть в которой каждый нейрон обладает своей целью, не зависящей от всего комплекса в целом, можно сравнить с государством, которое дает абсолютную свободу своим гражданам делать все что угодно на их благо. А из их благ составилось бы общее благо всего государства. Наиболее эффективный способ управления, по-видимому, будет лежать посредине: каждый гражданин (нейрон) работает так, чтобы максимально обогатиться (свести к максимуму локальный критерий качества), но то, какими способами это можно сделать, ненавязчиво регулируется государством (глобальным критерием качества).

    Часто возникает вопрос — какое имеют отношение к электроприводу методы из области искусственного интеллекта? Здесь можно сослаться на фразу известного русского физиолога И. М. Сеченова, приведенную в качестве эпиграфа. В несколько перефразированном виде она будет звучать следующим образом: вся деятельность промышленных интеллектуальных систем сводится окончательно лишь к одному явлению — движению "мышц" индустрии, которыми сейчас является и останется в ближайшем будущем электропривод.

    

        Нейросети: Нейролингвистика - Логика