Искусственные нейронные сети

1 Теоретическая часть

1.1 Появление термина «искусственные нейронные сети»

 

Термин «нейронные сети»  сформировался к середине 50-х  годов XX века. Основные результаты в  этой области связаны с именами  У. Маккалоха, Д Хебба, Ф. Розенблатта, М. Минского, Дж. Хопфилда. Приведем краткую  историческую справку.

1943 г. У. Маккалох (W. McCulloch) и У. Питтс (W. Pitts) предложили  модель нейрона и сформулировали  основные положения теории функционирования  головного мозга.

1949 г. Д. Хебб (D. Hebb) высказал  идеи о характере соединений  нейронов мозга и их взаимодействии (клеточные ансамбли, синаптическая  пластичность). Впервые предложил  правила обучения нейронной сети

1957 г. Ф. Розенблатт (F. Rosenblatt) разработал принципы организации  и функционирования персептронов, предложил вариант технической  реализации первого в мире  нейрокомпьютера Mark.

1959 г. Д. Хьюбел (D. Hubel) и  Т. Визель (Т. Wiesel) показали распределенный  и параллельный характер хранения  и обработки информации в биологических  нейронных сетях.

1960-1968 гг. Активные исследования  в области искусственных нейронных  сетей, например, АДАЛИНА и МАДАЛИНА  В. Уидроу (W. Widrow) (1960-1962 гг.), ассоциативные  матрицы К. Штайнбуха (К. Steinbuch) (1961 г.).

1969 г. Публикация книги  М. Минского (М. Minsky) и С. Пей-перта  (S. Papert) «Персептроны», в которой  доказывается принципиальная ограниченность  возможностей персептронов. Угасание  интереса к искусственным нейронным  сетям.

1970-1976 гг. Активные разработки  в области персептронов в СССР (основные заказчики - военные  ведомства).

Конец 1970-х гг. Возобновление  интереса к искусственным нейронным  сетям как следствие накопления новых знаний о деятельности мозга, а также значительного прогресса  в области микроэлектроники и  компьютерной техники.

1982-1985 гг. Дж. Хопфилд (J. Hopfield) предложил семейство оптимизирующих  нейронных сетей, моделирующих  ассоциативную память.

1985 г. Появление первых  коммерческих нейрокомпьютеров, например, Mark III фирмы TRW (США).

1987 г. Начало широкомасштабного  финансирования разработок в  области ИНС и НК в США,  Японии и Западной Европе (японская  программа «Human Frontiers» и европейская  программа «Basic Research in Adaptive Intelligence and Neurocomputing»).

1989 г. Разработки и исследования  в области ИНС и НК ведутся  практически всеми крупными электротехническими  фирмами. Нейрокомпьютеры становятся  одним из самых динамичных  секторов рынка (за два года  объем продаж вырос в пять  раз). Агентством DARPA (Defence Advanced Research Projects Agency) министерства обороны США  начато финансирование программы  по созданию сверхбыстродействующих  образцов НК для разнообразных  применений.

1990 г. Активизация советских  исследовательских организаций  в области ИНС и НК (Институт  кибернетики им. Глушкова в Киеве,  Институт многопроцессорных вычислительных  систем в Таганроге, Институт  нейрокибернетики в Ростове-на-Дону). Общее число фирм, специализирующихся  в области ИНС и НК, достигает  трехсот.

1991 г. Годовой объем  продаж на рынке ИНС и НК  приблизился к 140 млн. долларам. Создаются центры нейрокомпьютеров  в Москве, Киеве, Минске, Новосибирске, С.-Петербурге.

1992 г. Работы в области  ИНС находятся стадии интенсивного  развития. Ежегодно проводится десятки  международных конференций и  форумов по нейронным сетям,  число специализированных периодических  научных изданий по указанной  тематике достигло двух десятков  наименований.

1996 г. Число международных  конференций по ИНС и НК  достигло ста.

1997 г. Годовой объем  продаж на рынке ИНС и НК  превысил 2 млрд. долларов, а ежегодный  прирост составил 50%.

2000 г. Переход на субмикронные  и нанотехнологии, а также успехи  молекулярной и биомолекулярной  технологии приводят к принципиально  новым архитектурным и технологическим  решениям по созданию нейрокомпьютеров.

Глубокое изучение ИНС  требует знания нейрофизиологии, науки  о познании, психологии, физики (статистической механики), теории управления, теории вычислений, проблем искусственного интеллекта, статистики/математики, распознавания  образов, компьютерного зрения, параллельных вычислений и аппаратных средств (цифровых и аналоговых). С другой стороны, ИНС также стимулируют эти  дисциплины, обеспечивая их новыми инструментами и представлениями. Этот симбиоз жизненно необходим  для исследования нейронных сетей.

 

1.2 Задачи, решаемые искусственными нейронными сетями

 

Классификация образов. Задача состоит в указании принадлежности входного образа, представленного вектором признаков, одному или нескольким предварительно определенным классам. К известным  приложениям относятся распознавание  букв, распознавание речи, классификация  сигнала электрокардиограммы, классификация  клеток крови.

Кластеризация/категоризация. При решении задачи кластеризации, которая известна также как классификация  образов без учителя, отсутствует  обучающая выборка с метками  классов. Алгоритм кластеризации основан  на подобии образов и размещает  близкие образы в один кластер. Известны случаи применения кластеризации для  извлечения знаний, сжатия данных и  исследования свойств данных.

Аппроксимация функций. Предположим, что имеется обучающая выборка ((x1, у1), (х2, у2), .., (x_n, y_n)), которая генерируется неизвестной функцией, искаженной шумом. Задача аппроксимации состоит в нахождении оценки этой функции.

Предсказание/прогноз. Пусть  заданы N дискретных отсчетов {y(t₁),(t₂), … y(t_n} в последовательные моменты времени t₁, t2, ..., t_n . Задача состоит в предсказании значения y(t_n+1) в момент t_n+1  Прогноз имеют значительное влияние на принятие решений в бизнесе, науке и технике.

Оптимизация. Многочисленные проблемы в математике, статистике, технике, науке, медицине и экономике  могут рассматриваться как проблемы оптимизации. Задачей оптимизации  является нахождение решения, которое  удовлетворяет системе ограничений  и максимизирует или минимизирует целевую функцию.

Память, адресуемая по содержанию. В модели вычислений фон Неймана  обращение к памяти доступно только посредством адреса, который не зависит  от содержания памяти. Более того, если допущена ошибка в вычислении адреса, то может быть найдена совершенно иная информация. Память, адресуемая по содержанию, или ассоциативная память, доступна по указанию заданного содержания. Содержимое памяти может быть вызвано  даже по частичному или искаженному  содержанию. Ассоциативная память чрезвычайно  желательна при создании перспективных  информационно-вычислительных систем.

Управление. Рассмотрим динамическую систему, заданную совокупностью {u(t), у(t)} где u(t) является входным управляющим воздействием, а у(t) - выходом системы в момент времени г. В системах управления с эталонной моделью целью управления является расчет такого входного воздействия u(t), при котором система следует по желаемой траектории, диктуемой эталонной моделью.

Каким образом нейронная сеть решает все эти, часто неформализуемые или трудно формализуемые задачи? Как известно, для решения таких задач традиционно применяются два основных подхода. Первый, основанный на правилах (rule-based), характерен для экспертных систем. Он базируется на описании предметной области в виде набора правил (аксиом) «если ..., то ...» и правил вывода. Искомое знание представляется в этом случае теоремой, истинность которой доказывается посредством построения цепочки вывода. При этом подходе, однако, необходимо заранее знать весь набор закономерностей, описывающих предметную область. При использовании другого подхода, основанного на примерах (case-based), надо лишь иметь достаточное количество примеров для настройки адаптивной системы с заданной степенью достоверности Нейронные сети представляют собой классический пример такого подхода.

Под нейронными сетями подразумеваются вычислительные структуры, которые моделируют простые биологические процессы, обычно ассоциируемые с процессами человеческого мозга. Они представляют собой распределенные и параллельные системы, способные к адаптивному обучению путем анализа положительных и отрицательных воздействий. Элементарным преобразователем в данных сетях является искусственный нейрон или просто нейрон, названный так по аналогии с биологическим прототипом.

К настоящему времени предложено и изучено большое количество моделей нейроподобных элементов  и нейронных сетей, ряд из которых  рассмотрен в настоящей главе.

 

1.3 Биологический нейрон

 

Нервная система и мозг человека состоят из нейронов, соединенных  между собой нервными волокнами. Нервные волокна способны передавать электрические импульсы между нейронами. Все процессы передачи раздражений  от кожи, ушей и глаз к мозгу, процессы мышления и управления действиями - все это реализовано в живом организме как передача электрических импульсов между нейронами.

Рисунок 1 – Взаимосвязь  биологических нейронов

 

Нейрон (нервная клетка) является особой биологической клеткой, которая  обрабатывает информацию (рисунок 1). Он состоит из тела (cell body), или сомы (soma), и отростков нервных волокон двух типов - дендритов (dendrites), по которым принимаются импульсы, и единственного аксона (axon), по которому нейрон может передавать импульс. Тело нейрона включает ядро (nucleus), которое содержит информацию о наследственных свойствах, и плазму, обладающую молекулярными средствами для производства необходимых нейрону материалов. Нейрон получает сигналы (импульсы) от аксонов других нейронов через дендриты (приемники) и передает сигналы, сгенерированные телом клетки, вдоль своего аксона (передатчика), который в конце разветвляется на волокна (strands). На окончаниях этих волокон находятся специальные образования - синапсы (synapses), которые влияют на величину импульсов.

Синапс является элементарной структурой и функциональным узлом  между двумя нейронами (волокно  аксона одного нейрона и дендрит  другого). Когда импульс достигает  синаптического окончания, высвобождаются химические вещества, называемые нейротрансмиттерами. Нейротрансмиттеры диффундируют через  синаптическую щель, возбуждая или  затормаживая, в зависимости от типа синапса, способность нейрона-приемника  генерировать электрические импульсы. Результативность передачи импульса синапсом может настраиваться проходящими через него сигналами так, что синапсы могут обучаться в зависимости от активности процессов, в которых они участвуют. Эта зависимость от предыстории действует как память, которая, возможно, ответственна за память человека. Важно отметить, что веса синапсов могут изменяться со временем, а значит, меняется и поведение соответствующих нейронов.

Кора головного мозга  человека содержит около 1011 нейронов и  представляет собой протяженную  поверхность толщиной от 2 до 3 мм с  площадью около 2200 см2. Каждый нейрон связан с 103—104 другими нейронами. В целом  мозг человека содержит приблизительно от 1014 до 1015 взаимосвязей.

Нейроны взаимодействуют  короткими сериями импульсов  продолжительностью, как правило, несколько  миллисекунд. Сообщение передается посредством частотно-импульсной модуляции. Частота может изменяться от нескольких единиц до сотен герц, что в миллион  раз медленнее, чем быстродействующие  переключательные электронные схемы. Тем не менее сложные задачи распознавания человек решает за несколько сотен миллисекунд. Эти решения контролируются сетью нейронов, которые имеют скорость выполнения операций всего несколько миллисекунд. Это означает, что вычисления требуют не более 100 последовательных стадий. Другими словами, для таких сложных задач мозг «запускает» параллельные программы, содержащие около 100 шагов Рассуждая аналогичным образом, можно обнаружить, что количество информации, посылаемое от одного нейрона другому, должно быть очень малым (несколько бит). Отсюда следует, что основная информация не передается непосредственно, а захватывается и распределяется в связях между нейронами.

 

1.4 Структура и свойства искусственного нейрона

 

Нейрон является составной  частью нейронной сети. На рисунке 2 показана его структура Он состоит из элементов трех типов: умножителей (синапсов), сумматора и нелинейного преобразователя. Синапсы осуществляют связь между нейронами, умножают входной сигнал на число, характеризующее силу связи, (вес синапса). Сумматор выполняет сложение сигналов, поступающих по синаптическим связям от других нейронов, и внешних входных сигналов. Нелинейный преобразователь реализует нелинейную функцию одного аргумента - выхода сумматора. Эта функция называется функцией активации или передаточной функцией нейрона.

 

Рисунок 2 – Структура  искусственного нейрона

 

 Нейрон в целом реализует  скалярную функцию векторного  аргумента. Математическая модель  нейрона:

(1.1)

y = f(s) (1.2)

где w, - вес (weight) синапса, i = 1...n, b - значение смещения (bias), s - результат суммирования (sum); х_i - компонент входного вектора (входной сигнал), i = 1...n; у- выходной сигнал нейрона; n - число входов нейрона; f - нелинейное преобразование (функция активации).

В общем случае входной  сигнал, весовые коэффициенты и смещение могут принимать действительные значения, а во многих практических задачах - лишь некоторые фиксированные  значения. Выход (у) определяется видом  функции активации и может  быть как действительным, так и  целым.