Шпаргалка по предмету "Основы информатики"

Важной особенностью искусственной нейронной сети есть возможность её обучения. Обычно процесс обучения сводится к корректировке весовых коэффициентов. Алгоритмы обучения искусственных нейронных сетей можно разделить на два класса:

• обучение с учителем - сети предъявляются значения как входных, так и желательных выходных сигналов, и система по определенному алгоритму подстраивает веса своих синаптических связей.
• обучение без учителя - веса изменяются по алгоритму, учитывающему только входные и производные от них сигналы.

 

 

 

 

 

 

 

 

 

 

 

 

23.Архитектура нейрокомпьютеров  Классы задач ИНС.

Рис.3 Однослойный персептрон.

Рассматривая классификацию НС можно выделить: бинарных (цифровые) и аналоговых НС, предварительно обученные (неадаптивные) и самообучающиеся (адаптивные) нейронные сети, что крайне важно при их аппаратной реализации. Бинарные оперируют с двоичными сигналами, и выход каждого нейрона может принимать только два значения: логический ноль ("заторможенное" состояние) и логическая единица ("возбужденное" состояние). К этому классу сетей относится и рассмотренный выше трех нейронный персептрон, так как выходы его нейронов, формируемые функцией единичного скачка, равны либо 0, либо 1. В аналоговых сетях выходные значения нейронов могут принимать непрерывные значения, что могло бы иметь место после замены активационной функции нейронов персептрона на сигмоид.

 

Рис. 4. Двухслойный персептрон

Сети также можно классифицировать по топологии (числу слоев и связей между ними). На рисунке 4 представлен двухслойный персептрон, полученный из персептрона рисунка 3 путем добавления второго слоя, состоящего из двух нейронов. При этом нелинейность активационной функции имеет конкретный смысл: так как, если бы она не обладала данным свойством или не входила в алгоритм работы каждого нейрона, результат функционирования любой p-слойной НС с весовыми матрицами W(i), i=1,2,...p для каждого слоя i сводился бы к перемножению входного вектора сигналов X на матрицу W(å)=W(1)..W(2) Ч...ЧW(p) , то есть фактически такая p-слойная НС эквивалентна однослойной НС с весовой матрицей единственного слоя W(å): Y=XW(å) .

Многие задачи, для решения которых используются нейронные сети, могут рассматриваться как частные случаи следующих основных проблем: построение функции по конечному набору значений; оптимизация; построение отношений на множестве объектов; распределенный поиск информации и ассоциативная память; фильтрация; сжатие информации; идентификация динамических систем и управление ими; нейросетевая реализация классических задач и алгоритмов вычислительной математики: решение систем линейных уравнений, решение задач математической физики сеточными методами и др.

Однозначно построить функцию (обычно многих действительных переменных) по конечному набору значений невозможно без специальных дополнительных условий. В качестве таких условий в классических подходах используются требования минимизации некоторых регуляризирующих функционалов, например, интеграла суммы квадратов вторых производных требование максимальной гладкости. При этом известные в конечном множестве точек значения функции превращаются в набор ограничений, при которых находится минимум функционала.

С помощью нейронных сетей строится, естественно, нейросетевая реализация функции: создается нейронная сеть, которая, получая на входе вектор аргументов, выдает на выходе значение функции. Обычно предполагается, что любая типичная нейросетевая реализация подойдет для решения задачи. При необходимости вместо требования максимальной гладкости минимизируют число слоев, количество нейронов и/или число связей, а также вводят условие «максимально пологой» функции активации нейронов.

Построить функцию по конечному набору значений обычно требуется при решении одной из самых актуальных для пользователей и аналитиков задач: заполнение пропусков в таблицах. Пусть, как обычно, каждая строка таблицы данных соответствует какому-либо объекту, а в строках указаны значения признаков (свойства) соответствующих объектов. В подавляющем большинстве случаев данные неполны: по крайней мере, для части объектов неизвестны значения некоторых признаков. Необходимо как-то восстановить пропущенные значения. Достоверная статистическая оценка должна давать для отсутствующих данных их условное математическое ожидание (условия известные значения других признаков) и характеристику разброса доверительный интервал. Это, однако, требует либо непомерно большого объема известных данных, либо очень сильных предположений о виде функций распределения. Приходится вместо статистически достоверных уравнений регрессии использовать правдоподобные нейросетевые реализации.

Любая, даже самая строгая математическая конструкция сначала создается всего лишь как правдоподобная гипотеза. Правдоподобными мы называем те выводы, которые еще не прошли испытания на достоверность и строгость, однако именно так совершаются открытия. Кроме того, напомним, что утверждения о статистической достоверности базируются на весьма ограничительных гипотезах о статистической природе эмпирического материала (согласно этой природе данные представляют собой результаты независимых статистических испытаний выбора из фиксированной генеральной совокупности).

Задача классификации также может рассматриваться как задача заполнения пропусков в таблицах: для каждого класса в таблице есть поле, в котором указывается, принадлежит объект данному классу или нет. В эти поля могут помещаться численные значения, например, 1, если объект принадлежит классу, и 0 (или -1) в противном случае.

Построение отношений на множестве объектов одна из загадочных и открытых для творчества самых перспективных областей применения искусственного интеллекта. Допустим, задан набор объектов, причем каждому объекту сопоставлен вектор значений признаков (строка таблицы). Требуется разбить эти объекты на классы эквивалентности. Зачем нужно строить отношения эквивалентности между объектами? В первую очередь для фиксации знаний. Мы накапливаем знания о классах объектов это практика многих тысячелетий, зафиксированная в языке: знание относится к имени класса (пример стандартной древней формы: «люди смертны», «люди» имя класса). В результате классификации появляются новые имена и правила их присвоения. Для каждого нового объекта мы должны сделать две вещи: найти класс, к которому он принадлежит; использовать новую информацию, полученную об этом объекте, для исправления (коррекции) правил классификации.

Какую форму могут иметь правила отнесения к классу? Традиционно класс представляют его «типичные», «средние», и т.п. элементы. Такой типичный объект является идеальной конструкцией, олицетворяющей класс. Объект относят к какому-либо классу в результате сравнения с типичными элементами разных классов и выбора ближайшего. Правила, использующие типичные объекты, очень популярны и служат основой для нейросетевой классификации.

Нейросети сегодня широко используются для решения классической проблемы производства (раскопок) знаний из накопленных данных. Обучаемые нейронные сети могут производить из данных скрытые знания: создается навык предсказания, классификации, распознавания образов и т.п., но его логическая структура обычно остается скрытой от пользователя. Для проявления (контрастирования) этой скрытой логической структуры нейронные сети приводятся к специальному «логически прозрачному» разреженному виду. Сама нейронная сеть после удаления лишних связей может рассматриваться как логическая структура, представляющая явные знания.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

24. Архитектура нейрокомпьютеров. Построение  ИНС.

Теория построения Нейрокомпьютерных сетей Введение.

Плохая изученность принципов функционирования человеческого мозга заставляет ученых выходить за пределы современных биологических знаний в поисках структур, способных выполнять полезные функции. Поэтому очень слаба связь с биологией, ИНС продолжают сравнивать с мозгом т.к. их функционирование напоминает человеческое познание .

Краткая историческая справка.

Человеческий мозг состоит из огромного числа нейронов ,связанных и взаимодействующих между собой . С развитием науки и техники , ученым удалось создать математические модели мозга , что показало не только их способность повторять функции мозга , но и способность выполнять функции , имеющие свою собственную ценность. То есть появились два направления нейронного моделирования :

1. понять  механизмы функционирования нервной  системы человека на уровне  физиологии и психологии .

2. создать  ВС , выполняющие функции сходные с функциями мозга

Д. Хэбба в 1949 г. предложил закон обучения искусственных нейронных сетей (ИНС). 50-60 гг. первые искусственные нейронные сети . Минский , Розенблатт , Уидроу и др. разработали сети состоящие из одного слоя нейронов (персептроны) . Они были использованы для широкого класса задач ( предсказание погоды , анализ ЭКГ) . Далее не велись работы два десятилетия после доказательства Минского о неспособности однослойных сетей решать многие простые задачи .

В 80-90 гг. возобновились разработки ИНС ,которые показали , что Минский был слишком пессимистичен.

Биологический нейрон.

Нервная система человека имеет 100000000000 нейронов участвующих примерно в 1000000000000000 передающих связях . Способность нейрона - обработка и передача электрохимических сигналов по нервным путям , которые образуют коммуникационную систему мозга. Дендриты идут от тела клетки к другим нейронам , где они принимают сигналы в точках соединения , называемых 'синапсами '. Принятые сигналы суммируют и подходят к телу нейрона , когда их сумма превышает некоторый порог , нейрон возбуждается и передает сигнал другим нейронам .

Искусственный нейрон.

X={x1,x2, ... , xn} - множество входных сигналов ( соответствует сигналам , приходящим в синапсы биологического нейрона).

W={w1,w2, ... , wn} - вес который соответствует 'силе' одной биологи ческой синаптической связи .

- блок суммирования , соответствующий телу биологического элемента.

NET - выход  блока суммирования.

Активационные функции.

F - активационная  функция, преобразующая сигнал NET . Если  блок F сужает диапазон изменения OUT так, что при любых значениях NET, значения OUT принадлежат некоторому  конечному интервалу, то F называется 'сжимающей ' функцией. В качестве  примера показана наиболее часто  используемая логистическая или ' сигмоидальная ' (S - образная) функция .

По аналогии с электронными системами активационную функцию можно считать нелинейной усилительной характеристикой искусственного нейрона. Коэффициент усиления это отношение приращения OUT к приращению NET , он выражается наклоном кривой. Центральная область логистической функции, имеющая большой коэффициент усиления решает проблему обработки слабых сигналов, в то время как, области с падающим усилением на положительном и отрицательных концах подходят для больших возбуждений.

Вывод: нейрон функционирует с большим усилением в широком диапазоне уровня входного сигнала.

Другой широко используемой исходной по форме с ней функцией является гиперболический тангенс. Она часто используется биологами в качестве математической модели активации нервной клетки. OUT = th( x ) - является S - образной функцией

Свойства:

1. не принимают  во внимание задержки во времени которые воздействуют на динамику системы. Входные сигналы сразу же порождают выходные.

2. не учитывать  воздействий функций частотной  модуляции или синхронизирующей  функции биологического нейрона, что является очень важным  свойством для построения ИНС.

Однослойные ИНС.

W - матрица  весов, она имеет m - строк ( число входов) и n - столбцов (число нейронов)

w32 - это вес, связывающий третий вход со  вторым нейроном N={y1 , y2 , ... , yn} - сигналы на выходе

N = X*W

Многослойные ИНС.

1. нелинейная  активационная функция

N = ( XW1) W2 = {т.к. умножение матриц ассоциативно} = X(W1W2) Это показывает, что двухслойная линейная сеть эквивалентна одному слою с весовой матрицей, равной произведению двух весовых матриц. То есть многослойные ИНС с нелинейной активационной функцией между слоями не приводят к увеличению вычислительной мощности по сравнению с однослойной.

2. сети с  обратными связями

Сети более общего вида , имеющие соединения от выхода к входам, называются сетями с обратными связями . У сетей без обратных связей нет памяти , их выход полностью определяется текущими входами и значениями весов .В некоторых конфигурациях сетей с обратными связями предыдущие значения выходов возвращаются на входы . Выход ,следовательно , определяется как текущим входом , так и предыдущими выходами . По этой причине сети с обратными связями могут обладать свойствами, сходными с кратковременной человеческой памятью, сетевые выходы частично зависят от предыдущих входов.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

25. Архитектура нейрокомпьютеров. Обучение  ИНС.

Самое важное свойство ИНС - это их способность к обучению, которое сильно напоминает процесс интеллектуального развития человеческой личности. Конечно пока возможности обучения сетей ограничены но уже есть некоторые достижения как например ' говорящая сеть ' Сейновского .

цель обучения:

Сеть обучается, чтобы для некоторого множества входов давать желаемое множество выходов. Обучение осуществляется путем последовательного предъявления входных векторов с одновременной подстройкой весов в соответствии с определенной процедурой . В процессе обучения веса сети постепенно становятся такими , чтобы каждый входной вектор вырабатывал выходной вектор .