Этапы построения моделей – анализ данных, подбор кривой, формализация описания кривой, оценивание параметров, проверка качества модели

 

Минобрнауки России

 

 

федеральное государственное бюджетное образовательное  учреждение

высшего профессионального  образования

«Санкт-Петербургский  государственный технологический  институт

(технический  университет)»

 

 

УГС (код, наименование)                                 080000 Экономика и управление

 

Направление подготовки (код, наименование) 080500.62 Бизнес-информатика

 

Профиль (наименование)         Электронный бизнес               

 

Факультет       Экономики и менеджмента

 

Кафедра             Бизнес-информатики

 

Учебная дисциплина Анализ данных___________________________________

__________________________________________________________________

 

Курс 1___________________    Группа 629 зсб_____________

 

Курсовая  работа

 

Тема: «Этапы построения моделей – анализ данных, подбор кривой, формализация описания кривой, оценивание параметров, проверка качества модели»

 

Студент                          _______________                   П.В. Медведев        

                                          (подпись, дата)                     (инициалы, фамилия)   

Руководитель,               _______________                    А. И. Москвичева  

старший    (подпись, дата)                      (инициалы, фамилия)

преподаватель

кафедры бизнес-информатики

(должность)                          

 

Оценка за курсовую работу

(курсовой проект)                  ________________        ______________________

(подпись  руководителя)

 

Санкт-Петербург

2013

 

Минобрнауки России

 

федеральное государственное бюджетное образовательное  учреждение

высшего профессионального  образования

«Санкт-Петербургский  государственный технологический  институт

(технический  университет)»

 

Факультет      Экономики и менеджмента

Кафедра Менеджмента и маркетинга

Учебная дисциплина Анализ данных________________________________

 

Курс 1__________________    Группа 629 зсб_____________

 

ЗАДАНИЕ НА КУРСОВУЮ РАБОТУ

 

Тема «Этапы построения моделей – анализ данных, подбор кривой, формализация описания кривой, оценивание параметров, проверка качества модели»

 

Цель  работы

Изучить построение моделей анализа данных на примере построения кривой спроса и предложения, подбора кривой, формализации описания кривой, оценивания параметров, проверку качества модели.

 

Дата  выдачи задания_7 ноября 2012_________________________________

 

Срок представления к  защите_________________________________________

 

Руководитель                _______________                        А. И. Москвичева  

                                          (подпись, дата)                      (инициалы, фамилия)

 

Студент                          _______________                           П.В. Медведев

                                          (подпись, дата)                       (инициалы, фамилия)                

 

 

 

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ 4

1. ПОНЯТИЕ АНАЛИЗА ДАННЫХ 5

1.1. Типологический анализ 6

1.2. Анализ взаимосвязи 6

1.3. Сравнительный анализ 7

2. МОДЕЛИ И МОДЕЛИРОВАНИЕ 8

2.1 Модель спроса и предложения 13

ИСПОЛЬЗОВАННЫЕ ИСТОЧНИКИ 19

ПРИЛОЖЕНИЕ 1 20

РЕШЕНИЕ ЗАДАЧ 20

Решение задач 21

 

 

ВВЕДЕНИЕ

С повышением компьютерной грамотности средства анализа данных стали доступнее. Зная название математического метода,  иногда достаточно нажать на определенные  «кнопки»  для получения результатов  «глубокого»  анализа.  Подобная ситуация порождает ряд негативных явлений.  Большинство исследователей воспринимают понятие  «анализ данных»  в узком смысле —  как обработку информации после ее сбора.  Это неверно, конечно, анализ данных как процедура начинается после сбора информации.  В то же время анализ данных как средство проверки гипотез и решения задач исследования  (назовем их содержательными)  должен пронизывать многие его этапы. В ходе работы будут рассмотрены понятия анализа данных, виды анализа, методы и модели. Построение моделей является универсальным способом изучения окружающего мира. Построение моделей позволяет обнаруживать зависимости, извлекать новые знания, прогнозировать, управлять и решать множество других задач.

 

1. ПОНЯТИЕ АНАЛИЗА ДАННЫХ

Как известно, математические методы анализа данных выступают лишь в качестве инструмента решения содержательных задач.  Прежде чем использовать эти методы,  их необходимо выбрать.  На наш взгляд,  при подобном выборе целесообразно руководствоваться типами содержательных задач,  решаемых в процессе анализа данных. (Мы ограничиваемой той совокупностью задач,  которые возникают в исследованиях с жестко формализованными процедурами сбора информации.)

В настоящее время не представляется возможным выделить все типы задач,  возникающих в исследованиях данного вида.  Вместе с тем,  опыт использования математического аппарата в социологии позволяет сформулировать наиболее распространенные типы содержательных задач.

По  существу, тип задач возникает  как результат реализации в социологическом  исследовании некоторого теоретического метода познания социальных явлений.  Наиболее распространенные задачи,  решаемые в процессе анализа данных,—  типологический анализ социальных явлений  и анализ взаимосвязи эмпирических индикаторов с целью прогнозирования  социальных показателей. Например, выделение  социально значимых, качественно  отличных друг от друга,  внутренне  однородных групп объектов,  характеризующихся  совокупностью признаков произвольной природы.  Наша цель - рассмотреть  различные типы задач, выделить этапы  их решения и обсудить возможные  способы формализации подобных этапов.

Выделение типов задач преследует две цели. Во-первых, позволяет исследователю  осуществить выбор стратегии  анализа данных.  Во-вторых, определить границы применения математических методов.  При соответствующем  методическом обеспечении анализа  данных практически любой метод  может служить инструментом решения  задач любого типа.

Процесс формализации от этапа к этапу  носит последовательный характер,

а формализация отдельного этапа происходит с ориентацией на параллельное использование  различных методов.  Поэтому при  решении любого типа задач речь идет о комплексном применении математических методов различного класса.

1.1. Типологический анализ

Результат решения задач этого типа -  типология объектов. Речь идет либо о попытке построения (термин принят в анализе данных) типологии, либо о проверке гипотезы о существовании предполагаемой типологии. В социологической литературе теоретическая типология отделяется от эмпирической. На наш взгляд, последнюю целесообразно называть эмпирическим уровнем типологического анализа или классификацией, так как о типологии социальных явлений правомерно говорить лишь при сочетании теоретических элементов с элементами, подтвержденными на эмпирическом уровне.  Отсутствие однозначной трактовки понятий  «типология» и «тип» тормозят развитие методики типологического анализа. Вместе с тем, существующий опыт использования типологического метода на эмпирическом уровне позволяет сделать некоторые обобщения.

1.2. Анализ взаимосвязи

Анализ  взаимосвязи —  метод изучения социальных объектов,  состоящий  в нахождении устойчивых, непосредственных и опосредованных взаимообусловленных  явлений, разделенных в пространстве и (или) во времени. Сложность рассмотрения этого метода на эмпирическом уровне заключается в многоцелевом характере  анализа. Одна из таких целей - формирование и (или) прогнозирование социальных показателей. Задача изучения взаимосвязи  признаков для этого случая представляется наиболее распространенной из решаемых в процессе анализа данных.  Теоретические

аспекты задач этого типа разработаны  недостаточно. И это несмотря на то, что существует огромная литература, посвященная различным аспектам анализа взаимосвязей.

1.3. Сравнительный анализ

В качестве задач такого рода можно  назвать выявление структуры взаимосвязи заданной системы признаков и сравнение таких структур во времени или в пространстве. Ограничимся случаем повторных (трендовых, панельных) исследований и будем рассматривать вопросы, обусловленные сравнением взаимосвязи признаков, наблюдаемых в разные моменты времени. Основные проблемы, с которыми при этом сталкивается исследователь, касаются введения дениций понятий  «взаимосвязь», «структура», «система признаков», «непосредственная связь», «опосредованная связь», «основа сравнения» на операциональном и формальном уровнях. Все они,  кроме последнего,  были введены при

рассмотрении  второго типа задач.

 

2. МОДЕЛИ  И МОДЕЛИРОВАНИЕ

Основой для  анализа данных служит моделирование. Построение моделей является универсальным способом изучения окружающего мира. Построение моделей позволяет обнаруживать зависимости, извлекать новые знания, прогнозировать, управлять и решать множество других задач. Модели и моделирование тесно связаны с таким базовым понятием, как система.

Система - центральное понятие в теории систем и системном анализе. Под  системой принято понимать совокупность объектов, компонентов или элементов произвольной природы, образующих некоторую целостность в том или ином контексте. Каждая система несет в себе принцип эмерджентности - у системы появляются новые свойства, которые не имеют составляющие ее элементы.

Выделяется  несколько типов систем: простые, малые, большие, сложные. Отличие между  ними заключается в количестве элементов и типе связи между ними, а также ресурсной и информационной обеспеченности (рис. 1.1).

Рис. 1.1. Классификация систем

Сложная система  является наиболее трудной из всех для изучения. Это обусловлено  следующими причинами:

1. Закон распределения воздействующих на систему параметров неизвестен, или на его получение требуется потратить значительное количество временных и финансовых ресурсов.
2. Функционирование системы происходит в условиях неопределенности, которую вносит главным образом человеческий и случайный факторы.

3. Переменные системы могут иметь количественно-качественное описание. Большинство экономических систем относятся к категории сложных.

Наиболее  общей информационной моделью системы  является модель «черного ящика». Система представляется в виде прямоугольника с множеством входных и выходных переменных, внутреннее устройство которого скрыто от исследователя, а чаще всего неизвестно (рис. 1.2).

Рис. 1.2. Модель «черного ящика»

Определив входные и выходные воздействия  и имея в наличии набор данных, связывающий их, уже можно говорить о модели системы, даже если не известен закон, связывающий между собой входы и выходы системы. Существуют специальные методы, позволяющие изучать такие системы без знания математических, экономических и других зависимостей между переменными системы и даже извлекать знания. Такие методы относятся к категории интеллектуальных методов анализа данных.

Перед построением модели следует отталкиваться  от задачи. Задачу можно рассматривать как ответ на интересующий исследователя вопрос. Например, в розничной торговле такими вопросами могут быть следующие:

• Какова структура продаж за определенный период? Как можно классифицировать 
  осуществляемые компанией продажи?
• Какие клиенты приносят наибольшую прибыль?
• Какие товары продаются или заказываются вместе?
• Как оптимизировать товарные остатки на складах и т.п.?
• Тогда можно говорить о создании модели прогнозирования продаж, модели выявления ассоциаций и т.д.

Данный  этап еще называется анализом проблемной ситуации.

Следующий шаг - систематизация и консолидация всех доступных ресурсов (материальных, финансовых, информационных), необходимых для построения модели. В случае отсутствия требуемых ресурсов на данном этапе может быть принято решение либо о сужении требований к результатам, либо вообще отказ от построения модели. Здесь встает вопрос о точности будущей модели интересующему процессу или системе. Поскольку процесс построения модели носит итерационный характер (рис. 1.3), в процессе которого она корректируется и уточняется, то нет смысла на первых шагах требовать высокую точность модели. Гораздо правильнее говорить об адекватности модели. Первоначальная модель может быть грубой, но адекватной.

Адекватность  означает, что при построении модели исследователь учел наиболее важные, существенные факторы, влияющие на конечный результат. Можно утверждать, что с ростом количества факторов увеличивается сложность модели.

Рис. 1.3. Процесс построения модели

После систематизации данных переходят к поиску модели, которая объясняла бы имеющиеся  данные, позволила бы добиться эмпирически обоснованных ответов на интересующие вопросы. Существует огромное множество готовых моделей систем, в том числе экономических. Большинство из них формальны, т.е. представляются в виде совокупности математических формул, законов, распределений и т.п. Однако на практике часто они не применимы, и имеют мало общего с действительностью. Нередко исследователь сталкивается с ситуацией, когда трудно сделать какие-либо четкие предположения относительно поставленной задачи. Модель не известна, и единственным источником сведений для ее построения является таблица экспериментальных данных типа «вход-выход», т.е. «черный ящик». В результате аналитик вынужден использовать различные эвристические предположения о выборе информативных признаков, о классе и параметрах выбранной модели. Эти предположения аналитика основываются на его опыте, интуиции, проникновении в смысл анализируемого процесса.