Статистические методы анализа данных. Проверка гипотез

Министерство образования Российской Федерации

Федеральное государственное бюджетное образовательное учреждение

высшего профессионального образования

«Санкт-Петербургский государственный технологический институт

(технический университет)»

Кафедра бизнес - информатики

Форма обучения: очная

Направление подготовки: Бизнес-информатика

Степень (квалификация): бакалавр

Учебная дисциплина: Анализ данных

Курсовая работа на тему «Статистические методы анализа данных. Проверка гипотез».

Студент группы № 6119    Верещагина. П. И.

Руководитель      Москвичева А. И.

Санкт-Петербург

2011г. 
Содержание:

 

 

Статистические методы анализа данных. Проверка гипотез.

Введение

Жизнь идет. Она не стоит на месте. Меняется все. Меняются страны, города, поколения, наука. Все движется вперед, изменяется, словно только что нарисованный эскиз задуманного макета.

Но цель данной курсовой работы заключается не в том, чтобы говорить о том, как меняется мир, а ознакомиться с таким вопросом, как статистический метод анализа данных и проверка гипотез.

Главной задачей является понять такие вещи, как:

1. Статистика. В чем она заключается?
2. Методы статистики, используемые при анализе данных
3. Что такое наблюдение, гипотеза, теория вероятности?
4. Какими способами проверить какую – либо гипотезу?
5. Сделать необходимые выводы.

 

1. Статистика. В чем она заключается?

Итак. Что же такое статистика? Или как правильнее будет сказать – статистика анализа данных? В чем главная ее суть? Давайте попробуем ответить на эти вопросы.

.Понятие «статистика».

Еще в глубокой древности началась статистическая практика.

Первой статистической информацией стала глиняная табличка.

Но сам термин «статистика» появляется в 18 веке и начинает постепенно приобретать собирательное значение.

В развитие статистики внесли свой вклад такие ученые, как: Уильям Петти – основатель статистики; Адольф Кетле; русский статистик К. Ф. Герман;

Что же такое статистика? Дело в том, что понятие «статистика» имеет массу определений. Но самое достоверное, наверное, это то, что статистика это – отрасль знаний, в которой излагаются вопросы сбора, измерения и анализа массовых статистических (количественных или качественных) данных.

Так же, можно утверждать, что статистика является самостоятельной общественной наукой, которая имеет свой предмет и метод исследования. Она возникла из потребностей общественной жизни, и она изучает количественные стороны всех социально – экономических явлений.

Главной ее задачей является математически – правильно описать все собранные сведения.

Можно еще добавить, что статистика, как общественная наука, занимается сбором информации различного рода характера.

Иными словами, можно сказать, что статистика изучает: количественную сторону общественных явлений; количественную сторону явлений в неразрывной связи с их качественным содержанием; количественную сторону общественных явлений в конкретных условиях места и времени.

Следуя общей теории статистики, она согласуется, точнее она связана с другими науками и сферами.

Общая теория статистики:

I Экономическая статистика:

1. Статистика труда
2. Статистика образования
3. Статистика транспорта
4. Статистика связи

II Статистика финансового кредита

1. Высшие финансовые вычисления
2. Статистика денежного обращения
3. Статистика валютных курсов
4. Прочие

III Общая теория статистики

1. Демографическая статистика
2. Статистика образования
3. Медицинская статистика
4. Спортивная статистика.1

 

2.Основные методы статистики.

Ввиду того, что в основном гуманитарные и естественные науки в процессе исследований широко используют статистические методы для сбора, обработки анализа различных данных, то для ее разработки применяются специальные методы и приемы, которые, находясь в совокупности, образуют методологию статистику.

На сегодняшнее время существуют следующие статистические методы:

• диалектический метод;
• аналогия;
• гипотезы;
• наблюдения;
• анализ данных;
• группировка статистических данных;
• интерпретация данных.

Но каковы задачи статистических методов? В чем они заключаются?

1.  Статистика занимается разработкой системы гипотез, которые характеризуют развитие, динамику, состояние социально-экономических явлений.
2. Занимается организацией статистической деятельности
3. Разрабатывает методологию анализа
4. Разрабатывает системы показателей для управления хозяйством
5. Популяризирует данные статистического наблюдения.

Это, что касается основных направлений, стадий статистики, давайте все же перейдем к основной теме данной курсовой работы – статистические методы анализа данных и проверка гипотез. 2

3.Статистика исследований. Стадии.

Начальной стадией любого исследования, да и вообще любого процесса анализа какого либо явления, является наблюдение. Давайте, немного поговорим о нем.

Итак, какова суть статистического наблюдения? И в чем она заключается?

Определением статистического наблюдения считается -  сбор необходимых данных по явлениям и процессам, которые происходят в общественной жизни.

Однако, это не самый достоверный способ сбора данных, это всего лишь планомерный, научно организованный, систематический метод, направленный на регистрацию признаков, характерных для исследуемых явлений и процессов.

От качества же данных, полученных на первом этапе, зависят конечные результаты исследования.

Процесс наблюдения, включает в себя следующие формы.

На сегодняшний день известны две основные формы статистического наблюдения. Это отчетность и так называемое специально организованное наблюдение.

Поговорим о каждом немного.

Итак, отчетность.

Отчетность – определенная форма наблюдения, при которой, различные предприятия, организации представляют в статистические и вышестоящие органы постоянные сведения, которые характеризуют их деятельность.

Отчетность предоставляется по заранее определенной программе в строго определенные установленные сроки и содержит важнейшие показатели, необходимые в процессе ежедневной работы.

 

Следующая форма это специально организованное наблюдение.

Специально организованное наблюдение – так называемое наблюдение, которое заключается в организации со специальной целью на определенную установленную дату для получения данных, которые в силу различных причин не собираются для статистической отчетности, а также с целью проверки данных самой статистической отчетности.

Статистическое наблюдение также различается по видам.

А виды наблюдений в тоже время, делятся на подвиды.

Виды статистического наблюдения:

1. По времени регистрации фактов:

а) непрерывное

б) периодическое

в) Единовременное.

2. По охвату единиц совокупности

а) сплошные

б) не сплошные

Однако чтобы изучить какое – либо явление, процесс, одного наблюдения недостаточно.

В любом случае, требуется анализирование, а не простое наблюдение, выделение каких - либо выводов, гипотез, фактов. 
3.Анализ, синтез, гипотеза

Вся наука строится на анализе, синтезе, гипотезах и. т.д. Статистика – не исключение.

Анализ, синтез, гипотеза, моделирование. Все это методы научного познания, а значит, тоже играют большую роль для статистики.

Предлагаю немного поговорить о них.

Гипотеза – так называемое научное предположение, сформулированное на основе ряда фактов, истинное знание которого еще неопределенно и носит вероятностный характер и нуждается в доказательстве, проверке, обосновании.

Анализ – процесс мысленного или фактического разложения целого на составные части.

Синтез – процесс мысленного или фактического воссоединения целого из частей.

Моделирование – воспроизведение характеристик некоторого объекта на другом объекте, т. е. модели изучаемого объекта, специально созданной для его изучения.

Но я повторюсь.  Наша заключается в том, чтобы ответить на такой незамысловатый вопрос, в чем суть статистических методов анализа данных и проверки гипотез. 
4.Теория вероятности.

Как было сказано, гипотеза – это некое научное предположение, которое носит вероятностный характер. И это предположение нуждается в проверке.

В ходе проверки, гипотезы могут превращаться в теории, уточняются, конкретизируются, либо и вовсе отбрасываются как заблуждение.

В любом случае нужна проверка.

Методы статистического анализа, по крайней мере, их большинство, свойственны и справедливы только для наблюдений и их функции распределения могут починяться нормальному закону.

Поэтому, наверное, определение самого закона распределения наблюдаемой величины является необходимым атрибутом для любого статистического анализа данных.

Проверка согласия распределения величины с нормальным законом в статистическом анализе данных проводится в два этапа.

1.  Графический анализ
2. Проверка гипотезы о нормальности распределения.

Так как наша тема «Проверка гипотез», то и говорить мы будем о гипотезах.

Из-за своего вероятностного свойства, любую гипотезу можно проверить на основе теории вероятности.

Давайте разберемся, что такое теория вероятности и в чем она заключается, как может быть связана с гипотезой.

В основе теории вероятности лежит так называемая случайная изменчивость.  А это такие явления или ситуации, в которых результат определяется влияющими на него факторами, и эти явления называются закономерными.

Так же существуют явления, в которых установленное правило не выполняется, и поэтому это явление называется недетерминированным или стохастическим.

Для описания же явлений с неопределенным исходом используется идея случайности.

Согласно ей, результат, полученный в ходе исследования явления с неопределенным исходом, определяется случайным испытанием, при этом результат действия может быть непредсказуемым и порой случайности порождают закономерности.

И именно изучением закономерностей, которые порождаются случайным и событиями, занимается теория вероятности.

Определением самой вероятности, является численной мерой возможности наступления некоторого события.

Однако мы отошли от главной темы, вернемся к проверке гипотез.

5. Статистические  гипотезы. Виды статистических гипотез. Критерии ошибок.

Статистические гипотезы – это некое предположение о свойстве генеральной совокупности, которое можно проверить, опираясь при этом на данные выборки  -  множество случаев, с помощью определенной процедуры выбранных из генеральной совокупности для участия в исследовании.

Сама гипотеза обозначается буквой H.

Различают простые и сложные гипотезы.

Под простой гипотезой подразумевается та гипотеза, которая однозначно характеризует параметр распределения случайной величины.

Например: 3

Сложная же гипотеза состоит  из конечного ну или бесконечного числа простых гипотез, при  этом же указывается некоторая область вероятностей значений параметра.  Например:

Эта гипотеза состоит из множества простых гипотез, например: , где c – любое число, больше b.

Существуют так же  такие гипотезы, как  параметрические (гипотезы о параметрах генеральной совокупности); непараметрические (гипотезы о распределениях); нулевая гипотеза (нуль- гипотеза)  - эта гипотеза определяет, что две совокупности, сравниваемые по одному или даже нескольким признакам, никак не отличаются друг от друга.

Эта гипотеза обозначается . И при этом существует предположение, что действительное различие сравниваемых величин равно нулю, а полученное по данным отличие от нуля носит некий случайный характер. Ну, например: .

Однако нулевая гипотеза может  быть отвергнута тогда, когда например, по выборке получается результат,  который маловероятен при истинности выдвинутой нулевой гипотезы. И тогда, границей невозможного или маловероятного события, начинают считать то, что = 0, о5 или 5%; 0, 01, 0,001. А если опираться на правило «трех сигм»*, то вероятность ошибки будет равна 0, 0027.

*Правило «трех сигм»  означает то, что вероятность  того, что случайная величина  способна отклониться от своего  математического ожидания на  более высокую величину, чем утроенное  среднее квадратичное отклонение, практически равна нулю. Но правило  справедливо только для тех  случайных величин, которые распределены  по нормальному закону.

Но для данного уровня вероятности ошибки значения критериев редко табулируются. Обычно, значения критериев в статистико–математических таблицах рассчитываются для вероятностей с такими значениями ошибок, как 0,05; 0,01; 0,001.

Всегда существуют какие-нибудь ограничители, в данном случае это критерии, статистические критерии.