Что такое бизнес-аналитика

Приложения OLAP зачастую бывают весьма громоздкими, обычно их рентабельность отвечает использованию в составе корпоративных рабочих групп, например в аналитических службах. Вообще, для эффективного использования решений OLAP нужна поддержка корпоративной инфраструктуры.

Как показывает анализ, Web-архитектуры быстро вытесняют традиционные клиент-серверные приложения для целого ряда категорий программного обеспечения, и рынок корпоративных OLAP-решений здесь не исключение.

Это направление стремительно развивается за счет появления различных Web-OLAP инструментов на базе HTML- и Java-технологий от известных поставщиков и быстро растущих новых компаний. В связи с расширением контингента пользователей продукты Web-OLAP разрабатываются для выполнения несколько иного анализа, чем традиционные клиент-серверные инструменты. Происходит переход от инструментальных средств исследования данных, ориентированных на специалистов-аналитиков, к готовым аналитическим приложениям, доступным для более широкого круга пользователей.

В табл.1.1 приведены критерии, которые определяют успех Web-OLAP-продуктов.

Таблица 1.1. Критерии успеха Web-Olap-решения
Критерий	Описание
Удобство использования	Успешный BI-продукт должен быть достаточно прост для неопытного пользователя, не имеющего специальной подготовки
Интерактивность	Программное средство должно реализовать интерактивные возможности, в том числе: просмотр статических документов; динамическое обновление существующих документов, обеспечивающее доступ к самой свежей информации; динамическое выполнение нерегламентируемых запросов к источникам данных; динамическое неограниченное "углубление в данные" (drill-down)
Функциональность	Web-BI-приложение должно обеспечивать  такие же возможности, как и  традиционные клиент-серверные аналоги, удовлетворяя при этом дополнительным  требованиям. Генерирование SQL, выполнение  динамических пользовательских  расчетов, различные методы навигации - все это необходимо и в  Web
Доступность и переносимость.	Главное преимущество Web - доступность и переносимость. Информация должна быть доступна для любого устройства, рабочего места, в любой точке земного шара, вне зависимости от того, находятся ли данные в главном управлении компании, в удаленных офисах или на портативном устройстве. Клиентская часть идеального BI-продукта должна быть небольшой, чтобы удовлетворить различным уровням пропускной способности сети пользователя, а также соответствовать стандартизованной технологии
Архитектура	Поскольку Web-среда принципиально отличается от традиционной клиент-серверной, здесь возникает множество новых технологических проблем. Многозвенная архитектура, допускающая наличие различных типов клиентов (Java, HTML и т.п.), а также "собственное" соединение с Web-сервером (NSAPI, ISAPI) и сервером базы данных, необходима для корпоративного программного продукта
Интеграция. Независимость от источников данных	Корпоративная вычислительная среда содержит различные виды аппаратных и программных ресурсов, пакетных приложений и баз данных. Хорошо разработанное BI-приложение должно давать доступ к статическим документам любого типа (а не только к тем, которые оно само создает), а также интерактивный доступ к реляционным и многомерным базам данных, приложениям и другим источникам
Производительность и масштабируемость	Для обеспечения производительности и масштабируемости в Web необходимо реализовать следующие возможности: балансировку нагрузки сервера приложения; собственное соединение с web-сервером; собственный доступ к базе данных; кэширование сервером приложения (данных или соединений с базой); персистентность, устраняющую проблему хранения состояний в Web
Обеспечение безопасности	Возможность администрирования через web - одно из ключевых преимуществ. Так, для изменения прав конкретного пользователя администратору не нужно появляться на его рабочем месте. Используя модули администрирования, можно создавать профили для отдельных пользователей или групп, предоставляя доступ только к авторизованной информации
Стоимость внедрения и администрирования	Стоимость внедрения Web-OLAP-решения в расчете на одного пользователя должна быть существенно ниже, чем для традиционных продуктов. Поскольку поддержка клиента - очень сложная задача для традиционных клиент-серверных продуктов, Web-решения устраняют часть накладных расходов, не требуя специального клиентского ПО, кроме браузера. Расходы на администрирование становятся значительно меньше, если: снижается стоимость поддержки клиентской части ПО; снижается стоимость поддержки серверного компонента; программа может эффективно функционировать в Web-среде, где распространяются тысячи отчетов/документов и тысячи пользователей нуждаются в защищенном интерактивном доступе к разным базам

 

Интеллектуальная обработка данных (DataMining)

Возникновение DataMining (добыча данных) связано с наличием противоречия между теоретическими методами прикладной статистики и практикой решения реальных задач. Синонимами этого понятия являются обнаружение знаний в БД и интеллектуальный анализ данных.

Стимулом развития технологии DataMining явился прорыв в технологиях электронного хранения больших объемов данных — деятельность любого предприятия сопровождается регистрацией и записью на электронные носители всех подробностей его деятельности.

Очевидно, что без технологии переработки потока этих "сырых" данных (rawdata), последние образуют просто большую свалку.

Требования к технологии переработки:

• данные имеют неограниченный объем;

• данные являются разнородными по типу (количественными, качественными, текстовыми);

• результаты должны быть понятны и конкретны;

• инструменты для обработки сырых данных должны быть просты в использовании.

Традиционная прикладная статистика не справляется с поставленными задачами. Главная причина — она работает с фиктивными, средними величинами (концепция усреднения по выборке). Ее методы полезны при проверке заранее сформулированных гипотез (verification-drivendatamining) и для грубого предварительного анализа, составляющего основу OLAP (onlineanalyticalprocessing).

В основу технологии DataMining (discovery-drivendatamining) положена концепция шаблонов (паттернов), отражающих фрагменты многоаспектных взаимоотношений в данных. Эти шаблоны представляют закономерности, свойственные подвыборкам данных, которые могут быть выражены в понятной человеку форме. Поиск шаблонов проводится методами, не ограниченными рамками априорных предположений о структуре выборки и виде распределений значений анализируемых показателей.

Понятно, что такие шаблоны должны быть нетривиальны (unexpected — неожиданные регулярности в данных, которые составляют так называемые скрытые знания, Hiddenknowledge).

Есть понимание того, что "сырые" данные содержат глубинный пласт знаний и его нужно раскопать.

Различия в формулировках задач диалоговой аналитической обработки данных и интеллектуального анализа данных приведены в табл. 1.2.

Таблица 1.2.
OLAP	DataMining
Каковы средние показатели травматизма для курящих и некурящих?	Встречаются ли точные шаблоны в описании людей, подверженных повышенному травматизму?
Каково среднее соотношение размеров телефонных счетов существующих клиентов со счетами бывших клиентов?	Имеются ли характерные портреты клиентов, которые, по всей видимости, собираются отказаться от услуг телефонной связи?
Какова средняя величина ежедневных покупок по украденной и не украденной карточке?	Существуют ли стереотипные схемы покупок для случая мошенничества с кредитными карточками?

Основные бизнес-приложения DataMining

1. Розничная торговля (предполагается, что собирается информация о каждой покупке)

• Анализ покупательской корзины (анализ сходства) — выявление товаров, которые покупаются вместе. Необходимо для рекламы, выработки стратегии создания запасов товаров и способов их раскладки в торговых залах

• Исследование временных шаблонов. Создание запасов

• Создание прогнозирующих моделей. Характер потребностей различных категорий покупателей с определенным поведением (приобретение товаров известных марок или распродажа). Разработка направленных мероприятий по продвижению товаров

2. Банковское дело

• Выявление мошенничества с кредитными карточками. Анализ транзакций, которые оказались мошенническими

• Сегментация клиентов. Маркетинговая политика банка становится более целенаправленной

• Прогнозирование изменения клиентуры, модели ценности своих клиентов и соответствующее обслуживание каждой категории

3. Телекоммуникации

• Анализ записей о подробных характеристиках вызовов — выявление категорий клиентов с похожими стереотипами поведения и разработка привлекательных наборов цен и услуг

• Выявление лояльности клиентов. Определение характеристик клиентов, которые однажды воспользовавшись услугами компании, и с большей долей вероятности воспользуются еще раз

4. Страхование

• Выявление мошенничества. Определенные стереотипы в заявлениях о выплате страховки, характеризующие взаимоотношения между юристами, врачами и заявителями

• Анализ риска. Путем выявления факторов, связанных с оплаченными заявлениями, можно уменьшить свои потери

Необходимость автоматизированного интеллектуального анализа данных стала очевидной, в первую очередь, из-за огромных массивов исторической и вновь собираемой информации. Трудно даже приблизительно оценить объем ежедневных данных, накапливаемых различными компаниями, государственными, научными и медицинскими организациями. По мнению исследовательского центра компании GTE, только научные институты собирают ежедневно около терабайта новых данных.

Другой причиной роста популярности интеллектуального анализа данных( datamining ) является объективность получаемых результатов. Человеку-аналитику, в отличие от машины, всегда присущ субъективизм: он в той или иной степени является заложником уже сложившихся представлений. Иногда это полезно, но чаще приносит большой вред.

И, наконец, интеллектуальный анализ данныхдешевле. Оказывается, что выгоднее инвестировать деньги в решения интеллектуального анализа данных, чем постоянно содержать целую армию высококвалифицированных и дорогих профессиональных статистиков. Интеллектуальный анализ данных вовсе не исключает полностью человеческую роль, но значительно упрощает процесс поиска знаний, делая его доступным для более широкого круга аналитиков, не являющихся специалистами в статистике, математике или программировании.

 

Архитектура систем бизнес-уровня

Состав архитектуры современной системы бизнес-аналитики

Задачами любой системы бизнес-аналитики являются эффективное хранение, обработка и анализ данных. В настоящее время накоплен значительный опыт в этой области.

Эффективное хранение информации достигается наличием в составе системы бизнес-аналитики целого ряда источников данных. Обработка и объединение информации достигается применением инструментов извлечения, преобразования и загрузки данных. Анализ данных осуществляется при помощи современных инструментов делового анализа данных.

Архитектура современной системы бизнес-аналитики организации в обобщенном виде представлена на рис. 1.3.

Рис. 1.3. Архитектура современной системы бизнес-аналитики

Приведенная архитектура демонстрирует длинный путь, который проходят данные, прежде чем попасть на стол аналитику.

Разнообразие источников данных и необходимость их использования в каждом конкретном случае объясняется потребностью по-разному хранить информацию в зависимости от стоящих перед организацией задач. Если попытаться классифицировать источники данных по типам и назначению, то каждый из них можно условно отнести к одной из трех групп: транзакционные источники данных, ХД, витрины данных, информационные панели.

Данные в систему могут заноситься как вручную, так и автоматически. На этапе первоначальной фиксации данные поступают через системы сбора и обработки информации в так называемые транзакционные БД. Транзакционных БД в организации может быть несколько.

Поскольку транзакционные источники данных, как правило, не согласованы друг с другом, для анализа таких данных требуется их объединение и преобразование. Поэтому на следующем этапе решается задача консолидации данных, их преобразования и очистки, в результате чего данные поступают в так называемые аналитические БД. Аналитические БД, будь то ХД или витрины данных, и есть те основные источники, из которых аналитик черпает информацию, используя соответствующие инструменты делового анализа.

При этом система бизнес-аналитики среднего и крупного предприятия или организации должна обеспечивать пользователям доступ к аналитической информации, защищенной от несанкционированного использования и открытой как через внутреннюю сеть организации, так и пользователям сетей Интранет и Интернет. Таким образом, архитектура современной системы бизнес-аналитики является многоуровневой и включает следующие уровни:

1. сбор и первичная обработка данных;

2. извлечение, преобразование и загрузка данных;

3. складирование данных;

4. представление данных в витринах данных;

5. анализ данных;

6. Web-портал.

Рассмотрим перечисленные уровни архитектуры и остановимся на примерах типовых инструментов, которые могут служить основой для построения каждого из них.

Сбор и первичная обработка данных

К первому уровню архитектуры системы бизнес-аналитики относятся упоминавшиеся уже источники данных, обычно именуемые транзакционными или операционными источниками (базами) данных, являющиеся частью так называемых OLTP-систем (onlinetransactionalprocessing). Транзакционные БД включают в себя источники данных, ориентированные на фиксацию результатов повседневной деятельности организации. Требования, предъявляемые к транзакционным БД, обусловили их следующие отличительные особенности: способность быстро обрабатывать данные и поддерживать высокую частоту их изменения, ориентированность, как правило, на обслуживание одного процесса, а не всей деятельности организации в целом.

Примерами здесь могут служить БД, которые используются в биллинговых системах операторами сотовой связи, в автоматизированных банковских системах коммерческих и государственных банков, в интернет-магазинах.

Информация в таких БД ориентирована на конкретное приложение и управляется транзакциями, она сильно детализирована и часто корректируется.