блог
 
   
Развитие Бизнеса > Развиваете бизнес? > Поддержка принятия решений > Разработка вариантов решения

Анализ бизнес информации

Алексей Арустамов (Лаборатория BaseGroup) 

Об анализе информации в последнее время говорят так много и столько всего, что можно окончательно запутаться в проблеме. Это хорошо, что многие обращают внимание на такую актуальную тему. Плохо только то, что под этим термином каждый понимает то, что ему нужно, часто не имея общей картины по проблеме. Фрагментарность в таком подходе является причиной того, что в большинстве случаев нет возможности понять, что происходит и что делать. Все состоит из кусков, слабо связанных между собой и не имеющих общего стержня. Наверняка, вы часто слышали фразу «лоскутная автоматизация». С этой проблемой уже неоднократно сталкивались многие и могут подтвердить, что основная проблема при таком подходе состоит в том, что практически никогда невозможно увидеть картину в целом. С анализом ситуация аналогичная.

Для того, чтобы было понятно место и назначение каждого механизма анализа, давайте рассмотрим все это в целом. Будет отталкиваться от того, как человек принимает решения. Т.к. объяснить, как рождается мысль мы не в состоянии, сконцентрируемся на том, как можно в этом процессе использовать информационные технологии. Первый вариант: лицо, принимающее решение (ЛПР), использует компьютер только как средство извлечения данных, а выводы делает уже самостоятельно. Для решения такого рода задач используются системы отчетности, многомерный анализ данных, диаграммы. Второй вариант: программа не только извлекает данные, но и проводит различного рода предобработку, например, очистку, сглаживание и прочее. А к обработанным таким образом данным применяет математические методы анализа – кластеризацию, классификацию, регрессию и т.д. В этом случае ЛПР получает не сырые данные, а прошедшие серьезную обработку, т.е. человек уже работает с моделями, подготовленными компьютером.

Благодаря тому, что в первом случае практически все, что связано собственно с механизмами принятия решений возлагается на человека, проблема с подбором адекватной модели и выбором методов обработки выносится за пределы механизмов анализа. Т.е. базой для принятия решения является либо инструкция (например, каким образом можно реализовать механизмы реагирования на отклонения), либо интуиция. В некоторых случаях этого вполне достаточно, но если ЛПР интересуют знания, находящиеся достаточно глубоко, если так можно выразиться, то просто механизмы извлечения данных тут не помогут. Необходима более серьезная обработка. Это и есть тот самый второй случай. Все применяемые механизмы предобработки и анализа позволяют ЛПР работать на более высоком уровне. Первый вариант хорошо подходит для решения тактических и оперативных задач, а второй для тиражирования знаний и решения стратегических проблем.

Идеальным случаем была бы возможность применять оба подхода к анализу. Они позволяют покрыть почти все потребности организации в анализе бизнес информации. Варьируя методики в зависимости от задач, мы будем иметь возможность в любом случае выжать максимум из имеющейся информации.

Общая схема работы приведена ниже.

Часто при описании того или иного продукта, анализирующего бизнес информацию, применяют термины типа риск-менеджмент, прогнозирование, сегментация рынка… Но в действительности решения каждой из этих задач сводятся к применению одного из описанного ниже методов анализа. Например, прогнозирование - это задача регрессии, сегментация рынка - это кластеризация, управление рисками - это комбинация кластеризации и классификации, возможно, и других методов. Поэтому данный набор технологий позволяет решать большинство бизнес задач. Фактически, они являются атомарными (базовыми) элементами, из которых собирается решение той или иной задачи.

Теперь опишем отдельно каждый фрагмент схемы.

В качестве первичного источника данных должны выступать базы данных систем управления предприятием, офисные документы, Интернет – необходимо использовать все сведения, которые могут пригодиться для принятия решения. Причем речь идет не только о внутренней для организации информации, но и о внешних данных (макроэкономические показатели, конкурентная среда, демографические данные и т.п.).

Хотя в хранилище данных не реализуются технологии анализа, оно является той базой, на которой нужно строить аналитическую систему. В отсутствие хранилища данных на сбор и систематизацию необходимой для анализа информации будет уходить большая часть времени, что в значительной степени сведет на нет все достоинства анализа. Ведь одним из ключевых показателей любой аналитической системы является возможность быстро получить результат.

Следующим элементом схемы является семантический слой. Вне зависимости от того, каким образом будет анализироваться информация, необходимо, чтобы она была понятна ЛПР. Т.к. в большинстве случаев анализируемые данных располагаются в различных базах данных, а ЛПР не должен вникать в нюансы работы с СУБД, то требуется создать некий механизм, трансформирующий термины предметной области в вызовы механизмов доступа к БД. Эту задачу и выполняет семантический слой. Желательно, чтобы он был один для всех приложений анализа, таким образом легче применять к задаче различные подходы.

Системы отчетности предназначены для того, чтобы дать ответ на вопрос «что происходит». Первый вариант его использования: регулярные отчеты используются для контроля оперативной ситуации и анализа отклонений. Например, система ежедневно готовит отчеты об остатках продукции на складе, и когда его значение меньше средней недельной продажи, необходимо реагировать на это подготовкой заказа на поставку. Т.е. в большинстве случаев это стандартизированные бизнес операции. Чаще всего некоторые элементы этого подхода в том или ином виде реализованы в компаниях (пусть даже просто на бумаге), однако нельзя допускать, чтобы это был единственный из доступных подходов к анализу данных. Второй вариант применения систем отчетности: обработка нерегламентированных запросов. Когда ЛПР хочет проверить какую-либо мысль (гипотезу), ему необходимо получить пищу для размышлений, подтверждающую, либо опровергающую идею. Т.к. эти мысли приходят спонтанно, и отсутствует точное представление о том, какого рода информация потребуется, необходим инструмент, позволяющий быстро и в удобном виде эту информацию получить. Извлеченные данные обычно представляются либо в виде таблиц, либо в виде графиков и диаграмм, хотя возможны и другие представления.

Хотя для построения систем отчетности можно применять различные подходы, самый распространенный на сегодня - это механизм OLAP. Основной идеей является представление информации в виде многомерных кубов, где оси представляют собой измерения (например, время, продукты, клиенты), а в ячейках помещаются показатели (например, сумма продаж, средняя цена закупки). Пользователь манипулирует измерениями и получает информацию в нужном разрезе.

Благодаря простоте понимания, OLAP получил широкое распространение в качестве механизма анализа данных, но необходимо понимать, что его возможности в области более глубокого анализа, например, прогнозирования, крайне ограничены. Основной проблемой при решении, задач прогнозирования является вовсе не возможность извлечения интересующих данных в виде таблиц и диаграмм, а построение адекватной модели. Дальше все достаточно просто. На вход имеющейся модели подается новая информация, пропускается через нее: результат - это и есть прогноз. Но построение модели является совершенно нетривиальной задачей. Конечно, можно заложить в систему несколько готовых и простых моделей, например, линейную регрессию или что-то аналогичное, довольно часто именно так и поступают, но это проблему не решает. Реальные задачи почти всегда выходят за рамки таких простых моделей. А, следовательно, такая модель будет обнаруживать только явные зависимости, ценность обнаружения которых незначительна. Все известно и так. Или будут строить слишком грубые прогнозы, что тоже совершенно неинтересно. В качестве примера, если вы будете при анализе курса акций на фондовом рынке исходить из простого предположения, что завтра акции будут стоить столько же, сколько и сегодня, то в 90% случаев вы угадаете. И насколько ценны такие знания? Интерес для брокеров представляют только оставшиеся 10%. Примитивные модели в большинстве случаев дают результат примерно того же уровня.

Правильным подходом к построению моделей является их пошаговое улучшение. Начав с первой, относительно грубой модели, необходимо по мере накопления новых данных и применения модели на практике улучшать ее. Собственно задача построения прогнозов и тому подобные вещи выходят за рамки механизмов систем отчетности, поэтому и не стоит ждать в этом направлении положительных результатов при применении OLAP. Для решения задач более глубокого анализа применяется совершенно другой набор технологий, объединенных под названием Knowledge Discovery in Databases .

Knowledge Discovery in Databases (KDD) – это процесс поиска полезных знаний в 'сырых данных'. KDD включает в себя вопросы подготовки данных, выбора информативных признаков, очистки данных, применения методов Data Mining (DM), постобработки данных, интерпретации полученных результатов. Data Mining – это процесс обнаружения в 'сырых' данных ранее неизвестных, нетривиальных, практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности.

Привлекательность этого подхода заключается в том, что, вне зависимости от предметной области, мы применяем одни и те же операции:

  • Извлечь данные. В нашем случае для этого нужен семантический слой.
  • Очистить данные. Применение для анализа грязных данных может полностью свести на нет применяемые в дальнейшем механизмы анализа.
  • Трансформировать данные. Различные методы анализа требуют данных, подготовленных в специальном виде. Например, где-то в качестве входов может использоваться только цифровая информация.
  • Провести собственно анализ – Data Mining.
  • Интерпретировать полученные результаты.
  • Это процесс повторяется итеративно.

    Data Mining, в свою очередь, обеспечивает решение всего 6 задач – классификация, кластеризация, регрессия, ассоциация, последовательность и отклонения.

    1. Классификация – это отнесение объектов (наблюдений, событий) к одному из заранее известных классов.

    2. Кластеризация – это группировка объектов (наблюдений, событий) на основе данных (свойств), описывающих сущность объектов. Объекты внутри кластера должны быть 'похожими' друг на друга и отличаться от объектов, вошедших в другие кластеры. Чем больше похожи объекты внутри кластера и чем больше отличий между кластерами, тем точнее кластеризация.

    3. Регрессия, в том числе задачи прогнозирования. Установление функциональной зависимости между зависимыми и независимыми перемененными.

    4. Ассоциация – выявление закономерностей между связанными событиями. Примером такой закономерности служит правило, указывающее, что из события X следует событие Y. Такие правила называются ассоциативными. Впервые это задача была предложена для нахождения типичных шаблонов покупок, совершаемых в супермаркетах, поэтому иногда ее еще называют анализом рыночной корзины (market basket analysis).

    5. Последовательные шаблоны – установление закономерностей между связанными во времени событиями. Например, после события X через определенное время произойдет событие Y.

    6. Анализ отклонений – выявление наиболее нехарактерных шаблонов.

    Это все, что необходимо сделать, чтобы автоматизировать процесс извлечения знаний. Дальнейшие шаги уже делает эксперт, он же ЛПР.

    Интерпретация результатов компьютерной обработки возлагается на человека. Просто различные методы дают различную пищу для размышлений. В самом простом случае - это таблицы и диаграммы, а в более сложном - модели и правила. Полностью исключить участие человека невозможно, т.к. тот или иной результат не имеет никакого значения, пока не будет применен к конкретной предметной области. Однако имеется возможность тиражировать знания. Например, ЛПР при помощи какого-либо метода определил, какие показатели влияют на кредитоспособность покупателей, и представил это в виде правила. Правило можно внести в систему выдачи кредитов и таким образом значительно снизить кредитные риски, поставив их оценки на поток. При этом от человека, занимающегося собственно выпиской документов, не требуется глубокого понимания причин того или иного вывода. Фактически, это перенос методов когда-то примененных в промышленности в область управления знаниями. Основная идея – переход от разовых и неунифицированных методов к конвейерным.

    Все, о чем говорилось выше, - только названия задач. И для решения каждой из них можно применять различные методики, начиная от классических статистических методов и кончая самообучающимися алгоритмами. Реальные бизнес задачи решаются практически всегда одним из указанных выше методов или их комбинацией. Практически все задачи - прогнозирование, сегментация рынка, оценка риском, оценка эффективности рекламных кампаний, оценка конкурентных преимуществ и множество других - сводятся к описанным выше. Поэтому, имея в распоряжении инструмент, решающий приведенный список задач, можно говорить, что вы готовы решить любую задачу бизнес анализа.

    Если вы обратили внимание, мы нигде не упоминали о том, какой инструмент будет использоваться для анализа, какие технологии, т.к. сами задачи и методы их решения не зависят от инструментария. Это всего лишь описание грамотного подхода к проблеме. Можно использовать все, что угодно, важно только, чтобы был покрыт весь список задач. В этом случае можно говорить о том, что имеется действительно полнофункциональное решение. Очень часто в качестве «полнофункционального решения задач бизнес анализа» предлагаются механизмы, покрывающие только незначительную часть задач. Чаще всего, под системой анализа бизнес информации понимается только OLAP, чего совершенно недостаточно для полноценного анализа. Под толстым слоем рекламных лозунгов находится всего лишь система построения отчетов. Эффектные описания того или иного инструмента анализа скрывают суть, но достаточно отталкиваться от предложенной схемы, и вы будете понимать действительное положение вещей.

    Мы (BaseGroup Labs) к описанной схеме пришли постепенно. В начале, при решении практических задач разрабатывались модули решающие те или иные частные задачи. Они были слабо связны между собой. По мере накопления опыта и появления большего количества реализованных технологий, аналитические системы стали приобретать более гармоничную и логически стройную форму. Все это воплотись в аналитический пакет Deductor. Deductor - это не набор программ, реализующих ту или иную технологию, это пакет, поддерживающий процесс анализа данных. Если рассматривать его именно в таком ракурсе, понятно, почему в него включен тот или иной модуль.

    Пакет состоит из 5-ти интегрированных между собой модулей:

    • Cube Analyzer – OLAP модель
    • RawData Analyzer – предобработка данных
    • Tree Analyzer – деревья решений
    • Neural Analyzer – нейронные сети
    • SOMap Analyzer – самоорганизующиеся карты

    Для решения задач построения систем отчетности применяется программа Cube Analyzer. Это OLAP модуль, построенный на основе оригинального высокопроизводительного ядра. Программист один раз настраивает систему шаблонов, которые и реализуют семантический слой, а далее пользователь в мастере построения кубов указывает, что он хочет получить, выбирая измерения, срезы, факты. И получает результат в виде таблиц и диаграмм с возможностью произвольного манипулирования данными. Таким образом обрабатываются нерегламентированные запросы. Любой из настроенных запросов пользователь может сохранить под определенным именем и в дальнейшем получать результат просто выбором того или иного отчета из списка. Так реализуется получение регулярных отчетов. Результаты извлечения можно просмотреть в виде обычной таблицы, кросс-таблицы и диаграммы. Остальные механизмы обработки реализованы в других приложениях пакета. Т.к. основной идеей является возможность «рассмотреть данные» с разных сторон, в систему встроены механизмы импорта таблиц в различные форматы и обмена данными между приложениями пакета Deductor.

    Для решения задач KDD применяется набор их 4-х приложений. RawData Analyzer – предобработка и очистка данных, Tree Analyzer – классификация, Neural Analyzer – регрессия и классификация, SOMap Analyzer – кластеризация. Все приложения получают данные из разнородных источников при помощи единого мастера подключений, реализующего семантический слой. Во всех приложения пакета включена возможность обмена данными, благодаря чему легко обеспечивается перенос информации между каждым этапом обработки. В основном упор сделан на самообучающиеся алгоритмы, т.к. такой подход гораздо гибче классических статистический методов и ниже планка необходимых знаний, которую нужно преодолеть, чтобы начать ими пользоваться.

    Реализуя, большую часть из описанной схемы и имея встроенные механизмы интеграции с разнородными источниками данных, приложениями третьих фирм и между программами, входящими в пакет, Deductor представляет собой технологическую базу на основе которой можно стоить мощные системы анализа бизнес данных. Причем вне зависимости от природы исследуемых объектов, реализованный подход позволит выжать из данных максимум полезной информации. Эта информация называется знаниями.

     

     

       
     

    К НАЧАЛУ

     

     

     
     

    Развитие Бизнеса / Ру 2.0

    Проект Блоги Контакты


    Старый сайт:
    Развитие Бизнеса / Ру 1.0


    Условия использования
    Приглашаем авторов
    Деловые новости
    Hi-Tech новости
    О проекте

    Архив
    FAQ
     
     
    Михаил Козлов
    Сергей Александров

    Реклама на сайте
    Нашли ошибку?
    Свяжитесь с нами



    с 17 января 2000
     

    ©1999-2000, Михаил Козлов