Cовременное состояние и перспективы развития технологий интеллектуального анализа бизнес-данных.

Алексей Арустамов (Лаборатория BaseGroup) 

Анализ бизнес-данных приобретает все большее значение и начинает оказывать серьезное влияние на процесс принятия решений. Эта ситуация была прогнозируема. Накопление данных шло быстрыми темпами и очевидно, что обязательно должен был наступить момент, когда потребуются механизмы анализа способные обрабатывать эти информационные массивы. Причем это объективная потребность, а не дань моде. Чем жестче конкуренция, тем больше потребность в механизмах анализа.

Т.к. под интеллектуальным анализом каждый подразумевает свое, хотелось бы определиться, что мы будем подразумевать под словом «интеллектуальный». Правильно было бы говорить о неких механизмах, преобразовывающих «сырые» данные к высокоуровневым объектам более пригодным для анализа чем исходная информация. Если говорить о бизнес-данных, то первичная информация об операциях, такая как сведения о счетах, накладных и т.п. совершенно не ориентирована и не пригодна в первозданном виде для анализа. Показатели необходимо как минимум агрегировать, например, получить итоги за определенный период, чтобы анализировать. При этом агрегация – вычисление итогов, средних значений, минимумов и максимумов – это самый простой способ как-то обобщить сведения.

Условно, можно поделить механизмы анализа на 2 части – методы извлечения/отображения данных и моделирование. В первом случае акцентируется внимание на удобстве механизмов извлечения данных, способах их манипулирования и доступности интерпретации. Во втором, о попытках каким-то способом описать процесс в виде формул, условий, правил и использовать полученные модели для оценки влияния на анализируемый процесс различных факторов.

В качестве инструмента для извлечения/отображения данных обычно применяются системы отчетности и OLAP. Механизмы подобного рода довольно просты в эксплуатации и получили широкое распространение. В любой серьезной информационной системе есть, как минимум, встроенный механизм отчетности и довольно часто встречаются OLAP модули. Те, кто пока таких механизмов не использует, скорее всего, в том или ином виде начнет их применять в ближайшее время. Развитие данной категории продуктов продолжается – они становятся доступнее, удобнее и производительнее, но в плане идей ничего нового и действительно ценного уже нет. Продукты, ориентированные на извлечение данных, не способны принципиально выйти за рамки механизмов отображения. Увеличение объемов обрабатываемых данных, появление более красивых кнопочек на панели и прочие расширения все равно не позволяют оперировать объектами более высокого порядка чем суммы по столбцам и строкам.

Конечно, получение отчета в удобной форме очень важная вещь. Более того, крайне необходимая, но разве этого достаточно? Насколько отчетность помогает решать основную бизнес задачу – действовать успешнее конкурентов? Попробуем поразмышлять чем такого рода система поможет в решении, например, такой задачи как определение наилучшей цены продажи товара. Известно, что цена продукта является одним из наиболее значимых его показателей и зависит от множества факторов. Хотелось бы, чтобы система предложила наиболее приемлемую цену с учетом текущего состояния рынка. В ответ же пользователь получает отчет о том как изменялась цена на этот продукт, либо какова средняя цена данной категории продуктов, либо кто приобретал этот продукт в последние полгода. В общем, мы получим много отчетов, диаграмм, но не получим ответ на поставленный вопрос. Похожая картина будет наблюдаться практически по любому значимому вопросу. Система отчетности не может смотреть вперед, она вечно копается в прошлом, поэтому не способна обеспечить конкурентного преимущества.

Если задаться вопросом, а какая принципиальная задача стоит перед любой аналитической системой, то с точки зрения бизнеса ответ очевидный – превратить знания в доходы. Этого можно достичь при условии, что мы заранее знаем, что будет происходить дальше. Если бы будет знать хотя бы на один ход раньше нашего конкурента что будет происходить, то превратить такую информацию в доходы вопрос техники. И все методы анализа – кластеризация, поиск зависимостей, прогнозирование и прочее, все посвящено по большому счету решению этой задачи – знать раньше других. Наукой уже придуман способ как предсказывать будущее – нужно построить модель. Мы каким-то способом строим модель анализируемого процесса, подаем на вход новые данные и получаем результат. То есть. еще до самого события знаем что произойдет.

Поэтому вектор развития один – переходить от механизмов извлечения данных к механизмам построения моделей. Тогда мы будем оперировать объектами более высокого порядка, не суммами и средними значениями, а моделями. В принципе, некоторые компании предлагают такие методы, но чаще всего это простые механизмы типа модели ARMA. Конечно, это лучше чем ничего, но до нормального состояния далеко.

Идеальный механизм построения моделей, должен удовлетворять следующим требованиям:

Массовый рынок систем, оперирующих моделями находится в зачаточном состоянии. Речь не идет о незначительном количестве уникальных проектов – такие имеются, но не они определяют состояние рынка, а массовый потребитель. Для массового же потребителя все предложения сводятся к предложению воспользоваться примитивной уже готовой моделью, чье, пожалуй, единственное достоинство – низкая цена. Чаще всего в такие системы нужно ввести цифры и они рассчитают все по формулам. Их самая большая проблема заключается в том, что они жесткие и практически не способны к самостоятельной адаптации.

Указанным выше требованиям – приемлемые результаты, низкая цена модели и адаптивность, на сегодняшний день удовлетворят только самообучающиеся алгоритмы, такие как нейронные сети, деревья решений и прочее. Им тоже присущи недостатки, но самое главное, что в данные механизмы с самого начало заложена способность обучаться и адаптироваться. К тому же у них есть одно достоинство, т.к. эти механизмы строят модели на основе данных, они легче в использовании для неспециалиста. Низкая планка вхождения для такого класса систем способность обеспечить массовость.

Можно говорить, что на сегодня вопросы анализа данных в части извлечения, удобного манипулирования и визуализации относительно хорошо решены. На рынке представлен широкий спектр инструментов для решения задачи в данной постановке. И переход массового потребителя к использованию этих механизмов – это вопрос ближайшего времени. В части же построения моделей ситуация намного хуже. Потребители пока еще прибывают в иллюзии, что отчеты могут помочь им в понимании процессов – это не так. Не то, чтобы они не получили никакого результата, просто есть объективная потребность двигаться дальше и трансформировать данные в знания. Это можно обеспечить не за счет способов отображения данных, а за счет построения моделей. В компаниях, интенсивно использующих уже несколько лет OLAP механизмы, это данный процесс начался. Они стали обращать внимание на более «интеллектуальные» методы анализа. Так что процесс начался. Скорее всего, они сначала будут использовать готовые жесткие модели, а потом перейдут на использование адаптивных механизмов. А как будут события развиваться дальше покажет время.

К НАЧАЛУ